Bài viết Svm Là Gì – Máy Vector Hỗ Trợ Support Vector Machine thuộc chủ đề về Câu Hỏi Quanh Ta đang được rất nhiều bạn quan tâm đúng không nào !! Hôm nay, Hãy cùng TruongGiaThien.Com.Vn tìm hiểu Svm Là Gì – Máy Vector Hỗ Trợ Support Vector Machine trong bài viết hôm nay nha !
Các bạn đang xem nội dung về : “Svm Là Gì – Máy Vector Hỗ Trợ Support Vector Machine”

Bạn đang xem: Svm là gì

Máy vectơ hỗ trợ (SVM – thienmaonline.vnết tắt tên tiếng Anh support vector machine) là một khái niệm trong thống kê và khoa học máy tính cho một tập hợp các phương pháp học có giám sát liên quan đến nhau để phân loại và phân tích hồi quy. SVM dạng chuẩn nhận dữ liệu vào và phân loại chúng vào hai lớp khác nhau. vì thế SVM là một thuật toán phân loại nhị phân. Với một bộ các ví dụ luyện tập thuộc hai thể loại cho trước, thuật toán luyện tập SVM xây dựng một mô hình SVM để phân loại các ví dụ khác vào hai thể loại đó. Một mô hình SVM là một cách biểu diễn các điểm trong không gian và lựa chọn ranh giới giữa hai thể loại sao cho khoảng cách từ các ví dụ luyện tập tới ranh giới là xa nhất khả năng. Các ví dụ mới cũng được biểu diễn trong cùng một không gian và được thuật toán dự đoán thuộc một trong hai thể loại tùy vào ví dụ đó nằm ở phía nào của ranh giới.

Mục lục

1 Tổng quan về máy vectơ hỗ trợ 2 Lịch sử 3 Đặt vấn đề 4 SVM tuyến tính 4.1 Dạng ban đầu 4.2 Dạng đối ngẫu 5 Lề mềm 5.1 Dạng đối ngẫu 6 Xem thêm 7 Ghi chú 8 kết nối ngoài 9 Tham khảo

Xem thêm: Cytotoxicity Là Gì – Cytotoxicity Testing, Mtt Testing Lab

Tổng quan về máy vectơ hỗ trợ

Một máy vectơ hỗ trợ xây dựng một siêu phẳng hoặc một tập hợp các siêu phẳng trong một không gian nhiều chiều hoặc vô hạn chiều, khả năng được dùng cho phân loại, hồi quy, hoặc các nhiệm vụ khác. Một cách trực giác, để phân loại tốt nhất thì các siêu phẳng nằm ở càng xa các điểm dữ liệu của tất cả các lớp (gọi là hàm lề) càng tốt, vì nói chung lề càng lớn thì sai số tổng quát hóa của thuật toán phân loại càng bé.

Trong nhiều trường hợp, không thể phân chia các lớp dữ liệu một cách tuyến tính trong một không gian ban đầu được dùng để mô tả một vấn đề. vì thế, nhiều khi cần phải ánh xạ các điểm dữ liệu trong không gian ban đầu vào một không gian mới nhiều chiều hơn, để thienmaonline.vnệc phân tách chúng trở nên đơn giản hơn trong không gian mới. Để thienmaonline.vnệc tính toán được hiệu quả, ánh xạ dùng trong thuật toán SVM chỉ đòi hỏi tích vô hướng của các vectơ dữ liệu trong không gian mới khả năng được tính đơn giản từ các tọa độ trong không gian cũ. Tích vô hướng này được xác định bằng một hàm hạt nhân K(x,y) phù hợp.[1] Một siêu phẳng trong không gian mới được định nghĩa là tập hợp các điểm có tích vô hướng với một vectơ cố định trong không gian đó là một hằng số. Vectơ xác định một siêu phẳng dùng trong SVM là một tổ hợp tuyến tính của các vectơ dữ liệu luyện tập trong không gian mới với các hệ số αi. Với siêu phẳng lựa chọn như trên, các điểm x trong không gian đặc trưng được ánh xạ vào một siêu mặt phẳng là các điểm thỏa mãn:

Bài Nổi Bật  Bình pha cà phê kiểu Pháp French Press là gì? Lưu ý gì khi mua và dùng?

Σi αi K(xi,x) = hằng số.

Ghi chú rằng nếu K(x,y) nhận tổng giá trị ngày càng nhỏ khi y xa dần khỏi x thì mỗi số hạng của tổng trên được dùng để đo độ tương tự giữa x với điểm xi tương ứng trong dữ liệu luyện tập. Như vậy, công dụng của tổng trên chính là so sánh khoảng cách giữa điểm cần dự đoán với các điểm dữ liệu đã biết. Lưu ý là tập hợp các điểm x được ánh xạ vào một siêu phẳng khả năng có độ phức tạp tùy ý trong không gian ban đầu, nên khả năng phân tách các tập hợp thậm chí không lồi trong không gian ban đầu.

Lịch sử

Thuật toán SVM ban đầu được tìm ra bởi Vladimir N. Vapnik và dạng chuẩn hiện nay dùng lề mềm được tìm ra bởi Vapnik và Corinna Cortes năm 1995.[2]

Đặt vấn đề

H3 (màu xanh lá cây) không chia tách hai lớp dữ liệu. H1 (màu xanh lơ) phân tách hai lớp với lề nhỏ và H2 (màu đỏ) phân tách với lề cực đại.

Phân loại thống kê là một nhiệm vụ thường nhật trong học máy. Trong mô hình học có giám sát, thuật toán được cho trước một vài điểm dữ liệu cùng với nhãn của chúng thuộc một trong hai lớp cho trước. Mục tiêu của thuật toán là xác định xem một điểm dữ liệu mới sẽ được thuộc về lớp nào. Mỗi điểm dữ liệu được biểu diễn dưới dạng một vector p-chiều, và ta muốn biết liệu khả năng chia tách hai lớp dữ liệu bằng một siêu phẳng p − 1 chiều. Đây gọi là phân loại tuyến tính. Có nhiều siêu phẳng khả năng phân loại được dữ liệu. Một lựa chọn hợp lý trong chúng là siêu phẳng có lề lớn nhất giữa hai lớp.

SVM tuyến tính

Ta có một tập huấn luyện D }}

*

gồm n điểm có dạng D = } i = 1 n }=left _,y_)mid mathbf _in mathbb ^,,y_in \right}_^}

*

với yi mang tổng giá trị 1 hoặc −1, xác định lớp của điểm x i _}

*

. Mỗi x i _}

*

là một vectơ thực p-chiều. Ta cần tìm siêu phẳng có lề lớn nhất chia tách các điểm có y i = 1 =1}

*

và các điểm có y i = − 1 =-1}

*

. Mỗi siêu phẳng đều khả năng được thienmaonline.vnết dưới dạng một tập hợp các điểm x }

*

thỏa mãn
Siêu phẳng với lề cực đại cho một SVM phân tách dữ liệu thuộc hai lớp. Các ví dụ nằm trên lề được gọi là các vectơ hỗ trợ.

Xem thêm: Biết Gulp Là Một Lợi Thế!, Gulp Cho Người Mới Bắt đầu

w ⋅ x − b = 0 , cdot mathbf -b=0,,}

*

với ⋅

*

ký hiệu cho tích vô hướng và w }}

*

là một vectơ pháp tuyến của siêu phẳng. Tham số b ‖ w ‖ |}}}

*

xác định khoảng cách giữa gốc tọa độ và siêu phẳng theo hướng vectơ pháp tuyến w }}

*

.

Chúng ta cần chọn w }}

*

và b

*

để cực đại hóa lề, hay khoảng cách giữa hai siêu mặt song song ở xa nhau nhất khả năng trong khi vẫn phân chia được dữ liệu. Các siêu mặt ấy được xác định bằng w ⋅ x − b = 1 cdot mathbf -b=1,}

*

w ⋅ x − b = − 1. cdot mathbf -b=-1.,}

*

Để ý rằng nếu dữ liệu huấn luyện khả năng được chia tách một cách tuyến tính, thì ta khả năng chọn hai siêu phẳng của lề sao cho không có điểm nào ở giữa chúng và sau đó tăng khoảng cách giữa chúng đến tối đa khả năng. Bằng hình học, ta tìm được khoảng cách giữa hai siêu phẳng là 2 ‖ w ‖ |}}}

*

. vì thế ta muốn cực tiểu hóa tổng giá trị ‖ w ‖ |}

*

. Để đảm bảo không có điểm dữ liệu nào trong lề, ta thêm vào các điều kiện sau:

Bài Nổi Bật  Bài Giảng Kinh Tế Lượng Là Gì ? Bài Giảng Kinh Te Luong

Với mỗi i

*

ta có w ⋅ x i − b ≥ 1  cho  x i cdot mathbf _-bgeq 1qquad }mathbf _}

*

thuộc lớp thứ nhất

hoặc

w ⋅ x i − b ≤ − 1  cho  x i cdot mathbf _-bleq -1qquad }mathbf _}

*

thuộc lớp thứ hai

khả năng thienmaonline.vnết gọn lại như sau với mọi 1 ≤ i ≤ n

*

: y i ( w ⋅ x i − b ) ≥ 1 , ( 1 ) (mathbf cdot mathbf _-b)geq 1,qquad qquad (1)}

*

Tóm lại, ta có bài toán tối ưu hóa sau:

Cực tiểu hóa (theo w , b ,b}}

*

) ‖ w ‖ |}

*

với điều kiện (với mọi i = 1 , … , n

*

) y i ( w ⋅ x i − b ) ≥ 1. (mathbf cdot mathbf } -b)geq 1.,}

*

Dạng ban đầu

Bài toán tối ưu ở mục trên tương đối khó giải vì hàm mục tiêu phụ thuộc vào ||w||, là một hàm có khai căn. mặc khác khả năng thay ||w|| bằng hàm mục tiêu 1 2 ‖ w ‖ 2 }|mathbf |^}

*

(hệ số 1/2 để tiện cho các biến đổi toán học sau này) mà không làm thay đổi ngay lời giải (lời giải của bài toán mới và bài toán ban đầu có cùng w và b). Đây là một bài toán quy hoạch toàn phương. chi tiết hơn:

Cực tiểu hóa (theo w , b ,b}}

*

) 1 2 ‖ w ‖ 2 }|mathbf |^}

*

với điều kiện (với mọi i = 1 , … , n

*

) y i ( w ⋅ x i − b ) ≥ 1. (mathbf cdot mathbf } -b)geq 1.}

*

Bằng cách thêm các nhân tử Lagrange α }}

*

, bài toán trên trở thành min w , b max α ≥ 0 ,b}max _}geq 0}left}|mathbf |^-sum _^}right}}

*

}right}}”/>

nghĩa là ta cần tìm một điểm yên ngựa. Khi đó, tất cả các điểm không nằm trên lề, nghĩa là y i ( w ⋅ x i − b ) − 1 > 0 (mathbf cdot mathbf } -b)-1>0}

*

đều không gây tác động tổng giá trị hàm mục tiêu vì ta khả năng chọn α i }

*

bằng không.

khả năng giải bài toán này bằng các kĩ thuật thông thường cho quy hoạch toàn phương. Theo điều kiện Karush–Kuhn–Tucker, lời giải khả năng được thienmaonline.vnết dưới dạng tổ hợp tuyến tính của các vectơ luyện tập

w = ∑ i = 1 n α i y i x i . =sum _^y_mathbf } }.}

*

Chỉ có một vài α i }

*

nhận tổng giá trị lớn hơn 0. Các điểm x i } }

*

tương ứng là các vectơ hỗ trợ nằm trên lề và thỏa mãn y i ( w ⋅ x i − b ) = 1 (mathbf cdot mathbf } -b)=1}

*

. Từ điều kiện này, ta nhận thấy w ⋅ x i − b = 1 / y i = y i ⟺ b = w ⋅ x i − y i cdot mathbf } -b=1/y_=y_iff b=mathbf cdot mathbf } -y_}

*

từ đó ta suy ra được tổng giá trị b

*

. Trên thực tế, một cách thức tốt hơn để tính b

*

là tính tổng giá trị trung bình từ tất cả N S V }

*

vectơ hỗ trợ: b = 1 N S V ∑ i = 1 N S V ( w ⋅ x i − y i ) }}sum _^} cdot mathbf } -y_)}}

*

Dạng đối ngẫu

Nếu thienmaonline.vnết điều kiện phân loại dưới dạng đối ngẫu không điều kiện thì sẽ đơn giản nhận thấy siêu phẳng với lề lớn nhất, và vì thế nhiệm vụ phân loại, chỉ phụ thuộc vào các điểm luyện tập nằm trên lề, còn gọi là các vectơ hỗ trợ.

Vì ‖ w ‖ 2 = w ⋅ w |^=wcdot w}

*

và w = ∑ i = 1 n α i y i x i =sum _^y_mathbf } }}

*

, ta nhận thấy bài toán đối ngẫu của SVM là chính là bài toán tối ưu hóa sau:

Cực đại hóa (theo α i }

*

) L ~ ( α ) = ∑ i = 1 n α i − 1 2 ∑ i , j α i α j y i y j x i T x j = ∑ i = 1 n α i − 1 2 ∑ i , j α i α j y i y j k ( x i , x j ) }(mathbf )=sum _^alpha _-}sum _alpha _alpha _y_y_mathbf _^mathbf _=sum _^alpha _-}sum _alpha _alpha _y_y_k(mathbf _,mathbf _)}

*

với điều kiện (với mọi i = 1 , … , n

*

) α i ≥ 0 , geq 0,,}

*

và điều kiện sau ứng với thienmaonline.vnệc cực tiểu hóa theo b

*

∑ i = 1 n α i y i = 0. ^alpha _y_=0.}

*

Ở đây hàm hạt nhân được định nghĩa là k ( x i , x j ) = x i ⋅ x j _,mathbf _)=mathbf _cdot mathbf _}

*

.

Sau khi giải xong, khả năng tính w }

*

từ các tổng giá trị α

*

tìm được như sau: w = ∑ i α i y i x i . =sum _alpha _y_mathbf _.}

*

Lề mềm

Năm 1995, Corinna Cortes và Vladimir N. Vapnik đề xuất một ý tưởng mới cho phép thuật toán gán nhãn sai cho một vài ví dụ luyện tập.[2] Nếu không tồn tại siêu phẳng nào phân tách được hai lớp dữ liệu, thì thuật toán lề mềm sẽ chọn một siêu phẳng phân tách các ví dụ luyện tập tốt nhất khả năng, và cùng lúc ấy cực đại hóa khoảng cách giữa siêu phẳng với các ví dụ được gán đúng nhãn. Phương pháp này dùng các biến bù ξ i }

*

, dùng để đo độ sai lệch của ví dụ x i }

*

y i ( w ⋅ x i − b ) ≥ 1 − ξ i 1 ≤ i ≤ n . ( 2 ) (mathbf cdot mathbf } -b)geq 1-xi _quad 1leq ileq n.quad quad (2)}

*

Hàm mục tiêu có thêm một vài hạng mới để phạt thuật toán khi ξ i }

*

khác không, và bài toán tối ưu hóa trở thành thienmaonline.vnệc trao đổi giữa lề lớn và mức phạt nhỏ. Nếu hàm phạt là tuyến tính thì bài toán trở thành: min w , ξ , b ,mathbf ,b}left}|mathbf |^+Csum _^xi _right}}

*

với điều kiện (với mọi i = 1 , … n

*

) y i ( w ⋅ x i − b ) ≥ 1 − ξ i ,         ξ i ≥ 0 (mathbf cdot mathbf } -b)geq 1-xi _,~~~~xi _geq 0}

*

khả năng giải bài toán trên bằng nhân tử Lagrange tương tự như trường hợp cơ bản ở trên. Bài toán cần giải trở thành:

Bài Nổi Bật  Xét Nghiệm Huyết Học Là Gì ? Ý Nghĩa Của Các Chỉ Số Trong Xét Nghiệm Máu

min w , ξ , b max α , β ,mathbf ,b}max _},}}left}|mathbf |^+Csum _^xi _-sum _^}-sum _^beta _xi _right}}

*

}-sum _^beta _xi _right}}”/>

với α i , β i ≥ 0 ,beta _geq 0}

*

.

Dạng đối ngẫu

Cực đại hóa (theo α i }

*

) L ~ ( α ) = ∑ i = 1 n α i − 1 2 ∑ i , j α i α j y i y j k ( x i , x j ) }(mathbf )=sum _^alpha _-}sum _alpha _alpha _y_y_k(mathbf _,mathbf _)}

*

với điều kiện (với mọi i = 1 , … , n

*

) 0 ≤ α i ≤ C , leq C,,}

*

∑ i = 1 n α i y i = 0. ^alpha _y_=0.}

*

Ưu điểm của thienmaonline.vnệc dùng hàm phạt tuyến tính là các biến bù biến mất khỏi bài toán đối ngẫu, và hằng số C chỉ xuất hiện dưới dạng một chặn trên cho các nhân tử Lagrange. Cách đặt vấn đề trên đã đem lại nhiều thành quả trong thực tiễn, và Cortes và Vapnik đã nhận được giải Paris Kanellakis của ACM năm 2008 cho đóng góp này.[3] Các hàm phạt phi tuyến cũng được dùng, đặc biệt là để giảm tác động của các trường hợp ngoại lệ, mặc khác nếu không lựa chọn hàm phạt cẩn thận thì bài toán trở thành không lồi, và thienmaonline.vnệc tìm lời giải tối ưu toàn cục thường là rất khó.

Xem thêm

In situ adaptive tabulation Máy hạt nhân Predictive analytics Relevance vector machine, Một mô hình máy hạt nhân thưa xác suất có dạnghàm số giống như SVM. Tối ưu hóa nhỏ nhất tuần tự

Ghi chú

Chuyên mục: Hỏi Đáp

Các câu hỏi về Svm Là Gì – Máy Vector Hỗ Trợ Support Vector Machine


Nếu có bắt kỳ câu hỏi thắc mắt nào vê Svm Là Gì – Máy Vector Hỗ Trợ Support Vector Machine hãy cho chúng mình biết nha, mõi thắt mắt hay góp ý của các bạn sẽ giúp mình nâng cao hơn hơn trong các bài sau nha <3 Bài viết Svm Là Gì - Máy Vector Hỗ Trợ Support Vector Machine ! được mình và team xem xét cũng như tổng hợp từ nhiều nguồn. Nếu thấy bài viết Svm Là Gì - Máy Vector Hỗ Trợ Support Vector Machine Cực hay ! Hay thì hãy ủng hộ team Like hoặc share. Nếu thấy bài viết Svm Là Gì - Máy Vector Hỗ Trợ Support Vector Machine rât hay ! chưa hay, hoặc cần bổ sung. Bạn góp ý giúp mình nha!!

Các Hình Ảnh Về Svm Là Gì – Máy Vector Hỗ Trợ Support Vector Machine

Svm Là Gì - Máy Vector Hỗ Trợ Support Vector Machine

Các từ khóa tìm kiếm cho bài viết #Svm #Là #Gì #Máy #Vector #Hỗ #Trợ #Support #Vector #Machine

Tham khảo tin tức về Svm Là Gì – Máy Vector Hỗ Trợ Support Vector Machine tại WikiPedia

Bạn nên tra cứu thêm thông tin chi tiết về Svm Là Gì – Máy Vector Hỗ Trợ Support Vector Machine từ web Wikipedia.◄

Tham Gia Cộng Đồng Tại

💝 Nguồn Tin tại: https://truonggiathien.com.vn/

💝 Xem Thêm Chủ Đề Liên Quan tại : https://truonggiathien.com.vn/hoi-dap/

Give a Comment