支持向量机分类算法

杨利霞

支持向量机分类算法
" y. T% O6 G, Q6 `% q' l
🚀 优质资源分享 🚀
0 l! X) Y) Q& Q) F( Q2 B; x学习路线指引（点击解锁）        知识定位        人群定位
🧡 Python实战微信订餐小程序 🧡        进阶级        本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。
. o0 k, `; h6 `3 S; K+ j+ x9 R  A&#128155ython量化交易实战💛        入门级        手把手带你打造一个易扩展、更安全、效率更高的量化交易系统
4 h* Z1 j5 ~; G) ~" x+ M7 q8 H支持向量机SVM

支持向量机原理
8 f' r; Y# Y2 t. B+ C. {* P
1.寻求最有分类边界

正确：对大部分样本可以正确的划分类别
+ K( ?/ j: `4 u$ F8 f( Q
泛化：最大化支持向量间距

) }& z" G% Z' k2 _公平：与支持向量等距
3 G) o& w4 T- Y9 c0 k& ^/ _3 H- u
简单：线性、直线或平面，分割超平面

9 n: b7 z! `# ?" d8 S: `1 m0 `2.基于核函数的生维变换
$ @( ^  s* C# X6 [- c4 B" Y
通过名为核函数的特征变换，增加新的特征，使得低维度的线性不可分问题变为高维度空间中线性可分问题。
5 z( @* b: t) z$ C: n- }
一、引论

使用SVM支持向量机一般用于分类，得到低错误率的结果。SVM能够对训练集意外的数据点做出很好的分类决策。那么首先我们应该从数据层面上去看SVM到底是如何做决策的，这里来看这样一串数据集集合在二维平面坐标系上描绘的图：
  _2 @& t0 o1 @* K* ^) r. q, U

. m& Y& _' |+ z
2 ^9 \4 o' i1 `5 M* V$ I" K现在我们需要考虑，是否能够画出一条直线将圆形点和星星点分开。像first第一张图片来看，圆点和星点就分的很开，很容易就可以在图中画出一条直线将两组数据分开。而看第二张图片，圆点和星点几乎都聚合在一起，要区分的话十分困难。
% l4 v+ `; {/ b* N7 Z
我们要划线将他们区分开来的话，有有无数条可以画，但是我们难以找到一条最好区分度最高的线条将它们几乎完全区分。那么在此我们需要了解两个关于数据集的基本概念：

2 ?- @/ g( e6 J) Z/ Y+ i; y# Z二、理论铺垫

+ u5 ]  C+ A& r. `5 o6 p线性可分性（linear separability）
% f, @' u6 Y# z8 S5 z# B% Y1 C

2 t! ^% Q. q1 o
而对机器学习来说，涉及的多是高维空间（多维度）的数据分类，高维空间的SVM，即为超平面。机器学习的最终目的就是要找到最合适的（也即最优的）一个分类超平面（Hyper plane），从而应用这个最优分类超平面将特征数据很好地区分为两类。
8 ]1 w; F8 {) d, K4 T" a

! K7 `" g2 H3 S8 U( o% h) w  M
& _% Z0 R3 z' ^6 w决策边界

SVM是一种优化的分类算法，其动机是寻找一个最佳的决策边界，使得从决策边界与各组数据之间存在margin，并且需要使各侧的margin最大化。那么这个决策边界就是不同类之间的界限。
; t$ ^! }. O, ^& a4 ^
( W5 g6 ~1 w& j3 k% J: x
) Q5 A" `, E1 F4 u- r7 M7 g: m. X
总而言之：在具有两个类的统计分类问题中，决策边界或决策表面是超平面，其将基础向量空间划分为两个集合，一个集合。 分类器将决策边界一侧的所有点分类为属于一个类，而将另一侧的所有点分类为属于另一个类。
  j$ W- y: o+ T/ U  I7 H! y
支持向量（support vector）
' _' d5 s" {/ K* a
在了解了超平面和决策边界我们发现SVM的核心任务是找到一个超平面作为决策边界。那么满足该条件的决策边界实际上构造了2个平行的超平面作为间隔边界以判别样本的分类：


# w: M+ j  P% l


核方法
5 N2 s. E. |" P
7 e, j' [$ d+ ?1 k# g! q* [


' G' [  O: K& v9 U# J( u
+ A% K- L) h& H- o* b5 o  H( X以回避内积的显式计算。

常见的核函数：


3 s& N! T* T6 E
kernel : {'linear', 'poly', 'rbf', 'sigmoid', 'precomputed'}, default='rbf'
1
当多项式核的阶为1时，其被称为线性核，对应的非线性分类器退化为线性分类器。RBF核也被称为高斯核（Gaussian kernel），其对应的映射函数将样本空间映射至无限维空间。

; z# o% |3 H' Q# Z2 [& w- J; B# JSMO序列最小优化算法


2 I6 m& D9 n" A' c) K
. s. m" m% P) m3 j. {) o
1 p2 z7 w+ @4 T$ x$ A3 o

- i- K) j) R6 ~
8 ?6 u: m/ x, n. l- I: \1 ^1 o三、Python sklearn代码实现：
1 v, j+ g' e( n9 J
6 s- @! f( A& J, Z. P# w5 M1 j7 ysklearn.svm.SVC****语法格式为：

class sklearn.svm.SVC(  *,
8 P( M( b) v. M. d! M C=1.0,
1 s" S6 \1 s) q# x kernel='rbf',
degree=3,
gamma='scale',
coef0=0.0,
shrinking=True,
probability=False,
' c- x) }- A/ l2 N) Z tol=0.001,
6 ~5 R8 o7 O! e! z1 ]( }* L# C cache\_size=200,
class\_weight=None,
verbose=False,
max\_iter=- 1,
9 G8 v8 D2 x4 c5 t: t4 D2 g decision\_function\_shape='ovr',
- K( x1 q* p& o/ g break\_ties=False,
+ Q4 Y" ]/ X4 s4 h' ~ random\_state=None)

, R) j' B0 E& T% o* z- p+ I1
! a% D& J1 N# G# _+ D2
5 v6 A' M5 K; @8 s( Y3
4
3 O, o/ y( A/ `/ o0 T5
6
7
8
' n9 z+ b' a/ Q& b9
10
11
12
13
0 R, X5 z4 F2 v! D) ?4 p5 e14
9 T. m* T- f5 n5 o15
16
$ S. h0 z( I0 c% S基于鸢尾花数据的实现及解释
2 D8 s- e, o) s9 l" x
代码如下：
8 a+ _2 |) \  e2 o3 Q
. J5 |( ~2 o: t2 w7 ^7 I 1 # 导入模块
! l2 }) f- C1 o! H! @- \" o 2 import numpy as np
  ^, L; r0 f& o 3 import matplotlib.pyplot as plt
4 from sklearn import svm, datasets
6 Q4 C! U6 K& f6 N1 @% L0 [ 5 from sklearn.model\_selection import train\_test\_split
$ C' X0 B5 n7 y; Y/ G 6
4 K. K2 g! t: F% @) k3 \$ L. `& T 7 # 鸢尾花数据
8 iris = datasets.load\_iris()         #原始数据
* @( y1 m+ ~+ P, }; w9 n2 M. e4 c* d 9 feature = iris.data[:, :2] # 为便于绘图仅选择2个特征（根据前两列数据和结果进行分类）
10 target = iris.target
11
12 #数组分组训练数据和测试数据
13 x\_train,x\_test,y\_train,y\_test=train\_test\_split(feature,target,test\_size=0.2,random\_state=2020)
; }& V) O$ j+ L+ R' \% a14
15 # 测试样本（绘制分类区域）,我们数据选了两列即就是两个特征，所以这里有xlist1，xlist2
1 Q6 f+ j7 T6 q( \" U8 y  j8 x16 xlist1 = np.linspace(x\_train[:, 0].min(), x\_t
8 ], O2 b# L, k) S( e————————————————
版权声明：本文为CSDN博主「qq_43479892」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_43479892/article/details/126811791
! D6 }* j* \# a+ G4 l, p" u7 w) i
! z/ w$ D. E9 j8 {: l4 X, P2 {
* E4 I0 w4 G. m5 Q+ G