支持向量机分类算法

杨利霞

支持向量机分类算法
5 w! X6 g( R. w6 o# Y2 m; m9 O8 H( G( }
🚀 优质资源分享 🚀
$ j; N6 J, D) \9 s# m学习路线指引（点击解锁）        知识定位        人群定位
" c- L& D% ^$ q( S9 [🧡 Python实战微信订餐小程序 🧡        进阶级        本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。
&#128155ython量化交易实战💛        入门级        手把手带你打造一个易扩展、更安全、效率更高的量化交易系统
支持向量机SVM

支持向量机原理

1.寻求最有分类边界
, m: l9 M% T' V0 _3 b
正确：对大部分样本可以正确的划分类别
; {5 Y: d+ y+ x2 w
泛化：最大化支持向量间距

公平：与支持向量等距

2 E" `5 j' a4 K# ^简单：线性、直线或平面，分割超平面

4 t# k! d7 j+ ?8 `2.基于核函数的生维变换
, @% H  \1 X) k) U& G; o3 {
9 @' o! z' B, u8 x' U通过名为核函数的特征变换，增加新的特征，使得低维度的线性不可分问题变为高维度空间中线性可分问题。
5 a$ c' o6 O& [( O+ `. Z
2 J2 u0 }5 I6 E7 y: d3 E一、引论

+ m0 r3 g6 l! p9 k/ b9 j7 c* J0 z使用SVM支持向量机一般用于分类，得到低错误率的结果。SVM能够对训练集意外的数据点做出很好的分类决策。那么首先我们应该从数据层面上去看SVM到底是如何做决策的，这里来看这样一串数据集集合在二维平面坐标系上描绘的图：
* S3 l, @: s9 K+ F9 v


, t8 W& p* \1 k+ m# V现在我们需要考虑，是否能够画出一条直线将圆形点和星星点分开。像first第一张图片来看，圆点和星点就分的很开，很容易就可以在图中画出一条直线将两组数据分开。而看第二张图片，圆点和星点几乎都聚合在一起，要区分的话十分困难。

我们要划线将他们区分开来的话，有有无数条可以画，但是我们难以找到一条最好区分度最高的线条将它们几乎完全区分。那么在此我们需要了解两个关于数据集的基本概念：

二、理论铺垫

- D: P* O& s7 `+ i  k3 T线性可分性（linear separability）
' ^- B3 A( J- S( f) X8 K9 Q


而对机器学习来说，涉及的多是高维空间（多维度）的数据分类，高维空间的SVM，即为超平面。机器学习的最终目的就是要找到最合适的（也即最优的）一个分类超平面（Hyper plane），从而应用这个最优分类超平面将特征数据很好地区分为两类。
2 W& J/ |  E3 U( e9 O


( J4 l5 i  U' n决策边界

SVM是一种优化的分类算法，其动机是寻找一个最佳的决策边界，使得从决策边界与各组数据之间存在margin，并且需要使各侧的margin最大化。那么这个决策边界就是不同类之间的界限。

9 q; C& k  l8 u
3 H# y8 N! o; o9 t% H) I! P: w8 c
' P, r) T$ Q0 K3 _4 `9 j. Q8 \总而言之：在具有两个类的统计分类问题中，决策边界或决策表面是超平面，其将基础向量空间划分为两个集合，一个集合。 分类器将决策边界一侧的所有点分类为属于一个类，而将另一侧的所有点分类为属于另一个类。

支持向量（support vector）
" I! h1 l+ U0 R% E0 [3 D/ H: Z" h- p
在了解了超平面和决策边界我们发现SVM的核心任务是找到一个超平面作为决策边界。那么满足该条件的决策边界实际上构造了2个平行的超平面作为间隔边界以判别样本的分类：


0 O% C% @' _0 W3 \4 w4 o* C


核方法
! u: P: V2 U" S7 A7 l6 o5 {
- K  q3 j% I& @) B5 \- }  V7 U
4 a% c2 e9 B! J( y1 l


以回避内积的显式计算。
- c/ n/ O) t5 z6 q
常见的核函数：
- T4 V/ g/ V8 B; q) E. ^; ~
: ?) i5 i. _4 g0 }
  O+ g2 n8 ~0 T( i7 N+ z9 ?
kernel : {'linear', 'poly', 'rbf', 'sigmoid', 'precomputed'}, default='rbf'
4 f. b  }3 `, ~1 H1 W1
4 k7 y0 ?6 W% ]# e- f0 x当多项式核的阶为1时，其被称为线性核，对应的非线性分类器退化为线性分类器。RBF核也被称为高斯核（Gaussian kernel），其对应的映射函数将样本空间映射至无限维空间。

SMO序列最小优化算法


$ p) z/ a* @  A8 [8 j0 u! v4 N, K

) D3 E# }5 y  I$ |5 O( u

: d8 d$ r, A- Q4 G% B
三、Python sklearn代码实现：
; E; g7 |, i. |" }6 Z
4 _- }$ @% g: B9 [) {sklearn.svm.SVC****语法格式为：
# G+ R4 h+ v8 w; I3 C1 G
9 H6 p2 f. M5 l) y, b9 }class sklearn.svm.SVC(  *,
3 W8 ~6 }6 E9 @; _) M# l C=1.0,
6 k1 D3 g* _7 G) I kernel='rbf',
( ^% ~) h$ e* m0 {3 k degree=3,
gamma='scale',
7 \+ _& q/ w3 W& N" L% B coef0=0.0,
shrinking=True,
9 g$ [$ X, I& `: i2 Q" ]( C, m probability=False,
tol=0.001,
  Z% @4 }6 p' b8 z! s! O cache\_size=200,
% c3 Z+ u2 i$ P2 p: }3 x- \ class\_weight=None,
& q6 ^0 ^9 @6 d! P; G! a/ y! H verbose=False,
) p' k* p/ w4 k/ f7 T4 J  Q max\_iter=- 1,
decision\_function\_shape='ovr',
" h2 F* K( A# b3 h$ O& A7 @ break\_ties=False,
3 e# V0 i* f" s: U& U random\_state=None)

1
, S" T: e, F% p$ S2
3
1 P' f$ m0 I5 W' d8 {4
: X$ f1 c2 l8 I5
2 t, S* n3 f- A3 p6
7
8
$ H7 w2 e, C  _. B. ]% A+ R9
10
7 ?6 C0 F8 c- M11
2 t$ K, S4 H  N" v12
* C" N8 C% N* {1 z" t$ \13
14
15
16
基于鸢尾花数据的实现及解释
6 G: }" L8 y- e& q+ j0 G
- r' v3 s% R# y* A7 R4 J( U代码如下：

1 # 导入模块
2 import numpy as np
3 import matplotlib.pyplot as plt
4 from sklearn import svm, datasets
5 from sklearn.model\_selection import train\_test\_split
6
7 # 鸢尾花数据
3 E7 @3 Y9 J. |% m/ s$ q7 P 8 iris = datasets.load\_iris()         #原始数据
9 feature = iris.data[:, :2] # 为便于绘图仅选择2个特征（根据前两列数据和结果进行分类）
10 target = iris.target
; y$ ^, c- z; O. j  a11
12 #数组分组训练数据和测试数据
; A$ R- D* w3 [9 i0 p/ M3 X13 x\_train,x\_test,y\_train,y\_test=train\_test\_split(feature,target,test\_size=0.2,random\_state=2020)
14
15 # 测试样本（绘制分类区域）,我们数据选了两列即就是两个特征，所以这里有xlist1，xlist2
1 }" h: _+ {. u16 xlist1 = np.linspace(x\_train[:, 0].min(), x\_t
————————————————
# ^4 G6 y4 {0 r' {8 A2 P! m) ?( o7 `$ V版权声明：本文为CSDN博主「qq_43479892」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_43479892/article/details/126811791
9 g" o  e3 @; z: ^# g& e