支持向量机分类算法

杨利霞

支持向量机分类算法

. h& \/ {6 L+ F- b1 O' ^. S' V; m🚀 优质资源分享 🚀
学习路线指引（点击解锁）        知识定位        人群定位
🧡 Python实战微信订餐小程序 🧡        进阶级        本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。
' E; ]+ M* h; `&#128155ython量化交易实战💛        入门级        手把手带你打造一个易扩展、更安全、效率更高的量化交易系统
支持向量机SVM
  H8 ?* X, S, F+ h. C- F
支持向量机原理
) O3 B( h3 P  I5 X" }
1.寻求最有分类边界

正确：对大部分样本可以正确的划分类别
, R  G: n6 e' H9 v& _6 @' ]
泛化：最大化支持向量间距

公平：与支持向量等距
) w+ S5 k+ o5 z' y5 a5 T
简单：线性、直线或平面，分割超平面
% e& M* @6 i3 s# G2 {+ B7 b
& x/ O7 _% M, c) m1 x' P- Y" `/ ^2.基于核函数的生维变换
7 h5 e( ^  z, p; W! o: Z3 Y0 u
通过名为核函数的特征变换，增加新的特征，使得低维度的线性不可分问题变为高维度空间中线性可分问题。

一、引论
- f' ^. o9 Q5 O$ d9 n% h
! [# M+ V0 b+ D+ `* b" _  K使用SVM支持向量机一般用于分类，得到低错误率的结果。SVM能够对训练集意外的数据点做出很好的分类决策。那么首先我们应该从数据层面上去看SVM到底是如何做决策的，这里来看这样一串数据集集合在二维平面坐标系上描绘的图：
( ~$ U( }- I9 d8 e& [) Z


" \7 Q- E, l  U8 P+ I" o现在我们需要考虑，是否能够画出一条直线将圆形点和星星点分开。像first第一张图片来看，圆点和星点就分的很开，很容易就可以在图中画出一条直线将两组数据分开。而看第二张图片，圆点和星点几乎都聚合在一起，要区分的话十分困难。

我们要划线将他们区分开来的话，有有无数条可以画，但是我们难以找到一条最好区分度最高的线条将它们几乎完全区分。那么在此我们需要了解两个关于数据集的基本概念：
2 A  I& o( y5 o5 G6 Z
4 `# X- }4 o+ _二、理论铺垫
& a) x9 }& Y7 n. T% U( F2 c9 G* x
9 o4 E5 E: a  K线性可分性（linear separability）



而对机器学习来说，涉及的多是高维空间（多维度）的数据分类，高维空间的SVM，即为超平面。机器学习的最终目的就是要找到最合适的（也即最优的）一个分类超平面（Hyper plane），从而应用这个最优分类超平面将特征数据很好地区分为两类。



5 s$ p; |3 ?, m1 U决策边界

SVM是一种优化的分类算法，其动机是寻找一个最佳的决策边界，使得从决策边界与各组数据之间存在margin，并且需要使各侧的margin最大化。那么这个决策边界就是不同类之间的界限。

1 X1 U+ H. P1 r7 }+ g+ Z6 \) f& z

0 c% K! Z7 _& e: L# P$ ^- O8 f: Z1 I4 x总而言之：在具有两个类的统计分类问题中，决策边界或决策表面是超平面，其将基础向量空间划分为两个集合，一个集合。 分类器将决策边界一侧的所有点分类为属于一个类，而将另一侧的所有点分类为属于另一个类。

0 U$ n, R; k+ e. p支持向量（support vector）
. f$ j4 @3 B+ f3 U
' \, J+ k" c$ m7 T! B* [: k, C$ {  ]在了解了超平面和决策边界我们发现SVM的核心任务是找到一个超平面作为决策边界。那么满足该条件的决策边界实际上构造了2个平行的超平面作为间隔边界以判别样本的分类：
% x" E1 j! F; o: a+ D$ C
& c  [  z6 N  p/ l( b



核方法


! ]1 y  V9 V7 a" q
" z6 m4 a  I1 L# w* R- t2 N' z" M

以回避内积的显式计算。
( e; U$ G( d/ o
7 L- d  u3 L8 p, Y1 `2 K$ ]# A9 ~常见的核函数：

3 p8 Z$ d$ l$ v: P: N0 q
9 ~6 z1 W3 x% P2 B4 h& z
kernel : {'linear', 'poly', 'rbf', 'sigmoid', 'precomputed'}, default='rbf'
1
8 B( v4 M* r: D当多项式核的阶为1时，其被称为线性核，对应的非线性分类器退化为线性分类器。RBF核也被称为高斯核（Gaussian kernel），其对应的映射函数将样本空间映射至无限维空间。
% s( ?- A8 G, Y: t4 \
SMO序列最小优化算法


: ~% n/ O+ E7 h( J

# w8 J9 o4 ^* z8 X9 O

  j7 q  S: m( G" m& t
三、Python sklearn代码实现：
2 i" v, j: D) u4 L! b2 R
# e  V! `( P; Jsklearn.svm.SVC****语法格式为：

class sklearn.svm.SVC(  *,
C=1.0,
kernel='rbf',
" Y  F# Z$ k0 o) U- m degree=3,
gamma='scale',
coef0=0.0,
shrinking=True,
probability=False,
tol=0.001,
1 `0 ]; p" f% [6 h3 l: r9 X cache\_size=200,
1 G$ x5 J! [$ u$ D9 f4 v$ C$ K class\_weight=None,
) |7 Z7 N2 j+ \2 W0 ^ verbose=False,
: K' f2 A* b: _& d, ^ max\_iter=- 1,
8 i4 U/ ~! E  X1 \, n* y4 [- Y decision\_function\_shape='ovr',
break\_ties=False,
  n. ~- v! ~. Y0 o random\_state=None)

1
2
" Q; e6 R4 _( A5 V; {, Q3
4
# }5 Z3 N7 e; d6 D5
6
8 r& w& ~) c* n4 d1 J  I* v7
8
9
+ H  C) |- R/ m1 I+ j- X+ Y6 K- s; d( e10
11
  k8 a6 p3 s% W* z8 l12
9 z$ }+ d3 K9 j( `- d$ a' R. T) }13
14
15
# t! ]1 q: t' Z$ L16
' q5 q! V: o0 t% F$ R- L6 V基于鸢尾花数据的实现及解释

代码如下：
6 Z4 ?0 n+ ^  v  N, b  w9 Z
. b7 K$ Z; F- _0 Q( a% s9 n 1 # 导入模块
. u8 I. E5 G- _: o. m$ G# V 2 import numpy as np
" Y+ m, }3 V+ ]% w# h* [' q 3 import matplotlib.pyplot as plt
( y2 G8 }1 k5 {& ] 4 from sklearn import svm, datasets
1 a1 t: ~0 Q& k9 b/ P4 L4 r! J 5 from sklearn.model\_selection import train\_test\_split
6 D2 R6 ~2 @& Q9 ?3 S6 w  s 6
7 # 鸢尾花数据
3 f$ q. o: X) |! H3 {$ x6 n8 G" C: W 8 iris = datasets.load\_iris()         #原始数据
9 feature = iris.data[:, :2] # 为便于绘图仅选择2个特征（根据前两列数据和结果进行分类）
10 target = iris.target
11
12 #数组分组训练数据和测试数据
13 x\_train,x\_test,y\_train,y\_test=train\_test\_split(feature,target,test\_size=0.2,random\_state=2020)
14
% I6 n7 t5 ^& g3 A15 # 测试样本（绘制分类区域）,我们数据选了两列即就是两个特征，所以这里有xlist1，xlist2
* l4 V# }- |, u' }7 Q; E5 i16 xlist1 = np.linspace(x\_train[:, 0].min(), x\_t
————————————————
版权声明：本文为CSDN博主「qq_43479892」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
: Q$ X1 f, y0 h2 X: p2 |原文链接：https://blog.csdn.net/qq_43479892/article/details/126811791