支持向量机分类算法

杨利霞

支持向量机分类算法

9 Y. x+ M0 F, O# U🚀 优质资源分享 🚀
学习路线指引（点击解锁）        知识定位        人群定位
) |) l3 f. {! N) x1 t& P🧡 Python实战微信订餐小程序 🧡        进阶级        本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。
6 O* e) i( N. B/ u. @! \& S&#128155ython量化交易实战💛        入门级        手把手带你打造一个易扩展、更安全、效率更高的量化交易系统
* d. e, @$ O6 A- F) W( S" e' d; ~支持向量机SVM

支持向量机原理
- A. M3 y& ?1 _  z
! ^: J  m2 k  k1.寻求最有分类边界

! ]1 W# h8 C' E+ r! p7 X) _0 w正确：对大部分样本可以正确的划分类别
/ j+ V% n% u  L% c
泛化：最大化支持向量间距
2 _! }' b5 l: Q; Z" E
- q. {: \$ \, P% A公平：与支持向量等距
' K) z  x2 L/ H
+ ?* i3 o7 j. i( ^1 D简单：线性、直线或平面，分割超平面

2.基于核函数的生维变换

通过名为核函数的特征变换，增加新的特征，使得低维度的线性不可分问题变为高维度空间中线性可分问题。
6 g( O! j1 I8 }% M7 c* u$ D9 k7 r
一、引论
# ]! C$ }+ |; E6 U7 V. G
6 [  s1 ~4 j- b8 ~+ j. z5 j5 U使用SVM支持向量机一般用于分类，得到低错误率的结果。SVM能够对训练集意外的数据点做出很好的分类决策。那么首先我们应该从数据层面上去看SVM到底是如何做决策的，这里来看这样一串数据集集合在二维平面坐标系上描绘的图：
: f0 _- ]& J2 C& x6 `7 N% ?7 J5 w

4 i" @+ B; n! R6 z) S
' Y* K4 s# x9 m0 S现在我们需要考虑，是否能够画出一条直线将圆形点和星星点分开。像first第一张图片来看，圆点和星点就分的很开，很容易就可以在图中画出一条直线将两组数据分开。而看第二张图片，圆点和星点几乎都聚合在一起，要区分的话十分困难。
% e9 s& z' ]; t3 |: Z3 p( C6 s
我们要划线将他们区分开来的话，有有无数条可以画，但是我们难以找到一条最好区分度最高的线条将它们几乎完全区分。那么在此我们需要了解两个关于数据集的基本概念：
! C1 ?- c( b) m) y+ ?7 c7 Y
+ Y: m  ~) F& L/ u# n1 Z3 ?二、理论铺垫

线性可分性（linear separability）
" k4 {5 V+ }( n) }' g9 u% |" l
0 n$ z4 H# d5 K. ^' A
/ K- P, C, d' x; G6 a
而对机器学习来说，涉及的多是高维空间（多维度）的数据分类，高维空间的SVM，即为超平面。机器学习的最终目的就是要找到最合适的（也即最优的）一个分类超平面（Hyper plane），从而应用这个最优分类超平面将特征数据很好地区分为两类。
) ~" u. f+ {1 s" b) L  A
& i7 }6 Q, h( a
( B* m5 j7 u5 v0 Q' ]& a' M* w. n
1 x' z+ T5 h$ u( i- l6 I7 z决策边界

SVM是一种优化的分类算法，其动机是寻找一个最佳的决策边界，使得从决策边界与各组数据之间存在margin，并且需要使各侧的margin最大化。那么这个决策边界就是不同类之间的界限。
9 f7 _8 V6 a' C& X- ]/ {3 y
9 Z" [4 t7 j9 X2 E, L; R
2 S" y* i9 b: {! z3 n. s
) x. y6 n  A' R/ `总而言之：在具有两个类的统计分类问题中，决策边界或决策表面是超平面，其将基础向量空间划分为两个集合，一个集合。 分类器将决策边界一侧的所有点分类为属于一个类，而将另一侧的所有点分类为属于另一个类。
5 d/ X6 K$ l; w, ?' R! |
5 u; [% O4 o8 d8 @# W) k支持向量（support vector）

在了解了超平面和决策边界我们发现SVM的核心任务是找到一个超平面作为决策边界。那么满足该条件的决策边界实际上构造了2个平行的超平面作为间隔边界以判别样本的分类：
% z4 }. \- I# T; E


+ r! {3 t( r' K3 u( M

核方法



$ P! h4 M5 I1 T8 Y
$ g4 [6 b2 C6 K
! Y1 W( _5 b" j以回避内积的显式计算。
: i! c( g! Y; Y9 {; v
常见的核函数：

# [  _: T  o  G3 H; K! L

kernel : {'linear', 'poly', 'rbf', 'sigmoid', 'precomputed'}, default='rbf'
1
/ j$ l1 p) \: Z: g& w当多项式核的阶为1时，其被称为线性核，对应的非线性分类器退化为线性分类器。RBF核也被称为高斯核（Gaussian kernel），其对应的映射函数将样本空间映射至无限维空间。
$ b$ G. S# w5 q5 a: J3 G3 ~0 r
SMO序列最小优化算法
& I& ]  A' p! \/ J
, ]$ X7 ?5 a" ?2 U7 ]

7 ?/ O8 Y+ o9 v8 ~" ?
( t7 T) S5 P- R& o+ |; i; y- H

% W4 o9 Y8 t- m; R- b  d+ |( C
三、Python sklearn代码实现：
5 e& |. K8 p' r( D  y; ?; m
sklearn.svm.SVC****语法格式为：
1 Z& z8 {( l$ Y0 s$ t2 v
class sklearn.svm.SVC(  *,
. X% g& M9 p* i C=1.0,
kernel='rbf',
degree=3,
/ I8 s, J; Y( z, b6 M1 P6 D gamma='scale',
coef0=0.0,
shrinking=True,
probability=False,
tol=0.001,
; j- b, o8 I1 c$ a- ? cache\_size=200,
1 I. W( \! L: N, ^8 K4 z class\_weight=None,
; f. N3 N* z( V) a( X) L verbose=False,
max\_iter=- 1,
0 g% e( ^% \6 u( q4 w decision\_function\_shape='ovr',
break\_ties=False,
random\_state=None)

( u) q! v( l* d; R, I1
2
3
" p# `, R7 \4 ^6 }( l( C4
5
) A0 |+ {; ?- m6
7
8
9
3 p" k# z/ P: U" J2 `; U: {10
( D8 E7 o4 E5 z7 `7 Z" D11
12
13
9 N: X3 Y; _! t. G) e8 V14
  h$ S) Q3 }/ P8 J4 h8 R( F15
16
基于鸢尾花数据的实现及解释
( ?4 w3 u, `; x+ j
代码如下：

! N/ e1 {* y$ s* e5 z* t" j9 j 1 # 导入模块
2 import numpy as np
3 import matplotlib.pyplot as plt
4 from sklearn import svm, datasets
5 from sklearn.model\_selection import train\_test\_split
: ?- K) X5 r8 W" v6 K 6
6 A! w( Z" s( L; b4 D/ Q 7 # 鸢尾花数据
8 iris = datasets.load\_iris()         #原始数据
9 feature = iris.data[:, :2] # 为便于绘图仅选择2个特征（根据前两列数据和结果进行分类）
) r2 S& J- l) P: d# o: |$ M10 target = iris.target
11
) r8 T( n2 N8 M12 #数组分组训练数据和测试数据
1 o  z" p! g' P4 x; g! W6 f# x13 x\_train,x\_test,y\_train,y\_test=train\_test\_split(feature,target,test\_size=0.2,random\_state=2020)
14
15 # 测试样本（绘制分类区域）,我们数据选了两列即就是两个特征，所以这里有xlist1，xlist2
* {2 T( }% n* a3 M0 j* i( R4 M; n* t16 xlist1 = np.linspace(x\_train[:, 0].min(), x\_t
; I0 R2 i- a. w4 U2 W————————————————
版权声明：本文为CSDN博主「qq_43479892」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_43479892/article/details/126811791

# {& F% p* f+ K) J! v
. K. y1 k; _& g! ^