3 ]: m# z3 b' S( v/ K$ o4 \) ^+ b i支持向量机原理( j0 x3 j8 x% P& V
6 s2 Q8 p& p$ o3 z3 ]: w1.寻求最有分类边界 9 F, D R9 c" G/ T( x+ a2 X $ f& u8 R: C$ v正确:对大部分样本可以正确的划分类别 # x4 x, z9 M9 h- \/ S# |+ |! `7 a; P9 C2 P* ]
泛化:最大化支持向量间距/ A: c) l6 S5 O) @/ A: f8 ^
+ ~2 m( N% z3 G4 p, Z* G
公平:与支持向量等距4 H" c0 d6 `/ d* l7 a# A
4 u( ?) J3 g1 c+ j& p
简单:线性、直线或平面,分割超平面 ' L8 l) s) u$ J. c W$ Z; u J4 G% y
2.基于核函数的生维变换# W1 N6 K V4 B" C$ ]" |5 B. m
: ]. q+ g x: v$ s5 r& j. g; d通过名为核函数的特征变换,增加新的特征,使得低维度的线性不可分问题变为高维度空间中线性可分问题。" c, t" u. [4 q" w; H1 L4 J9 V
" V. g1 n; D- Z; M" d1 S4 c
一、引论 5 \" L8 o$ ^/ U2 V ( x- }. p/ L) f使用SVM支持向量机一般用于分类,得到低错误率的结果。SVM能够对训练集意外的数据点做出很好的分类决策。那么首先我们应该从数据层面上去看SVM到底是如何做决策的,这里来看这样一串数据集集合在二维平面坐标系上描绘的图:' P: f0 ~' Z' O1 w& C \
+ {# q* u. y c% a Q u K% m1 Z, H: E! Y3 z5 N% J! E 1 [6 K9 a0 S1 B T; }现在我们需要考虑,是否能够画出一条直线将圆形点和星星点分开。像first第一张图片来看,圆点和星点就分的很开,很容易就可以在图中画出一条直线将两组数据分开。而看第二张图片,圆点和星点几乎都聚合在一起,要区分的话十分困难。 * S' c6 U/ R+ l4 l. y. X9 R % Q" \/ I2 v$ m& L我们要划线将他们区分开来的话,有有无数条可以画,但是我们难以找到一条最好区分度最高的线条将它们几乎完全区分。那么在此我们需要了解两个关于数据集的基本概念: 4 v& L' [- o8 M# a3 N" E ( t4 a/ n. X! S; |4 ?二、理论铺垫 8 j& w8 W3 g! G( G - M0 \% p0 S) A; W线性可分性(linear separability)3 j. s9 R! A. z+ U