Python机器学习-多元分类的5种模型

杨利霞

; g- _- \* M. CPython机器学习-多元分类的5种模型

& ^, a$ s2 }  s最近上了些机器学习的课程，于是想透过Kaggle资料集来练习整个资料科学专案的流程，在模型训练阶段，虽然听过许多分类模型，但不是很了解其各别的优缺点与适合的使用时机，所以想来整理一篇文章，统整上课学习与网路资料，作为后续专案的优化方向！
( j3 d) v. c0 s% j, q* T
+ z  \- w- p, t0 @" U2 F6 t首先，机器学习主要分为「监督式学习」与「非监督式学习」，两者的差异在于资料是否有「标签」。
. S( B/ w3 Y" ~
监督式学习(Supervised Learning)：给予「有标签」的资料，举例来说：给机器一堆苹果和橘子的照片，并说明哪些是苹果、哪些是橘子，再拿一张新的照片询问机器这是苹果还是橘子，而监督式学习又可分为回归(Regression)和分类(Classification)。

非监督式学习(Unsupervised Learning)：给予「无标签」的资料，让机器找出潜在的规则，举例来说：给予机器一堆苹果和橘子的照片，但没有告诉机器这些照片各别是哪种水果，让机器自行找到资料间的相似性，而非监督式学习又可分为分群(Clustering)和降维(Dimension Reduction)。
/ F4 R4 N( d% f7 E# \1 q  t2 O
这篇文章会以监督式学习中的分类模型为主。
; \; i( k  v/ x7 w4 s6 J
一、逻辑回归(Logistic Regression)
逻辑回归是个二元分类(Binary Classification)的模型，并有其对应的机率值，举例：明天会下雨的机率有90%。
8 C) |$ Y$ k7 E  |& w1 h1 y/ s
" S& [8 J  X- }0 ^基本概念是利用线性回归线(Linear Regression Line)，将资料分为A/B两类，再透过Sigmoid Function (or Logistic Function) 输出A类别的机率值(0~1)，若机率>0.5则判断为A类别，因为是二元分类，所以当机率<0.5则被归类为B类别。
, G7 K- R$ V4 t9 J5 A" I) i! R
若需处理多元分类问题，有两种方法：
1 b) b1 r# s- p# D7 U1. One versus Rest (or One versus All)：将每个分类与其他剩余的资料做比较，若有N个类别，就需要N个二元分类器。以下方图例来说明，若有类别1~3，每次各使用一个类别与剩余的两个类别作二元分类后，会得到三个分类器，预测时把资料放到三个分类器中，看哪个分类器的分数较高，就判断为该类别。
+ w  M0 p5 [6 T6 i
One versus Rest Example (Source from Internet)
; y6 z# S& U/ w- L9 J7 v) q
2. One versus One：每次选择两个类别做分类，若有N个类别，就会有N*(N-1)/2个分类器，将每次分类的结果做投票，最后判断为票数最高的那个类别。举下方图例来说，有三个类别，会有三组分类器，最后新资料会判断为票数较高的类别1。
! C8 i- ~: z' Y- i1 o" L
One versus One Example (Source from Internet)
8 _9 G9 z9 Q- I0 i# ~
5 [/ e+ ]. E& q4 K7 i* nLogistic Regression的优点：
◆ 资料线性可分(包含在高维度空间找到linear plane)
◆ 除了分类，也可以得到A/B两类的机率
2 Q* `3 a- ~  s0 J7 B◆ 执行速度较快

Logistic Regression的缺点：
6 b1 i7 ]1 p0 g$ }  E◆ 线性回归线的切法可能不够漂亮
4 h5 l/ H2 q2 {" z" u' p# j0 I  U◆ 不能很好地处理大量、多类特征

二、 支持向量机( 支持向量机，SVM）
9 L8 R2 G2 @) t8 s支持向量机(Support Vector Machine)是在寻找一个超平面(Hyper-plane)来做分类，并使两个类别之间的边界距离最大化(会忽略异常点Outlier)。

' _. ~8 k; Q4 Z' ]2 T; R' ~5 ESVM也可使用于非线性分类(如下图B)，透过Kernels functions将低维空间转换为高维空间，让资料可以在高维空间被线性分类。想像红色球的重量比蓝色球还重，在平面上一拍，让球往上弹，重量重的红色球会较快落下，在立体空间就可以找出个平面来切分红色和蓝色球。

$ Y/ r3 Q& t: }! b' L% ~# USupport Vector Machine Example (Source from Internet)
% h2 t( ?- l3 D8 s+ X
9 F( Q+ o/ s8 x' e: G& l- U  g) {; VSVM的优点：
, p0 T9 t( F0 G  c; }; C. }. N" X◆ 切出来的线或平面很漂亮，拥有最大边界距离(margin)
. N# M! `4 Y. f. N  D, v$ a# z( q; R◆ 在高维空间可以使用(即使维度数大于样本数也有效)
2 u" \7 q! A  n. O( Z◆ 在资料量较小、非线性、高维度与局部最小点等情况下有相对的优势

4 \3 `; v7 `2 }7 D  |% I8 fSVM的缺点：
& |2 E1 [. ]3 N! x* F! J$ F" g◆ 当资料太多时，所需的训练时间太长，而使效果不佳
; Q5 E& D' s% q' o, Q/ p/ m◆ 当资料集有太多noise时(如目标类别有重叠)，预测的效果也会不好
/ l$ m1 e. E$ o◆ SVM不会直接提供机率的估计值
, q3 @: P" U6 Y3 x& {
三、决策树(Decision Tree)
" t7 v5 T) L  }透过模型预测可以得知某个方程式来做分类，但方程式可能很难懂或很难解释，这时需要决策树(Decision Tree)，它的准确性可能没有很精准，但「解释性」高，所以决策树是一种条件式的分类器，以树状结构来处理分类问题。
* b' O4 \% _% w  ^0 x: V
建构决策树的方式，是将整个资料集依据某个特征分为数个子资料集，再从子资料集依据某个特征，分为更小的资料集，直到子资料集都是同一个类别的资料，而该如何分类则是透过资讯熵(Entropy)和资讯增益(Information Gain)来决定。

" {6 \5 p) F" l  Z/ B# |* K1. 资讯熵(Entropy)：用来衡量资料的不纯度，若资料为同一类Entropy=0，若资料「等分」成不同类别Entropy=1。
+ v' U( N9 b- ^7 q* F/ M6 V0 \
2. 资讯增益(Information Gain)：用来衡量某个特征对于资料分类的能力，而建构决策树就是要找到具有最高资讯增益的分类法(得到纯度最高的分支)。简单来说，原本的资料集(High Entropy=E1)，经过分类，得到多个资料集(Low Entropy=E2)，其中的E1-E2=Information Gain。
  B/ @8 h- [3 {2 J! j9 f; k1 X) I2 ?
Decision Tree的优点：
: M( I7 b) b+ K. P3 e◆ 决策树容易理解和解释
◆ 资料分类不需要太多的计算
1 w) W# o! D5 z9 F3 q) m' Y◆ 可以处理连续值和离散值
◆ 资料准备相对比较容易
(不需要做特征标准化、可以处理合理的缺失值、不受异常值的影响)
◆ 因为解释性高，能用在决策分析中，找到一个最可能达到目标的策略

Decision Tree的缺点： **
) Q: K% ?1 Q7 ]+ p5 `- O1 s**◆ 容易过度拟合(Over-fitting)
◆ 若类别太多，但资料量太少，效果比较差
& ?1 p9 S' V4 o; E7 G
4 a. V5 j6 K4 a) L. z" F" o4 }四、随机森林(Random Forest)
) D1 k7 X  _' W. K$ @9 h; ~- J: E随机森林，是取部分特征与部分资料产生决策树，每重复此步骤，会再产生一颗决策树，最后再进行多数决投票产生最终结果。
4 u. R# i. ?9 p1 i
$ V# @# \8 E  D' a随机森林可以降低决策树有过拟合的问题，因为最终结果是对所有的决策树结果进行投票，进而消除了单棵决策树的偏差。
+ x3 Q+ X6 X; E* ^; c
Random Forest Example (Source from Internet)
% b/ I' a$ r& K7 d/ ]8 b" D" }
Random Forest的优点：
◆ 随机森林的决策树够多，分类器就不会过拟合
◆ 每棵树会用到的资料和特征是随机决定的
◆ 训练或预测时每棵树都能平行化的运行
6 I, R  p8 ^* m3 F+ K
Random Forest的缺点： **
**◆ 当随机森林中的决策树个数很多时，训练时需要的空间和时间会比较大
! T; C; S' ]! |9 N1 k
! C. V" [2 ]4 K* K) U! s五、极限梯度提升(eXtreme Gradient Boosting, XGBoost)
其实会想写这篇文章，是因为在使用Kaggle资料做练习时，发现网站上有需多人使用XGBClassifier做分类预测，因此想进一步了解这个模型。
+ f# u4 A* T+ l+ K7 K0 v
XGBoost的两个主要概念：
- B8 t  s* z7 G; H# F
* M& W: F0 N2 J8 M" w$ d& K8 ]1. 回归树(Classification and Regression Tree, CART)
回归树拥有和决策树一样的分支方式，并在各个叶端(Leaf)有一个预测分数(Prediction Score)，且回归树是可以做集成的，也就是把资料丢到所有树中，把得到的预测分数加总。
2 b& R4 c4 H9 I
+ p  D: l0 G( k1 O2. 梯度提升
先以常数作为预测，在之后每次预测时新加入一个学习参数，要找出最佳参数，是在每次迭代中，使用贪婪演算法计算Gain，并找出最佳分支做新增，并对负Gain的分支做删减(详细请参考文章1说明)。换句话说，就是「希望后面生成的树，能够修正前面一棵树犯错的地方」。
, }$ T0 E: A' s7 U5 g0 {
Random Forest 和XGBoost 差异如下图例：
Random Forest是由多个决策树所组成，但最终分类结果并未经过加权平均；而XGBoost是由连续的决策树所建构，从错误的分类中学习，并在后续的决策树中增加更高的权重。
0 T; \( _0 N+ V. V% a$ J
Random Forest and XGBoost Difference (Reference: 參考文章3)
6 ]1 F/ H/ H  e/ P4 k
) {, L$ x/ J4 ^/ ]& o8 d6 ]XGBoost的优点：
◆ 在损失函数中加入正则项，控制模型的复杂度，防止过拟合现象
◆ 在每次迭代后，会将叶子节点的权重乘上该系数，来削弱每棵树的影响

( W" D' p2 f. N: O' p( [+ g0 sXGBoost的缺点： **
$ H4 w; k$ c* `; r; |**◆ 空间复杂度过高，需要储存特征值和特征对应样本的梯度统计值
; T" d, e+ h  g9 V7 [- H————————————————
8 r! w& r! |# b2 l$ t! z9 V" m版权声明：本文为CSDN博主「wuxiaopengnihao1」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
: W% I0 X: |! b" O6 v- V* I; t原文链接：https://blog.csdn.net/wuxiaopengnihao1/article/details/126686410
1 Z9 ~  e5 M! ~9 O  G
- x. {: R* i# E+ G: v. ~% P7 t4 q
, u. N; [: Q4 e! |. b