机器学习算法一览表

杨利霞

8 H) |# ?. G9 p3 w. \1 A机器学习算法一览表
9 z; O7 ^+ |, o5 X( p1.引言

提起笔来写这篇博客，突然有点愧疚和尴尬。愧疚的是，工作杂事多，加之懒癌严重，导致这个系列一直没有更新，向关注该系列的同学们道个歉。尴尬的是，按理说，机器学习介绍与算法一览应该放在最前面写，详细的应用建议应该在讲完机器学习常用算法之后写，突然莫名奇妙在中间插播这么一篇，好像有点打乱主线。
老话说『亡羊补牢，为时未晚』，前面开头忘讲的东西，咱在这块儿补上。我们先带着大家过一遍传统机器学习算法，基本思想和用途。把问题解决思路和方法应用建议提前到这里的想法也很简单，希望能提前给大家一些小建议，对于某些容易出错的地方也先给大家打个预防针，这样在理解后续相应机器学习算法之后，使用起来也有一定的章法。

2.机器学习算法简述

按照不同的分类标准，可以把机器学习的算法做不同的分类。

2.1 从机器学习问题角度分类

我们先从机器学习问题本身分类的角度来看，我们可以分成下列类型的算法：

• 监督学习算法
  

机器学习中有一大部分的问题属于『监督学习』的范畴，简单口语化地说明，这类问题中，给定的训练样本中，每个样本的输入xx都对应一个确定的结果yy，我们需要训练出一个模型(数学上看是一个x→yx→y的映射关系ff)，在未知的样本x′x′给定后，我们能对结果y′y′做出预测。

这里的预测结果如果是离散值(很多时候是类别类型，比如邮件分类问题中的垃圾邮件/普通邮件，比如用户会/不会购买某商品)，那么我们把它叫做分类问题(classification problem)；如果预测结果是连续值(比如房价，股票价格等等)，那么我们把它叫做回归问题(regression problem)。

有一系列的机器学习算法是用以解决监督学习问题的，比如最经典的用于分类问题的朴素贝叶斯、逻辑回归、支持向量机等等；比如说用于回归问题的线性回归等等。

• 无监督学习
  

有另外一类问题，给我们的样本并没有给出『标签/标准答案』，就是一系列的样本。而我们需要做的事情是，在一些样本中抽取出通用的规则。这叫做『无监督学习』。包括关联规则和聚类算法在内的一系列机器学习算法都属于这个范畴。

• 半监督学习
  

这类问题给出的训练数据，有一部分有标签，有一部分没有标签。我们想学习出数据组织结构的同时，也能做相应的预测。此类问题相对应的机器学习算法有自训练(Self-Training)、直推学习(Transductive Learning)、生成式模型(Generative Model)等。

总体说来，最常见是前两类问题，而对应前两类问题的一些机器学习算法如下：

2.2 从算法的功能角度分类

我们也可以从算法的共性(比如功能，运作方式)角度对机器学习算法分类。下面我们根据算法的共性去对它们归个类。不过需要注意的是，我们下面的归类方法可能对分类和回归有比较强的倾向性，而这两类问题也是最常遇到的。

2.2.1 回归算法(Regression Algorithms)

8 T+ `9 w1 ~5 u4 w0 d/ ]+ ~, y+ ~

回归算法是一种通过最小化预测值与实际结果值之间的差距，而得到输入特征之间的最佳组合方式的一类算法。对于连续值预测有线性回归等，而对于离散值/类别预测，我们也可以把逻辑回归等也视作回归算法的一种，常见的回归算法如下：

• Ordinary Least Squares Regression (OLSR)
• Linear Regression
• Logistic Regression
• Stepwise Regression
• Locally Estimated Scatterplot Smoothing (LOESS)
• Multivariate Adaptive Regression Splines (MARS)
  

2.2.2 基于实例的算法(Instance-based Algorithms)

% f, t" p% |7 C  d
这里所谓的基于实例的算法，我指的是我们最后建成的模型，对原始数据样本实例依旧有很强的依赖性。这类算法在做预测决策时，一般都是使用某类相似度准则，去比对待预测的样本和原始样本的相近度，再给出相应的预测结果。常见的基于实例的算法有：

• k-Nearest Neighbour (kNN)
• Learning Vector Quantization (LVQ)
• Self-Organizing Map (SOM)
• Locally Weighted Learning (LWL)
  & |5 p. o& X$ C

2.2.3 决策树类算法(Decision Tree Algorithms)

& C; h4 i3 v2 t7 y5 y8 Z, |. n3 V决策树类算法，会基于原始数据特征，构建一颗包含很多决策路径的树。预测阶段选择路径进行决策。常见的决策树算法包括：

• Classification and Regression Tree (CART)
• Iterative Dichotomiser 3 (ID3)
• C4.5 and C5.0 (different versions of a powerful approach)
• Chi-squared Automatic Interaction Detection (CHAID)
• M5
• Conditional Decision Trees
  4 g, f# h! N$ }) y8 T/ d- a! W' c

2.2.4 贝叶斯类算法(Bayesian Algorithms)

- E2 z- d4 b( B3 R6 D5 C* r这里说的贝叶斯类算法，指的是在分类和回归问题中，隐含使用了贝叶斯原理的算法。包括：

• Naive Bayes
• Gaussian Naive Bayes
• Multinomial Naive Bayes
• Averaged One-Dependence Estimators (AODE)
• Bayesian Belief Network (BBN)
• Bayesian Network (BN)
  + E3 ~/ U0 L9 K+ c

2.2.5 聚类算法(Clustering Algorithms)
) ?4 v  y) U6 e" x
: A, \# w7 Y  `, \聚类算法做的事情是，把输入样本聚成围绕一些中心的『数据团』，以发现数据分布结构的一些规律。常用的聚类算法包括：

• k-Means
• Hierarchical Clustering
• Expectation Maximisation (EM)
  # `0 _; h0 t; Q2 j, x" J* J

2.2.6 关联规则算法(Association Rule Learning Algorithms)

& a) P# I8 F  F8 {关联规则算法是这样一类算法：它试图抽取出，最能解释观察到的训练样本之间关联关系的规则，也就是获取一个事件和其他事件之间依赖或关联的知识，常见的关联规则算法有：

• Apriori algorithm
• Eclat algorithm
    i1 G" q; I4 U4 C

2.2.7 人工神经网络类算法(Artificial Neural Network Algorithms)
' O! V  S2 M) }. ~+ C
这是受人脑神经元工作方式启发而构造的一类算法。需要提到的一点是，我把『深度学习』单拎出来了，这里说的人工神经网络偏向于更传统的感知算法，主要包括：

• Perceptron
• Back-Propagation
• Radial Basis Function Network (RBFN)
  

2.2.8 深度学习(Deep Learning Algorithms)
( L* C% Q3 ~9 j. o2 g0 K# d8 |& C! K9 n
: L* p5 T- c8 b深度学习是近年来非常火的机器学习领域，相对于上面列的人工神经网络算法，它通常情况下，有着更深的层次和更复杂的结构。有兴趣的同学可以看看我们另一个系列机器学习与计算机视觉，最常见的深度学习算法包括：

• Deep Boltzmann Machine (DBM)
• Deep Belief Networks (DBN)
• Convolutional Neural Network (CNN)
• Stacked Auto-Encoders
  

2.2.9 降维算法(Dimensionality Reduction Algorithms)
/ v# f" v# N$ x2 x3 T" m
& A& @0 n  ~7 ?; y+ @1 @6 `' p  H4 q从某种程度上说，降维算法和聚类其实有点类似，因为它也在试图发现原始训练数据的固有结构，但是降维算法在试图，用更少的信息(更低维的信息)总结和描述出原始信息的大部分内容。
' m8 }+ w% g6 i" s2 f* X有意思的是，降维算法一般在数据的可视化，或者是降低数据计算空间有很大的作用。它作为一种机器学习的算法，很多时候用它先处理数据，再灌入别的机器学习算法学习。主要的降维算法包括：

• Principal Component Analysis (PCA)
• Principal Component Regression (PCR)
• Partial Least Squares Regression (PLSR)
• Sammon Mapping
• Multidimensional Scaling (MDS)
• Linear Discriminant Analysis (LDA)
• Mixture Discriminant Analysis (MDA)
• Quadratic Discriminant Analysis (QDA)
• Flexible Discriminant Analysis (FDA)
  

2.2.10 模型融合算法(Ensemble Algorithms)

严格意义上来说，这不算是一种机器学习算法，而更像是一种优化手段/策略，它通常是结合多个简单的弱机器学习算法，去做更可靠的决策。拿分类问题举个例，直观的理解，就是单个分类器的分类是可能出错，不可靠的，但是如果多个分类器投票，那可靠度就会高很多。常用的模型融合增强方法包括：

• Random Forest
• Boosting
• Bootstrapped Aggregation (Bagging)
• AdaBoost
• Stacked Generalization (blending)
• Gradient Boosting Machines (GBM)
• Gradient Boosted Regression Trees (GBRT)
  " D' @: g! H1 r& r. H

2.3 机器学习算法使用图谱

scikit-learn作为一个丰富的python机器学习库，实现了绝大多数机器学习的算法，有相当多的人在使用，于是我这里很无耻地把machine learning cheat sheet for sklearn搬过来了，原文可以看这里。哈哈，既然讲机器学习，我们就用机器学习的语言来解释一下，这是针对实际应用场景的各种条件限制，对scikit-learn里完成的算法构建的一颗决策树，每一组条件都是对应一条路径，能找到相对较为合适的一些解决方法，具体如下：

首先样本量如果非常少的话，其实所有的机器学习算法都没有办法从里面『学到』通用的规则和模式，so多弄点数据是王道。然后根据问题是有/无监督学习和连续值/离散值预测，分成了分类、聚类、回归和维度约减四个方法类，每个类里根据具体情况的不同，又有不同的处理方法。

3. 机器学习问题解决思路

上面带着代价走马观花过了一遍机器学习的若干算法，下面我们试着总结总结在拿到一个实际问题的时候，如果着手使用机器学习算法去解决问题，其中的一些注意点以及核心思路。主要包括以下内容：

• 拿到数据后怎么了解数据(可视化)
• 选择最贴切的机器学习算法
• 定位模型状态(过/欠拟合)以及解决方法
• 大量极的数据的特征分析与可视化
• 各种损失函数(loss function)的优缺点及如何选择
  

多说一句，这里写的这个小教程，主要是作为一个通用的建议和指导方案，你不一定要严格按照这个流程解决机器学习问题。

3.1 数据与可视化

我们先使用scikit-learn的make_classification函数来生产一份分类数据，然后模拟一下拿到实际数据后我们需要做的事情。

• 
  1 K4 O/ a1 j) I: }5 x  f) o" D# i
  - q2 m" d5 k! l3 f#numpy科学计算工具箱
  
  ( M+ W0 L9 C1 g& A1 q5 V
• 
  3 v) P& W9 @$ Z7 V; _: Z
  import numpy as np
  # ^1 A, N' P" t" f+ l: O9 v
  ; s1 K$ ?0 o2 L! k3 r
• 
  $ u+ S' }& P+ W7 U" X7 Q% V3 o
  #使用make_classification构造1000个样本，每个样本有20个feature
  
  
• 
  
  2 m: c* K4 K. [- F9 E' _from sklearn.datasets import make_classification
  
  
• 
  : m' Q1 \# _! T, m2 i
  X, y = make_classification(1000, n_features=20, n_informative=2,
  
    z4 C# ~) L3 a
• 
  
                             n_redundant=2, n_classes=2, random_state=0)
  
  ; G/ t# A. _) s! `$ H
• 
  
  2 o% D0 Q5 r5 U9 Z0 V#存为dataframe格式
  / I6 c3 l/ G  g/ N/ u
  8 v" A. @3 Z4 J; j
• 
  7 Q* X0 t9 ~: x" K  f6 @
  from pandas import DataFrame
  
  - l' P* L, `, c' ]) r* S( ~
• 
  
  % j1 j' Q! Q4 X5 \: U5 ddf = DataFrame(np.hstack((X, y[:, None])),columns = range(20) + ["class"])
  : q) x' x' e3 ^/ d" u& Q+ p: v+ f% o
  - D& a, N8 b! a+ [
  3 i1 G* H' r- ~( q9 V

我们生成了一份包含1000个分类数据样本的数据集，每个样本有20个数值特征。同时我们把数据存储至pandas中的DataFrame数据结构中。我们取前几行的数据看一眼：

df[:6]

不幸的是，肉眼看数据，尤其是维度稍微高点的时候，很有可能看花了也看不出看不出任何线索。幸运的是，我们对于图像的理解力，比数字好太多，而又有相当多的工具可以帮助我们『可视化』数据分布。

我们在处理任何数据相关的问题时，了解数据都是很有必要的，而可视化可以帮助我们更好地直观理解数据的分布和特性

数据的可视化有很多工具包可以用，比如下面我们用来做数据可视化的工具包Seaborn。最简单的可视化就是数据散列分布图和柱状图，这个可以用Seanborn的pairplot来完成。以下图中2种颜色表示2种不同的类，因为20维的可视化没有办法在平面表示，我们取出了一部分维度，两两组成pair看数据在这2个维度平面上的分布状况，代码和结果如下：

• 
  
  & E# C) B3 K5 K( l* f! ~% W& \- nimport matplotlib.pyplot as plt
  
  
• 
  
  import seaborn as sns
  
  # y. J3 N# X4 _- s3 n' G
• 
  
  #使用pairplot去看不同特征维度pair下数据的空间分布状况
  
  
• 
  
  _ = sns.pairplot(df[:50], vars=[8, 11, 12, 14, 19], hue="class", size=1.5)
  
  % u- t  y! z/ _5 }# e8 P
• 
  
  4 ~- i! V( D% n7 tplt.show()
  
  1 F3 e1 O8 E) u3 N8 z2 {
  7 t) y3 m6 O$ l) ~3 ]

/ f+ k' ^: O- [, G( j: X& T# F7 s

我们从散列图和柱状图上可以看出，确实有些维度的特征相对其他维度，有更好的区分度，比如第11维和14维看起来很有区分度。这两个维度上看，数据点是近似线性可分的。而12维和19维似乎呈现出了很高的负相关性。接下来我们用Seanborn中的corrplot来计算计算各维度特征之间(以及最后的类别)的相关性。代码和结果图如下：

• 
  
  ( }" d  V; T8 B) D( |" r$ dimport matplotlib.pyplot as plt
  3 ~3 q  S2 W. q
  % w* S/ S( I. B1 M$ y: O+ h
• 
  
  $ @# ^- v2 m2 Q  R7 s3 Dplt.figure(figsize=(12, 10))
  
  ; q7 {5 `: S- m% I3 ~( l
• 
  ) I$ o1 B( S0 c( X1 U6 n
  _ = sns.corrplot(df, annot=False)
  
  
• 
  : v" @. M/ W, d" c# C1 }; i
  0 y7 ]. u) W9 Zplt.show()
  
  ! o- H# Q3 c& Z& ~; H* e  L* l
  ; H5 g$ ^! X- n* y- \4 A

相关性图很好地印证了我们之前的想法，可以看到第11维特征和第14维特征和类别有极强的相关性，同时它们俩之间也有极高的相关性。而第12维特征和第19维特征却呈现出极强的负相关性。强相关的特征其实包含了一些冗余的特征，而除掉上图中颜色较深的特征，其余特征包含的信息量就没有这么大了，它们和最后的类别相关度不高，甚至各自之间也没什么先惯性。

插一句，这里的维度只有20，所以这个相关度计算并不费太大力气，然而实际情形中，你完全有可能有远高于这个数字的特征维度，同时样本量也可能多很多，那种情形下我们可能要先做一些处理，再来实现可视化了。别着急，一会儿我们会讲到。

3.2 机器学习算法选择

数据的情况我们大致看了一眼，确定一些特征维度之后，我们可以考虑先选用机器学习算法做一个baseline的系统出来了。这里我们继续参照上面提到过的机器学习算法使用图谱。
1 d8 w- e4 q% p! I我们只有1000个数据样本，是分类问题，同时是一个有监督学习，因此我们根据图谱里教的方法，使用LinearSVC(support vector classification with linear kernel)试试。注意，LinearSVC需要选择正则化方法以缓解过拟合问题；我们这里选择使用最多的L2正则化，并把惩罚系数C设为10。我们改写一下sklearn中的学习曲线绘制函数，画出训练集和交叉验证集上的得分：

• 
  
  from sklearn.svm import LinearSVC
  - e9 C2 L$ s! K1 i6 M( I% w
  
• 
  
  from sklearn.learning_curve import learning_curve
  % H" A. T7 h& d$ a
  3 Z, f& x3 W' K  D0 ~* R6 m
• 
  
  / i4 ?" ]1 k  X* Q( O#绘制学习曲线，以确定模型的状况
  
  
• 
  3 E) B$ c+ |0 C7 j
  def plot_learning_curve(estimator, title, X, y, ylim=None, cv=None,
  
  
• 
  ( H$ D, g" Z, N& Z( W
                          train_sizes=np.linspace(.1, 1.0, 5)):
  9 ^2 K! I  a0 m- r$ d' u* o' s6 L
  
• 
  # f; G# S. V% O: d
      """
  ) f/ x+ O& [$ _' Y1 G/ Y. r
    V* a: C0 u3 ?' z, k6 f
• 
  
      画出data在某模型上的learning curve.
  & W& R7 S% ~/ m5 I: G8 T
  ; ~5 c. I" g+ g' F+ f+ A. ?6 k
• 
  
      参数解释
  * ?: Q  ~' D$ e: j7 D9 ?
  % e& X) M* O1 c
• 
  $ Q9 n% Z7 y( o: C6 f  m' e
      ----------
  7 _# V# p: A- j9 u7 M) d
  ! M) p( D# Z. E  K: H
• 
  
  . r0 H' ]4 N& `* W0 c    estimator : 你用的分类器。
  
  6 s1 ?, p9 r% e8 H% z6 j
• 
  2 g' ^) d  k2 v7 z+ O- I$ ^9 Y
      title : 表格的标题。
  % K- g6 A0 g# [0 `8 }4 O3 q% }
  % N: z5 ~; M/ P3 I: o1 J: c
• 
  $ F% m* |. h% M
  : ~% ?2 O8 l0 y    X : 输入的feature，numpy类型
  5 r/ m. x, r7 W7 h( Q$ m
  " s4 J& t, o* C( ^$ s, h- |( K
• 
  
      y : 输入的target vector
  1 ?" }' A# A! m* Q) ~+ |6 b0 R
  ' O- U5 Y6 X% |' ?# P, n2 U, J
• 
  
  % Z' {. e/ c8 D- y  ?    ylim : tuple格式的(ymin, ymax), 设定图像中纵坐标的最低点和最高点
  0 B! {7 s7 Y9 D; ?& w
  
• 
  3 y8 O- q3 d8 a6 R$ Z" q2 f7 {
  0 o; N3 c$ b6 A: |4 l7 j% A* u    cv : 做cross-validation的时候，数据分成的份数，其中一份作为cv集，其余n-1份作为training(默认为3份)
  0 v2 u1 Y& p5 U; e- X; ]
  
• 
  
  / n0 B: X+ F' {$ D    """
  
  2 {- X: z+ a& C* C
• 
  9 U! ~/ _1 \& k- M- ]
    @$ d0 z* m, p' m8 B* y
  
  
• 
  
  0 j! A6 h5 k* }. E) x" ?    plt.figure()
  
  2 i1 F) C# G5 I' P* O
• 
  
  % \1 U' K$ U; S  ]0 U    train_sizes, train_scores, test_scores = learning_curve(
  
  7 w1 G1 e1 G9 F( H
• 
  ( ]% K( P& S$ R& d  |
          estimator, X, y, cv=5, n_jobs=1, train_sizes=train_sizes)
  , Y& Q) z9 t8 Z) t4 A" n, N0 U
  
• 
  
  / c- y: y0 `. w! y, e# x    train_scores_mean = np.mean(train_scores, axis=1)
  ; U7 d! ^' D! ?! ?: j1 c: r
  
• 
  - u! G0 \) w( s3 @* V  }5 @* N' U
      train_scores_std = np.std(train_scores, axis=1)
  # ~$ D. \! [5 Y7 P
  
• 
  
      test_scores_mean = np.mean(test_scores, axis=1)
  
  + e$ W+ M. O+ j4 W' P5 L
• 
  
  " i  J/ \/ @; Z0 C- g0 W% r    test_scores_std = np.std(test_scores, axis=1)
  
  
• 
  
  
  4 o  d4 d! r7 t5 c. G+ y8 j0 R
  
• 
  
      plt.fill_between(train_sizes, train_scores_mean - train_scores_std,
  + [9 _; [$ e( v% m" `, _  p
    e8 }% ]8 b4 D9 W5 m2 q9 i1 X
• 
  
  ! g: z7 D$ _6 P* x( U: m  B                     train_scores_mean + train_scores_std, alpha=0.1,
  
  . L4 R* H4 y  C. e
• 
  7 s9 f1 J4 E& |6 O7 k; v# W
  9 ~6 O$ B( o6 |& k                     color="r")
  
  9 C& j7 W; a4 p3 y" V7 r$ B+ B
• 
  
      plt.fill_between(train_sizes, test_scores_mean - test_scores_std,
  
  ! O% A% ?" _6 X! r/ S! ]9 f
• 
  
                       test_scores_mean + test_scores_std, alpha=0.1, color="g")
  
  
• 
  8 C0 u+ U0 ?8 Z' S0 l
      plt.plot(train_sizes, train_scores_mean, 'o-', color="r",
  
  
• 
  ) R0 ^7 j4 x- E! X; G$ E+ a+ J
  ) t$ C. K6 f+ F" b% W! s             label="Training score")
  
  
• 
  2 C# M% Z2 ?2 j8 Q0 F! M
  " V9 j; ]2 ?" z% ^) G' P    plt.plot(train_sizes, test_scores_mean, 'o-', color="g",
  
  ' C; o  O3 n3 _/ y" W
• 
  
  7 ]% S" {+ ]" |% [$ g             label="Cross-validation score")
  ( v2 Q: ^2 H* R# W
  
• 
  
  4 J- }% y. c& `! ~0 {4 ~; J
  
  
• 
  ! K) [8 p8 _% B. Z( P9 ]3 d3 _- z8 d
  / [6 ^5 M  n2 {5 w! `$ _; V& k    plt.xlabel("Training examples")
  ! n2 E7 S; E1 l7 n
  
• 
  
      plt.ylabel("Score")
  
  
• 
  * d% }0 F5 k- @- j
      plt.legend(loc="best")
  6 K! K/ [' A* l
  
• 
  / _4 }5 r4 i8 k( I- U/ j
  ( l; o/ {6 L# k* `) b- g4 S    plt.grid("on")
  
  
• 
  
      if ylim:
  6 t/ }3 C7 `0 r4 m
  
• 
  : t- q& K$ _2 ?
  6 r) E% Y4 [% T$ r, Z5 L, _5 `        plt.ylim(ylim)
  
  5 x9 w) O1 b4 z* w  y
• 
  
  3 W- [9 M8 L9 G7 @    plt.title(title)
  1 E" r) ^0 M% ^* N# u" F4 @# i# \0 b% h
    u9 r$ l, ]9 L6 H5 ^7 `
• 
  
      plt.show()
  
  
• 
  * C  _2 K& p- @" _% \, R) N
  ) [" I; i8 F. `4 @' O* c+ p
  
  ! }9 h- {9 A2 q1 P
• 
  ' X1 u; Y$ C0 u% \+ i
  #少样本的情况情况下绘出学习曲线
  & p" J' f5 M8 B" e! ?! w8 u
  3 p+ e& N, {7 G
• 
  
  plot_learning_curve(LinearSVC(C=10.0), "LinearSVC(C=10.0)",
  ' r9 J* x! C) S, P' `+ u
  % x9 a) o& r# @+ \
• 
  
                      X, y, ylim=(0.8, 1.01),
  
  ) c9 u' h6 p: R% o& w9 X( D
• 
  1 v$ u. I. k5 R; m7 D( O& ^9 b
  1 B) k7 T3 y" i# G. i: e                    train_sizes=np.linspace(.05, 0.2, 5))
  4 p# E* _* T! O. ^
  3 y* B1 E$ e: u/ a7 P) I, a
  

这幅图上，我们发现随着样本量的增加，训练集上的得分有一定程度的下降，交叉验证集上的得分有一定程度的上升，但总体说来，两者之间有很大的差距，训练集上的准确度远高于交叉验证集。这其实意味着我们的模型处于过拟合的状态，也即模型太努力地刻画训练集，一不小心把很多噪声的分布也拟合上了，导致在新数据上的泛化能力变差了。

3.2.1 过拟合的定位与解决

问题来了，过拟合咋办？
针对过拟合，有几种办法可以处理：

• 增大样本量
  ) E; c" A) Q1 s: H$ C/ i

这个比较好理解吧，过拟合的主要原因是模型太努力地去记住训练样本的分布状况，而加大样本量，可以使得训练集的分布更加具备普适性，噪声对整体的影响下降。恩，我们提高点样本量试试：

• 
  ' @3 w4 e. }. }" c+ M4 ~4 |# R
  - ~6 r: T! m7 G0 b5 X5 j#增大一些样本量
  
  & q2 X0 H1 P% e& A; ~; y
• 
  : f3 `/ \1 k( v1 X; w9 f
  plot_learning_curve(LinearSVC(C=10.0), "LinearSVC(C=10.0)",
  & T0 g7 V- a( k* b
  
• 
  ! J7 q; J& D, O; Y, Z
  3 y3 }) g" ]2 P) M                    X, y, ylim=(0.8, 1.1),
  
  
• 
  ! Y0 U( j  d: j
                      train_sizes=np.linspace(.1, 1.0, 5))
  
  
  

是不是发现问题好了很多？随着我们增大训练样本量，我们发现训练集和交叉验证集上的得分差距在减少，最后它们已经非常接近了。增大样本量，最直接的方法当然是想办法去采集相同场景下的新数据，如果实在做不到，也可以试试在已有数据的基础上做一些人工的处理生成新数据(比如图像识别中，我们可能可以对图片做镜像变换、旋转等等)，当然，这样做一定要谨慎，强烈建议想办法采集真实数据。

• 减少特征的量(只用我们觉得有效的特征)
  ( W% E- y' p2 }

比如在这个例子中，我们之前的数据可视化和分析的结果表明，第11和14维特征包含的信息对识别类别非常有用，我们可以只用它们。

plot_learning_curve(LinearSVC(C=10.0), "LinearSVC(C=10.0) Features: 11&14", X[:, [11, 14]], y, ylim=(0.8, 1.0), train_sizes=np.linspace(.05, 0.2, 5))

从上图上可以看出，过拟合问题也得到一定程度的缓解。不过我们这是自己观察后，手动选出11和14维特征。那能不能自动进行特征组合和选择呢，其实我们当然可以遍历特征的组合样式，然后再进行特征选择(前提依旧是这里特征的维度不高，如果高的话，遍历所有的组合是一个非常非常非常耗时的过程！！)：

• 
  
  from sklearn.pipeline import Pipeline
  / {' c/ q2 S  K5 b2 s0 F& i
  ! H% o% ]8 ]5 N$ s# Z8 h
• 
  
  from sklearn.feature_selection import SelectKBest, f_classif
  
  ; u5 Q' N6 q, H+ O9 n% O* ^
• 
  
  # SelectKBest(f_classif, k=2) 会根据Anova F-value选出 最好的k=2个特征
  0 _  i8 U8 a8 w9 b
  1 B0 G9 n2 O6 _+ S! @; Y5 y
• 
  
  
  $ B1 Q; S* ^& e- v
  % ?8 K+ {3 J2 @6 t5 Z
• 
  
  plot_learning_curve(Pipeline([("fs", SelectKBest(f_classif, k=2)), # select two features
  6 i$ ]( x9 z" E* K$ d5 M$ c
  / h7 ~6 j- z' L0 b$ t  K% Z, [- F
• 
  . ^; b6 U( a! F
  & O, j  Q4 z1 k$ B+ T                               ("svc", LinearSVC(C=10.0))]), "SelectKBest(f_classif, k=2) + LinearSVC(C=10.0)", X, y, ylim=(0.8, 1.0), train_sizes=np.linspace(.05, 0.2, 5))
  
  2 Q0 B. ]" b3 w5 H, ~
  $ e) S5 E. ~; w

如果你自己跑一下程序，会发现在我们自己手造的这份数据集上，这个特征筛选的过程超级顺利，但依旧像我们之前提过的一样，这是因为特征的维度不太高。
从另外一个角度看，我们之所以做特征选择，是想降低模型的复杂度，而更不容易刻画到噪声数据的分布。从这个角度出发，我们还可以有(1)多项式你和模型中降低多项式次数 (2)神经网络中减少神经网络的层数和每层的结点数 (c)SVM中增加RBF-kernel的bandwidth等方式来降低模型的复杂度。
话说回来，即使以上提到的办法降低模型复杂度后，好像能在一定程度上缓解过拟合，但是我们一般还是不建议一遇到过拟合，就用这些方法处理，优先用下面的方法：

• 增强正则化作用(比如说这里是减小LinearSVC中的C参数)
  9 n+ h. l& R$ N正则化是我认为在不损失信息的情况下，最有效的缓解过拟合现象的方法。
  , O* s" A. O  U! s, \# U9 h/ u+ Z

plot_learning_curve(LinearSVC(C=0.1), "LinearSVC(C=0.1)", X, y, ylim=(0.8, 1.0), train_sizes=np.linspace(.05, 0.2, 5))

$ B. j" G  c) U& t: Y& p$ H- e9 t

调整正则化系数后，发现确实过拟合现象有一定程度的缓解，但依旧是那个问题，我们现在的系数是自己敲定的，有没有办法可以自动选择最佳的这个参数呢？可以。我们可以在交叉验证集上做grid-search查找最好的正则化系数(对于大数据样本，我们依旧需要考虑时间问题，这个过程可能会比较慢):

• 
  ! z% I" s# j' X' d8 x& T- b. e
  from sklearn.grid_search import GridSearchCV
  & r% z0 M6 @1 ~4 K
  
• 
  " M0 m1 F& P" M! ]
  , w8 c2 O% {( O1 U* Gestm = GridSearchCV(LinearSVC(),
  - I* ~( k. d# j. [  {3 B
  
• 
  ' x: w' c% l. z$ J
  ; I) K4 L8 [  u1 q                   param_grid={"C": [0.001, 0.01, 0.1, 1.0, 10.0]})
  
  
• 
  
  plot_learning_curve(estm, "LinearSVC(C=AUTO)",
  * H! k( p! h& |2 U' k
  : ]3 a# ~  P8 @4 U0 t
• 
  - ~+ }+ K. w0 O) N+ W1 `7 {8 F% M
                      X, y, ylim=(0.8, 1.0),
  % ?+ `4 ]9 X% x9 X( I# x
  
• 
  ! [# z1 d& ]3 p+ U) w. K, U
  0 F  i3 |. P3 m                    train_sizes=np.linspace(.05, 0.2, 5))
  2 ]- l% A5 u' F* q1 x
  ! z1 s3 j: @, P4 k$ x8 u4 E
• 
  " I; X! W. Q/ D/ V: k7 F
  print "Chosen parameter on 100 datapoints: %s" % estm.fit(X[:500], y[:500]).best_params_
  ) d) X+ w& T/ D; X+ y0 _& g+ s. \
  & i+ g! k8 Q# `; R# }1 D) D5 d
  

在500个点得到的结果是：{‘C’: 0.01} 使用新的C参数，我们再看看学习曲线：

对于特征选择的部分，我打算多说几句，我们刚才看过了用sklearn.feature_selection中的SelectKBest来选择特征的过程，也提到了在高维特征的情况下，这个过程可能会非常非常慢。那我们有别的办法可以进行特征选择吗？比如说，我们的分类器自己能否甄别那些特征是对最后的结果有益的？这里有个实际工作中用到的小技巧。

我们知道：

• l2正则化，它对于最后的特征权重的影响是，尽量打散权重到每个特征维度上，不让权重集中在某些维度上，出现权重特别高的特征。
• 而l1正则化，它对于最后的特征权重的影响是，让特征获得的权重稀疏化，也就是对结果影响不那么大的特征，干脆就拿不着权重。
  # g3 S. v/ ^% `: x1 S. j8 e; ]. M

那基于这个理论，我们可以把SVC中的正则化替换成l1正则化，让其自动甄别哪些特征应该留下权重。

plot_learning_curve(LinearSVC(C=0.1, penalty='l1', dual=False), "LinearSVC(C=0.1, penalty='l1')", X, y, ylim=(0.8, 1.0), train_sizes=np.linspace(.05, 0.2, 5))

好了，我们一起来看看最后特征获得的权重：

• 
  
  estm = LinearSVC(C=0.1, penalty='l1', dual=False)
  
  
• 
  
  / c/ L1 R; g0 w0 G, K6 Westm.fit(X[:450], y[:450])  # 用450个点来训练
  7 S- ]) @5 e2 s, o% y) _* j
  % m. A: A- M' r
• 
  
  print "Coefficients learned: %s" % est.coef_
  
  5 x2 r* v& z  c/ n# Z6 \5 F
• 
  
  print "Non-zero coefficients: %s" % np.nonzero(estm.coef_)[1]
  7 N, k0 A% b. C. v" }" X
  4 H* U- t- i# {! J6 V
  $ i  h. `; t& c$ \

得到结果：

• 
  5 j0 t1 @/ ?! ?9 i
  Coefficients learned: [[ 0.          0.          0.          0.          0.          0.01857999
  
  
• 
  6 A# C/ S- o2 g0 n. q
  9 O6 Z4 w4 v4 Q3 Y7 n   0.          0.          0.          0.004135    0.          1.05241369
  
  
• 
  
     0.01971419  0.          0.          0.          0.         -0.05665314
  
  
• 
  
     0.14106505  0.        ]]
  
  
• 
  
  ) K  K' L8 n8 \/ R5 |7 \1 XNon-zero coefficients: [5 9 11 12 17 18]
  
  + i8 L: o4 @, l+ M, t9 W
    w4 k6 h4 A; q  U4 |+ d

你看，5 9 11 12 17 18这些维度的特征获得了权重，而第11维权重最大，也说明了它影响程度最大。

3.2.2 欠拟合定位与解决

我们再随机生成一份数据[1000*20]的数据(但是分布和之前有变化)，重新使用LinearSVC来做分类。

• 
  4 u) W3 S6 w1 q, e7 v2 G0 q
  #构造一份环形数据
  4 i# J7 F3 Q$ s  P/ A- O5 J; n5 d
  9 b2 p: o7 O# H: ^! [, ?: y, W0 _
• 
  
  # U+ o7 A3 i( h8 Cfrom sklearn.datasets import make_circles
  6 H8 I/ C5 X, y" ?3 w
  
• 
  
  X, y = make_circles(n_samples=1000, random_state=2)
  
  0 p5 n+ ^, R9 P. I9 A! a
• 
  
  #绘出学习曲线
  
  
• 
  
  plot_learning_curve(LinearSVC(C=0.25),"LinearSVC(C=0.25)",X, y, ylim=(0.5, 1.0),train_sizes=np.linspace(.1, 1.0, 5))
  & V& A; i( m/ W: O/ C/ V
  / s$ @2 `- Z7 y+ G/ L# q
  ! ]. k% m: j% t: R: m% T

简直烂出翔了有木有，二分类问题，我们做随机猜测，准确率都有0.5，这比随机猜测都高不了多少！！！怎么办？

不要盲目动手收集更多资料，或者调整正则化参数。我们从学习曲线上其实可以看出来，训练集上的准确度和交叉验证集上的准确度都很低，这其实就对应了我们说的『欠拟合』状态。别急，我们回到我们的数据，还是可视化看看：

• 
  : s$ c! @2 I+ J* S( |' \) K
  f = DataFrame(np.hstack((X, y[:, None])), columns = range(2) + ["class"])
  
  
• 
  
  _ = sns.pairplot(df, vars=[0, 1], hue="class", size=3.5)
  ( _/ j8 T9 K# A/ u  |/ w
  / g" }% b: i& I! m
  

你发现什么了，数据根本就没办法线性分割！！！，所以你再找更多的数据，或者调整正则化参数，都是无济于事的！！！

那我们又怎么解决欠拟合问题呢？通常有下面一些方法：

• 调整你的特征(找更有效的特征！！)
  - x; D- `: \2 J& h! O3 S比如说我们观察完现在的数据分布，然后我们先对数据做个映射：
  

• 
  
  # 加入原始特征的平方项作为新特征
  
  3 D8 x2 C+ S4 D4 V+ L6 _8 y
• 
  - p0 y# e. d+ C6 z0 M" n- d; s
  X_extra = np.hstack((X, X[:, [0]]**2 + X[:, [1]]**2))
  5 n! K! z, {/ U8 j7 `5 |
  ; C- H5 {( P# W2 d  f
• 
  % ?; e& c9 e; K2 `
  
  
  
• 
  
  7 K! ^. q: ?: C' Mplot_learning_curve(LinearSVC(C=0.25), "LinearSVC(C=0.25) + distance feature", X_extra, y, ylim=(0.5, 1.0), train_sizes=np.linspace(.1, 1.0, 5))
  ( w- e. W3 y3 B" Q
  ( z- H9 Z3 E5 M1 _
  

卧槽，少年，这准确率，被吓尿了有木有啊！！！所以你看，选用的特征影响太大了，当然，我们这里是人工模拟出来的数据，分布太明显了，实际数据上，会比这个麻烦一些，但是在特征上面下的功夫还是很有回报的。

• 使用更复杂一点的模型(比如说用非线性的核函数)
  5 e( q. c+ x9 O# L4 T6 [我们对模型稍微调整了一下，用了一个复杂一些的非线性rbf kernel：
  0 B  R9 v4 L) {$ J0 v

• 
  7 g+ k; F) L7 r& e+ Z. ^* D2 _
  ) @! P8 ]/ S; Q" s6 ?* s8 dfrom sklearn.svm import SVC
  + |5 `  T1 H* m, u5 A
  
• 
  
  # note: we use the original X without the extra feature
  # N. p9 Y/ \2 X, R$ M
  
• 
  
  : `+ N, B- L# o6 [3 bplot_learning_curve(SVC(C=2.5, kernel="rbf", gamma=1.0), "SVC(C=2.5, kernel='rbf', gamma=1.0)",X, y, ylim=(0.5, 1.0), train_sizes=np.linspace(.1, 1.0, 5))
  . @% D1 n# `% ]$ D
  7 C% S3 ~5 S& ]5 q" e/ R
  

你看，效果依旧很赞。

3.3 关于大数据样本集和高维特征空间

我们在小样本的toy dataset上，怎么捣鼓都有好的方法。但是当数据量和特征样本空间膨胀非常厉害时，很多东西就没有那么好使了，至少是一个很耗时的过程。举个例子说，我们现在重新生成一份数据集，但是这次，我们生成更多的数据，更高的特征维度，而分类的类别也提高到5。

3.3.1 大数据情形下的模型选择与学习曲线

在上面提到的那样一份数据上，我们用LinearSVC可能就会有点慢了，我们注意到机器学习算法使用图谱推荐我们使用SGDClassifier。其实本质上说，这个模型也是一个线性核函数的模型，不同的地方是，它使用了随机梯度下降做训练，所以每次并没有使用全部的样本，收敛速度会快很多。再多提一点，SGDClassifier对于特征的幅度非常敏感，也就是说，我们在把数据灌给它之前，应该先对特征做幅度调整，当然，用sklearn的StandardScaler可以很方便地完成这一点。

SGDClassifier每次只使用一部分(mini-batch)做训练，在这种情况下，我们使用交叉验证(cross-validation)并不是很合适，我们会使用相对应的progressive validation：简单解释一下，estimator每次只会拿下一个待训练batch在本次做评估，然后训练完之后，再在这个batch上做一次评估，看看是否有优化。

• 
  / j% U6 V. N: @" p1 {
  #生成大样本，高纬度特征数据
  5 p  Y' G6 H% n7 \0 G3 g/ }4 |
  
• 
  . X# P) f8 R- P9 @
  ! _" s) _+ X/ @8 {/ d  s) PX, y = make_classification(200000, n_features=200, n_informative=25, n_redundant=0, n_classes=10, class_sep=2, random_state=0)
  0 K. d& O' A& v7 B! N4 X
  
• 
  
  
  ( }+ r: P) a9 d2 V; Z5 [- {
  - Z+ V& {7 }" M- U
• 
  ( Z" L  u3 X1 \2 V7 K- Y
    q- [8 a4 l, X9 r4 R9 s#用SGDClassifier做训练，并画出batch在训练前后的得分差
  
  $ R- P4 N8 Y) N& r/ R% V
• 
  " }, g2 M# C' r$ p& P
  from sklearn.linear_model import SGDClassifier
  
  ! U" B& N# T! Y
• 
  / Y6 C" }( a& w: C$ M' T  J; ]
  / R/ |) R& w) y: w" Q  V6 sest = SGDClassifier(penalty="l2", alpha=0.001)
  
  
• 
  ) z8 J7 e6 l8 v8 M/ K
  % f+ ?5 @* V. d8 p: b" `; }, y. |progressive_validation_score = []
  
    K+ n1 z0 N, N2 u$ x5 n
• 
  # A. Z$ q% g  a$ {  p* G4 S# J
  train_score = []
  
  " q" K) k$ @5 x
• 
  
  4 h* R3 m% r( K$ s4 Kfor datapoint in range(0, 199000, 1000):
  
  : W4 L8 w2 R' V& H& G5 Y
• 
  
  " @  m& n" j7 r6 p% [    X_batch = X[datapoint:datapoint+1000]
  & H7 |# {! F8 o2 I5 d
  
• 
  
  7 U0 l& B+ x& J, b- A5 V$ W    y_batch = y[datapoint:datapoint+1000]
  , G5 i" r5 @9 f  }  L$ O5 h
  
• 
  $ \" h1 Q/ C! h# j3 Z" l. p) }( ^
  ! Q# |9 o6 S! I& ?    if datapoint > 0:
  ) }8 |1 X& {8 @$ N5 h+ ^
  ' j! W$ O3 E' B
• 
  
  8 G2 N- b0 G+ e: @/ h        progressive_validation_score.append(est.score(X_batch, y_batch))
  
  
• 
  9 d  O3 Y% n" k$ T  T' H
      est.partial_fit(X_batch, y_batch, classes=range(10))
  3 O+ P! }! ?% q! }
  
• 
  3 `1 V) [) t4 q6 P0 H5 c6 \' C
      if datapoint > 0:
  ! f7 x6 q/ n5 Q( r1 t
  9 o3 M$ f) r, a+ I6 a$ I: R4 o
• 
  
  ) Q$ A% A+ W6 G' J3 `+ ~        train_score.append(est.score(X_batch, y_batch))
  
  6 H% p7 z3 ~6 W# A% v6 L
• 
  + Z! I5 G1 s$ U5 k' l, x
  4 Y  l. V- u* Z9 m% q0 m
  
  
• 
  
  plt.plot(train_score, label="train score")
  
  
• 
  6 t3 R( l  \6 ^9 \; f3 w
  plt.plot(progressive_validation_score, label="progressive validation score")
  5 N* v8 q6 m8 O" z! ?
  7 g! B+ j* h" y9 n  |6 K2 [" q' |
• 
  ; o' W" P- s8 r6 t6 ?  Z3 \) `
  plt.xlabel("Mini-batch")
  : f. T6 Z; `" [8 U9 U+ L
  
• 
  
  1 I  ^& M9 K5 w: lplt.ylabel("Score")
  
  
• 
  ) j' ?# n$ e2 o: ?
  + D1 i1 K+ {) ?% ?plt.legend(loc='best')  
  
  
• 
  
  , }4 C9 V7 f9 `; O1 C. n4 w1 Bplt.show()                     
  
  - [" P  d0 [9 z, H
  , T! \( V! W! l. q/ b

得到如下的结果：
! C+ S' B7 B5 z2 f

从这个图上的得分，我们可以看出在50个mini-batch迭代之后，数据上的得分就已经变化不大了。但是好像得分都不太高，所以我们猜测一下，这个时候我们的数据，处于欠拟合状态。我们刚才在小样本集合上提到了，如果欠拟合，我们可以使用更复杂的模型，比如把核函数设置为非线性的，但遗憾的是像rbf核函数是没有办法和SGDClassifier兼容的。因此我们只能想别的办法了，比如这里，我们可以把SGDClassifier整个替换掉了，用多层感知神经网来完成这个任务，我们之所以会想到多层感知神经网，是因为它也是一个用随机梯度下降训练的算法，同时也是一个非线性的模型。当然根据机器学习算法使用图谱，也可以使用核估计(kernel-approximation)来完成这个事情。

3.3.2 大数据量下的可视化

大样本数据的可视化是一个相对比较麻烦的事情，一般情况下我们都要用到降维的方法先处理特征。我们找一个例子来看看，可以怎么做，比如我们数据集取经典的『手写数字集』，首先找个方法看一眼这个图片数据集。

• 
  
  ( B! P, A! Q  L3 S#直接从sklearn中load数据集
  
  0 \( ~9 R. T# a* V
• 
  
  ! y6 t& C# Y# Cfrom sklearn.datasets import load_digits
  : t$ |/ ~; o* [) t
  
• 
  
  digits = load_digits(n_class=6)
  
  
• 
  
  $ i6 V! L+ z: R/ zX = digits.data
  
  
• 
  
  y = digits.target
  , C" E" N) E. R1 e; F
  1 J3 P4 ]  w2 U' T5 K
• 
  7 Y9 G' d* e! B1 C  q/ S, l+ w
  n_samples, n_features = X.shape
  
  9 f7 _  O5 j* e4 }
• 
  
  / ], y% x0 K5 `: D( sprint "Dataset consist of %d samples with %d features each" % (n_samples, n_features)
  
  
• 
  
  8 w: a' `+ O3 ?4 g' y
  
  1 U5 X9 {1 N5 K0 c2 }/ W! }: N
• 
  
  # K, T) v: E7 q3 N# 绘制数字示意图
  1 z; H: O+ g" i# E1 ^+ l3 g
  " h2 ^2 p0 r2 }' {  w
• 
  - `8 a- ~6 m# ?  U* E
  n_img_per_row = 20
  
  
• 
  
  & X' u3 J9 }& u1 a7 i: \) D. ]img = np.zeros((10 * n_img_per_row, 10 * n_img_per_row))
  
  ; M0 c* @0 k6 e, Z) `& v% q
• 
  " m  e. @7 i7 X. T$ m
  for i in range(n_img_per_row):
  2 @; e2 g# _  O! s9 C& L
  : `1 z4 w/ v$ b" S7 |4 J* n
• 
  
      ix = 10 * i + 1
  
  
• 
  $ k2 _" M$ ?7 J$ j/ X6 R1 j! W" B9 G
      for j in range(n_img_per_row):
  
  
• 
  
  7 A1 b4 t' W! z! [  X        iy = 10 * j + 1
  ; w$ H; L( d/ [: j4 r
  
• 
  . l- k0 l! {4 v
          img[ix:ix + 8, iy:iy + 8] = X[i * n_img_per_row + j].reshape((8, 8))
  3 d5 m) j1 ]' }  s
  
• 
  $ @  o% _& h# p- [" e5 }6 ^# V1 g
  
  " g( a$ f. D, V7 L9 @/ a# ]1 A! v
  
• 
  : R1 n9 e' L0 P- `
  ; _& W  Y6 C, X7 }! c9 i7 r1 Pplt.imshow(img, cmap=plt.cm.binary)
    s' k: c/ {$ I; \) M
  , L- C5 U0 W: O* M, ~3 I7 ~2 j" I
• 
    Y7 f$ B6 I# E. Y; Z
  plt.xticks([])
  
  
• 
  / F; F. ~# C9 F, R4 Z
  2 F7 a# `2 F, t+ M$ |" c1 cplt.yticks([])
  6 ^9 i! l) N) u4 A& x, N3 W" j
  
• 
  5 F* T$ z& j5 f7 S
  8 A- t( v2 u7 @9 _% s! l_ = plt.title('A selection from the 8*8=64-dimensional digits dataset')
  9 g) j* B4 Q2 Y. Z1 @+ O2 @
  
• 
  ( C/ u8 K+ M# G% G
  plt.show()
    a7 ^+ x6 _, k" u/ N7 K( N/ I
  $ @5 j/ c/ y# a2 I/ t
  

我们总共有1083个训练样本，包含手写数字(0,1,2,3,4,5)，每个样本图片中的像素点平铺开都是64位，这个维度显然是没办法直接可视化的。下面我们基于scikit-learn的示例教程对特征用各种方法做降维处理，再可视化。

随机投射
! P) |! v2 d% a0 [5 n我们先看看，把数据随机投射到两个维度上的结果：

• 
  $ i) R; p% [2 G7 m, d
  6 r7 D- E- y! {* @8 N. J#import所需的package
  8 P3 T7 C6 a/ j
  
• 
  
  ' s3 m9 r/ V6 _/ Y$ }from sklearn import (manifold, decomposition, random_projection)
  * a0 }$ e' M  A& k/ z/ j6 D" s
  
• 
  
  8 v% q4 r) b7 N+ T( _% W& X% ^rp = random_projection.SparseRandomProjection(n_components=2, random_state=42)
  2 y) x, b: U# `/ e) N8 }& \% f
  - q8 Z3 W4 G  ~+ T, k
• 
  
  
  
  ; x7 y% U% t# i* o
• 
  4 \- h3 f3 l4 U, `/ ^9 R7 A: z
  #定义绘图函数
  
  5 s& o' N2 y* u
• 
  : C! M* t* w' p
  " A0 Y- e! {( P9 D+ {, Zfrom matplotlib import offsetbox
  5 [8 Q- _# u/ Q; \+ ^3 q
  8 k7 g, n" n' ~9 Z$ U4 P5 p
• 
  ! R7 k6 u8 {* x0 ?3 a3 O, W
  def plot_embedding(X, title=None):
  7 B: o( |6 M7 E5 N$ f2 E: q7 x0 ~
  
• 
  
  , G( |7 _8 Z! E    x_min, x_max = np.min(X, 0), np.max(X, 0)
  , ]4 q4 ^0 t$ g. h0 e
  ! ^+ P* q& J9 q+ p7 C& X8 Q" E+ A
• 
  1 ?& A& m1 i. n/ i" G
  0 j( Z$ i" n% R6 ^+ j    X = (X - x_min) / (x_max - x_min)
  * d8 ^: c5 i1 g
  
• 
  - W0 L# o5 W; u8 H
  
  
  : Z) c: g9 K( f8 o1 d: x
• 
  
      plt.figure(figsize=(10, 10))
  $ T- Y0 s* S! K1 k5 C" R0 x
  
• 
  
      ax = plt.subplot(111)
  4 d' ?5 g6 Z6 t: o7 A# F
  " n# _* F: W  m2 Z7 m# E
• 
  
  . A: y/ U) X1 c% m    for i in range(X.shape[0]):
  
  " a+ ~- E0 J! ?, q
• 
  
  . M& v0 \8 E( a        plt.text(X[i, 0], X[i, 1], str(digits.target),
  % N) [5 x: ~  u- \1 ], {# E, @6 R$ l
  
• 
  + q1 c" v: b. Y& N
  + V9 {* H! j" v                 color=plt.cm.Set1(y / 10.),
  # u( E' E, E9 Z5 e: V& [
  " N$ h* \* H1 E) _% X1 v
• 
  ! w; ^# m( L# G+ Z- ^8 ?/ @* J& h
                   fontdict={'weight': 'bold', 'size': 12})
  
  
• 
  
  
  8 s& Y* x8 @4 a6 x. s5 K  a! N- u8 Y
  
• 
  9 x. a- y* b/ ?3 @# m
  ) g. n# i5 B3 M  ^7 v: C' ~8 J    if hasattr(offsetbox, 'AnnotationBbox'):
  
  
• 
  
  / P0 M/ K9 {8 M2 D& _        # only print thumbnails with matplotlib > 1.0
  - I, y7 W6 l7 a% \- d* L
  
• 
  1 u# [2 l, H2 h' Z) H, h) J
  / _/ [; i7 p( f! x9 S1 C, i  g/ {        shown_images = np.array([[1., 1.]])  # just something big
  
  
• 
  * w$ z( i7 m) P$ d8 c
  8 n8 D9 q+ r. n        for i in range(digits.data.shape[0]):
  $ r. d3 H  C$ V5 L1 f5 ^! {
  
• 
  
  , d% B# s+ u" F0 ~! R$ n            dist = np.sum((X - shown_images) ** 2, 1)
  
  : d$ A6 X5 q3 E( R: V% h
• 
  3 P6 ]) S* A7 ]2 e+ s3 s  S
  " V  z: C( B; p2 C) @% A            if np.min(dist) < 4e-3:
    R( N3 |; P$ s* _" o+ \: m
  
• 
  1 Y7 f) S  @- q1 L5 W% M
  3 c# n3 R1 M) o- K: S0 {                # don't show points that are too close
  
  
• 
  
  2 A' @; v8 q6 _/ g2 N' b                continue
  9 F( S0 s6 I. a* e: [+ L
  
• 
  ! W* C/ g0 r) U& V( ~
  & b, x5 i) Y, r% }2 J            shown_images = np.r_[shown_images, [X]]
  * z+ H4 B% \  H. t$ E7 \' d5 C0 P
  ! C% q; G  K2 J0 D
• 
  
  + Y2 b4 m, ~$ B; J. E            imagebox = offsetbox.AnnotationBbox(
    i9 O; v* X2 N9 [  ]
  
• 
  " F" B% i+ @2 x5 N! t+ }% L
                  offsetbox.OffsetImage(digits.images, cmap=plt.cm.gray_r),
  ! D. e+ N1 J/ c! x, n0 \
  * ^/ _7 b( {4 _0 |' g$ `5 o
• 
  
                  X)
  $ C5 M0 f/ K: S/ }+ c0 X$ s
  
• 
  ; ^2 K: X( W  A- v4 V+ \! e5 E
              ax.add_artist(imagebox)
  ' {. i4 g( J# }1 O# c4 V
  
• 
  9 i" ?9 L# N9 f" u& z. _
      plt.xticks([]), plt.yticks([])
  
  
• 
  3 R1 D0 C% Z2 R3 i
      if title is not None:
  8 c& d5 F) W% M+ L1 |& F9 J2 k
  
• 
  
          plt.title(title)
  7 [- M5 g; t' S3 U! S7 M# U1 R
  
• 
  % r. x" S8 }; M" g
  
  : @1 U2 K; \1 C/ z* L, Y9 c
  
• 
  
  #记录开始时间
  / I7 p  |" ^  v  ]8 _$ {
  * l7 N$ Q5 \0 B* ^
• 
  
  start_time = time.time()
  
  
• 
  ' b" C9 d: E" ]2 x# E; C
  X_projected = rp.fit_transform(X)
  
  
• 
  
  plot_embedding(X_projected, "Random Projection of the digits (time: %.3fs)" % (time.time() - start_time))
  5 |3 w  K2 r8 `9 p# B7 ~3 \
  % Y/ u9 J1 z, k( c
  4 N% e% N6 ]# j8 I% [

结果如下：
1 [; s6 V: [6 L5 e0 W% ~5 o, X

PCA降维
) H5 e' [2 d# v: V在维度约减/降维领域有一个非常强大的算法叫做PCA(Principal Component Analysis，主成分分析)，它能将原始的绝大多数信息用维度远低于原始维度的几个主成分表示出来。PCA在我们现在的数据集上效果还不错，我们来看看用PCA对原始特征降维至2维后，原始样本在空间的分布状况：

• 
  
  from sklearn import (manifold, decomposition, random_projection)
  ( F  J; q' J! Q6 G$ n
  2 k, ^4 N2 ]% [( X  r
• 
  * y7 b4 p- a* X* ~
  #TruncatedSVD 是 PCA的一种实现
  
  
• 
  
  X_pca = decomposition.TruncatedSVD(n_components=2).fit_transform(X)
  # i2 D7 H# i! Z0 E/ K
  + V( ]& }' X1 Y& A/ e- ~
• 
  " o0 C$ \1 Y& R( y2 x
  #记录时间
  ( J: i5 G! w/ h4 x
  ) `0 Q: c) l/ [  }) C- R
• 
  
  : H+ s' `2 J$ q, K( C8 x, U( `; Gstart_time = time.time()
  
  
• 
  6 A; \5 G: G7 m; H0 q) O+ N
  " W2 I# ~" i  b) f7 E4 I, Mplot_embedding(X_pca,"Principal Components projection of the digits (time: %.3fs)" % (time.time() - start_time))
  
  
  7 [( f7 O4 I# R

得到的结果如下：

% H6 z9 q- Y1 g+ I& E6 N9 X

我们可以看出，效果还不错，不同的手写数字在2维平面上，显示出了区域集中性。即使它们之间有一定的重叠区域。

如果我们用一些非线性的变换来做降维操作，从原始的64维降到2维空间，效果更好，比如这里我们用到一个技术叫做t-SNE，sklearn的manifold对其进行了实现：

• 
  9 p( \& a6 U; |& x3 ~$ N
  & x  Q) W- ^. X. B, L0 S% f/ hfrom sklearn import (manifold, decomposition, random_projection)
  
  : _1 _8 V9 C& P9 F
• 
  * O: Z% n" A; G) @
  #降维
  
  ; L. G. _! I- G5 I
• 
  , y/ s  v- S% v, j
  ! z$ B& A, B: ctsne = manifold.TSNE(n_components=2, init='pca', random_state=0)
  3 A5 w2 U2 f; P. s+ ~; A
  
• 
  
  start_time = time.time()
  
  
• 
  # H9 N8 s: a, T* _5 G; x! ?* `
  - B5 x! q0 C1 \3 I+ D6 NX_tsne = tsne.fit_transform(X)
  
  6 t& c. w' n6 B$ R! p1 r# o, }
• 
  
  0 h  N1 P- ^+ u/ ]& z" M. y#绘图
  8 V: v/ [3 L# M3 F: R
  . m7 w: F' o) F$ C9 j
• 
  
  " Z- w/ u1 J; k, D; _8 nplot_embedding(X_tsne,
  
  
• 
    \' R+ ^$ T) p7 c
                 "t-SNE embedding of the digits (time: %.3fs)" % (time.time() - start_time))
  
  
  7 Y1 J  o" J  m+ O" F7 x  ?* ~. b

我们发现结果非常的惊人，似乎这个非线性变换降维过后，仅仅2维的特征，就可以将原始数据的不同类别，在平面上很好地划分开。不过t-SNE也有它的缺点，一般说来，相对于线性变换的降维，它需要更多的计算时间。也不太适合在大数据集上全集使用。

3.4 损失函数的选择

损失函数的选择对于问题的解决和优化，非常重要。我们先来看一眼各种不同的损失函数：

• 
  6 X9 ^& V. x6 ]6 C
  import numpy as np
  5 s) X4 i" f, {% X0 j% y
  / ?  }& g9 L: q, X
• 
  : q. }( H" t, w/ {5 `2 i
  import matplotlib.plot as plt
  , v. I3 L; m; Q* k) _
  
• 
  
  # 改自http://scikit-learn.org/stable/auto_examples/linear_model/plot_sgd_loss_functions.html
  5 ^6 K: T! B' k/ E6 z  `
  ( a7 C) ?- ]+ {0 N
• 
  " N, z+ E0 \, W3 h* b) U2 |. A
  xmin, xmax = -4, 4
  ( d! t' r1 |  W" A2 |
  3 p$ f  c) ?, Y! S9 K1 u  @
• 
  
  * ?) m! G4 r1 I, I' h, W' @# Lxx = np.linspace(xmin, xmax, 100)
  
  * q/ v; m6 I' u; S; W
• 
  ' y' F! b) n9 f* _8 R
  plt.plot([xmin, 0, 0, xmax], [1, 1, 0, 0], 'k-',
  ! z* V. K/ N1 H) g
  # t! s/ V  t! Z5 ?+ B
• 
  
    Y( N# R/ p, M0 J% G% E2 A         label="Zero-one loss")
  5 P9 m3 _3 c( K+ d
  
• 
  ; C" ^' X* w- _9 I: }4 E' F/ L
  6 S1 K. }) v/ f7 j+ S7 jplt.plot(xx, np.where(xx < 1, 1 - xx, 0), 'g-',
  
  ) k2 ^" N0 }  \9 J$ q# l2 l
• 
  6 E/ {# v" u/ E
           label="Hinge loss")
  
  
• 
  ( B0 a6 t  q  F: e8 \% ]' T5 \1 w
  , _: @- V; ?: d( I  Tplt.plot(xx, np.log2(1 + np.exp(-xx)), 'r-',
  0 o& g% }/ t$ V( V4 N
  . X9 ^% W5 a0 j4 x0 I) O- @: N
• 
  - `' p0 g( e3 s2 p
  # U1 K7 w: h4 q+ |  d) S6 t3 R5 _1 H         label="Log loss")
  % }3 o' R- M/ b. K7 e5 f! `
  
• 
  9 c" @  Z; U% ?5 W; Y/ t$ g0 s0 J+ k& Z
  0 X8 h! t2 h2 f" xplt.plot(xx, np.exp(-xx), 'c-',
  ) z9 K+ N% M& O# W5 B5 k) u
  ! J  c- o8 v7 j; `+ S3 l
• 
  5 ?  V5 A7 m) {5 W9 {1 k
  % R3 k6 ^9 Q9 @# h; @- G9 E         label="Exponential loss")
  + A& O4 n. L9 a
  
• 
  , U0 `  X1 X6 y5 [3 {/ f
  plt.plot(xx, -np.minimum(xx, 0), 'm-',
  2 C* u8 \4 L! a+ q. W. J4 |
  
• 
  3 s0 S% E. Y4 Q1 X) Y, W
  + e7 g' y) w  b1 @+ d         label="Perceptron loss")
  4 ?2 G4 b% F+ I, F7 V( o
  
• 
  
  8 v# f- i0 v) K' ~7 m$ P1 l4 T2 b
  
  
• 
  
  ( q0 b8 x/ I2 I$ b! i/ rplt.ylim((0, 8))
  
  6 L* ?. w& u; g2 ^$ h
• 
  ) j- @9 |2 D, s
  plt.legend(loc="upper right")
  ; o( I5 l# z2 z" i! x# `- Q. e: d
  
• 
  
  plt.xlabel(r"Decision function $f(x)$")
  4 v' D0 x; @6 M3 ?
  , n7 ^" G$ Q7 p  _9 Q9 ?7 y: v7 N
• 
  3 @. @: t, C) U. ~
  plt.ylabel("$L(y, f(x))$")
  & Z  [. o* ?5 W. k
  
• 
  2 y8 a1 c, o% [( {$ D- M& ^0 j! U5 C
  3 Y  ^. K7 s. g8 B. m, xplt.show()
  $ j+ X9 e- q7 a7 W
  , |/ T! B) [8 Z
  

得到结果图像如下：

不同的损失函数有不同的优缺点：

• 0-1损失函数(zero-one loss)非常好理解，直接对应分类问题中判断错的个数。但是比较尴尬的是它是一个非凸函数，这意味着其实不是那么实用。
• hinge loss(SVM中使用到的)的健壮性相对较高(对于异常点/噪声不敏感)。但是它没有那么好的概率解释。
• log损失函数(log-loss)的结果能非常好地表征概率分布。因此在很多场景，尤其是多分类场景下，如果我们需要知道结果属于每个类别的置信度，那这个损失函数很适合。缺点是它的健壮性没有那么强，相对hinge loss会对噪声敏感一些。
• 多项式损失函数(exponential loss)(AdaBoost中用到的)对离群点/噪声非常非常敏感。但是它的形式对于boosting算法简单而有效。
• 感知损失(perceptron loss)可以看做是hinge loss的一个变种。hinge loss对于判定边界附近的点(正确端)惩罚力度很高。而perceptron loss，只要样本的判定类别结果是正确的，它就是满意的，而不管其离判定边界的距离。优点是比hinge loss简单，缺点是因为不是max-margin boundary，所以得到模型的泛化能力没有hinge loss强。
  ! Y# L, I4 b8 v: C4 v) r

4. 总结

全文到此就结束了。先走马观花看了一遍机器学习的算法，然后给出了对应scikit-learn的『秘密武器』机器学习算法使用图谱，紧接着从了解数据(可视化)、选择机器学习算法、定位过/欠拟合及解决方法、大量极的数据可视化和损失函数优缺点与选择等方面介绍了实际机器学习问题中的一些思路和方法。本文和文章机器学习系列(3)_逻辑回归应用之Kaggle泰坦尼克之灾都提及了一些处理实际机器学习问题的思路和方法，有相似和互补之处，欢迎大家参照着看。

6 ]& i( N7 x& t1 y3 c