从回归分析到数据挖掘

mashimaroq

从回归分析到数据挖掘
  t5 o0 S2 P! m1 i* h; b
  k0 J0 p1 X# J/ b; u关键词：回归分析 数据挖据 质量管理 JMP

回归分析是研究两种或两种以上变量之间相互依赖的定量关系的统计分析方法，在很多行业都有广泛的应用。无论是银行、保险、电信等服务行业的业务分析人员在进行数据库营销、欺诈风险侦测，还是半导体、电子、化工、医药、钢铁等制造行业的研发技术人员在进行新产品实验设计与分析、流程优化与过程监控，或者更广义地说，不同类型的企业在开展质量管理和六西格玛项目时，都常常会用到回归分析。

& E: s, q2 T4 g, L" A6 |9 {' W回归分析可以帮助我们判断哪些因素的影响是显著的，哪些因素的影响是不显著的，还可以利用求得的回归方程进行预测和控制。但是，稍微对回归模型的有效程度和预测精度有一定要求时，我们就会发现回归分析有一些先天性的不足和隐患：
  n' E2 V# |9 l' B, e
8 ]( p4 Z3 z) t+ z, K1. 缺少用实际数据验证模型有效性的环节，经常听到的抱怨是：模型看上去很美，但是一到应用环节就发现预测不准确；
2. 建模手段单一，不能多角度地考虑问题，从而更好地拟合数据；
3. 无法系统地比较通过不同方法得到的不同模型，更谈不上在众多候选模型中甄选出一个相对最佳的模型。
7 W7 [+ D4 o' w
3 I0 M. S+ {5 E. {( |; U这时，想要消除上述隐患，突破工具瓶颈的理想办法就是从“回归分析”的层次上升到“数据挖掘”的层次。

* T( V* s- u6 M, G数据挖掘是一个更大的数据分析概念，主要指从大量的企业数据中揭示出隐含的、先前未知的并有潜在价值的信息的整个过程。从统计技术层面上讲，数据挖掘至少具有三大特征：

# O9 |, ^( V1 p% b$ Y5 T( P1. 强调分析建模之前的数据源划分，一般需要将所有原始数据分为模型训练数据training data、模型验证数据validation data、模型测试数据test data三类。从而从源头上确保了由此求得的模型是经得起现实复杂情况的严峻考验。
' P/ f9 F2 {+ A( ^6 b7 G2. 提供了丰富的建模手段，除了基于最小二乘法、逐步法和Logistic法等传统的回归分析之外，还包括很多新颖又实用的建模技术，如：决策树(Decision Tree)、神经网络(Neural Network)、关联规则(Association Rule)、支持向量机(Support Vector Machine)、文本挖掘(Text Mining)等。这使我们在遇到回归分析失效的情况下，依然具备解决问题的能力。
3.“模型比较（Model Comparison）”是数据挖掘后期的过程中必不可少的一个环节，这样一来，我们就可以科学、客观地从不同的候选模型中找到最理想的模型来做最精准的预测分析，将预测误差降低到最低。
  A& g3 `0 v' ~2 r% _% N8 N2 D
显然，数据挖掘的这三个特征有效地弥补了回归分析的不足，为我们的建模预测工作奠定了扎实的基础。下面用一个真实案例来说明从回归分析到数据挖掘的实际应用，出于数据安全性的考虑，核心数据（包括变量名称）已做了相应的编码处理。

某知名钢铁公司的研发部门在一个构建结构钢端淬曲线预测模型的项目中，先用用SAS公司面向普通工程师和科学家开发的交互式可视化统计发现软件JMP中的逐步回归做了一个预测模型（见下图）。
' d- p2 Y: ~3 _# d


3 x/ J- Z; o/ y" Z! r5 @从分析报告上来看，这个预测模型还是不错的。但在模型的推广过程中，多次发现预测误差很大，甚至严重动摇了技术人员应用统计建模的信心。所幸在权威咨询机构的指导下，发现造成模型预测失误的主要原因是模型过度拟合，包含了很多不必要拟合的噪声信息。项目成员重新思考了技术攻关中需要用到的方法论，最终决定升级到高级版JMP Pro，没有多做一次现场实验，没有申请任何额外预算，却显著改善了模型的预测效果，达到了预期效果。
从技术细节上来看，项目后期与前期的不同之处也恰巧体现了前面所介绍的数据挖掘的三大特征，即：

  Y: k9 }+ h1 E* p1 l$ e& Z( `第一，没有囫囵吞枣地把所有数据全都用来构建模型，而是有计划地按照一定比例将所有数据分为训练数据、验证数据、测试数据三类，各类数据各司其职，确保由此产生的模型在生产阶段的有效性。
) D3 N4 J; D! g& o( G/ @: S$ m

( Z" V$ T& [+ @  x1 H
; H2 h0 c2 e) `' }+ Y" k8 H9 L& z第二，开拓思路，有机地运用除了回归分析之外的多种数据挖掘建模工具，如决策树、神经网络，以及其衍生工具（如随机森林Bootstrap Forest、提升树Boosted Tree等），避免了由于单一方法的生搬硬套而导致的建模错误。
3 u7 G1 L$ `' c$ Q* P3 v
6 Z' v& ^: t) A
" ~2 f$ L' U1 n
9 H0 j& m2 Z6 U
第三，先松后紧，整合之前求得的各个候选模型，将科学严谨的统计量化指标与实际业务经验相结合，挑选出整体上最合适的预测模型，体现了“博采众长，取长补短”的建模理念。

6 Q  D  B2 M2 Q# f
! [! z2 C% K( h6 K4 [  o
总之，“从回归分析到数据挖掘”是企业在精细化管理发展到一定阶段后必定会遇到的一个问题。当然，相对于传统的回归分析，数据挖掘会显得相对复杂一些。但是，融合先进算法而关注界面友好的现代化统计分析软件（如案例中用到的JMP Pro软件），已经大大降低了数据挖掘的技术门槛，使得无论是科班出身的统计学家，还是没有统计学功底的普通技术人员，都能快速上手，真正地数据中挖掘出对企业运营有益的信息。
$ M' Q3 A9 b! U1 M5 d
. v8 u0 a; R; ^7 V/ ^, X+ O

爱情血□色□

学习了！　感谢楼主！