【方法】建模方法学习2，数据挖掘(2)

百年孤独

3)各种分析方法的简介　　
·分类 （Classification） 　　首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分类模型，对于没有分类的数据进行分类。 　　
& e) b" v; L5 o1 Y例子： 　　
# @: u5 R, R' j: v# G4 ^- {6 b8 ta. 信用卡申请者，分类为低、中、高风险 　　
b. 故障诊断：中国宝钢集团与上海天律信息技术有限公司合作，采用数据挖掘技术对钢材生产的全流程进行质量监控和分析，构建故障地图，实时分析产品出现瑕疵的原因，有效提高了产品的优良率。 　　注意： 类的个数是确定的，预先定义好的 　　
· 估计（Estimation） 　　估计与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的输出；分类
数据挖掘的类别是确定数目的，估值的量是不确定的。 　　
8 E0 _: C+ [9 q7 M7 b例子： 　　
a. 根据购买模式，估计一个家庭的孩子个数 　　
: M8 n% i# T9 A  G' Y# m+ t0 Ab. 根据购买模式，估计一个家庭的收入 　　
: q+ W  j2 ?! oc. 估计real estate的价值 　　
一般来说，估值可以作为分类的前一步工作。给定一些输入数据，通过估值，得到未知的连续变量的值，然后，根据预先设定的阈值，进行分类。例如：银行对家庭贷款业务，运用估值，给各个客户记分（Score 0~1）。然后，根据阈值，将贷款级别分类。 　　
5 ^, D: d( r* v" Y0 C· 预测（Prediction） 　　
通常，预测是通过分类或估值起作用的，也就是说，通过分类或估值得出模型，该模型用于对未知变 量的预言。从这种意义上说，预言其实没有必要分为一个单独的类。预言其目的是对未来未知变量的预测，这种预测是需要时间来验证的，即必须经过一定时间后， 才知道预言准确性是多少。 　　· 相关性分组或关联规则（Affinity grouping or association rules） 　　决定哪些事情将一起发生。 　　
例子： 　　
a. 超市中客户在购买A的同时，经常会购买B，即A => B(关联规则) 　　
b. 客户在购买A后，隔一段时间，会购买B （序列分析） 　　
+ \7 Z1 W3 v# ^* z· 聚类（Clustering） 　　
3 P* L  Y5 B8 R8 ~聚类是对记录分组，把相似的记录在一个聚集里。聚类和分类的区别是聚集不依赖于预先定义好的类，不需要训练集。 　　
例子： 　　
a. 一些特定症状的聚集可能预示了一个特定的疾病 　　
- U% d5 t0 f) K/ zb. 租VCD类型不相似的客户聚集，可能暗示成员属于不同的亚文化群 　　聚集通常作为数据挖掘的第一步。例如，"哪一种类的促销对客户响应最好？"，对于这一 类问题，首先对整个客户做聚集，将客户分组在各自的聚集里，然后对每个不同的聚集，回答问题，可能效果更好。 　　
5 g6 h1 v6 \6 x3 [; j$ @5 n· 描述和可视化（Description and Visualization） 　　
) C7 c6 Z; J8 L1 ^% w8 t是对数据挖掘结果的
数据挖掘的步骤会随不同领域的应用而有所变化，每一种数据挖掘技术也会有各自的特性和使用步骤，针对不同问题和需求所制定的数据挖掘过程也会存在差异。此 外，数据的完整程度、专业人员支持的程度等都会对建立数据挖掘过程有所影响。这些因素造成了数据挖掘在各不同领域中的运用、规划，以及流程的差异性，即使 同一产业，也会因为分析技术和专业知识的涉入程度不同而不同，因此对于数据挖掘过程的系统化、标准化就显得格外重要。如此一来，不仅可以较容易地跨领域应 用，也可以结合不同的专业知识，发挥数据挖掘的真正精神。 　　
数据挖掘完整的步骤如下： 　　
/ Y5 B" h+ B. d/ Y4 n( x① 理解数据和数据的来源（understanding）。 　　
* o6 i2 o) @5 q' G7 x5 x6 U4 W' S② 获取相关知识与技术（acquisition）。 　　
③ 整合与检查数据（integration and checking）。 　　
: u( t5 X% Y* G' ?( N9 ?8 q④ 去除错误或不一致的数据（data cleaning）。 　　
$ G5 [) g4 u$ ~7 U8 R& Y⑤ 建立模型和假设（model and hypothesis development）。 　　
4 l4 `% u5 S: z, Z3 W⑥ 实际数据挖掘工作（data mining）。 　　
3 b: D1 @. i$ q; H' m+ I1 E+ k7 g& d⑦ 测试和验证挖掘结果（testing and verification）。 　　
+ \7 a6 I) K/ j, k& x% u9 n- I⑧ 解释和应用（interpretation and use）。 　　
2 H5 C* F) k% `% ?/ s由上述步骤可看出，数据挖掘牵涉了大量的准备工作与规划工作，事实上许多专家都认为整套数据挖 掘的过程中，有80%的时间和精力是花费在数据预处理阶段，其中包括数据的净化、数据格式转换、变量整合，以及数据表的链接。可见，在进行数据挖掘技术的 分析之前，还有许多准备工作要完成。编辑本段数据挖掘在行业中的应用电信行业　 　价格竞争空前激烈，语音业务增长趋缓，快速增长的中国移动通信市场正面临着前所未有的生存压力。中国电信业改革的加速推进形成了新的竞争态势，移动运营 市场的竞争广度和强度将进一步加大，这特别表现在集团客户领域。移动信息化和集团客户已然成为未来各运营商应对竞争、获取持续增长的新引擎。 　　随着国内三足鼎立全业务竞争态势和3G牌照发放，各运营商为集团客户提供融合的信息化解决方案 将是大势所趋，而移动信息化将成为全面进入信息化服务领域的先导力量。传统移动运营商因此面临着从传统个人业务转向同时拓展集团客户信息化业务领域的挑 战。如何应对来自内外部的挑战，迅速以移动信息化业务作为融合业务的竞争利器之一拓展集团客户市场，在新兴市场中立于不败之地，是传统移动运营商需要解决 的紧迫问题。 　　IBM全球企业咨询服务部经过研究认为，传统移动运营商在拓展集团客户信息化市场的过程中所面 临的外部挑战主要来自三个方面，即市场需求不成熟，技术与业务融合，全业务的竞争。同时，运营商在自身发展上也存在诸多问题，例如目标市场细分不清晰，信 息化需求挖掘与评估不足；产品规划和管理难以满足客户信息化需求；渠道较为单一，无法有效覆盖客户；对合作伙伴吸引力较弱，尚未形成共赢的价值链；在运营 管理层面，业务流程、销售团队能力以及IT支撑上都不适应集团信息化业务的发展。


/ g5 v; `" K3 ~