数据挖掘建模过程
一、数据挖掘(Data Mining,DM),又称为数据库中的知识发现(Knowledge Discover in Database,KDD),决策支持过程,主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等,分析、归纳、推理,挖掘潜在的模式,帮助决策者调整市场策略,减少风险,做出正确决策。知识发现的的三个阶段:1、准备数据; 2、数据挖掘; 3、结果表达和解释
最著名的数据挖掘标准流程:CRISP-DM
全称为跨行业数据挖掘标准流程,分为6个阶段:业务理解、数据理解、数据准备、建模、评估、发布
(1) 业务理解:分析需求、初步收集数据和指标
(2)数据理解:理解各个数据字段的含义所记录的业务信息。
(3)数据准备:数据清洗、提出、转换,提取样本,清除噪声,处理缺失数据,数据标准化。
(4)建模:参数调整使模型最优。
(5)评估:评估、挑选最佳模型。
(6)发布:将模型运用于实践,跟踪反馈,了解效果,后期优化。
SAS数据挖掘方**:SEMMA
(1)Sample-数据取样
(2)Explore-数据探索
(3)Modify-数据修正
(4)Model-建模
(5)Assess-评估
二、经验谈
(1)明确要解决的问题
(2)确定最终评估标准
(3)设定期望方案
(4)简单项目到复杂项目
(5)团队合作,协调沟通
(6)避免陷入数据垃圾
页:
[1]