浅夏110 发表于 2018-11-2 09:13

数据挖掘建模过程

一、数据挖掘(Data Mining,DM),又称为数据库中的知识发现(Knowledge Discover in Database,KDD),决策支持过程,主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等,分析、归纳、推理,挖掘潜在的模式,帮助决策者调整市场策略,减少风险,做出正确决策。

知识发现的的三个阶段:1、准备数据; 2、数据挖掘;  3、结果表达和解释

最著名的数据挖掘标准流程:CRISP-DM

全称为跨行业数据挖掘标准流程,分为6个阶段:业务理解、数据理解、数据准备、建模、评估、发布

(1) 业务理解:分析需求、初步收集数据和指标

(2)数据理解:理解各个数据字段的含义所记录的业务信息。

(3)数据准备:数据清洗、提出、转换,提取样本,清除噪声,处理缺失数据,数据标准化。

(4)建模:参数调整使模型最优。

(5)评估:评估、挑选最佳模型。

(6)发布:将模型运用于实践,跟踪反馈,了解效果,后期优化。

SAS数据挖掘方**:SEMMA

(1)Sample-数据取样

(2)Explore-数据探索

(3)Modify-数据修正

(4)Model-建模

(5)Assess-评估


二、经验谈

(1)明确要解决的问题

(2)确定最终评估标准

(3)设定期望方案

(4)简单项目到复杂项目

(5)团队合作,协调沟通

(6)避免陷入数据垃圾


页: [1]
查看完整版本: 数据挖掘建模过程