尿布与啤酒带来的反思-数据挖掘时代

wangzheng3056

    随着信息技术的不断发展，人们利用信息技术处理数据的能力大幅度提高，越来越多的数据库被应用于商业管理、生产控制和工程设计等各种领域。但是，面对不断增加的各种复杂数据，已存在的数据库的查询功能已经不能满足人们的需要，能不能从数据中提取人们所需要的信息和知识是大家越来越关注的问题。传统的统计技术已面临极大的挑战，集统计学、数据库、知识发现等技术于一身的数据挖掘技术应运而生。近几年来，数据挖掘技术在零售业、直效行销界、制造业、财务金融保险、通讯业以及医疗服务等领域应用广泛。
* f% t: _0 r2 Z7 \) F

wangzheng3056

一、数据挖掘的基本概念
) K5 }  |$ s6 A+ z; D: o2 e  X
* G, Z+ U7 X& t7 e(一)“啤酒尿布”的典型案例
7 m9 Z* I+ Z6 m% m7 l/ Y
' q% T5 R; x' h! ?2 }6 c在了解数据挖掘的概念之前，我们先来看一个“啤酒尿布”的故事。故事的主角是沃尔玛这个世界上最大的零售商，在其遍布美国数千家超级市场中，小孩尿布与啤酒居然并排摆放在邻近的货价上一起销售，而且两者销量都还不错。原来沃尔玛通过建立的数据仓库，分析了原始交易数据，按周期统计产品的销售信息，然后利用数据挖掘工具进行分析和挖掘，结果发现，每逢周末沃尔玛连锁超市啤酒和尿布的销量很大。进一步调查表明，在美国有孩子的家庭中，太太经常嘱咐她们的丈夫下班后要为孩子买尿布，而丈夫们在买完尿布后又顺手带回了自己爱喝的啤酒，因此啤酒和尿布一起购买的机会是最多的。之后该店打破常规，将啤酒和尿布的货架放在了一起，使得啤酒和尿布的销量进一步增长。啤酒和尿布这两者看似毫无关联，但在特定的条件下，它们之间却有密切的关系，这就是数据挖掘技术。..

wangzheng3056

3 i4 B% L: ]  i1 x9 l/ o(二)数据挖掘的概念

8 a$ I# n8 w3 u" O) R0 {# C数据挖掘(Data Mining)就是从海量的原始数据中，找出隐含在其中的、我们事先不知道的、但又是潜在的有意义的知识和信息，从而利用这些知识来指导我们的活动。从统计学的角度，数据挖掘可以看成是通过计算机对大量的复杂数据的自动探索性分析。随着信息技术的高速发展，人们积累的数据量急剧增长。数据挖掘就是为顺应这种需要应运而生发展起来的数据处理技术。
, ~* A( a$ S6 Q6 G2 i# Z- z

wangzheng3056

二、零售业应用数据挖掘的背景
& Y. I( @! ?- `' d
零售业客户关系管理((Customer Relationship Management。CRM)是一种以客户为中心的市场营销理念和策略。CRM的目标是缩减销售周期和销售成本、增加收入、寻找扩展业务所需的新市场和渠道以及提高客户的价格、满意度、盈利性和忠诚度。零售业客户关系管理主要通过条形码、销售管理系统、客户资料管理系统等各种途径获得关于商品信息、客户信息、供应商信息及店铺信息等大量的数据信息，如何利用这些海量数据信息分析出哪些商品好卖、哪些商品不好卖、哪些客户适宜哪些商品、商品之间如何搭配，是令零售商头疼的问题。利用数据挖掘工具对这些数据进行分析，可以帮助零售商进行科学的决策，分析哪些商品顾客最有希望一起购买，从而将这些商品摆放在一起；分析商品的销售趋势，从而给零售商提供进货建议；分析购买商品的人员信息，从而帮助零售商选择店铺的所在地点等。
2 v- i1 Q& C) k

wangzheng3056

三、数据挖掘技术的常用算法
0 z' I; w7 A( Y4 R  k4 g! s
, `2 c' n* x8 o, Q5 t3 N数据挖掘是零售业CRM中的核心技术，通过分析顾客已购买商品及这些商品之间的内在联系，确定顾客的购买习惯和关联购买倾向，从而帮助零售商制定营销策略。为了实现在零售业.. CRM中的应用，数据挖掘技术中主要涉及以下常用算法：..

wangzheng3056

8 V+ E6 J) W/ C6 e# P(一)聚类分析算法
! y9 _- B3 `' Z$ h6 [1 x8 o/ _
聚类分析算法是根据事物的特征对其进行聚类或分类，即所谓物以类聚，以期从中发现规律和典型模式。在零售业中，聚类分析可以帮助市场分析人员从消费者数据库中区分出不同的消费群体来，并且概括出每一类消费者的消费模式或者说习惯。..
9 \: m5 |* `: y5 z8 x$ h# E6 B

wangzheng3056

(二)决策树算法

1 M2 C6 t/ D5 E$ _+ x9 s! i1 @决策树算法就是利用训练集生成一个测试函数，根据不同取值建立树的分支；在每个分支子集中重复建立下层结点和分支，这样便生成一棵决策树。然后对决策树进行剪枝处理，最后把决策树转化为规则。决策树算法常用于预测模型，它通过将大量数据有目的分类，从中找到一些有价值的，潜在的信息。它分类速度快，特别适合大规模的数据分类处理。..

wangzheng3056

(三)神经网络算法
& O$ \) o6 H( j8 \1 e/ e4 B
. T9 j$ U  f& i' a( ^5 O. @- Z/ g+ t神经网络算法能够模拟人的神经元功能，经过输人层、隐藏层、输出层等，对数据进行调整、计算，最后得到结果。神经网络算法的优点是它能精确地对复杂问题进行预测。它本身具有良好的鲁棒性、自适应性和高度容错性。.. http://www.itonghui.com

wangzheng3056

(四)关联规则挖掘算法
" W# p  `% z/ `) b3 w# ]1 f! z- J+ O7 B
+ S" ^/ r1 n: {7 ]; E1 \. R关联规则挖掘是用于发现数据库中属性之间的相关联系的一种算法。关联规则发现任务的本质是在数据库中发现强关联规则，利用这些关联规则了解客户的行为，其最典型的例子就是购物篮分析。

wangzheng3056

四、数据挖掘技术在零售业中的应用
8 L, T& N. }9 W* j+ Z! f
随着日益增长的Web或电子商务方式的兴起，零售业CRM是数据挖掘的主要应用领域。数据挖掘技术可有助于识别客户购买行为，发现客户购买模式和趋势，改进服务质量，取得更好的客户保持力和满意度，提高货品销量比率，设计更好的货品运输与分销策略，减少商业成本。数据挖掘技术在零售业CRM中的应用主要体现在以下几个方面：
/ r7 C( \% P5 Q$ X. `