查看: 4087|回复: 0

[其他资源] 数据挖掘——如何利用Python实现产品关联性分析apriori算法篇

[复制链接]

字体大小: 正常放大

杨利霞

5273 主题	82 听众	17万积分

TA的每日心情

	开心 2021-8-11 17:59

签到天数: 17 天

[LV.4]偶尔看看III

网络挑战赛参赛者

自我介绍: 本人女，毕业于内蒙古科技大学，担任文职专业，毕业专业英语。

群组: 2018美赛大象算法课程

群组: 2018美赛护航培训课程

群组: 2019年数学中国站长建

群组: 2019年数据分析师课程

群组: 2018年大象老师国赛优

电梯直达

1^#

发表于 2022-9-12 18:44 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据挖掘——如何利用Python实现产品关联性分析apriori算法篇

在实际业务场景中，我们常常会探讨到产品的关联性分析，本篇文章将会介绍一下如何在Python环境下如何利用apriori算法进行数据分析。

1.准备工作
如果需要在Python环境下实现apriori算法，就离不开一个关键的机器学习库mlxtend，运行以下代码进行安装：

pip install mlxtend
1
为方便进行过程的演示，在此构建测试数据：

import pandas as pd
df=pd.DataFrame({'product_list':['A-C', 'D', 'A-B-C-D','A-C','A-C-D','A-C-B']})
1
2
测试数据截图如下：

对上述的数据进行以下处理：

df_chg=df['product_list'].str.split("-")
1
数据处理后，结果截图如下：

截止到此，准备工作已经完成，下面个将会以df_chg作为参数进行建模。

2.核心函数及代码
2.1 数据预处理
对传入的数据进行预处理，使其成为符合要求的数据。mlxtend模块中有专门用于数据预处理的方法，在这里直接进行调用即可：

#1.将传入的数据转换为算法可接受的数据类型（布尔值）
from mlxtend.preprocessing import TransactionEncoder
te = TransactionEncoder()
df_tf = te.fit_transform(df_chg)
#为方便进行查看，生成dataframe
data = pd.DataFrame(df_tf,columns=te.columns_)
1
2
3
4
5
6
运行以上代码后，传入的df_chg数据会被转换成符合要求的数据data，截图如下：

2.2 两个关键函数
apriori函数
语法：

apriori(df, min_support=0.5, use_colnames=False, max_len=None, verbose=0, low_memory=False)
1
参数详解：

df: pandas模块中的数据帧，DataFrame形式的数据；
min_support：一个介于0和1之间的浮点数，表示对返回的项集的最小支持度。
use_colnames: 如果为 True，则在返回的 DataFrame 中使用 DataFrame 的列名;如果为False，则返回为列索引。通常情况下我们设置为True。
max_len: 生成的项目集的最大长度。如果无（默认），则计算所有可能的项集长度。
verbose: 如果 > = 1且 low_memory 为 True 时，显示迭代次数。如果 = 1且low_memory 为 False，则显示组合的数目。
low_memory:如果为 True，则使用迭代器搜索 min_support 之上的组合。low _ memory = True 通常只在内存资源有限的情况下用于大型数据集，因为这个实现比默认设置大约慢3-6倍。
association_rules函数
语法：

association_rules(df, metric='confidence', min_threshold=0.8, support_only=False)
1
参数如下：

df: pandas模块中的数据帧，DataFrame形式的数据；
metric：用于评估规则是否有意义的度量。可选参数有以下几种：‘support’, ‘confidence’, ‘lift’, 'leverage’和 ‘conviction’
min_threshold：评估度量的最小阈值，通过度量参数确定候选规则是否有意义。
support_only : 只计算规则支持并用 NaN 填充其他度量列。如果: a)输入 DataFrame 是不完整的，例如，不包含所有规则前因和后果的支持值 b)你只是想加快计算速度，因为你不需要其他度量。
附带metric几种参数的计算方法：

support(A->C) = support(A∩C) [aka ‘support’], range: [0, 1]

confidence(A->C) = support(A∩C) / support(A), range: [0, 1]

lift(A->C) = confidence(A->C) / support(C), range: [0, inf]

leverage(A->C) = support(A->C) - support(A)*support(C),
range: [-1, 1]

conviction = [1 - support(C)] / [1 - confidence(A->C)],
range: [0, inf]

3.实际应用案例
以下为完整的调用实例：

import pandas as pd
from mlxtend.preprocessing import TransactionEncoder
from mlxtend.frequent_patterns import apriori
from mlxtend.frequent_patterns import association_rules
#1.构建测试数据
df=pd.DataFrame({'product_list':['A-C', 'D', 'A-B-C-D','A-C','A-C-D','A-C-B']})
df_chg=df['product_list'].str.split("-")
#2.数据预处理
#将传入的数据转换为算法可接受的数据类型（布尔值）
te = TransactionEncoder()
df_tf = te.fit_transform(df_chg)
#为方便进行查看，生成dataframe
data = pd.DataFrame(df_tf,columns=te.columns_)
#3.建模
#利用 Apriori函数,设置最小支持度为0.2
frequent_itemsets = apriori(data,min_support=0.2,use_colnames= True)
#设置关联规则,设置最小置信度为0.15
temp= association_rules(frequent_itemsets,metric = 'confidence',min_threshold = 0.15)
#4.剪枝并控制输出
#设置最小提升度,并剔除对应的数据
min_lift=1
rules = temp.drop(temp[temp['lift']<min_lift].index)
#筛选需要输出的列
result = rules[['antecedents','consequents','support','confidence','lift']]
result=result.sort_values(['confidence','lift','support'],ascending=False)
result.to_csv('apriori_result.csv',index=False,encoding='utf-8-sig')

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
输出结果见下图：

————————————————
版权声明：本文为CSDN博主「theskylife」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_41780234/article/details/121920759

zan