* Z% }1 E8 E- V6 `7 W- B
玻尔兹曼从玻尔兹曼分布到推荐算法1 G1 f+ N" H$ R6 X% N& z0 U# w
神经网络的两大基本功能是: 特征变换和分类(回归)预测。每个基本的神经网络模型至少具备两者功能之一。而RBM则是用于进行特征变换的。考虑输入特征为 以及转化的特征为 (注: 这里 是 的另一种表示,而不是预测结果,这里不考虑预测的问题),RBM的任务是找到 的映射关系。基本的神经网络模型,通常用决策函数 表示这种映射关系,而对于RBM来说,则用联合概率分布 表示这种映射关系。无论是判别函数还是联合概率分布,都是可以描述变量关系的,且在任意条件下二者可以互相转化。因此,RBM从概率的角度去描述变量之间的关系,提供了另外一种解决特征提取问题的思路。 来源:https://zhuanlan.zhihu.com/p/24989699 玻尔兹曼分布是基于最大信息熵原理的,而当一个随机变量的平均值给定时,还可以有多种概率分布与之相容。现在的问题是如何从这些相容的概率分布中挑选出“最可几”的分布来作为实际上的分布。显然,要做到这点,必须有个挑选标准,最大信息熵原理就可作为这种挑选标准。 信息熵最大值的概率分布为: " x- ]0 s W9 ^* c
, D. i: D8 V9 Q5 W% S
RBM模型的损失函数与优化
/ Y* |9 j. G& U' \RBM模型的关键就是求出我们模型中的参数W,a,bW,a,b。如果求出呢?对于训练集的m个样本,RBM一般采用对数损失函数,即期望最小化下式: " F k1 F" m8 Q% t1 I/ M. \
j5 j3 r2 `! w( v6 |& `( a来源:https://www.cnblogs.com/pinard/p/6530523.html 受限玻尔兹曼机在协同过滤的应用。 将该模型应用到协同过滤需要解决以下两个问题: - 鉴于RBM中的单元都是二元变量, 如果用这些二元变量来对整数值的评分建模?
- 用户的打分是非常稀疏的, 亦即用户只会对很少的物品(比如电影)打分, 如何处理这些缺失的评分?
$ X( ]1 s3 Y- v" P( K
2. 基于RBM的协同过滤 R. R. Salakhutdinov等人提出了一种使用RBM来进行协同过滤的方法: 假设有m个电影, 则使用m个softmax单元来作为可见单元来构造RBM. 对于每个用户使用不同的RBM, 这些不同的RBM仅仅是可见单元不同, 因为不同的用户会对不同的电影打分, 所有的这些RBM的可见单元共用相同的偏置以及和隐藏单元的连接权重W. 该方法很好的解决了之前提到的问题: - 使用softmax来对用户的评分进行建模, softmax是一种组合可见单元, 包含k个二元单元, 第i个二元单元当且只当用户对该电影打分为i时才会置为1.
- 如果一个用户没有对第j个电影评分, 则该用户的RBM中不存在第j个softmax单元.% g$ e1 @4 K3 Y- r$ W( d
来源:http://www.cnblogs.com/kemaswill/p/3269138.html
# V: N# t, [, c' b9 C+ v1 e; T$ m3 s( }4 |
& T5 B* Y* p9 z* @# L
, P, u" D( U2 H* ]% E" d
8 i& ^. m$ O s+ P! Z* U& V# j, U8 o
8 x2 g; z" B. n
$ n* {* d, r! w, w- W. H2 c+ _! j) c
- ]& [4 [& W7 U7 f/ T
: u! L+ }' {) H( P! B7 y& j+ m. L" k
1 t$ e% H. `! ~% d: p/ T) c) J. t: k3 _! o
0 C" ^+ a- o6 u! Y( a9 ^
|