QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 1346|回复: 0
打印 上一主题 下一主题

玻尔兹曼从玻尔兹曼分布到推荐算法

[复制链接]
字体大小: 正常 放大
杨利霞        

5273

主题

82

听众

17万

积分

  • TA的每日心情
    开心
    2021-8-11 17:59
  • 签到天数: 17 天

    [LV.4]偶尔看看III

    网络挑战赛参赛者

    网络挑战赛参赛者

    自我介绍
    本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。

    群组2018美赛大象算法课程

    群组2018美赛护航培训课程

    群组2019年 数学中国站长建

    群组2019年数据分析师课程

    群组2018年大象老师国赛优

    跳转到指定楼层
    1#
    发表于 2020-5-13 15:44 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta
    + u& r! X& g/ s2 @
    玻尔兹曼从玻尔兹曼分布到推荐算法0 t0 H& F# K% Z8 S+ ~+ _

    神经网络的两大基本功能是: 特征变换和分类(回归)预测。每个基本的神经网络模型至少具备两者功能之一。而RBM则是用于进行特征变换的。考虑输入特征为以及转化的特征为(注: 这里的另一种表示,而不是预测结果,这里不考虑预测的问题),RBM的任务是找到的映射关系。基本的神经网络模型,通常用决策函数表示这种映射关系,而对于RBM来说,则用联合概率分布表示这种映射关系。无论是判别函数还是联合概率分布,都是可以描述变量关系的,且在任意条件下二者可以互相转化。因此,RBM从概率的角度去描述变量之间的关系,提供了另外一种解决特征提取问题的思路。

    来源:https://zhuanlan.zhihu.com/p/24989699

    玻尔兹曼分布是基于最大信息熵原理的,而当一个随机变量的平均值给定时,还可以有多种概率分布与之相容。现在的问题是如何从这些相容的概率分布中挑选出“最可几”的分布来作为实际上的分布。显然,要做到这点,必须有个挑选标准,最大信息熵原理就可作为这种挑选标准。

    信息熵最大值的概率分布为:


    " u9 S& x5 v  s4 C 1.png
    " p& g, c! Z8 N8 b* q* GRBM模型的损失函数与优化
    " `; _* o# D3 i/ q1 O3 N% M! G

    RBM模型的关键就是求出我们模型中的参数W,a,bW,a,b。如果求出呢?对于训练集的m个样本,RBM一般采用对数损失函数,即期望最小化下式:

    / n( {# U0 }( M. P! O; N' X5 }- h
    2.png
    3 Q, v" H5 {7 b5 I% f

    来源:https://www.cnblogs.com/pinard/p/6530523.html

    受限玻尔兹曼机在协同过滤的应用。

    将该模型应用到协同过滤需要解决以下两个问题:

    • 鉴于RBM中的单元都是二元变量, 如果用这些二元变量来对整数值的评分建模?
    • 用户的打分是非常稀疏的, 亦即用户只会对很少的物品(比如电影)打分, 如何处理这些缺失的评分?+ }8 `" H* H2 V2 C5 j

    2. 基于RBM的协同过滤

      R. R. Salakhutdinov等人提出了一种使用RBM来进行协同过滤的方法:

      假设有m个电影, 则使用m个softmax单元来作为可见单元来构造RBM.  对于每个用户使用不同的RBM, 这些不同的RBM仅仅是可见单元不同, 因为不同的用户会对不同的电影打分, 所有的这些RBM的可见单元共用相同的偏置以及和隐藏单元的连接权重W. 该方法很好的解决了之前提到的问题:

    • 使用softmax来对用户的评分进行建模, softmax是一种组合可见单元, 包含k个二元单元, 第i个二元单元当且只当用户对该电影打分为i时才会置为1.
    • 如果一个用户没有对第j个电影评分, 则该用户的RBM中不存在第j个softmax单元.
      7 O* r# ^1 N& s: d

    来源:http://www.cnblogs.com/kemaswill/p/3269138.html


    5 p( a- _& ^) l2 I3 G, u  R; a, T9 ?6 x- }2 y( z! z5 _
    . l, K" J. R! R6 @- g

    6 y7 [8 l, n" t" }( j4 l( ?2 s$ _4 }% ?4 J

    8 R2 \! ^5 W% k4 B, M1 P! U( X3 e7 W* n( L# T3 Z) A; ^/ p

    2 n9 j, j+ r1 f& y, y' y' e0 l
    2 `1 F) c1 t  F5 y* J0 h( N% F# s/ O2 }+ |. `

    ; }0 ~- H( p( @& ^3 U! @) I- e. J
    . i( H) H3 r" w' |7 D8 f6 W1 L' x
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2025-9-23 23:04 , Processed in 2.116963 second(s), 53 queries .

    回顶部