QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 3031|回复: 0
打印 上一主题 下一主题

机器学习算法——信息熵

[复制链接]
字体大小: 正常 放大

600

主题

29

听众

6868

积分

  • TA的每日心情
    奋斗
    2023-5-24 09:14
  • 签到天数: 119 天

    [LV.6]常住居民II

    群组2018高中组美赛 课堂

    群组2018国赛冲刺

    群组2018 夏令营面授课堂

    群组2016美赛交流群组

    跳转到指定楼层
    1#
    发表于 2018-11-2 08:53 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta
    机器学习算法——信息熵信息熵(Entropy)# U! {0 D% `8 C6 |' r9 G* |& d" ^
            信息是个很抽象的概念。我们常常说信息很多,或者信息较少,但却很难说清楚信息到底有多少。比如一本书中到底有多少信息量。直到 1948 年,香农(C. E. Shannon)提出了“信息熵”(shāng) 的概念,才解决了对信息的量化度量问题。熵的概念发展成为信息论、数据压缩等学科的基础,在很多科学研究的领域尤其是计算机科学中有着广泛的应用。
    % B' p, l8 i9 U" }6 c% _) o' `        实际上,一条信息的信息量大小和它的不确定性或存在概率有直接的关系。比如说,我们要搞清楚一件非常非常不确定的事,或是我们一无所知的事情,就需要了解大量的信息。相反,如果我们对某件事已经有了较多的了解,我们不需要太多的信息就能把它搞清楚。所以,从这个角度,我们可以认为,信息量的度量就等于不确定性的多少。一个系统越是有序,信息熵就越低;反之,一个系统越是混乱,信息熵就越高。因此可以认为信息熵是系统有序化程度的一个度量。 Shannon 借鉴了热力学的概念,把信息与其存在概率关联起来并称之为“信息熵”,并给出了计算信息熵的数学表达式:  H = - ∑  Pi * log2 Pi
    4 P7 {( r: U. f+ j& X
    ! F1 l- u1 D& h/ k1 e$ C' h4 G假设有一个字符串要求它的信息熵,其中Pi是字符i出现的概率(该字符出现次数/所有字符数),然后将所有的Pi乘上取对数后的值log2 Pi后累加,最后取负,得到字符串的信息熵。, \, K  O+ y/ N" i0 j
    本题要求计算给定字符串按照每个字符统计的信息熵。
    1 k6 y9 x. e' }8 w! L' L' [输入:一个字符串,请忽略所有非字母的字符(即只关注a-z, A-Z),且不区分字母的大小写。
    7 X  O- ~) ?# N5 N' L2 f提示:可以用StdIn.readAll()读入字符串的所有内容8 V' M& T8 `- ^! E2 f0 o" [
    输出:对应字符串的熵值,输出请用格式化输出("%4.2f\n")
    3 w9 G4 }$ ]3 ]( w& Y. ~% c0 i样例输入:To be or not To be,↵
    ' f) f0 z! F9 R' T6 U$ w, t/ ithat is the question↵, t- r' U) j  C0 l* d0 G) ?
    样例输出:
    ) B3 E5 F" X) K$ g9 P, y$ O2 O( p 捕获.PNG 3 w3 F3 z, ^, B# H) H9 I# a
    捕获.PNG 6 U7 u! S# G, B

    7 m, A3 n  ?+ k# v# K; Q8 Z1 W# P4 e1 n# K
      @* G$ ^% w& @# Z6 W" A

    ! m" @6 |3 V$ j: r' c4 @; {$ G: m  C
    9 k% o+ F' n- s: F7 `6 z

    ( w% Y$ @  w3 W
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-6-12 15:44 , Processed in 0.402211 second(s), 53 queries .

    回顶部