数学建模社区-数学中国

标题: 机器学习算法——信息熵 [打印本页]

作者: 重光兰衣    时间: 2018-11-2 08:53
标题: 机器学习算法——信息熵
机器学习算法——信息熵信息熵(Entropy)
6 a  N7 K6 }& N( x        信息是个很抽象的概念。我们常常说信息很多,或者信息较少,但却很难说清楚信息到底有多少。比如一本书中到底有多少信息量。直到 1948 年,香农(C. E. Shannon)提出了“信息熵”(shāng) 的概念,才解决了对信息的量化度量问题。熵的概念发展成为信息论、数据压缩等学科的基础,在很多科学研究的领域尤其是计算机科学中有着广泛的应用。4 o; x9 m& w3 Q$ k
        实际上,一条信息的信息量大小和它的不确定性或存在概率有直接的关系。比如说,我们要搞清楚一件非常非常不确定的事,或是我们一无所知的事情,就需要了解大量的信息。相反,如果我们对某件事已经有了较多的了解,我们不需要太多的信息就能把它搞清楚。所以,从这个角度,我们可以认为,信息量的度量就等于不确定性的多少。一个系统越是有序,信息熵就越低;反之,一个系统越是混乱,信息熵就越高。因此可以认为信息熵是系统有序化程度的一个度量。 Shannon 借鉴了热力学的概念,把信息与其存在概率关联起来并称之为“信息熵”,并给出了计算信息熵的数学表达式:  H = - ∑  Pi * log2 Pi3 e" h* U0 U  ^5 L

+ r& b0 o: T/ N+ D$ y( R假设有一个字符串要求它的信息熵,其中Pi是字符i出现的概率(该字符出现次数/所有字符数),然后将所有的Pi乘上取对数后的值log2 Pi后累加,最后取负,得到字符串的信息熵。
# D% g3 z  T1 u. O4 {本题要求计算给定字符串按照每个字符统计的信息熵。
: N3 Q7 y9 q6 q6 y输入:一个字符串,请忽略所有非字母的字符(即只关注a-z, A-Z),且不区分字母的大小写。
9 \. i8 |4 J) I' Q! x  d提示:可以用StdIn.readAll()读入字符串的所有内容  X  ?; B/ ^" g: O+ d3 h
输出:对应字符串的熵值,输出请用格式化输出("%4.2f\n")
8 v# e" ?$ p( F1 y& j+ W9 k样例输入:To be or not To be,↵
2 f, L- n: |- y' Zthat is the question↵
8 l" Q1 |3 O, Y3 V& P$ M4 `样例输出:  _  f& P( j8 d* L  u8 C5 i
捕获.PNG - w/ E  n3 F2 ?7 l9 b1 a. N
捕获.PNG
) d3 t' S/ G' W5 X3 }5 h; z6 E$ B6 @1 y8 B
- n% P- t8 }* K4 N& b
2 f( _. r9 {: k6 b. i; [7 @

0 c9 @" `" t5 z) o# j1 @& |  ~& [$ J, D

# {  q) {0 g  u  n% S+ G; e; s7 N' ]9 h3 S2 F





欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5