机器学习算法——信息熵

重光兰衣

机器学习算法——信息熵信息熵(Entropy)
3 a. P' M1 A  J- I( e4 \1 M        信息是个很抽象的概念。我们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本书中到底有多少信息量。直到 1948 年，香农（C. E. Shannon）提出了“信息熵”(shāng) 的概念，才解决了对信息的量化度量问题。熵的概念发展成为信息论、数据压缩等学科的基础，在很多科学研究的领域尤其是计算机科学中有着广泛的应用。
  F5 K2 {+ T0 r7 L* h- r" k3 V$ G        实际上，一条信息的信息量大小和它的不确定性或存在概率有直接的关系。比如说，我们要搞清楚一件非常非常不确定的事，或是我们一无所知的事情，就需要了解大量的信息。相反，如果我们对某件事已经有了较多的了解，我们不需要太多的信息就能把它搞清楚。所以，从这个角度，我们可以认为，信息量的度量就等于不确定性的多少。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。因此可以认为信息熵是系统有序化程度的一个度量。 Shannon 借鉴了热力学的概念，把信息与其存在概率关联起来并称之为“信息熵”，并给出了计算信息熵的数学表达式：  H = - ∑  Pi * log2 Pi

假设有一个字符串要求它的信息熵，其中Pi是字符i出现的概率（该字符出现次数/所有字符数），然后将所有的Pi乘上取对数后的值log2 Pi后累加，最后取负，得到字符串的信息熵。
1 X/ m1 d4 Z# c5 W+ R" K本题要求计算给定字符串按照每个字符统计的信息熵。
输入：一个字符串，请忽略所有非字母的字符(即只关注a-z, A-Z)，且不区分字母的大小写。
+ X0 l/ }1 I. h! `$ c+ @提示：可以用StdIn.readAll()读入字符串的所有内容
; f& q" q6 {4 ^7 w* N8 n- t输出：对应字符串的熵值，输出请用格式化输出("%4.2f\n")
% G. j9 r0 a3 [# u样例输入：To be or not To be,↵
5 L: V) J' M8 O% _that is the question↵
% x# D4 q4 m/ h& [+ a  `! {* D样例输出：
8 c% ?1 q9 m5 @: L/ B8 s
4 C# b" g) s  U: C7 J6 C2 L
7 q& Q2 L% C$ I, L; C& O1 z


. H9 Z8 z: C' Q+ ]
; ]7 w( L) F9 y# u* X
+ P" B8 r7 J2 Q7 }3 ~7 {2 W; k
1 I4 x0 g8 n  Q6 {: {. R
) }" q3 @( N# |, n/ L% @/ T