数学建模社区-数学中国
标题:
机器学习算法——信息熵
[打印本页]
作者:
重光兰衣
时间:
2018-11-2 08:53
标题:
机器学习算法——信息熵
机器学习算法——信息熵
信息熵(Entropy)
. I1 s+ J, N$ Q. E1 S2 R
信息是个很抽象的概念。我们常常说信息很多,或者信息较少,但却很难说清楚信息到底有多少。比如一本书中到底有多少信息量。直到 1948 年,香农(C. E. Shannon)提出了“信息熵”(shāng) 的概念,才解决了对信息的量化度量问题。熵的概念发展成为信息论、数据压缩等学科的基础,在很多科学研究的领域尤其是计算机科学中有着广泛的应用。
! E% a5 g: ]. ?; N* o+ n, H0 N( l8 Q
实际上,一条信息的信息量大小和它的不确定性或存在概率有直接的关系。比如说,我们要搞清楚一件非常非常不确定的事,或是我们一无所知的事情,就需要了解大量的信息。相反,如果我们对某件事已经有了较多的了解,我们不需要太多的信息就能把它搞清楚。所以,从这个角度,我们可以认为,信息量的度量就等于不确定性的多少。一个系统越是有序,信息熵就越低;反之,一个系统越是混乱,信息熵就越高。因此可以认为信息熵是系统有序化程度的一个度量。 Shannon 借鉴了热力学的概念,把信息与其存在概率关联起来并称之为“信息熵”,并给出了计算信息熵的数学表达式:
H = - ∑ P
i
* log
2
P
i
, c! t+ |0 K, s! g
0 O( T2 d0 G- A, _
假设有一个字符串要求它的信息熵,其中Pi是字符i出现的概率(该字符出现次数/所有字符数),然后将所有的Pi乘上取对数后的值log2 Pi后累加,最后取负,得到字符串的信息熵。
# _8 u2 U3 d" ?* j3 t- X
本题要求计算给定字符串按照每个字符统计的信息熵。
! H* i6 X9 C3 R/ j
输入:一个字符串,请忽略所有非字母的字符(即只关注a-z, A-Z),且不区分字母的大小写。
0 C3 e0 a: h* S- ?8 [
提示:可以用StdIn.readAll()读入字符串的所有内容
( g- \( ~& ?! ^' j" j. } Q' W
输出:对应字符串的熵值,输出请用格式化输出("%4.2f\n")
5 o4 k7 K; h) r4 U
样例输入:To be or not To be,↵
( z0 z$ S* S4 N6 U
that is the question↵
: W/ r4 N O' J$ n
样例输出:
* V5 r; D% M" l! X" ?
2018-11-2 08:52 上传
下载附件
(138.65 KB)
+ }: D- F/ \ T6 M5 Q8 {4 p) d' O( P; Y
2018-11-2 08:53 上传
下载附件
(38.27 KB)
; y/ {' ^% n! J1 H3 U
. u1 g- r4 J3 X$ l# N) A6 I
! [ w: X/ Q: J( p# Q
% d. d/ E( e$ ]6 K; W) a
0 d* E2 R* }+ O8 L+ U8 [
9 D; {. r/ s8 Z4 E- j
+ a! p1 j; i ?4 M- ^* y( `
6 b8 ^6 j4 T' C
欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)
Powered by Discuz! X2.5