世界上信息熵最大的语言是汉语吗
严谨一点的回答是，汉语是世界上信息熵最大的主流语言。
1948年，香农的《A mathematical theory of communication》一文震撼了学术界，从此开创了一个信息度量时代。既然事件发生的信息可以度量，语言也是一种信息传递手段，那么语言中的信息究竟是多少？世界上有最优的语言吗？
在正式开始之前，我们先来谈谈信息熵跟信息量之间的关系。
信息量是事件可能性不确定度的度量, 第
个可能性中信息量是
，比如明天下雨有下雨不下雨两个可能性，下雨的概率是
,那么下雨的信息量就是
.
信息熵指的是事件发生的所有可能性中包含信息的期望平均值,
。
这里的“事件”可以指代任何随机发生的事情，比如提笔写下随机一个字。如果对上述定义不是很理解的话，可以参考下边这个回答~
信息熵是什么？那么，如果想要计算一个事件的信息熵，需要什么要素呢？从信息熵公式，很明显可以看出是 事件发生的所有可能性，以及对应的概率。
我们为什么要计算语言的信息熵呢？
抛开兴趣不谈，其实从科学研究角度，语言的信息熵研究也有着非常现实的意义。如果可以准确的计算出语言的信息熵，那么就得到该语言的信息压缩的下界，即文本压缩算法到达这个界限再也无法压缩。这种算法就是该语言的最优压缩算法，不需要继续优化辣。
现在可以回到原来的问题，语言的信息熵究竟是多少？
这个问题的计算方式其实很直观，只需要代入信息熵的公式就可以了。但是困扰信息论和语言学者将近一个世纪的问题是，我们无法准确地知道一个语言中特定文字的出现概率，甚至有时难以统计某种语言中究竟有多少种字符。
信息论科学家只能通过各种手段来估计各个语言的信息熵，比如Shannon认为英语的信息熵在0.6到1.3bits/字之间，Cover和King则认为英语的信息熵是1.25bits/字。差异来自于样本和实验方法的不同。英语等表音文字只有24个字母， 但是对于汉语，统计难度就大大增加了。幸运的是，当年信息论发展不久，各行各业的科学家都投入了极大兴趣来探索各种语言，即使中文有很大的特殊性，信息论前辈们也排除万难，用统计采样的方式计算了汉语的信息熵（数据集不完备），
很明显，中文不论从以文字，部首还是音节作为统计基础，其信息熵都远远超过英语。
看到这里各位观众可能觉得已经满足了，但是这样计算出的实验结果并不能与其它语言直接对比。因为上述实验基于不同的数据集，不能确定实验样本是否蕴含着等量的信息，同样不能排除翻译人员的个人原因导致的信息误差。
2002年，哈佛大学的Frederi等人重新做了对比实验。他们认为，从过往的自然语言研究来看，自然语言都有着很多共同的统计特性和相似的模式。他们假设，对不同种类的语言，类似PPM这种基于马尔科夫的压缩算法会忽视语言特性，把文本压缩至逼近信息压缩下界。
换句话说，如果采用的压缩算法不是针对某种语言特殊优化，不同的语言可以通过比较算法的压缩效率来近似比较信息熵。因此他们设计了一个实验，采用PPM算法压缩了各种不同版本的圣经：
推荐阅读
- 广东警方曝光38款存在超范围收集用户信息违规行为App
- 小米手机的指纹信息保管安全吗
- 讴歌MDX|于12月8日正式发布，讴歌全新MDX更多信息曝光！
- 电商会怎样存储和保护客户的信用卡信息不被泄漏
- 企业信息化系统可否自己搭建
- 地理信息科学专业地理所占比例怎样
- 电子信息工程考研有啥偏软件类的专业可以报考
- 可不可能利用网盘的秒传功能使用伪造的MD5（或其他信息）值进行文件分享
- 在汽车制造业从事企业的信息系统建设，该怎样规划自己的事业生涯?
- 趣头条|透过e-tron FE07赛车，奥迪在向我们传递什么信息？