世界上信息熵最大的语言是汉语吗( 二 )
如上图中,研究者们对比了英语,西班牙语,法语,中文,汉语,阿拉伯语,日文,俄语这些不同版本圣经的压缩前文件大小,压缩前文件大小与英文文件的比例,压缩后文件大小,压缩后文件大小与英文文件的比例等属性。理想条件下,如果翻译,压缩等过程没有信息损失,压缩后其他语言文件大小与英文文件的比例应该等于1。
我们可以很明显看到,中文的压缩效率低于其他文字,但是这个压缩效率是不是由于文本和压缩算法的原因引起的呢?他们又完成了如下两个实验,
第二个实验中采取了不同的压缩算法(BZIP2),结果相似,说明并不是压缩算法导致的压缩效率低下。
第三个实验中采用了不同文本(欧盟法规),除英语外的所有译文都被扩充了,而中文是其中被扩充最多的。对此研究者的解释是,圣经的文本是非常普遍的词汇,而欧盟法规中包含着很多特殊词汇,从其他语言翻译需要很长的文字扩展。这种现象可能是由于法律文本总是期望采用一些特殊词汇来翻译,这些词汇在日常生活中出现的频率不高,因此显得信息很多。如果将法律文本翻译成普遍的词汇,需要做一些语言扩展。但是依然可以看出,中文是“压缩”效率最低的语言。
从上述三个对比实验结果,可以得到结论,中文是压缩效率最低的语言,或者可以认为是最接近信息熵界限的语言。
虽然这个实验设计的也并不完美,但是从多个实验结果来看和近似估计来看,
中文是英语,西班牙语,法语,中文,汉语,阿拉伯语,日文,俄语这些主流语言中信息熵最大的语言。
如果存在完美的语言,那么应当达到信息压缩下界,但是即使我们知道了信息压缩的下界,怎么达到它又是另外一个非常大的课题。
在找到办法准确计算语言的信息压缩下界之前,类似是否存在/是否可以设计完美语言的这种问题我们都无法回答。
Shannon C E. Prediction and entropy of printed English. Bell system technical journal, 1951, 30(1): 50-64.
Cover T, King R. A convergent gambling estimate of the entropy of English. IEEE Transactions on Information Theory, 1978, 24(4): 413-421.
Wong K, Poon R. A Comment on the Entropy of the Chinese Language. IEEE Transactions on Acoustics, Speech, and Signal Processing, 1976, 24(6): 583-585.
Fromkin V, Rodman R, Hyams N. An introduction to language. Cengage Learning, 2018.
Behr Jr F H, Fossum V, Mitzenmacher M D, et al. Estimating and comparing entropy across written natural languages using PPM compression. 2002.
■网友
语言不知道,文字的话。
弹幕这种东西在中文直播网站几乎是标配,而twitch 油管之类的英文为主的网站则没这个功能。
■网友
建议 @甜草莓 把他的回答中的第一句:“严谨一点的回答是,汉语是世界上信息熵最大的主流语言。”中的严谨改成不严谨的瞎几把说一下,大家看着乐呵乐呵就得了,那么那个回答就是没问题的了。
他的回答主要是引用了论文《Estimating and Comparing Entropy across Written Natural Languages Using PPM Compression.》里的结论。
大概是说把几个世界主流语言对同一个文本的翻译找出来,对这些翻译做压缩,压缩率越高说明原文信息熵越小。
理想情况下,假设每个翻译都是完美表达了原文的意思,且压缩算法也是完美的,那么最后压缩得到的数据就应该是同样大小的,那么信息熵就纯粹取决于翻译文本的长度。而他们的实验确实验证了这一猜想,即最后压缩完后的数据大致差不多大小。
推荐阅读
- 广东警方曝光38款存在超范围收集用户信息违规行为App
- 小米手机的指纹信息保管安全吗
- 讴歌MDX|于12月8日正式发布,讴歌全新MDX更多信息曝光!
- 电商会怎样存储和保护客户的信用卡信息不被泄漏
- 企业信息化系统可否自己搭建
- 地理信息科学专业地理所占比例怎样
- 电子信息工程考研有啥偏软件类的专业可以报考
- 可不可能利用网盘的秒传功能使用伪造的MD5(或其他信息)值进行文件分享
- 在汽车制造业从事企业的信息系统建设,该怎样规划自己的事业生涯?
- 趣头条|透过e-tron FE07赛车,奥迪在向我们传递什么信息?
