世界上信息熵最大的语言是汉语吗( 四 )



——————————————————
题主的问题有个显著的毛病:世界上六、七千种语言,汉语周围一大堆跟汉语差不多的(比如我前面罗列的那些),汉语何以称“最”?题主是否该加个限定词,限制人口下限。比如使用人数超过1亿的,信息量最高的是不是汉语?现在很可能是,但很快就不是了,因为越南人口已经逼近一亿,而越南语的信息量比汉语大。。。
这里要说一下南亚语系(Austro-Asiatic)。这个语系又分蒙达和孟-高棉两大语族,前者主要在印度中部,后者主要在中南半岛,印度东部也有一些。孟-高棉语族比较大的语言有越南语、高棉语(柬埔寨国语)、孟语(缅甸南部)、克木语(老挝主要语言之一)等等,都是高度分析化的语言,分析程度可能比汉语有过之而无不及。
所谓分析语,就是主要通过词语位置(而不是词形变化)来表达语法含义的语言。就像汉语“我吃饭了”、“我吃了饭”,“了”位置不同而语义有微妙的差别
这种情况在南亚语系里非常广泛。以孟语举例:
Ue qie peng. = 我吃饭。
Ue hu qie peng. = 我不吃饭。
Peng ue hu qie. = 饭我是不吃的。(强调“饭”)
注意虚词teh、ku、ko的位置:
Ue teh a. = 我必须去。
Ue a teh. = 我知道怎么去。
Ue ku a. = 我有机会去。
Ue a ku. = 我可以去。
Ue ko a peh. = 我让你去。
Ue a ko peh. = 我为了你而去。
是不是比汉语更简洁呢?

■网友
碎碎念预警我们先来明确一下信息熵的定义…先定义事件的信息量有独立事件A和B,我们知道,事件AB发生就等价于A发生且B发生那么AB的信息量应该等于A的信息量和B的信息量之和又因为一个几乎很难发生的事件所包含的信息量明显大于一个几乎一定发生的事件包含的信息因此我们定义一个事件的信息量为它发生的概率的负对数如果用2为底的话,得到的值的单位就是我们通常用的“比特”如果用自然对数的底e为底的话,单位是“奈特”当然存在等比例换算的关系。为了方便,本文如果需要,一律取“比特”好了,定义了事件的信息量。我们再来定义一个随机变量的信息熵(也就是它的“随机程度”)我们假定一个随机变量X可以取值X1,X2,X3,…,Xn那么根据之前的定义,我们可以计算出X=X1,X=X2,…X=Xn这n个事件的信息量。那么我们把X的这n种取值对应的事件的信息量,以发生概率为权值进行加权平均,得到的称为X的信息熵。举个例子,如果X的三个取值的概率分别是0.5 0.25 0.25,那么这三个取值分别对应的事件的信息量是1 bit,2 bit,2 bit。那么X包含的信息熵是0.5×1+0.25×2+0.25×2=1.5 bit那么,如果X有n个不同的取值我们用琴生(詹森)不等式就可以计算出,在这n个取值发生的概率取各种可能时,X包含的信息熵的最大值为log(n),且仅当X的n个取值等概率出现时取到。我们先用英文举例子,英文字母包含的信息熵信息熵(据说大约)是4.03bit,也就是说只要4bit多一点就可以储存一个英文字母——再考虑到计算机的对齐策略以及一些不可见字符的存在,实际上更常见的是用8bit(=1byte)储存一个英语字母。而我们所说的“压缩”就是尽可能从文本中压榨出并去除那些多余的信息量。因此,如果对于足够长的自然英文文本,可以估计它的压缩极限大约是4.03/8=50.375%而一个中文汉字包含的信息量(据说)为5.17bit。这样的话,表达同样的信息时,中文字数的期望实际上只有英文字数期望的77.950%但是为什么说中文的效率要低于英文呢?因为在几乎所有计算机的常用编码方案中,一个英文字母的大小都只有1byte,而一个汉字的大小则至少为2byte,所以如果直接在网络中传输的话,相同长度的英文可以表达更多信息——也就是所谓的“英文通信效率更高”不过这个结论也并不是严谨的:大多数完备的通信方案都会包含对数据的压缩——这样既有助于提高通信的安全性,也可以明显提高通信效率。而中英文经过压缩后的传输效率如何,实际上受到包括压缩算法在内的多种因素的影响——而且从理论上来说它们的传输效率的极限是一致的似乎一直以来都有用信息熵宣传民族主义还是逆民族主义的文章…如果真的要学习的话,还是去买一本教材比较靠谱,而不是通过这些文章来学习…比如说,如果你看完了上面这一大段碎碎念,你就会知道,文字的传输效率和信息熵并不完全相关——它实际上正相关于文字信息熵与文字占据大小的比值(为了简化,我们按等长字符计算的)。从这个意义上说,如果在保证每个汉字的大小都是2 byte的前提下,汉字的信息熵反而是越大越好…最后再回答一下题主的问题之一完美的语言是什么样子的——至少在我心里,应该是这样一种需要:有2的幂次个字母(便于存储),每个位置每个字母独立等概率出现(字母数一定时信息量最大)


推荐阅读