传播理论与信息理论问题:能否用数学关系式来表达消息中的“冗余”与“信息”比例关系( 二 )


这种编码方式就是有冗余的。现在再看噪声。我们用传播理论与信息理论问题:能否用数学关系式来表达消息中的“冗余”与“信息”比例关系
来编码信息之后,在信息的储存、传递等过程中可能造成信息的损失或畸变。我们可以把这种信息的损失或者畸变称为噪声。由于这种畸变,导致传播理论与信息理论问题:能否用数学关系式来表达消息中的“冗余”与“信息”比例关系
可能会对应传播理论与信息理论问题:能否用数学关系式来表达消息中的“冗余”与“信息”比例关系
的幂集里的一个元素,即传播理论与信息理论问题:能否用数学关系式来表达消息中的“冗余”与“信息”比例关系
中的一个元素,记为传播理论与信息理论问题:能否用数学关系式来表达消息中的“冗余”与“信息”比例关系
,这里要求传播理论与信息理论问题:能否用数学关系式来表达消息中的“冗余”与“信息”比例关系
. 我们用条件概率传播理论与信息理论问题:能否用数学关系式来表达消息中的“冗余”与“信息”比例关系
来刻画我们的噪声。现在我们假定编码方式传播理论与信息理论问题:能否用数学关系式来表达消息中的“冗余”与“信息”比例关系
是有冗余的,那么对于传播理论与信息理论问题:能否用数学关系式来表达消息中的“冗余”与“信息”比例关系
,在发生了上述畸变以后,我们解码会发生什么呢?注意到,有:传播理论与信息理论问题:能否用数学关系式来表达消息中的“冗余”与“信息”比例关系
即,解码之后的结果不变的概率是不小于未发生信息损失和畸变的概率的,而且通常应该大于,因为传播理论与信息理论问题:能否用数学关系式来表达消息中的“冗余”与“信息”比例关系
传播理论与信息理论问题:能否用数学关系式来表达消息中的“冗余”与“信息”比例关系
的真子集。但是,如果编码方式传播理论与信息理论问题:能否用数学关系式来表达消息中的“冗余”与“信息”比例关系
无冗余,那么传播理论与信息理论问题:能否用数学关系式来表达消息中的“冗余”与“信息”比例关系
就是双射,从而传播理论与信息理论问题:能否用数学关系式来表达消息中的“冗余”与“信息”比例关系
,则有传播理论与信息理论问题:能否用数学关系式来表达消息中的“冗余”与“信息”比例关系
,也就是说无冗余的编码方式要保证解码之后的结果不变,只有当未发生信息损失和畸变时才可以。因此,从上面的结果我们可以看出,如果信息的编码方式没有冗余,那么信息完全不能抵抗信息的畸变和损失,只要信息的畸变和损失发生了,解码之后的信息就一定跟原来不同。而如果编码的方式有冗余,那么在一定程度上可以抵抗信息损失和畸变的干扰。现在,回到题主的问题上,按我的理解题主问的是冗余的“大小”和抵抗噪声“能力”大小的关系。怎么衡量抵抗噪声“能力”的大小呢?我觉得可以用“发生信息畸变的情况下,解码后信息不受影响的概率”来刻画。也就是:传播理论与信息理论问题:能否用数学关系式来表达消息中的“冗余”与“信息”比例关系
比较麻烦的是怎么刻画“冗余”的大小。冗余是编码过程的特征,由传播理论与信息理论问题:能否用数学关系式来表达消息中的“冗余”与“信息”比例关系


推荐阅读