概率为1的确定事件真的不含有信息量

建模方法不对,混淆了模型。你说的“告诉”,这个过程是个信道传输的过程。
对于太阳是从哪里升起这个事件X,对于老师A来说,
概率P(X=东边|A)=1, 不确定性为H(X|A)=0
对于学生B来说,
概率P(X=东边|B)\u0026lt;1, 不确定性为H(X|B)\u0026gt;0
两者之间有信息鸿沟,所以可以搭建信道传递这个信息。
设老师告知了学生太阳是从东边升起了这个事实F后,学生可能表示完全相信了,也可能还保有某种不确定性(信道有噪声?), 也有可能走神了完全没听见老师说什么。
故学生听完F之后,概率 P(X=东边|B,F)\u0026lt;=1。
传递的信息量是H(X|B)-H(X|B,F)\u0026gt;=0 0表示学生听完F之后没有任何知识收货(类似于完全没听见老师说什么), 即P(X=东边|B,F)=P(X=东边|B), 对于X的概率认识完全没有改变(这里不严格点,先假设学生已经认为太阳要么从东要么从西边升起)。
如果学生完全相信了,概率P(X=东边|B,F)=1,不确定性H(X|B,F)=0,传递的信息就是原来学生B对于太阳是从哪里升起这个事件X的不确定性熵H(X|B)。
--------------------------------------------------------------------------------------------------------------------------
记着,所有的熵都是隐式的条件熵,对任何事件的不确定性都建立在你已经知道了xxx的情况下。历史书老师上课是在给你的 P(历史知识|你,你已有的历史知识) 这个量的最后一个项“你已有的历史知识”做并集运算。

■网友
【概率为1的确定事件真的不含有信息量】 概率为1的事件,信息熵为0,消除了一切可能出现的变体,应该是信息增量为0,不代表信息量为0

■网友
根据问题描述,你是根据如下的香农公式计算的:
概率为1的确定事件真的不含有信息量
根据信息论的这个基础公式,概率为1的确定事件的信息熵为0(注意:不是信息量)。
信息熵是描述信源本身统计特性的物理量,其物理意义是信源产生符号的平均不确定度,不管有无接收者,它总是客观存在的量。
信息熵是香农在研究下图中的点到点通信系统时提出的,
概率为1的确定事件真的不含有信息量

在点到点通信系统中,概率为1的确定事件,代表发送端一直以概率1发送某符号。因此接收端无法从中接收到任何信息量。


    推荐阅读