概率为1的确定事件真的不含有信息量
建模方法不对,混淆了模型。你说的“告诉”,这个过程是个信道传输的过程。
对于太阳是从哪里升起这个事件X,对于老师A来说,
概率P(X=东边|A)=1, 不确定性为H(X|A)=0
对于学生B来说,
概率P(X=东边|B)\u0026lt;1, 不确定性为H(X|B)\u0026gt;0
两者之间有信息鸿沟,所以可以搭建信道传递这个信息。
设老师告知了学生太阳是从东边升起了这个事实F后,学生可能表示完全相信了,也可能还保有某种不确定性(信道有噪声?), 也有可能走神了完全没听见老师说什么。
故学生听完F之后,概率 P(X=东边|B,F)\u0026lt;=1。
传递的信息量是H(X|B)-H(X|B,F)\u0026gt;=0 0表示学生听完F之后没有任何知识收货(类似于完全没听见老师说什么), 即P(X=东边|B,F)=P(X=东边|B), 对于X的概率认识完全没有改变(这里不严格点,先假设学生已经认为太阳要么从东要么从西边升起)。
如果学生完全相信了,概率P(X=东边|B,F)=1,不确定性H(X|B,F)=0,传递的信息就是原来学生B对于太阳是从哪里升起这个事件X的不确定性熵H(X|B)。
--------------------------------------------------------------------------------------------------------------------------
记着,所有的熵都是隐式的条件熵,对任何事件的不确定性都建立在你已经知道了xxx的情况下。历史书老师上课是在给你的 P(历史知识|你,你已有的历史知识) 这个量的最后一个项“你已有的历史知识”做并集运算。
■网友
【概率为1的确定事件真的不含有信息量】 概率为1的事件,信息熵为0,消除了一切可能出现的变体,应该是信息增量为0,不代表信息量为0
■网友
根据问题描述,你是根据如下的香农公式计算的:
根据信息论的这个基础公式,概率为1的确定事件的信息熵为0(注意:不是信息量)。
信息熵是描述信源本身统计特性的物理量,其物理意义是信源产生符号的平均不确定度,不管有无接收者,它总是客观存在的量。
信息熵是香农在研究下图中的点到点通信系统时提出的,
在点到点通信系统中,概率为1的确定事件,代表发送端一直以概率1发送某符号。因此接收端无法从中接收到任何信息量。
推荐阅读
- 筑牢疫情防控“大防线”上海确定三大重点任务
- “错换人生28年”事件续:三案均有果当事人及其父母共获赔逾76万元
- 危及铁路运输安全长三角13起事件责任方受到依法约谈
- |龙城高级中学建校地址确定 总用地面积8.24万平
- AutoR智驾|2020年度三大豹变营销事件:它们成就2020汽车界教科书式营销
- 肖战|227事件是一个人的错?肖战粉丝甩锅给工作人员后,遭官方打脸
- 怎样看待斗鱼拖欠小主播三个月工资的事件
- 中消协|回应“燕窝变糖水”事件 中消协专家教你做精明消费者
- 图像特征提取时,灰度共生矩阵的方向是咋确定的
- 咋防止低中奖概率的抽奖接口不被暴力请求
