信息到底是什么？ 什么是信息( 二 )
信息用于消除信息熵(不确定性) 。如果抛硬币的正反概率都是50%，那么不确定性最高后信息熵最高 。另一方面，如果面朝上的概率较高，系统的不确定性较小，信息熵也较小 。
所以信息量本身其实就是信息源的信息熵 。
信息熵【信息到底是什么？ 什么是信息】所以，只要能算出信息熵，就能算出多少信息量？
怎么算？事实上，香农从热力学中找到了灵感 。在热力学中，熵用来表示:
系统的无序(不确定性) 。
举个最常见的例子，如果你往水里滴一点墨水，墨水就会和水融合，整个杯子的无序状态数量就会增加(因为变得混乱) 。在这里，我们可以把这个杯子里的水看成一个系统 。
在物理学中，一个系统的混沌程度可以通过计算整个系统的状态数来衡量 。
可能性越多，不确定性越大；在状态数不变的情况下，如果每个状态的可能性相同，那么不确定性就很大 。
所以科学家给出了一个计算系统状态数的公式(不看也无所谓):
其实，信息熵实际上是指信息资源所连接的系统(信息源)的不确定性(信息熵) 。
受热力学启发，香农也给出了计算信息熵(信息量)的类似公式:
具体怎么用？让我们回到刚才抛硬币的例子:
抛一枚理想硬币，信息熵为log2(2/1) = 1比特；
扔出两个理想硬币，信息熵为log2(4/1) = 2比特 。
自从信息论提出以来，科学家们一直在思考一个问题 。这是什么世道？我们都知道物质是由原子构成的，所以世界是原子的？
但我们也要知道，原子的排列构成了世界，排列本身就是信息 。所以，原子是通过交换比特来有序排列的，这就意味着，在某种程度上，世界又是比特了 。
推荐阅读
- 小苏打的特点是什么 小苏打的特点是什么形状
- 海参的疗效主要是什么
- 吕留良和吕四娘是什么关系
- 卡马西平片的功效是什么？
- 米氮平片的功效和作用是什么？
- 消糜栓的作用与功效是什么？
- 胃苏颗粒的功效是什么？
- 肌苷片的功效与副作用分别是什么？
- 生脉注射的功效与作用是什么？
- 二甲双胍的副作用是什么？