江苏龙网

  1. 首页 > 生活 > >

可以推荐一本关于信息论的通俗好书吗

信息论这玩意，没有通俗的说法，就是两个字，硬怼（推公式）。由浅入深的推荐以下几本。
入门级，杨伟豪的a first course in information theory。不过个人不喜欢最后几章讲的非香农型不等式，感觉对初学者没多大用，但这是杨老师自己研究的东西，能理解（夹带私货）。
全面打基础级，gamal和kim的network information theory。这本书个人认为是人类历史上写的最棒的信息论教材，据说是gamal上课的教材。我现在给研究生上课也主要依据此书。这本书基本涵盖了信息论领域的所以内容，也省去了繁琐的公式推导，是一本绝佳的学信息论的书籍。
高端人士装逼级，csiszar和korner的教材，information theory: coding theorems for discrete memoryless systems。这本书超级难，我曾经试图啃过，不过啃不动。我的数学功底还是太差了。把这本书看懂，我觉得tit发个十篇二十篇论文不是问题。
最后，我不推荐cover的书(elements in information theory)，为什么呢，太杂，不成系统。花里胡哨的


■网友
看了这么多回答，我想补充一些。
首先，个人强烈不推荐任何国内的中文教材！特别是那些所谓的经典教材，包括下面不少人推荐的姜丹老师的《信息论与编码》。这些教材的整体结构和内容已经严重落后于时代，本末倒置，而且没有任何数学上的直观解释（我蛮好奇那些说国内教材直观易懂的是怎么理解“直观”的）。而且几乎所有的国内的所谓经典教材，都不讲典型集和渐进均分性，而渐进均分性这一套东西，算是经典的Shannon theory里最重要的工具之一了。
【可以推荐一本关于信息论的通俗好书吗】 个人认为初学者学习信息论，最重要的是三点：1.理解各个信息度量（比如熵，互信息，KL-散度等等）的直观意义以及数学性质。2.理解为什么这些信息度量会与各个场景中的一些基本界限联系在一起（比如信源编码，信道编码等等）。3.学会证明中的基本思想和技术。至于什么计算信道容量的值啦，计算率失真函数啦，完全是不重要的。而我认为对初学者来说，典型集和渐进均分性这一套工具是最直观，最容易理解的。
关于教材，我觉得代老师的回答里已经推荐的很完善了。包括代老师不太喜欢，但无比经典的Cover的《elements of information theory》也是适合新手阅读的。这些书虽然风格不同，但显然还是碾压那些“经典中文教材”的。
下面补充说一些其他的资源：
上海交大程帆老师的信息论课程：信息论课程 -上海交大 - 2020春季学期_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili 我觉得是b站上能看到的所有信息论课程里讲得最好的。2.Stefan M. Moser写的一系列information theory的lecture notes https://moser-isi.ethz.ch/scripts.html 优点是覆盖面很宽（连guessing这种问题都讲了），而且推导很详细（每个常数都一丝不苟）；缺点是整体的结构有点乱。这个比较适合当工具书，比如你对一些推到的细节不清楚的话可以查阅一下，从头开始看的话太长了（一共加起来1200多页，这老哥真能写啊......）
3. Yury Polyanskiy的lecture notes：http://people.lids.mit.edu/yp/homepage/data/itlectures_v5.pdf 这个其实有点文不对题，因为它一点也不通俗，也很难啃......而且全书的语言都是基于测度论的概率论，所以至少得对基于测度论的概率论有一点基本的了解。当然优点就在于内容很新（讲了一些新的研究热点），讲得比较深，而且没有一句废话。我觉得如果想从事信息论研究，是一个入门之后继续深入的很好的材料。
4. John Duchi关于information theory and statistics的lecture notes：http://web.stanford.edu/class/stats311/lecture-notes.pdf 这个顾名思义是讲信息论与统计结合的问题（或者说是用信息度量来推统计里的bounds）。这也算近些年研究的小热点之一吧（可能因为经常会跟机器学习结合起来吧......），对这方面感兴趣的话也是一个很好的材料。


推荐阅读


上一篇：兰博基尼Urus|开它比q8拉风，车长5112mm配21英寸轮毂，还带四驱＋差速锁

下一篇：如果有效记住和区分 Cisco、H3C 设备的命令