The mathematical theory of communication。

“1948年，香农发表了论文《通信的数学理论》，一年后，当它出版成册时，标题发生了变化，虽然只是一个单词，但意义巨大，从此以后，它成为所有科学文章中引用最多的论文之一，并由此诞生了信息论。”

“香农？”

“高一数学有提到。”

“我一点印象都没有……”

“你是不是数学不好？”

“嗯QAQ”

他笑了一下，说：“香农想知道信息是怎么传递的，这篇论文第一章 的第六小节，他给出了信息熵的公式，成功量化了信息。”

程霆的讲述深入浅出：“信道就是信息传输的通道，比如光纤、电缆、无线电。我们把信息假想成水，那信道就是水管，信道容量就是水管单位时间内能传输的水量。

如果想象成车，信道就是车道，车道拥堵，也就好比上网卡顿，网速慢。”

小姑娘点点头，表示听懂了。

程霆问她：“什么是好的通信？”

“快？”

“是接收到的信息和对方发送的一模一样，不会漏掉哪个词让你听不懂。”

“香农给出了信道容量的公式，我们将这称之为香农极限。香农极限就像光，几十年来人们努力靠近，几乎达到但还没有。而Arikan教授倾尽一生，通过极化码达到了香农极限。

“极化码？”

“简单来说，通过异或的特性，增加信道，当信道足够多，将有效信息都编码在好信道里，舍弃无用的差信道，信息就能无损，而整个通信模型的信道容量刚好就是香农极限。”

“这个通过牺牲部分信道来提高整体传输率的过程，就是极化。”

他看着她：“如果你听懂了我的话，我们就是一次好的通信。”

林葵伸手，戳戳他的手背：“biubiu，接收良好。”

作者有话说：

1.

香农，通信祖师爷，1948年发表的论文《通信的数学理论》，从此才有了信息论这个专业，他开启了一个学科。

（同志们，世界的尽头是数学。）

而香农在开创信息量之前，就留下了被誉为二十世纪最高水平的硕士论文——

《继电器与开关电路的符号分析》

被视作今天计算机最底层设计的开端。

简单来说，香农也是计算机的开拓者。

通信原理的抽象公式基本都有香农的贡献，对传播学最大的贡献是引入了反馈这个词，

我严重怀疑老爷子是穿越的（狗头）

2.

我们现在很火的AI就用到了信息熵。

3，

香农在哈特莱的研究基础上完成公式，他把对数的底从10变成了2，以2为底，很符合他用0和1描述世界的逻辑，二进制从这里出现，然后苏联开始研究三进制

香农公式，一定存在某种方法使在发送速率小于信道极限传输速率的信道保证可靠传输。

信道容量就是最大互信息，互信息是一个测度，是一个随机变量包含另一个随机变量信息量的度量

4.

什么是好的通信？

是接受到的信息和对方发送的一模一样，不会漏掉哪个词让你听不懂，

不确定自己听到的对不对，就叫疑义度，H(X丨Y)，是损失掉的，

散布度H(Y丨X)，是噪声引入的

损失的越少，听到的信息就越大，传输过程中，理论上能传输的最大互信息，就是channel capacity，信道容量

降噪耳机也是一样的道理，噪声是可以被克服的

5.

Arikan首先解决的是BEC信道，也叫二进制擦除信道，binary erasure channel

Erasure 擦除，这是信号损失的形象说法，这个信道只有两种可能，要嘛擦除，接收端完全收不到信号，要嘛成功，完整传达，不存在传达部分

按照网上大佬的解释，我简单一点跟大家说一下，

假设有P的概率被擦除，那么成功传输的概率是1-p，前面我们讲过，信道容量的定义是最大互信息，他证明信道容量c就是1-p

1是必然事件，p是不确定因素

由于为p的信息在信道中损失，我们最多只能传输1-p，假设p是0.5，那就最多可以让一半的信息无疑义的传输成功

但能不能达成1-p就是香农所谓的极限？

我们来了解一个词，异或，

（异或是一种二进制数□□算，两个相同的数据异或，结果永远为0：不同得为1）

（异或就是信息内容的差别集合，通过这一步，信道带有全部信息。类似调制解调器）

（伽罗瓦二元域里加和减是一样的运算，这里的异或就是伽罗瓦域里的加法。）

Arikan教授用两个BEC信道进行一种操作，U2直接传输信道二，U1在传输信道一之前，与 U2异或得到X1，