14. 讨论

定理11的证明方式尽管不是纯粹的存在性证明，但却具有此类证明的一些缺陷。如果尝试按照证明中的方法来很好地模拟理想编码，通常是不太现实的。事实上，除了一些相当少见的情景和特定的极限情景外，还没有发现一种明确的描述方式，能够给出理想编码的近似方式。 这可能并不是一种意外，而是因为很难明确地构造出随机序列的良好近似。

一种理想随机序列的近似应当具有以下性质：如果噪声以一种合理方式改变了信号，则应当仍然能够恢复出原信号。换句话说，经过这一改变后，所得信号与其他合理信号的差别通常不应小于与原信号的差别。完成这一操作的的代价是在编码中有一定数量的冗余。必须以正确方式引入冗余，以对抗所涉及的特定噪声结构。具体来说，如果该信源已经具有一定的冗余，而且没有尝试消除该冗余，以与信道匹配，则这一冗余度可以帮助对抗噪声。例如，在无噪声电报信道中，通过对消息的正确编码，可以节省大约50%的时间。人们并没有做这一项工作，英语中的大多数冗余仍然保留在信道符号中。但是，这样也有一个优点：允许信道中存在相当大的噪声。可能会错误收到相当数量的字符，因为英文的统计结构是相当棘手的，合乎情理的英文序列与随机选择的距离并不是特别遥远（这里所说的距离是指满足定理需求的程度）。

和在无噪声情景中一样，通常需要有一定的延迟才能接近理想编码。延迟现在还有另外一项功能：在有很大的噪声取样对信号产生影响之后，仍然可能在接收点将接收信号判定为原消息。增大采样大小，总是可以强化可能存在的统计断言。

可以采用一种稍有不同的方式来描述定理11的内容及其证明，这种方法更清楚地呈现了它与无噪声情景的联系。考虑持续时间为T的可能信号，并假定选择其中的一个子集来使用。假设此子集中所有信号的使用概率相同，并假定设计一种接收机，在接收到受干扰信号时，从该子集中选择最可能导致该信号的项目作为原始信号。我们可以为该子集选择一些信号，使得错误判定的概率小于或等于q，将N(T,q)定义为满足此条件的最大信号数目。

定理12：，其中C为信道容量，q不等于0和1。

换言之，无论我们设定什么样的可靠性极限，只要T足够大，我们就可以在时间T内可靠地区分出足够多的消息，以与大约CT比特相对应。可以将定理12与第1节给出的无噪声信道容量的定义进行对比。