10. 讨论与示例

为从发电机向负载传送最大功率，通常必须引入变压器，使得从负载的角度来看时，发电机的阻抗与负载相同。这里的情景大体类似。执行编码的转换器应当使信源在统计意义上与信道相匹配。经过转换器，从信道的角度看去，信源的统计结构应当与实现信道容量最大化的信源相同。定理9中的内容是说，尽管通常不可能实现完全匹配，但可以使它们达到任意接近程度。实际传送速率与容量C的比值可称为该编码系统的效率。它当然等于信道符号的实际熵除以最大可能熵的比值。

一般来说，理想编码或接近理想的编码都需要在发送器和接收器中有较长时间的延时。在我们正在考虑的无噪声情况下，这一延迟的主要功能是让序列的概率与其相应长度能够很好地匹配。通过好的编码方式，一条长消息的概率求倒数，再求对数，所得的结果必然与相应信号的持续时间成正比，事实上，对于大多数长消息而言，除了很少一部分之外，

必然很小。

如果一个信源只能生成一条特定的消息，则其熵为0，根本就不需要信道。例如，如果一个计算机被设置用于计算的连续数位，它会生成一个没有随机成分的确定序列。不需要信道就可以将这个序列由一点“传送”到另一点。人们可以在该点构造一个相同的第二机器来计算同一序列。但是，这可能不太现实。在这种情况下，我们可以选择忽略部分或全部有关信源的已知统计信息。既然我们要设计一个能够传送任意数位序列的系统，那可以将的数位看作一个随机序列。采用类似方式，在设计代码时，可以选择使用有关英文的一部分已知统计信息，而不使用全部相关信息。在这种情况下，我们认为具有最大熵的信源满足我们希望保持的统计条件。这一信源的熵决定了充足、必须的信道容量。在的例子中，唯一保留的信息就是所有数位都是从集合0，1，...，9中选出的。在英文中，可能希望利用由字符频率信息所带来的统计好处，但不再希望利用其他信息。因此，该最大熵信源就是英文的一阶近似，它的熵决定了所需要的信道容量。

作为一部分此类结果的简单例子，考虑一个信源，它生成一个序列，序列中的字符是以概率从A，B，C，D中选出的，连续符号之间的选择相互独立。得：

。

因此，我们可以模拟一个编码系统，将来自这个信源的消息编码为二进制数位，每个符号平均占个二进制位。在此情况下，我们实际上可以利用以下编码达到极限值（这一编码方式是利用定理9第二种证明中的方法得到的）：

A 0
B 10
C 110
D 111

对一个N符号序列进行编码所使用的平均二进制位数等于：

。

容易看出，二进制数位的概率为，所以编码后所得序列的H为1比特/符号。由于平均来说，每个原始字符有个二进制符号，所以从时间上来说，这两个熵是相同的。原集合的最大可能熵为，当A，B，C，D的概率为时取此最大值。因此，相对熵为。我们可以利用下表，基于两对一的对应关系，将二进制序列转换为原来的符号集：

00 A'
01 B'
10 C'
11 D'

这个双重过程用相同符号对原来消息进行了编码，但其平均压缩比为。

作为第二个例子，考虑一个信源，它生成由A和B组成的一个序列，其中A的概率为p，B的概率为q。如果p<<q，则有：

。

在这种情况下，我们可以设计一种在0，1信道上相当出色的消息编码方式：先为不经常出现的A发送一个特殊序列，比如说0000，然后发送一个序列，表示在A之后有多少个B。这一数值可以用其二进制来表示，但所使用的二进制数字中不能包含特殊序列。所有小于16的数字都用其通常的二进制数来表示；但对于16，则用16之后第一个不包含四个0的二进制数来表示，即17=10001，以此类推。

可以证明，只要正确调整特殊序列的长度，当时，该编码方式就接近于理想编码。