15. 离散信道示例及其容量
图11给出了一个离散信道的简单示例。共存在三种可能符号。第一个符号永远不会受噪声影响。第二个和第三个符号以概率p不受干扰地通过，相互转换的概率为q。（令，P和Q分别为使用第一个和第二个符号的概率，）则有：
图11 离散信道示例
我们希望以某种方式来选择P和Q，在P+2Q=1的约束条件下，使
达到最大。因此，我们考虑
消去
，
。
于是，信道容量为：
。
注意这一结果在
和
的情况下与一眼即可看出的结果绝对吻合。在第一种情况下，
，C=log 3，这是正确的，因为这个信道是无干扰的，共有三个可能符号。如果
，则
，C=log 2。这时根本无法区分第二个和第三个符号，它们好像是同一个符号。第一个符号的使用概率为
，第二个和第三个加起来的概率为
。可以采用任何期望方式在它们之间分布，仍然能够实现最大容量。
对于p的中间值，信道容量将介于log 2和log 3之间。第二个符号和第三个符号之间的区别会传送一些信息，但不像无噪声情况下那么多。由于第一个符号不受噪声干扰，所以其使用频率要高于其他两个符号。