16. 某些特殊情况下的信道容量

如果噪声对连续信道符号的影响是独立的，则可以用一组转换概率来描述。此概率就是发送符号i，收到符号j的概率。最大信道速率可用下式的最大值给出：

其中，我们改变，但保持。由拉格朗日方法可得到以下方程，

。

乘以，并针对s求得，可以证明。设的逆（如果存在的话）为，使得。则：

。

因此，

。

或：

。

这就是用于确定最大值的方程组，其中需要确定Ｃ，使得。在完成这一工作后，Ｃ为信道容量，是实现这一容量的信道符号的正确概率。

如果对于每个输入符号，由其引出的直线上都有相同的概率集，而且对于每个输出符号也是如此，就可以很轻松地计算出这一容量。图１２中给出了一些示例。在这种情况下，与输入符号上的概率分布无关，由给出，其中是由任意输入符号发出的转换概率值。信道容量为：

。

H(y)的最大值显然为log m（其中m是输出符号的数目），这是因为，如果使输入符号的可能性相等，则有可能使输出符号的概率也都相等。因此，信道容量为：

。

图12 每个输入、每个输出的转换概率相同的离散信道示例

在图12a中，信道容量为：

。

仅使用第一、第三符号即可实现这一取值。在图12b中：

在图12c中，有：

假定这些符号被分为几组，噪声从来不会导致一个组中的符号被错认为另一个组中的符号。如果我们仅使用第n组中的符号，则该组的容量为（单位为比特/秒）。因此，容易证明，为了达到整个集合的最佳使用效果，第n组中所有符号的总概率应当是：

。

在一个组内，概率的分布与不存在其他符号时相同。信道容量为：

。