引言
近来出现了许多以带宽换取信噪比的调制方法，比如PCM和PPM，它们的出现进一步激发了人们对广义通信理论的兴趣。在奈奎斯特（Nyquist）和哈特莱（Hartley）发表的一些重要相关论文中，奠定了这一理论的基础。本论文将扩展该理论，增加一些新的因素，具体来说，就是信道中噪声的影响、由于原始消息的统计结构和最终信宿的本质而可能减省的内容。
通信的基本问题就是在一个地方复现在另一个地方选定的消息，这一复现可能是准确的，也可能是近似的。这些消息通常有特定的含义；也就是说，它们会根据某一系统，与特定的物理或概念实体关联在一起。通信的语义与工程问题无关。重要的是：实际消息是从一个消息集合中选出的。所设计的系统必须能够处理任意选定的消息，而不是仅能处理实际选择的特定消息，因为在设计系统时，并不知道会实际选择哪条消息。
如果集合中的消息数目是有限的，而且选择每条消息的可能性相等，那就可以用这个消息数或者它的任意单调函数，来度量从集合中选择一条消息所生成的信息量。正如哈特莱所指出的那样，最自然的选择就是对数函数了。如果考虑消息统计信息的影响，如果消息的选取范围是连续的，那必须对其定义进行重要扩展，但在所有情况下，我们使用的度量在实质上都是对数函数。
对数度量之所以更为便利，其原因有多种：
它在实践中更为有用。一些在工程上非常重要的参数，比如时间、带宽、延迟数，等等，往往与可能性的数量的对数值呈线性关系。例如，增加一个继电器会使继电器的可能状态数加倍。如果对这一数目求以2为底的对数，则增加一个继电器后，会使结果加1。使时间加倍，会使可能消息数近似变为原来的平方，而其对数则是加倍，诸如此类。
它更接近于人类对正确度量的直观认知。这一点与第1个原因密切相关，因为人们在对实体进行直觉度量时，通常是与公共标准进行线性比较。比如，人们认为，两张打孔卡存储信息的容量应当是一张打孔卡的两倍，两个相同信道的信息传输能力应当是一个信道的两倍。
更适于数学运算。许多极限运算很容易用对数表示，如果采用可能性的数目表示，可能会需要进行冗繁、笨拙的重新表述。
对数底数的选择与信息度量单位的选择相对应。如果所用底数为2，则所得到的结果可以称为二进制数位（binary digit)，或者简称为比特（bit），它是由J. W. Tukey提议采用的。一个具有两种稳定状态的器件，比如继电器或者触发电路，可以存储1比特信息。N个此种器件可以存储N比特，因为可能状态的总数为
，而。如果所用底数为10，则所得单位可以称为十进制数字(decimal digit)。因为：
一个十进制数位大约为
个比特。台式计算机上的一个数位轮有10个稳定状态，因此，其存储容量是一个十进制数位。在一些涉及积分和微分的分析中，底数e有时会很有用。所得到的信息单位称为自然单位。只需要乘以
就可以将底数a改为底数b。
我们所说的通信系统，是指图1中示意给出的系统类型。它基本上由五部分组成：
信源，生成要传送给接收终端的消息或消息序列。消息可能是各种不同类型：(a) 字符序列，比如电传系统电报机中；(b) 单个时间函数f(t)，比如无线电或电话通信中；(c) 时间及其他变量的函数，比如黑白电视机中——这里的消息可以看作是两个空间坐标与时间的函数f(x, y, t)，也就是摄像管盘面上点(x, y)处在时刻t的光强度；(d) 时间的两个或更多个函数，比如f(t), g(t), h(t)——“三维”声传送即属这一情景，如果通信系统要以多工方式为几个独立信道提供服务，则同属这一情景；(e) 几个变量的几个函数——在彩色电视机中，消息包含三个函数f(x, y, t), g(x, y, t)， h(x, y, t)，它们都定义在一个三维闭联集(continuum)上——我们还可以将这三个函数看作是定义在该区域上的一个向量场的分量——与此类似，几台黑白电视源所生成的“消息”由许多三变量函数组成；(f) 还会有各种组合情景，比如，在带有关联音频声道的电视中。
发送器，它以某种方式对消息进行处理，生成一个适于在信道中传送的信号。在电话通信中，这一处理就是将声压变换为比例变化的电流。在电报中采用一种编码操作，在信道中生成一系列与消息相对应的点、划和空。在多工PCM系统中，必须对不同的语音函数采样进行采样、压缩、量化和编码，最后进行恰当的交错，从而构造出信号。在声码器系统、电视、频率调制中，也都需要对消息进行一些复杂处理才能得到信号。
信道，就是供发送器向接收器传送信号的媒介。它可能是一对导线、一根同轴电缆、一个无线电频带、一道光束，等等。
接收器，通常是执行发送器所做处理的逆处理，由信号重构出消息。
信宿，意欲向其传送消息的人（或物）。
图1 一般通信系统示意图
我们希望考虑涉及通信系统的某些一般性问题。为此，首先需要对所涉及的各个物理部分进行抽象，用数学方式表示出来。我们可以将通信系统粗略地分为三大类：离散系统，连续系统，混合系统。离散系统是指其中的消息和信号都是离散符号序列。电报是这种系统的一个典型例子，其中的消息是一个字符序列，信号是一个由点、划和空组成的序列。连续系统是指其中的消息和信号都可以看作连续函数，比如，无线广播或电视。混合系统是指离散变量与连续变量都可能出现的系统，比如语音的PCM传送。
我们首先考虑离散情景。这种情景不仅在通信理论中有应用，同样适用于计算机理论、电话交换设计及其他领域。此外，离散情景还为连续情景和混合情景奠定了基础，后两种情景将在本论文的第二部分讨论。