附录2：H=-Σpi log pi 的推导

设。 根据条件(3)，我们可以在中进行一次等概率选择分解为在s中进行m次等概率选择，并得到：

类似的，

。

我们可以将n为选择为任意大，并求得一个满足下式的m：

。

然后，取对数，并除以，得：

或

其中为任意小。现在由A(n)的单调性质，得：

因此，除以nA(s)，得：

或者

其中，Ｋ必须是满足(2)的正数。

现在假定我们要从n种可能选项中作一选择，其可测量概率为，其中为整数。我们可以把从种可能性进行一次选择，分解为以概率的n种可能性中进行一次选择，然后，如果选定了第i个，则以等概率从中选择。再次利用条件(3)，使这两种方法计算得出的由做出的总选择相等：

因此，

如果是不可测的，则可以用有理数进行近似，但根据我们的连续性假设，同一表达式必然成立。因此，该表达式通常均成立。系数K的选择是为了方便，用于针对所选择的度量单位进行调整。