信息论 第一、二章：绪论和离散信源及其信息测度

1.1 信息的概念

香农信息的定义

定义：信息是事物运动状态或存在方式的不确定性的描述。

香农信息的度量

概率空间

概率空间：一个样本空间和它的概率测度，表示为：$[X,P]$。

在离散情况下，$X$的样本空间可写成$\{ a_1,a_2,…,a_q\}$。概率空间为：

$$\left[\begin{matrix} X\\P(x) \end{matrix}\right] =\left[\begin{matrix} a_1,&a_2,&...,&a_q\\ P(a_1),&P(a_2),&...,&P(a_q) \end{matrix}\right]$$

$P(a_1)$称为先验概率。

自信息

定义的不确定性称为该消息（符号）$a_i$的自信息，即

$$I(a_1)=\log \frac{1}{P(a_1)}$$

互信息

条件概率$P(a_i|b_j)$称为后验概率。

互信息是收信者获得的信息量，即

$$I(a_i;b_j)=\log\frac1{P(a_i)}-\log \frac1{P(a_i|b_j)}$$

通常也称概率信息。

2.1 信源的数学模型及分类

随机变量

随机变量$X$：描述信源输出的信息。

①. 离散信源：

$$\left[\begin{matrix} X\\P(x) \end{matrix}\right] =\left[\begin{matrix} a_1,&a_2,&...,&a_q\\ P(a_1),&P(a_2),&...,&P(a_q) \end{matrix}\right] \quad \sum_{i=1}^qP(a_i)=1$$

②. 连续信源：

$$\left[\begin{matrix} X\\P(x) \end{matrix}\right] =\left[\begin{matrix} (a,b)\\P(x) \end{matrix}\right]或 \left[\begin{matrix} R\\P(x) \end{matrix}\right] \quad \int_{a}^b p(x)dx=1或\int_Rp(x)dx=1$$

随机矢量

随机矢量$X$：信源输出的消息是按一定概率选取的符号序列。

$$平稳信源 \begin{cases} 离散平稳信源,连续平稳信源\\ 无记忆信源,有记忆信源 \end{cases}$$

离散无记忆信源$X$所输出的随机矢量构成的信源$X$称为离散无记忆信源$X$的$N$次扩展信源。

2.2 离散信源的信息熵

自信息

$$I(a_i)=\log\frac1{P(a_i)}$$

$P(a_i)$是事件$a_i$发生的先验概率。

单位：2，比特；e，奈特；10，哈特。

信息熵

即平均自信息量。

$$\begin{aligned} H(X)=E[\log \frac1{P(a_i)}]&=-\sum_{i=1}^qP(a_i)\log P(a_i) \\&=H(p_1,p_2,...,p_q)=H(\pmb P) \end{aligned}$$

$H(P)$为熵函数。

性质：

①. 对称性

$$H(p_1,p_2,...,p_q)=H(p_2,p_3,...,p_q,p_1)=...=H(p_q,p_1,...,P_{q-1})$$

②. 确定性

$$H(1,0)=H(1,0,0)=...=H(1,0,...,0)=0$$

③. 非负性

④. 扩展性

$$\lim_{ε→0}H_{q+1}(p_1,p_2,...,p_q,-ε,ε)=H_q(p_1,p_2,...,p_q)$$

⑤. 可加性

$$H(XY)=H(X)+H(Y)$$

这里的XY是联合分布（X,Y）的简略写法，不是乘积

⑥. 强可加性

$$H(XY)=H(X)+H(Y|X)$$

⑦. 递增性

$$\begin{aligned} &H_{n+m-1}(p_1,p_2,...,q_1,q_2,...,q_m) \\&=H_n(p_1,p_2,...,p_{n-1},p_n)+p_nH_m(\frac{q_1}{p_n},\frac{q_2}{p_n},...,\frac{q_m}{p_n}) \end{aligned}$$

其中$\sum_{i=1}^np_i=1,\sum_{j=1}^mq_j=p_n$。

⑧. 极值性

$$H(p_1,p_2,...,p_q)\le H(1/q,1/q,...,1/q)=\log q$$

⑨. 上凸性

$$H[\theta P_1+(1-\theta)P_2]\gt \theta H(P_1)+(1-\theta)H(P_2)$$

2.5 离散无记忆的扩展信源

信源$X$的$N$次扩展信源$X^N$具有$q^N$个符号的离散信源，其$N$重概率空间为：

$$\left[\begin{matrix} X^N\\P(\alpha_i) \end{matrix}\right] =\left[\begin{matrix} \alpha_1,&\alpha_2,&...,&\alpha_{q^N}\\ P(\alpha_1),&P(\alpha_2),&...,&P(\alpha_{q^N}) \end{matrix}\right]$$

式中，$\alpha_i=(a_{i_1}a_{i_2}…a_{i_N})\quad (i_1,i_2,…,i_N=1,2,…,q)$

并满足：

$$P(\alpha_i)=P(a_{i_1}a_{i_2}...a_{i_N})=\prod_{i_k=1}^qP(a_{i_k})$$ $$\sum_{i=1}^{q^N}P(\alpha_i)=\sum_{i=1}^{q^N}\prod_{i_k=1}^qP(a_{i_k})=1$$

$N$次扩展信源的熵：

$$H(X)=H(X^N)=-\sum_{X^N}p(X)\log p(X)=-\sum_{X^N}P(\alpha_i)\log P(\alpha_i)$$

2.6 离散平稳信源

数学定义

任意两个不同时刻信源输出符号的概率分布完全相同，则信源是完全平稳的，称为离散平稳信源。

二维离散平稳信源及其信息熵

设有一个二维离散平稳信源的概率空间为：

$$\left[\begin{matrix} X\\P(x) \end{matrix}\right] =\left[\begin{matrix} a_1,&a_2,&...,&a_q\\ P(a_1),&P(a_2),&...,&P(a_q) \end{matrix}\right] \quad \sum_{i=1}^qP(a_i)=1$$

连续两个信源符号出现的联合概率分布：

$$P(a_ia_j)(i,j=1,2,...,q)\quad\quad\quad \sum_{i=1}^q\sum_{j=1}^qP(a_ia_j)=1$$

联合熵：$H(X_1X_2)=-\sum_{i=1}^q\sum_{j=1}^qP(a_ia_j)\log P(a_ia_j)$

条件熵：$H(X_2|X_1)=-\sum_{i=1}^q\sum_{j=1}^qP(a_ia_j)\log P(a_j|a_i)$

2.8 信源剩余度与自然语言的熵

信源剩余度用来衡量信源的相关性程度：

熵的相对率：

$$\eta =\frac{H_\infty}{H_0}$$

信源剩余度：

$$\gamma =1-\eta = 1-\frac{H_{\infty}}{H_0},\quad H_0=\log q(q为信源的符号数)$$