九信息传输与信道容量.ppt

第三部分 信息论*1第三部分 信息论信息论的三个基本内容： 信息的度量；信息的信道容量；为利用信道容量传输 信息所需要的编码 相应的基本结论为： 如果一个信息源所发出的信息速率不超过信道容量， 则尽管有噪声存在，我们总可以找到一种编码方法 ，使全部信息以任意小的差错频度传过信道 编码过程有两类：信源编码和信道编码 信源编码——降低信息速率； 信道编码——等效无噪信道Date2第十章 信息传输与信道容量10.1 离散信道的信息传输 1.互信息与条件熵 设有两个符号组： 已知联合概率和条件概率：定义互信息：则平均互信息为：Date3第十四章 信息传输与信道容量即定义条件熵则有Date4第十四章 信息传输与信道容量容易证明： 1） 2） 证明：2）因为 ，所以因此即Date5第十四章 信息传输与信道容量在信号传输中，需要传输的信号为 接收到的信号为 通信中的最主要的问题就是利用接收到的信号来判断 传输的信号是什么 信息熵 表明传输信号所具有的平均信息量； 条件熵 表明X相对于Y的平均信息量(或丢失的 信息) ；因此互信息量 表明每个接受到的符号所获得的 平均信息量.Date6第十四章 信息传输与信道容量信息熵 表明接收信号所具有的平均信息量； 条件熵 表明Y相对于X的平均信息量(或噪声带 来的噪声熵)；互信息量 表明每个接受到的符号所获得的平均 信息量例 二元对称信道(BSC)Date7第十四章 信息传输与信道容量已知传输信号有传输过程中的错误概率为 , 下面来计算互信息量. 首先定义函数由题意知则有Date8第十四章 信息传输与信道容量所以互信息量为Date9第十四章 信息传输与信道容量2.离散信道容量——表明每个接受到的符号所获得的平均信息 量若信源给定，源点、宿点字符组以及前向转移概率 都固定，则 只与 有关。

为实现最大信息传输，信源 必须满足一定条件， 可以通过信源编码实现，令即每个符号所传输的最大信息量，称之为信道容量Date10第十四章 信息传输与信道容量若 为信道允许的最大符号速率，则代表信道传输的最大速率，它也可以用来描绘信道容 量山侬有噪声信道基本定理 如一信道有容量 ，信源信息速率 ，则总可以 找到一种编码系统（信道编码与信源编码），使信 源输出以任意小的差错频度传过信道；反之，如果 ，则无差错地传输信息是不可能的Date11第十四章 信息传输与信道容量14.2 连续信道 1.连续信息 连续信号 （随机信号），各态历经，带宽有限 可以得到连续随机变量其概率密度函数为 定义离散随机变量则当 时， Date12第十四章 信息传输与信道容量利用离散情况信息熵的定义，可以得到 的绝对信息 熵：其中 称为相对信息熵（信息熵），与离散情况不同的 是， 可以取正、负或零Date13第十四章 信息传输与信道容量问题：对于给定信源，如何选择 ，可以使得 达到最大？更一般地，此问题可以描绘成一个泛函问题： 寻找 ，使得积分达到最大，其中 受 个约束条件限制：Date14第十四章 信息传输与信道容量根据变分学中的定理，当 满足时， 为最大（或最小）。

至少有一个约束条件：例1 （具有固定平均功率的信源熵） 已知某信源有概率密度函数 ，且满足其中 为固定值试给出到达最大熵的 Date15第十四章 信息传输与信道容量解：此时有按照前面的结论，有所以带入约束条件有Date16第十四章 信息传输与信道容量解得所以达到最大熵时，有此时最大熵为Date17第十四章 信息传输与信道容量2.连续信道容量 传输信号 ，接收信号为 则可以定义平均互信息量容易证明 类似地，有通常，已知前向转移概率密度函数 ，则 所 传递的最大信息为Date18第十四章 信息传输与信道容量若信道具有固定带宽 ，则 是带宽为 的带限信 号；因此 可以由满足奈奎斯特抽样率 的抽 样值完全确定，所以最大信息传输速率为如果给定一个连续传输信道为加性高斯白噪声信道 (AWGN)，满足如下条件： 1）信道可在带宽范围内实现无畸变传输，任何传输损 耗都将得到补偿； 2）信道把来自信源的输入限制为具有固定平均功率 的带限信号 ；Date19第十四章 信息传输与信道容量3）宿点所收到的信号被均值为零，平均功率为 的带限加性高斯白噪声 所污染； 4）信号与噪声相互独立，因而 ，以及对于此特殊信道，可以计算信道容量。

1）计算噪声熵：Date20第十四章 信息传输与信道容量所以有2）计算信道容量：又 所以Date21第十四章 信息传输与信道容量所以因此最大传输速率为这就是在哈特莱－山侬定理中给出的可靠信息传输的 上限，即 在满足信息速率 的条件下，无错误的传输在理论 上讲是可能的Date22。