信息论07课件

1、信道、信道容量与信道的有效利用,1. 信道、信道模型与信道分类 2. 离散无记忆信道及其信道容量 3. 离散无记忆信道容量的计算 4. 级联信道和并联信道的信道容量 5. 信道达到充分利用时输入输出字母概率分布的唯一性,信道，信道模型与信道分类 1.1 信道 基本概念 通信系统的组成部分。 (信息论意义上）传递和存储信息的通道或媒质。 狭义 电传播介质：电缆，自由空间。 通信设备：分类器（信息经过的通道）。 广义 测量，观察设备；示波仪。 存储，记忆设备：磁带，磁盘，光盘， 书信等。, 1.2 信道模型 输入输出关系：转移概率 信道描述：1. 输入容许字母集合及统计特征 2. 输出容许字母集合 3. 输入输出的转移概率分布,研究目标：从信道输出了解信道输入 1.3 信道分类 按信道输入出字母表分类 输入输出空间状态集合时间集合 离散信道（数字信道）：输入输出空间为离散。 输入输出为随机序列，状态集合离散。 连续信道：状态集合连续，时间集合离散。 输入输出为随机序列，状态集合连续。 模拟信道（波形信道）：输入输出空间为连续。,按输入和输出的数目分类 单用户信道：输入和输出都只有一个。为单

2、向通信 信道。 多用户信道：输入和输出中至少有一端有两个以上 的用户，且可以进行双向通信。 按输入和输出的关联性分类 无反馈信道：输出信号不返回到输入端，即对输入 信号无影响。 反馈信道：输出信号返回到输入端，即对输入信号 产生影响。,按信道转移概率分布函数的特点分类 无记忆信道：输出 Y 仅与当前的输入 X 有关，而 与前面的输入无关。 有记忆信道：输出 Y 不仅与当前的输入 X 有关， 而且与前面的输入有关。 稳恒信道： 输入与输出对应的随机过程为稳恒。 非稳恒信道：输入与输出不对应的随机过程为非稳恒。 按信道的参数（统计特性）与时间的关系分类 固定参数信道：信道的统计特性不随时间变化。 时变参数信道：信道的统计特性随时间变化。,信道研究的核心问题：迅速而准确地传递信息。 提高传输的有效性和可靠性。 有效性：最大限度地传递信息。 可靠性：准确无误 2. 离散无记忆信道的信道容量 2.1 单符号无记忆离散信道的信道容量 （1）基本概念 信道给定，则其统计特性确定。 数学模型：,研究目标：了解输出端能从输入端得到多少信息？ 即如何将信道所能传递的信息定量化？ 数学表示：互信息 分析：

3、给定， 随输入分布 变化而变化。调整该分布可使互信息达到最大值，即 给出了信道所能传递的最大信息量。定义该最大值为 给定信道的信道容量，用 表示： 求信道容量：找到分布，使互信息达到最值。 最佳分布：达到信道容量时的输入分布。,（2）几种特殊信道 输入为 条件下，输出 的条件概率， 为信道的前向转移概率。 信道 (前向转移概率)矩阵：,输出状态,简写： 对称信道 定义： 中所有的行都是同一组元素的不同排列， 所有的列也是同一组元素的不同排列。 准对称信道 定义：设 B 为 的列集合，如果将 B 划分成 m 个子集，而用每一个子集构成的矩阵所对应的信道都是对称信道。,例： 对称信道 准对称信道,强对称信道（均匀信道） 定义：信道输入输出符号个数相同，且信道矩阵为 （3）计算,对称信道,证明：,X已知时，Y的条件熵,定理1：对于对称信道，只有当输入分布为等概时， 输出分布才能等概。 证明：设输入等概 则输出的概率 ：为信道矩阵中第 列元素的和，则与 无 关，为常数 。,强对称信道,一般信道 解的充要条件定理：对于信道矩阵为 的离 散无记忆信道，其输入分布 能使互信息 达到最大值的充要条件是

4、， 存在常数 , 使在此分布下,互信息函数的性质： 1）非负性 2）极值性 3）凸性 I(P,Q)关于P是上凸函数 I(P,Q)关于Q是下凸函数,Kuhn-Tucker定理,另一种表述：,一般信道解的充要条件定理：对于信道矩阵为 的离散无记忆信道，其输入分布 ： 为最佳分布的充要条件是，存在常数 使 此时信道容量为 C。,直观解释,求解信道容量过程实际 信源的概率分布进行调 节的过程。 通过不断调节信源的概 率分布，找到信道对应 的最大信息传输速率。,这样，调整后 对应互信息将不会增加。,改变P(ak)使CI(X;Y)最小，信息全部输出条件下既信道中传输的少,(a) 二元对称信道,(b) 二元删除信道,例 1,信道容量求解 （a）强对称信道 方法1. 方法2. 达到信道容量时，输入输出等概,例2. 取输入分布,信道 矩阵,由定理得， 最佳分布：,例3. （1）. 对称性，令 （2）.,准对称信道,定理2：对于准对称信道，输入分布为等概时达到信 道容量。 证明：设输入分布 将准对称信道矩阵按列分为 M 各子矩阵，每个子 矩阵对应的信道为对称信道 其列标 的集合 是集合 的子集。,那么 对

5、于子矩阵,P(bj),又由对称性知，对于 不同排列。所以对于不同的 是常数。当,任何小子集里的I（ak；Y）都一样，既C,情况下求解问题,是 P 的上凸函数，有唯一极值。 计算C 就是的约束下求极值问题：,按拉格朗日乘数法，构造函数,得K+1个方程的方程组：,或,设Q逆,多符号信道,无记忆信道,性质： （1）,等号成立,（2）. 仅当信源离散无记忆时,有记忆信道,性质：当 时，,一般信道,在信源和信道为无记忆稳恒时,说明,表示每个符号能传输的最大信息量，信道传输能力的客观反映。 与信源无关，只与信道特性有关。 通过编码改变信源分布使互信息达到容量值。,C,3. 输入与信道的匹配 3.1 最佳分布的唯一性问题,例： 取 ， 另解： 结论：（1）输入概率分布的解不唯一,C=logJ-H(Y|ak),（2）当 J=K，Q 存在逆，则 有唯 一解。,输出分布的唯一性,定理 3. 最佳分布导致相同的输出分布。任何导致 这一输出分布的输入分布都是最佳分布。 达到信道容量时，输出分布是唯一的。 例：对称信道，输出分布为等概。 证明：假设两个不同的分布 为最佳分布， 则，对,如果对某些 有 由基本不等

6、式：,只与 和 有关，则导致分布 的输入 分布为最佳分布。,最佳分布的唯一性条件,定理 4. 对于含有最大数目零概率分量的最佳分布， 其非零概率分量是被唯一确定的，且非零概 率分量的数目不超过输出字母的总数。 证明：设最佳分布 中含有最大数目的零概率分 量，则其非零概率数目最小，设为 。 对输入字母顺序进行重排，使,但是分布不是唯一的，0的不同排列来构成,有 设 是与 具有相同特性和字母顺序的另一最 佳分布（ 个非零概率）：,与 K* 最小矛盾，则 PP（0）， P 是唯一的。,只有零解，则 J K*。 （只有零解秩列数）,注： 定理没有说明具有最大数目零概率的最佳分布是唯 一的。非零概率的唯一确定只是说明概率分布由同一 组包含零的数字不同排列构成。 例如：,最佳分布的零的个数，0以外的值和个数是确定的， 它们排列不同也是最佳分布，所以最佳分布不是唯一，成员是唯一,4. 信道的并联 4.1 输入并接 特点： 输入相同 ，输出不同 ， 单输入，多输出。,差不多的（我加的）,提高信道传输的可靠性： N 越大，传输越可靠。 对 进行估计，多次测量，每一次测量都构成一输入/输出信道，则 N 次测量后, 4.1 独立并联信道 特点： 多输入，多输出。 和 由彼此独立。 容量：,容量计算：, 4.1 和信道 特点： 随机应用 N 个信道中的一个，构成一输入/输出信 道。,容量： 例：N2。,信道的使用概率：,例,设某信道的输入X：0，1，2，输出Y：0，1，2， 信道矩阵为：,试求： 1. 信道容量C 2. 当,

《信息论07课件》由会员E****分享，可在线阅读，更多相关《信息论07课件》请在金锄头文库上搜索。