信道模型和信道容量.ppt

信息论基础 Fundaments of Information Theory武汉科技大学信息科学与工程 学院信息论基础 武汉科技大学第三章 信道模型和信道容量q信道的基本概念 q信道的数学模型 q平均互信息量、损失熵、噪音熵 q信道容量 q离散对称信道的信道容量计算信息论基础 武汉科技大学信息传输系统消息消息消息消息第二章:信息量第三章信 道与信道 容量信息论基础 武汉科技大学信道的基本概念信息论基础 武汉科技大学信道的基本概念q信道的任务：以信号的方式传输信息和存 储信息q信道中存在随机噪声q输入信号与输出信号之间一般都不是确定 的函数关系，而是统计依赖的关系 信息论基础 武汉科技大学例：信源输出二元符号(0,1)调制时如采用正负 方波的传输，正负方波分别表示0和1 信道的基本概念信息论基础 武汉科技大学信道的基本概念１. 无噪声干扰P(0|0)=P(1|1)=1 P(1|0)=P(0|1)=0信息论基础 武汉科技大学信道的基本概念2. 微小噪声干扰P(0|0)=P(1|1)=1 P(1|0)=P(0|1)=0信息论基础 武汉科技大学信道的基本概念3. 一般噪声干扰P(0|0) ≠ P(1|1) ≠1 P(1|0) ≠ P(0|1) ≠ 0信息论基础 武汉科技大学信道的基本概念q信道的任务：以信号的方式传输信息和存 储信息q信道中存在随机噪声q输入信号与输出信号之间一般都不是确定 的函数关系，而是统计依赖的关系 q研究信道的目的：信道能够传输或存储的 最大信息量，即信道容量信息论基础 武汉科技大学信道的基本概念－信道分类根据信道用户的多少，可以分为：l单用户信道：只有一个输入、一个输出 的单向信道l多用户信道：输入、输出至少有一端有 两个以上的用户，还有可能是双向信道信息论基础 武汉科技大学信道的基本概念－信道分类根据信道的记忆特性l无记忆信道：信道输出只与当前的 输入有关l有记忆信道：信道输出不仅与当前 输入有关，还与过去的输入有关信息论基础 武汉科技大学信道的基本概念－信道分类根据输入、输出信号的取值特点：l离散输入：输入输出的随机序列取值都是离 散的l连续信道：输入输出的随机序列取值都是连 续的l半离散半连续信道：输入序列取值离散而输 出序列取值连续，或者反之。

l波形信道：输入输出信号在时间上和取值上 都是连续的，不能用随机序列，而需要用随 机过程表示信息论基础 武汉科技大学信道的基本概念－信道分类根据信道参数与时间的关系，可以分为：l固定参数信道：信道参数（统计特性） 不随时间变化而变化l时变参数信道：信道参数（统计特性） 随时间变化而变化我们在这门课程中，主要研究的是 单用户、固定参数的离散信道 信息论基础 武汉科技大学信道的数学模型X和Y分别是输入和输出随机序列 信息论基础 武汉科技大学信道的数学模型是条件概率分布，或称为条件概率 矩阵描述了输入信号、输出信号之间的 统计依赖关系，反映了信道的统计特性.信息论基础 武汉科技大学信道的数学模型根据信道的统计特性，即 的不同， 离散信道可以分成三种情况：l无干扰信道 l有干扰无记忆信道 l有干扰有记忆信道信息论基础 武汉科技大学无干扰信道 最理想的信道，信道中没有随机性的干 扰，输出信号和输入信号有一一对应的函 数 关系信息论基础 武汉科技大学有干扰无记忆信道一般信道中都存在着干扰和噪声，所以输 出符号和输入符号之间没有确定的对应关系 ，而是统计依赖关系。

信息论基础 武汉科技大学有干扰无记忆信道不仅仅是有干扰信道，而且是无记忆的 无记忆的信道指的是在任一时刻的输出符 号只统计依赖于对应时刻的输入符号，而 与其它时刻的输入符号和其它时刻的输出 符号无关信息论基础 武汉科技大学有干扰无记忆信道满足离散无记忆信道的充要条件是 因为无记忆信道的输出只与对应时刻的输 入有关，所以已知输入序列条件下输出序 列的条件概率等于输入输出序列中，各对 应分量的条件概率之积信息论基础 武汉科技大学有干扰无记忆信道－模型简 化 一般的信道输入模 型：对于有干扰无记忆信道：信息论基础 武汉科技大学离散无记忆信道－模型简化 输入输出随机序列间的随机特性可以用一 对 输入输出分量间的随机特性来表示，数学模型 中 的随机序列可以用随机变量来表示信道()NXXXXK21=()NYYYYK21=)|(11NNXXYYPKK)|(iiXYPiXiY离散无记忆信道(DMC)的 模型为 信息论基础 武汉科技大学单符号离散信道（DMC）n输入变量 的样本空间n输出变量 的样本空间n有 个条件概率 n传递矩阵 (信道矩阵)信息论基础 武汉科技大学传递矩阵性质满足且信息论基础 武汉科技大学相关概率研究信道的过程中，一般输入信号的概 率 、信道的传递概率 是已知 的，其它的概率未知，但可以求出：输入符号的先验概率输出符号的先验概率传递概率、转移概率、前向概率后向概率、后验概率联合概率信息论基础 武汉科技大学相关概率－计算n联合概率(根据乘法公式）n输出符号概率(根据全概率公式)信息论基础 武汉科技大学相关概率－计算n后向概率(根据Beyas公式)可见：已知输入先验概率、信道传递概率 后，联合概率、输出先验概率、后向概率 都可以求出来 信息论基础 武汉科技大学相关概率－例题设信源 ，通过一干扰信道接收符号为 ，信道传输矩阵为 ，求各种概率分布信息论基础 武汉科技大学１)联合概率2)输出概率信息论基础 武汉科技大学2)输出概率(或者)3)后向概率信息论基础 武汉科技大学离散单符号信道举例n二元对称信道（BSC） 输入、输出的取值都为0、1，定义错误概 率p，传递概率为：信息论基础 武汉科技大学离散单符号信道举例信道矩阵信道线图信息论基础 武汉科技大学离散单符号信道举例n二元删除信道（BEC） 输入的取值有2个为0、1，输出的取值有3 个为0、1、2(或者?)，定义正确概率p 信息论基础 武汉科技大学离散单符号信道举例n二元删除信道（BEC） BEC在实际应用中也经常用到，如正负方波 的传输，正负方波分别表示0和1 由于码间串扰，输出端可能是 信息论基础 武汉科技大学离散单符号信道举例n二元删除信道（BEC） 在输出端判决准则：对输出信号求积分 信息论基础 武汉科技大学互信息量－定义 回顾： n自信息量 n条件自信息量n联合信息量 信息论基础 武汉科技大学互信息量－定义互信息量：通信过程中所获得的信息量.以单符号离散信道为例输入信号的概率空间是输出信号的概率空间是 信源信道信宿XY aibj信息论基础 武汉科技大学互信息量－定义n先验概率 自信息量n后验概率 条件自信息量收到输出信号前后，不确定性发生了变化通信过程中所获得的信息量，即通过信 道所传输的信息量信息论基础 武汉科技大学互信息量－定义定义为事件 和 间的互信息量，表示通信过 程中所获得的信息量信道)|(XYP )( :21raaaXK)( :21sbbbYK)(1log)(iiapaI=)|(1log)|(jijibapbaI=)|()();(jiijibaIaIbaI-=通信前通信后信息论基础 武汉科技大学互信息量－定义举例：发出0后，接收端收到的却是1互信息量可以为负数。

信息论基础 武汉科技大学互信息量－举例例题：某地三月份天气构成的信源为有一天有人告诉你，“三月某天的天气不 是 晴天”，将此作为 事件求 信息论基础 武汉科技大学互信息量－举例收到 ，有信息论基础 武汉科技大学互信息量－三种理解方式经过概率互换，可以变化为另外两种形式 信息论基础 武汉科技大学互信息量－三种理解方式第一种方式：从接收端的角度观察，得到的是关于 的信息量 第二种方式：从发送端的角度观察，得到的是关于 的信息量 第三种方式：从通信系统总体角度观察n通信前n通信后n传输信息量信息论基础 武汉科技大学平均互信息量－定义互信息量也只能描述发生具体输入输出消息 时流经信道的信息量，随着输入输出消息的不 同，互信息量也不同自信息量不能用来从整体上，描述信源发出 信息量的能力，不能作为信源发出信息量的测 度同理，互信息量不能从整体上，作为信道中 信息流通的测度信息论基础 武汉科技大学平均互信息量－定义每对输入输出消息的互信息量发生的概率是平均互信息量 :信息论基础 武汉科技大学平均互信息量－与各种熵的 关系定义： 为已知输出Y的情况下，输入 信号X的信息熵，称为后验熵.后验熵是条件熵。

信息论基础 武汉科技大学平均互信息量－与各种熵的 关系收到输出信号以前输入信号的信息熵 收到输出信号以后输入信号的信息熵代表了收到输出信号后，获得的关于输入 信号的平均信息量 信息论基础 武汉科技大学平均互信息量－与各种熵的 关系信息论基础 武汉科技大学平均互信息量－与各种熵的 关系 另外根据有 信息论基础 武汉科技大学平均互信息量－与各种熵的 关系信息论基础 武汉科技大学平均互信息量－与各种熵的 关系输入信号原本有 的平均信息量，经过 信道传输的却只有 的平均信息量， 还有 损失在信道中，所以称为损失 熵是信道疑义度、后验熵，也称为损失熵 信息论基础 武汉科技大学平均互信息量－与各种熵的 关系损失熵也是条件自信息量的平均值 信息论基础 武汉科技大学平均互信息量－与各种熵的 关系通过信道传输的平均信息量是 ，而输出信号的平均信息量是 ，多出了 的平均信息量，多出来的平均信息量是由信道噪声引起的，所以称之为噪声熵是信道的散布度，也称为信道的噪声熵信息论基础 武汉科技大学平均互信息量－与各种熵的 关系噪音熵也是条件自信息量的平均值 信息论基础 武汉科技大学平均互信息量－与各种熵的 关系信息论基础 武汉科技大学平均互信息量－与各种熵的 关系信息论基础 武汉科技大学平均互信息量－计算平均互信息的求解：一般情况下，知道输 入信号的概率分布 ，信道传递概率分 布 ，求解 有三种方法：信息论基础 武汉科技大学平均互信息量－计算第一种方法： n已知 ，很容易求 n求损失熵要求 个后验概率第二种方法：用的较少信息论基础 武汉科技大学平均互信息量－计算第三种方法：求输出信号的熵，要求s个输出概率结论：第三种方法计算量更小一些信息论基础 武汉科技大学平均互信息量－例题设信源 ，通过一干扰信道接收符号为 ，信道传输矩阵为 ，求信息论基础 武汉科技大学平均互信息量信息论基础 武汉科技大学平均互信息量－课堂作业设信源X的符号集{0,1,2}，其概率分布为 Px(0)=1/4,Px(1)=1/4,Px(2)=1/2.通过一 信道，其信道线图为：信息论基础 武汉科技大学平均互信息量－性质信息论基础 武汉科技大学平均互信息量－性质数学证明如下： 信息论基础 武汉科技大学平均互信息量－性质凸状性：信息论基础 武汉科技大学平均互信息量－性质凸状性：定理1：当信道给定(即P(Y|X)给定),平均互信 息量I(X;Y)是输入信号先验概率分布P(X)的上 凸函数。

定理2：当信源给定(即P(X)给定),平均互信 息量I(X;Y)是信道传递概率分布P(Y|X)的下 凸函数信息论基础 武汉科技大学平均互信息量－性质这两个定理非常重要，是研究信道容量， 率失真信源编码的理论基础 在信道容量的研究中，信道是固定的，平 均互信息 。