第2章信息论初步剖析.ppt

第二章,,信息论 初步,2.1 信息论的两条发展途径,2.2 信息论研究的主要内容,2.3 信息的 对数量度,2.4 离散信源与连续信源,2.5 信道容量与香农公式,2.6 信道 编码,Chapter 2,Preparation of Information Theory,,2.1 信息论的两条发展途径,维纳和香农都认为信号和噪声均可用规定集合的统计规律来描述，但他们探讨的数学模型却大不相同不过，目的都是要在接收端尽可能地重现原信号简介,2.2 信息论研究的主要内容,信息论研究的基本问题则是有关信源、信宿和信道的统计特性，以及信源编码和信道编码等问题它对通信体制和通信系统的研究具有指导意义简介,◆ 信息论在理论上指出了建立最佳编码、最佳调制和最佳接收方法的最佳系统的理论原则2.3 信息的对数量度,一个预先确知的消息不会给接收者带来任何信息，没有传递的必要为了衡量通信系统的传输能力，需要对被传输的信息进行定量的测度，如互信息量、熵等简介,2.3.1 互信息量,◆ 两个随机变量,—— 发生事件X,—— 观察事件Y,◆ 事件Y=yj 出现，说明事件X=xi 提供的信息量：,条件概率： 事件Y=yj 出现时，事件X=xi 发生的概率,,先验概率： 事件X=xi 发生的概率,,,◆ 条件自信息量：能在规定条件下唯一地确定该事件必须提供的信息量。

随机事件的不确定性（或不肯定性）,◆ 一个随机事件出现的概率接近于1，说明该事件发生的可能性很大，它所包含的不确定性就很小 ◆ 出现概率很小的随机事件，它所包含的不确定性就很大 ◆ 极限情况下，当出现P(xi)=1的确定事件，则有I(xi)=0出现概率小的随机事件所包含的不确定性大，也就是它的自信息量大 出现概率大的随机事件所包含的不确定性小，也就是它的自信息量小互信息量的三个特征,1）互易性,2）当xi 与yj 相互独立时，互信息量为零,3）互信息量可正可负,,,,—— Y=yj 的出现提供事件 X=xi 发生的信息量等于的出现 X=xi 提供事件 Y=yj 发生的信息量2.3.2 通信熵,◆ 信源熵：无记忆信源的平均自信息量是各消息自信息量的概率加权平均值(统计平均值)◆ 定理1：,熵满足不等式 ，当且仅当当且仅当信源X中各消息的出现概率P(x)都等于1/M时，等号成立二元信源：,,◆ 条件熵：二维联合空间XY上的条件自信息量的概率加权平均值联合概率,,或,同理，,◆ 共熵：(又称联合熵)是联合空间XY上的每个元素对xy的自信息量的概率加权平均值或,,互换关系,,,Or,Or,,,2.3.3 各种熵的性质,联合集XY上的条件熵H(Y|X)满足下式：,◆ 定理2：,当且仅当y和x是相互独立时，即在P(y|x)=P(y)的条件下，等号成立。

◆ 定理3：,联合集XYZ上的条件熵，即H(Z|XY)和H(Z|Y)满足下列不等式：,,◆ 定理4：,联合集上的联合熵小于或等于各个集合的熵之和当且仅当各个集合相互独立时，联合熵等于各个集合的熵之和，并且为联合熵的最大值条件愈多，熵就愈小2.3.4 平均互信息量,◆ XY联合集上的平均条件互信息量：,,◆ 定理5：,XY联合集上的平均条件互信息量满足下式：,,当且仅当X集合中的各个x都与yj互相独立，即P(x|yj)=P(x)时，才取等号And,平均互信息量的性质,1）互易性,2）平均互信息量与熵和条件熵的关系,And,3）,4）平均互信息量与熵和共熵的关系,,,,2.4 离散信源与连续信源,产生离散消息的信源称为离散信源，其统计特性用离散型随机过程描述；产生连续消息的信源则称为连续信源，其统计特性用概率密度函数描述简介,2.4.1 离散信源,离散消息可以看成是一种有限个状态的随机序列，它可以用离散型随机过程的统计特性予以描述◆ 离散消息xi所携带的信息量,,◆ 如果消息中各符号的出现统计相关，则必须用条件概率来计算平均信息量 条件熵如右定义：,例2.1,某离散信源由A、B、C三种符号组成，相邻两符号的出现统计相关，其转移概率矩阵为：,,已知,，求信源的平均信息量？,,,◆ 信源的条件平均信息量为：,◆ 若A、B、C符号统计独立，则平均信息量为：,,当符号间统计独立时信源的熵高于统计相关时的熵，也就是说，符号间相互关联将使平均信息量减小。

说明,◆ 当离散信源中各符号等概率出现，而且各符号的出现为统计独立时，该信源的平均信息量最大◆ 相对熵：,,◆ 信源的冗余度： 无用信息比例,,,,2.4.2 连续信源,◆ 连续信源产生的是连续消息 ◆ 连续消息：实际上是一个统计过程X(t) ◆ 连续信息的平均信息量：,◆ 若发送的离散消息为xi，而相应的接收消息为yj，那么接收端收到的信息量等于yj接收到之前对发送消息xi的不确定性，减去接收到yj之后对xi余留的不确定性◆ 在x和y的全部幅度上的平均信息量：,2.4.3 信源编码,◆ 信源编码的目的： - 把信源发出的符号消息（或数字消息）变换为用信道的基本符号构成的代码组； - 压缩信息速率，以提高传输消息的有效性信源编码器的数学模型,◆ 正规编码器：能把信源发出的所有消息一一对应地变换成相应代码组的信源编码器，不会损失能量◆ 非正规编码器：会有一部分消息没有相应的代码组，在编码过程中损失掉这部分信息量Vs,Vs,设,◆ 消息能在信道上不失真传输的条件是信息传输速率必须小于或等于信道的信道容量若信息传输速率大于信道容量，则所传输的消息必然产生失真◆ 均匀编码信道：各代码组包含的码元个数相同，即各个代码组的时间长度都相同。

代码组时间长度为b秒，包含的码元个数为m个，每个码元为D进制，则Dm个状态，每个状态对应一个代码组设,- 等效信源的熵：,- 时间熵：,- 信息传输速率：,- 最大信息传输速率：,◆ 编码效率：信息传输速率R与信道容量C的比值◆ 最佳编码的两个原则：,- 把信源符号集合中出现概率大的符号编成长度较短的代码组，而把出现概率小的符号编成长度较长的代码组； - 在信源编码器输出的代码组序列中不必使用码组间隔就能把序列逐个分成代码组2.5 信道容量与香农公式,实际的通信信道都是存在着干扰的有扰信道，其信道容量与带宽、干扰有关香农公式给出了在传输信号的平均功率受限制和峰值功率受限制的条件下的信道容量简介,2.5.1 无扰离散信道的信道容量,◆ 信道的信道容量：单位时间内信道上所能传输的最大信息量若对数的底为2，时间单位为秒，则信道容量的单位比特/秒◆ 若给定的无扰离散信道在时间T内能传输的不同消息的总数为N(T)，则此信道的信道容量为,2.5.2 有扰离散信道的信道容量,◆ 若信道中存在干扰，则输入符号与输出符号之间存在某种随机性，具有一定的统计相关性，取决于转移概率P(yi|xi)，即信道输入符号（即发送符号）为xi，信道输出符号（即接收符号）为yi的条件概率。

二进制有扰信道传输特征,◆ 信道矩阵,,◆ 对称信道：信道矩阵的各行和各列分别具有相同集合的元素◆ 具有L种消息的有扰离散的对称信道，其信道容量为：,若信源发出的符号序列的各符号之间互相独立，并在无扰信道或弱干扰的信道上传输，则信道输出的各符号之间也是互相独立的，且传送的符号序列的平均互信息量等于各个符号的平均互信息量之和 当信道的输入消息集合与输出消息集合互相独立时，信道不能传送任何信息对称信道的信道容量,在给定信道输入消息概率分布 的条件下能使误码率最小的方案称为最佳译码方案，能够实现最佳译码方案的检测器就称为理想观察者 通常使用的最佳译码方案是按照后验概率最大的译码准则设计的，这个准则又称为最大似然判决准则最佳译码方案,,若,，把yj译成xi*◆ 当信息传输速率R小于信道容量C时，传输消息的误码率为：,,码组长度（码元数目）,,随机编码指数,,2.5.3 有扰连续信道的信道容量,◆ 有扰连续信道中，接收到的信号y是发送信号x和信道噪声n的线性叠加，且x和n在各抽样点上均为独立正态分布 ◆ 条件概率密度函数p(y|x)等于噪声的概率密度函数f(n)◆ 连续信源的相对条件熵：,,◆ 连续信道的信道容量：,,2.5.4 香农公式,香农信道容量公式：,带宽,,信号功率,,,噪声功率,◆结论1： 若提高信噪比S/N，则信道容量C也提高。

◆结论2： 若噪声的功率谱密度n0→0，噪声功率 ，则信道容量C→∞，也就是说无干扰信道的信道容量为无穷大 ◆结论3： 若增加信道带宽B，则信道容量C也增加，但不能无限制地增加，即当B→∞时， ◆ 结论4： 信道容量C一定时，带宽B和信噪比S/N可以互换 ◆ 结论5： 若信源的信息速率R小于或等于信道容量C，则理论上可以实现无差错传输若信息速率R大于信道容量C，则不可能实现无差错传输香农信道容量公式：,带宽,,信号功率,,,噪声功率,香农公式曲线,归一化信道容量和信噪比,归一化信道带宽与信噪比,2.6 信道编码,若信道容量为C，消息源产生信息的速率为R，只要C≥R，则总可以找到一种信道编码方式实现无误传输；若CR，则不可能实现无误传输，即香农第二定理简介,2.6.1 香农第二定理,◆ 定理6：有噪信道编码定理,设离散无记忆信道 ， P(x|y)为信道传递概率，信道容量为C当信息传输率RC时，只要码长n足够长，总可以在输入的符号集中找到2nR个码字组成的一组码和相应的译码规则，使译码的错误概率任意小(Pe→0)◆ 定理7：有噪信道编码逆定理,设离散无记忆信道 ， P(x|y)为信道传递概率，信道容量为C。

当信息传输率RC时，无论码长n多长，均找不到一种编码2nR，使译码的错误概率任意小当n→∞时，差错概率接近为1.,2.6.2 编码方法,无错传送的界限,【二元对称信道为例】 n个输入符号共有2n种序列，只选用2k种序列(k＜n)作为码字（k个信息位，r=n-k个监督位），则信息率R＝k/n比特/符号倘若这种编码方法能纠正传输引起的t个错误符号， 则当n→∞、信道的误码率εt/n 时，能达到无错误的传输 信道容量为1-H(ε)bit／符号取等号时的曲线称为汉明上限任何编码方法不可能超过此界限2.6.3 检错与纠错,◆ 信道编码的本质是引入冗余度，即在传输的信息码元后面增加一定数量的码元，使接收端能根据这些码元检测错误，并纠正 检错编码：检查有无错误发生的编码 - 纠错编码：能纠正已发生错误的编码差错类型,1）随机差错：热噪声引起的差错，互相独立、不相关的无记忆信道或随机信道如微波信道和卫星信道2）突发差错：由短暂原因造成的冲击噪声，如电机的启动、停止，电器设备的电弧等突发差错间有一定的相关性如短波和散射信道产生的差错检错编码,最为普遍的检错方式是循环冗余校验 对应的差错控制方式是自动请求重传ARQ。

网络数据通信最主要的差错控制方式）,自动请求重传,纠错编码,◆ 基本结构特征：,- 码长：码字中码元的数目 汉明重量：一个码字中非零码元的个数，称为汉明重量二进制码时，汉明重量W就是码元中1的数目 汉明距离：设有两个码字，u和v，它们之间对应位取值不同的个数 最小汉明距离：在码字集合中全体码字之间汉明距离的最小数值，表示为dmin dmin越大，则从一个码字错为另一个码字的可能性越小，其检错、纠错能力也就越强纠（检）错能力的几何解释,1）如果码集中码字间的最小码距满足 ，则该码集中的码字具有检测e个错码的能力 2）如果码集中码字间的最小码距满足 ，则该码集中的码字具有纠正t个错码的能力3）如果码集中码字间的最小码距满足 ，则该码集中的码字具有纠正t个错码，同时检测e个错码的能力◆ 编码效率：,,—— 说明了信道的利用效率，是衡量码性能的主要。