信息论课件3信息论第三章
77页1、第三章 离散信道及其信道容量,3.1 信道的数学模型及分类,3.2 平均互信息及平均条件互信息,3.3 平均互信息的特性,3.4 信道容量及其一般计算方法,3.6 离散无记忆扩展信道及其信道容量,3.7 独立并联信道及其信道容量,3.8 串联信道的互信息和数据处理定理,3.9 信源与信道的匹配,3.1 信道的数学模型及分类,3.1.1 信道的分类,3.1.2 离散信道的数学模型,3.1.3 单符号离散信道的数学模型,3.1 信道的数学模型及分类,3.1.1 信道的分类,两端信道:只有一个输入端和一个输出端 多端信道:在输入端或输出端至少有一端 有两个以上的用户。,无反馈信道:输出端信号对输入端信号无 影响。 反馈信道:输出端信号对输入端信号有影 响。,固定参数信道:信道参数不随时间变化。 时变参数信道:信道参数随时间变化。,离散信道:输入和输出的随机序列取值都 是离散的。 连续信道:输入和输出的随机序列取值都 是连续的。 半离散或半连续信道:一端序列取值是离 散的一端序列取值是连续的。 波形信道:输入输出都是时间上连续 的随机信号X(t),Y(t).,3.1.2 离散信道的数学模型,信
2、道统计特性用条件概率表示,1、无干扰(无噪)信道 输出信号Y与输入信号X之间有确定的一一对应关系,2、有干扰无记忆信道 无记忆信道:信道任一时刻输出符号只统计依赖于对应时刻的输入信号,而与非对应时刻的输入符号及输出符号无关。,有干扰:输出符号与输入符号之间无确定的对应关系,符合某种概率分布。,上式是离散无记忆信道的充要条件,3、有干扰有记忆信道 研究方法:,(1) N个符号当作一个矢量符号,矢量之间以为是无记忆的,引入误差。,(2) 把 看成马尔可夫链的形式, 用 描述信道,相当复杂。,本章着重研究离散无记忆信道。,a1 b1 a2 b2 ar bs,3.1.3 单符号离散信道的数学模型,条件概率,称传递概率或转移概率,例3.1 二元对称信道BSC,且,二元对称信道的传递矩阵,Y,例3.2 二元删除信道BEC,单符号信道的传递概率用矩阵表示:,简写 ,信道传递矩阵为,且,矩阵中每行元素之和等于1。,可求出:,(1) 联合概率,(2) 输出符号概率,(3) 后向概率,概念,信道传递概率前向概率,后向概率后验概率,先验概率,3.2 平均互信息及平均条件互信息,3.2.1 信道疑义度,3.2
3、.2 平均互信息,3.2.3 平均条件互信息,3.2 平均互信息及平均条件互信息,3.2.1 信道疑义度,1、先验熵 H(X) 接收到输出Y 以前,关于输入变量X 的先验不确定性的度量。,2、后验熵 ,当接收到输出符号ybj后,输入符号的概率分布成为 ,则关于x 的平均不确定性为,3、条件熵信息疑义度H(X|Y),表示输出端收到输出变量Y 的符号后,对输入端变量X尚存在的平均不确定性。,讨论: (1)一般情况下,H(X|Y)H(X) 说明接收到Y后,关于输出变量X的不确定 性减少了,即总能消除一些关于X的不确 定性,从而获得信息。 (2)对于无扰信道 接收到Y后,完全消除了对X的不确定 性,从而获得全部信息。,3.2.2 平均互信息,1、定义式平均互信息,表示收到输出符号Y后,平均每个符号获得的关于X的信息量。,对称性,2、互信息定义式,(1) 可正、可负、可零 (2)平均互信息是互信息的统计平均 (3)平均互信息 永远不会取负值,3、其它熵的定义式及计算,损失熵 信道疑义度H(X|Y),表示信源符号通过有噪信道传输后所引起的信息量的损失。,噪声熵 散布度 H(Y|X),表示在已知X的
4、条件下,对于随机变量Y尚存在的不确定性,此不确定性完全是由信道中的噪声引起。,联合熵 H(XY),维拉图表示熵的公式,4、两种极端信道,结论:,(1)无噪一一对应信道,(2)输入端与输出端完全独立统计,接收到Y后不可能消除X的任何不确定性,也不能从X中获得任何关于Y的信息量。,结论:,3.2.3 平均条件互信息,两概率空间中两事件之间的互信息。 两个概率空间X、Y之间的平均互信息,1、条件互信息 设有三个概率空间X、Y、Z,且有,定义:,2、平均条件互信息,3、联合互信息,4、平均联合互信息,联合变量YZ和变量X之间的平均互信息,等于变量X和变量Y的平均互信息,加上在此变量Y已知条件下变量X和另一变量Z的平均互信息,3.3 平均互信息的特性,3.3.1 平均互信息的非负性,3.3.2 平均互信息的极值性,3.3.3 平均互信息的交换性(对称性),3.3.4 平均互信息 I ( X ; Y ) 的凸状性,3.3 平均互信息的特性,3.3.1 平均互信息的非负性,当X、Y统计独立时,,通过一个信道获得的平均信息量不会是负值。也就是说,观察一个信道的输出,从平均的角度来看总能消除一些不确定性
《信息论课件3信息论第三章》由会员E****分享,可在线阅读,更多相关《信息论课件3信息论第三章》请在金锄头文库上搜索。
逍遥游复习 知识点整理
近现代法德关系史 高三展示课3稿
当代大学生人生信仰及追求的调查研究
长相思 纳兰性德-ppt课件
课件:危机意识 一
英语ppt演讲关于阿甘正传
发达国家基础教育改革的动向与趋势 修改版
中国民间美术 课件.ppt
生物质发电技术与系统 课程ppt 第1章 生物质发电技术现状及发展趋势 2学时 -----2016
现代信号处理思考题 含答案
执业药师继续教育 抑郁症的药物治疗 100分
小学生的成长档案模板不用修改 万能型
增订六版 现代汉语 上册 第二章文字 思考与练习答案
国家财政ppt课件
加拿大英语介绍
六年级统计图的选择课件
中学生成长档案ppt
中国现代文学史期末复习整理
lohi和hihilo训练对女子赛艇运动员运动能力影响的比较研究
风雨贾平凹阅读答案
2024-04-11 25页
2024-04-11 37页
2024-04-11 28页
2024-04-11 31页
2024-04-11 36页
2024-04-11 29页
2024-04-11 22页
2024-04-11 27页
2024-04-11 34页
2024-04-11 32页