信息论部分课件第五章离散信道及其容量
59页1、第五章 离散信道及其 信道容量,主 讲: 易 波 老 师 博一工作室2010年V.1版,5.1 信道容量 信道容量的定义 信道的信息率R,就是信道的平均互信息量: 对于给定的信道,总存在一种信源分布(其概率分布为 ),使信道的信息率R达到最大。这个最大的信息率定义为该信道的信道容量,记为C,即: bit/符号 使得给定信道的达到信道容量的输入分布,称为最佳输入(概率)分布,记为,定理 如果信道给定(即给定 ),那么 是输入概率 的上凸函数。 定理 如果信源给定(即给定 ),那么 是转移概率 的下凸函数。,信道容量即为信道的最大信息传输率,而此最大信息传输率必须是在信源取最佳分布时才能获得。此时C只与信道转移概率p有关。,对于一个特定信道,其信道容量是确定的,是不随信源分布而变的,信道容量C取值的大小,直接反映了信道质量的高低。但是信道的信息传输率R只有在信源取最佳分布时,才能达到极大值。,平均每秒钟传输的信息量为:,称为信息传输速率,单位为:比特/秒,,一般仍称为信道容量,但增加一个下标。,而该信道单位时间内传输的最大信息量为:,5.2 离散信道的统计描述及分类,离散信道的统计描述及分
2、类 信道的输入和输出之间一般不是确定的函数关系,而是统计依赖的关系。只要知道信道的输入信号、输出信号,以及它们之间的统计依赖关系,那么信道的全部特性就确定了。 根据信道的用户多少,可以分为: (1)两端(单用户)信道。它是只有一个输入端和一个输出端的单向通信的信道。 (2)多端(多用户)信道。它是在输入端或输出端至少有一端有二个以上的用户,并且还可以双向通信的信道。,根据输入和输出信号的特点,信道可以分为: (1)离散信道。指输入和输出的随机变量的取值都有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相应的输出变量是连续的信道,或者相反。 (4)波形信道。信道的输入和输出都是一些时间上连续的随机信号。即信道输入和输出的随机变量的取值是连续的,并且还随时间连续变化。一般用随机过程来描述其输入和输出。,1.基本信道(最简单的信道) 发端 X:a1,a2,aq 收端 Y:b1,b2,bm (m不一定等于q),按有无噪声来分类: (1)无干扰(无噪声)信道 例1 X=a1,a2,a3,a4,这为收端与发端一一对应的情况
3、。(无扰无损),例2:,不是一一对应,无扰有信息损失,(2)有扰信道 例3:,有扰有信息损失,干扰严重,例4:,信息全部被信道损耗。 从信道有无损失的观点来看:有扰全损信道!,例5:,有扰无信息损失,2.扩展信道(延长信道),一般离散信道输入和输出却是一系列时间(或空间)离散的随机变量,即随机序列。其信道模型如下:,扩展离散信道,(1)有无干扰的角度对信道分类 a、无扰信道 例1:X=a1=0,a2=1 Y=b1=0,b2=1 N=2,2维扩展,无干扰无信息损失。,无干扰有信息损失。 无扰不等于无损!,b、有扰信道 例3:基本信道 X=a1=0,a2=1 X=b1=0,b2=1,有扰有信息损失的信道,(2)考虑到信道对前后码元的影响 a. 无记忆信道,b.有记忆的信道 (前后码元有关联的信道),5.3 信道容量及其一般计算方法,信息传输率 R=I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)比特/符号 Rt=I(X;Y)/t=1/t*H(X)-H(X|Y)比特/秒 当信道矩阵P(y/x)给定时,I(X;Y)是P(X)的型凸函数,也就是说在某一种概率分布条件下: C=max
4、I(X;Y)比特/符号 C=max I(X;Y)/t 比特/秒 信道容量C(或)是信道的核心指标。P(Y/X)给定后,它是客观存在的,是通过I(X;Y)对P(X)求极值来求出,而与信源的具体分布无关。,1.离散无损信道及无扰,有损信道的信道容量 (1)无扰、无损信道 I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X) X=a1,a2,ar Y=b1,b2,br,(2) 有扰、无损信道,I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X) C=maxH(x)=log2r (r=信源个数),(3)无扰、有损信道,X:a1,a2,ar Y:b1,b2,bs 其中rs, I(X;Y)=H(Y)-H(Y/X)(噪声熵为零) I(X;Y)=H(X)-H(X/Y)(信息损失不为零) C=maxH(Y)=log2 r (S=信宿个数),小结:四种信道,无噪有损信道H(Y/X)=0,有噪无损信道H(X/Y)=0,I(X;Y),H(Y),H(X),I(X;Y)=H(X)-H(X/Y) I(X;Y)=H(Y)-H(Y/X),2.对称离信道容量的计算,定义:若信道转移矩阵中所有行矢都是第一行
《信息论部分课件第五章离散信道及其容量》由会员E****分享,可在线阅读,更多相关《信息论部分课件第五章离散信道及其容量》请在金锄头文库上搜索。
逍遥游复习 知识点整理
近现代法德关系史 高三展示课3稿
当代大学生人生信仰及追求的调查研究
长相思 纳兰性德-ppt课件
课件:危机意识 一
英语ppt演讲关于阿甘正传
发达国家基础教育改革的动向与趋势 修改版
中国民间美术 课件.ppt
生物质发电技术与系统 课程ppt 第1章 生物质发电技术现状及发展趋势 2学时 -----2016
现代信号处理思考题 含答案
执业药师继续教育 抑郁症的药物治疗 100分
小学生的成长档案模板不用修改 万能型
增订六版 现代汉语 上册 第二章文字 思考与练习答案
国家财政ppt课件
加拿大英语介绍
六年级统计图的选择课件
中学生成长档案ppt
中国现代文学史期末复习整理
lohi和hihilo训练对女子赛艇运动员运动能力影响的比较研究
风雨贾平凹阅读答案
2024-04-11 25页
2024-04-11 37页
2024-04-11 28页
2024-04-11 31页
2024-04-11 36页
2024-04-11 29页
2024-04-11 22页
2024-04-11 27页
2024-04-11 34页
2024-04-11 32页