通信概论与信息度量课件

2019/4/20,1,现代通信原理,2019/4/20,2,任课教师及助教,任课教师 金德鹏副教授 中央主楼901C 62781409 jindpmail.tsinghua.edu.cn 潘长勇副教授 助教 吴仲谋 无47无410 11区322 62781413 wuzm05mails.tsinghua.edu.cn,2019/4/20,3,课程安排（1）,通信概论与信息度量 模拟线性调制 模拟非线性调制 语音信号数字化及压缩编码 时分多路复用 数字信号基带传输 数字信号载波传输 差错控制编码 卷积码 多址技术,2019/4/20,4,课程安排（2）,教材 现代通信原理 ，清华大学出版社，曹志刚、钱亚生 参考书 数字通信基础与应用（第二版），Bernard Sklar 其他参考书 基础 信号与系统 随机过程 课程成绩 平时成绩（作业，大作业） 期中考试 期末考试,2019/4/20,5,课程安排（3）,本课在课程体系中的位置,2019/4/20,6,第一讲 通信概论与信息度量,2019/4/20,7,主要内容,通信的定义 通信的发展简史 通信系统及其分类 信息的度量 香农定理,2019/4/20,8,通信的定义,通信（communication） 信息的传输和交换，信息的传送 消息（message) 通信系统要传送的内容，包括语音、图像、数据、文字等，消息由信源产生 信号（signal） 消息的载体，包括电信号、光信号等 信息（information） 消息中包含的新的、有意义且可被理解的、不可压缩的东西 消息是信息与某种冗余成分之和，是信息的载体,2019/4/20,9,通信的发展简史（1）,通信起源 人类社会活动中需要互通消息 早期的通信 以物示意：烽火台 邮政通信：驿站、驿邮 电信 1837年，摩尔斯发明有线电报 1864年，麦克思韦预言电磁波的存在 1876年，贝尔发明有线电话 1887年，赫兹用实验证明电磁波的存在 1893年，史端乔发明步进式电话交换机 1897年，马可尼发明无线电报 1918年，调幅无线电广播商用,2019/4/20,10,通信的发展简史（2）,1928年，奈奎斯特提出抽样定理 1936年，发明调频技术 1937年，提出PCM技术 1938年，黑白电视广播系统商用 19441947年，统计通信理论形成 19481950年，香农信息论形成，纠错码出现 19481951年，晶体管发明 1950年，贝尔实验室研制出PCM数字通信设备，TDM技术应用于电话 1953年，彩色电视出现 1956年，第一条跨越大洋电缆建成，可提供36个话路 1960年，发明激光器 1961年，集成电路开始商业生产,2019/4/20,11,通信的发展简史（3）,1962年，第一颗人造卫星上天 19621966年，数据传输业务商用 1964年，第一台程控交换机投入应用 19661975年，有线电视、商用卫星中继、光纤链路投入应用 1972年，Motorola开发蜂窝电话系统，第一次跨越大西洋的卫星电视直播成功 1977年，光纤通信系统投入商用 1978年，模拟蜂窝移动通信系统投入商用 1989年，跨大西洋及太平洋的光缆用于通信 1991年，GSM移动通信系统投入商用 1995年，窄带CDMA移动通信系统在香港投入商用 1998年，数字电视业务在美国开通 ,2019/4/20,12,通信的发展简史（4）,通信的发展趋势 数字化：最后一公里的接入网络、电视网络等 综合化：电信网、计算机网、电视网三网合一 智能化：软交换 移动化：移动电话、移动卫星、WLAN、WiMAX 宽带化：IPMPLS、PON、宽带无线接入 个人化：5W（whoever、whenever、wherever、whatever、whoever）,2019/4/20,13,通信系统 完成通信这一过程的全部设备和传输媒介 通信系统基本框图,通信系统（1）,2019/4/20,14,通信系统（2）,模拟通信系统 在信道中传输的是模拟信号的通信系统 模拟通信的缺点 抗噪声和干扰能力差，传输中模拟信号会越来越弱 放大器的引入带来信噪比的恶化,2019/4/20,15,通信系统（3）,数字通信系统 在信道中传输的是数字信号的通信系统 数字通信的优缺点 抗噪声、抗干扰能力强：再生、体制 差错可控：纠错码 易加密：数字信号 适应性强 占用频带宽 系统和设备复杂,2019/4/20,16,通信系统（4）,信源编码和译码：压缩冗余，去除次要信息 信道编码和译码：增加冗余，提高传输可靠性 同步：载波同步、时钟同步、字同步,2019/4/20,17,通信系统（5）,一个更完整的数字通信系统框图,2019/4/20,18,通信系统（6）,通信系统的其它形式 从系统构成看任何一个系统可以看成一个单发单收系统的组合系统。在多发多收系统中，除了涉及到上述描述的传输系统外，还包括信息的交换：即如何有效利用现有的通信资源，最大效率地进行信息地传送，从而派生出通信网络的概念。由此引入了交换系统，网络管理等技术。本课程的重点侧重于传输系统中涉及的关键技术与基本原理.,2019/4/20,19,通信系统（7）,通信系统的分类 按消息的物理特征分类： 文字-电报系统 语音-电话系统 数字-数据通信系统 图象-图象通信系统,2019/4/20,20,通信系统（8）,按调制方式分类： 基带传输：实现简便，用于近距离传输，不需考虑频带利用率问题，干扰较小，可靠性高。不适用于长距离传输。 调制传输：实现较复杂，用于长距离传输，需将信息转换成便于传输的形式，增强了抗干扰能力，有效地利用频带。,2019/4/20,21,通信系统（9）,按传输信号的特征分 模拟通信 采用原始的信源，如语音，图像等； 实现相对简单 在长距离中继通信中抗干扰能力差. 信息交换实现较复杂 短距离传输保真度高 数字通信 采用数字采样、量化信源 在长距离中继通信中，抗干扰能力 强 易于数字化处理 设备集成度高 信号的传输与交换易于融合 便于多路复用,2019/4/20,22,通信系统（10）,按复用方式分 频分复用FDM 时分复用TDM 码分复用CDM 波分复用WDM 空分复用SDM 按传输媒介分 有线通信系统：有线电视、光纤通信系统 无线通信系统：移动电话系统、无线局域网系统,2019/4/20,23,通信方式,单工、半双工和全双工通信 单工通信：消息只能从一点沿一个方向传输给另一点，不能沿反方向传输。 半双工通信：通信的两点间能够在两个方向上传输信息，但在某一时刻信道中只能有一个方向的信号在传输。 全双工通信：通信的两点间可以同时双向地传输信息 并行传输和串行传输 并行传输：数字信号码元序列分割成两路以上地码元序列在信道中传输 串行传输：数字信号的码元序列按照时间顺序一个一个地在信道中传输,2019/4/20,24,信道（1）,信道 信号传输的媒介或途径 信道的分类 有线信道 架空明线 双绞线 同轴电缆 光纤,2019/4/20,25,信道（2）,无线信道 地波传播：2MHz以下的无线电波沿地球表面传输 天波传播：经电离层反射 视距（空间波）传播：直接从发射点传到接收点 无线电视距中继信道 卫星中继信道 对流层散射信道 流星余迹散射信道 恒参信道与变参信道 信道中的噪声,2019/4/20,26,通信技术的新进展（1）,有线： 电缆：HDSL，VDSL PON：APON，EPON，GPON 光纤 DWDM技术 光交叉连接，几十G Hz（千兆）带宽 无线 微波中继 卫星通信,2019/4/20,27,移动通信 2G， GSM，CDMA IS-95技术 2.5G，GPRS, EDGES 3G , CDMA2000, WCDMA, TDS-CDMA 4G MC-CDMA? OFDM? 红外光通信 Bluetooth,.,飞艇等,通信技术的新进展（2）,2019/4/20,28,信息的度量,定义： 消息出现的概率的对数测度作为离散消息的信息度量。,为,的概率,同理：对于联合信源X和Y，,为,与,同时出现的概率，,则,2019/4/20,29,2.,与,的互信息量为,它反映了两个随机事件,与,之间的统计关联程度,讨论：当,与,统计独立时，互信息量为0。,当后验概率为1时，互信息量等于,的信息量.,2019/4/20,30,3 离散信源的平均信息量（熵）,定义中隐含了假设条件： 各消息是独立的 （统计平均与时间平均相同）,2019/4/20,31,4条件熵 如果各消息符号的出现之间有统计相关 性，则需用条件概率计算。如果只考虑前一 个符号的影响，只考虑相邻两符号间的统计关 联性，设前一符号为 ，后一符号为 时， 条件信息量为,2019/4/20,32,此时条件平均信息量为,（注：,，符号间独立时，信息熵最高）,2019/4/20,33,5联合熵,注：,2019/4/20,34,6平均互信息量,基本性质：,2019/4/20,35,几个重要的不等式：,2019/4/20,36,2019/4/20,37,2019/4/20,38,7连续信源的信息度量,复习抽样定理： 如果一个连续信号的频带限制 在（0，W）内，则它完全可用间隔为 的 采样序列无失真地表示。 在刻化连续消息时，采用了近似于定积分的讨 论方法：连续消息信号在每个抽样点上的取值 是一个连续的随机变量，其一元概率密度函数 为 。将随机变量的取值范围分成2N段， 取值落在小段内的概率可近似表示为,2019/4/20,39,令,得：,因此：,2019/4/20,40,上式中，第二项为无穷大，在计算熵的变化时没有意义。因此，对于连续消息定义了它的相对平均信息量：,讨论： 连续消息的平均信息量是一个相对的概念，对一一对应变换，它的值也发生变化，因此，连续消息的平均信息量只能提供一个相对的比较量。,2019/4/20,41,例如：一连续信源，其输出信号在（-1，+1）内取值，服从均匀分布，求该连续消息的平均信息量。如将输出信号放大2倍，其平均信息量为多少？,解：（1）,（2）信号放大后，,主要原因在于：,2019/4/20,42,补充定义:,2019/4/20,43,8定义： 在n维情况下， 为一联合概率密度，经坐标变换后，相应的密度函数为 则 J 为雅可比变换式 此时,2019/4/20,44,已知,为非奇异距阵,则,2019/4/20,45,9 平均信息量（熵）最大的条件：,对于离散信源而言，当其所有符号等概率输出时，其平均信息量最大。 对连续信源而言，与消息源输出的取值有关。,2019/4/20,46,(1) 均方值受限,由已知条件：,求：,为最大值时,相应的概率密度函数.,2019/4/20,47,解:利用拉格朗日乘数法,定义一个新的函数,令：,可得,则：,此时最大熵为,2019/4/20,48,(2) 峰值受限,已知条件为,同理可证:,时,平均信息量达到最大：,2019/4/20,49,(1)离散对称信道:,已知平均互信息量,10. 信道容量:,2019/4/20,50,讨论: 假设通信系统发送端每秒发出r 个符号,则有扰信道的信息传输速率,有扰离散信道的最高信息传输速率称为信道容量.,2019/4/20,51,利用对称信道的定义,2019/4/20,52,当 L=2时,2019/4/20,53,(2) 高斯白噪声信道,在有扰连续信道中,接受到的信号为,x为发送信号,n 为高斯白噪声.条件概率密度为,2019/4/20,54,连续信源的相对条件熵为,2019/4/20,55,对于频带限于于W的连续信号,利用抽样定理可以化为离散信号,理想情况下,抽样频率为2W, 因此,相应的信道容量,又利用均方受限的