信息论与编码ch1

信息论与编码信息论与编码信息论与编码信息论与编码 数学与信息科学学院 数学与计算科学系 张效霏数学与信息科学学院 数学与计算科学系 张效霏 E-mail: zxf6216 Mobile: 13199449279 2013.5 学时 学时 48 教材教材傅祖芸信息论基础理论与应用傅祖芸信息论基础理论与应用（第三版）（第三版） 作业 作业 每周三上交每周三上交 成绩平时（成绩平时（40） 考试（） 考试（60） 考勤考勤考勤 考勤 、作业、作业、作业、 、作业、 互动互动互动互动 作业作业作业 作业 、习题、习题、习题、 、习题、 例题例题例题例题 要求要求认真听课，作业独立思考，按时上交!认真听课，作业独立思考，按时上交! 预修课程预修课程 高等代数（线性代数部分）高等代数（线性代数部分） 概率论概率论与数理统计与数理统计 数学分析数学分析 近世代数近世代数 课 程 内 容课 程 内 容 Ch1 绪论绪论- Ch2 离散信源及其信息测度离散信源及其信息测度- Ch3 离散信道及其信道容量离散信道及其信道容量- Ch4 波形信源和波形信道波形信源和波形信道- Ch5 无失真信源编码定理无失真信源编码定理- Ch6 有噪信道编码定理有噪信道编码定理- Ch7 保真度准则下的信源编码保真度准则下的信源编码 Ch8 无失真的信源编码 无失真的信源编码 - Ch9 信道的纠错编码信道的纠错编码- Shannon 三大定理三大定理 学时学时 3 9 9 3&自学自学 6 3 6 6 3 参考书参考书 信息论-基础理论与应用信息论-基础理论与应用 傅祖芸 电子工业出版社傅祖芸 电子工业出版社 编码理论基础编码理论基础 沈世镒 高等教育出版社沈世镒 高等教育出版社 信息论与编码理论信息论与编码理论 王育民 高等教育出版社王育民 高等教育出版社 Elements of Information Theory Thomas M. Cover 清华大学出版社影印版清华大学出版社影印版 信息论基础信息论基础 (美)科弗 (美)托马斯 机械工业出版社(美)科弗 (美)托马斯 机械工业出版社 课 程 概 述课 程 概 述 当今的时代是一个当今的时代是一个信息信息的时代，信息处理技 术的不断进步极大的影响了我们的生活，使 我们的生活质量得到很大提高。本课程将介 绍信息科学的 的时代，信息处理技 术的不断进步极大的影响了我们的生活，使 我们的生活质量得到很大提高。本课程将介 绍信息科学的基础理论基础理论和和基本方法基本方法，课程将 基于一个 ，课程将 基于一个通信系统的抽象数学模型通信系统的抽象数学模型进行展 开，课程的数学基础为概率论。整个课程可 分为 进行展 开，课程的数学基础为概率论。整个课程可 分为基础理论基础理论和和编码理论编码理论两部分组成两部分组成 学习方法学习方法 本课程以概率论为基础，数学推导较多，学习 时主要把注意力集中到 本课程以概率论为基础，数学推导较多，学习 时主要把注意力集中到概念的理解概念的理解上，不断加 深概念的把握，注意各个概念的“ 上，不断加 深概念的把握，注意各个概念的“用处用处”，结 合其他课程理解它的意义，而不要把它当作数 学课来学习，提倡独立思考，注重思考在学习 中的重要性。 ”，结 合其他课程理解它的意义，而不要把它当作数 学课来学习，提倡独立思考，注重思考在学习 中的重要性。 信息论基础的重要性信息论基础的重要性 信息论信息论是是信息科学和技术的基本理论,信息科学和技术的基本理论,信息科学信息科学大 厦 大 厦的地基的地基 没有信息论的基础，从事没有信息论的基础，从事通信与信息领域通信与信息领域的研究和 创新是不可能的事情 的研究和 创新是不可能的事情 总之,信息论是总之,信息论是高层次信息技术人才高层次信息技术人才必不可少的基 础知识 必不可少的基 础知识 第第第第1 1 1 1章章章 章 绪绪绪 绪 论论论论 第1章 绪 论第1章 绪 论 1.1 1.1 通信系统模型通信系统模型通信系统模型通信系统模型 1.2 1.2 信息论研究的中心问题信息论研究的中心问题信息论研究的中心问题信息论研究的中心问题 1.3 1.3 信息论的形成和发展信息论的形成和发展信息论的形成和发展信息论的形成和发展 1.11.1 通信系统模型通信系统模型通信系统模型通信系统模型 1.1.1 1.1.1 通信系统模型通信系统模型通信系统模型通信系统模型 信源信源编码器编码器 信道信道 译码器译码器信宿信宿 噪声源噪声源 消息信号 干扰 消息 信号 消息信号 干扰 消息 信号+干扰干扰 P9 信道信道 信源信源 译码器译码器编码器编码器 信宿信宿 噪声源噪声源 信号 信号+干扰 消息消息信号 信号+干扰 消息消息 1.1.2 1.1.2 通信系统模型进一步细分通信系统模型进一步细分通信系统模型进一步细分通信系统模型进一步细分 信源信源 信源 编码器 信源 编码器 纠错 编码器 纠错 编码器 调制器调制器 信 道 信 道 噪声源噪声源 解调器解调器 纠错 译码器 纠错 译码器 信源 译码器 信源 译码器 信宿信宿 等效离散信道等效离散信道 等效离散 信源 等效离散 信源 等效信宿等效信宿 信道 编码器 信道 编码器 信道 译码器 信道 译码器 P10 加密器加密器 解密器解密器 1.1.3 各模块功能各模块功能 信源 定义产生消息的源 特点随机发生 核心问题消息的统计特征和产生消息的 速率 P9 1.1.3 各模块功能各模块功能 编码器 信源编码器对信源输出进行变换，求得 有效性（数据压缩） 纠错编码器对信源编码器输出进行变换， 提高抗干扰性（添加冗余） 调 制 器将信道编码输出变成适合信道传 输的方式 P9 数据压缩数据压缩数据压缩数据压缩 减少冗余减少冗余减少冗余减少冗余 有效性有效性有效性有效性 添加冗余添加冗余添加冗余添加冗余 可靠性可靠性可靠性可靠性 矛盾！矛盾！矛盾！矛盾！ 减少误码率减少误码率减少误码率减少误码率 信源编码信源编码信源编码信源编码信道编码信道编码信道编码信道编码 P10 通信系统的基本任务要求通信系统的基本任务要求通信系统的基本任务要求通信系统的基本任务要求 有效性有效性有效性有效性 用尽可能短的时间和尽可能少的设 备来传输最大的消息 可靠性可靠性可靠性可靠性 要使信源发出的消息经过传输后， 尽可能准确地、无失真或限失真地 再现在接收端 P10 1.1.3 各模块功能各模块功能 信道 定义信号从发端到收端的传输介质 核心问题信道的统计特性和它的传信 能力，即信道容量 传输能力信道容量 P9 1.1.3 各模块功能各模块功能 干扰源 为了分析方便为了分析方便为了分析方便为了分析方便，将整个通信系统中各部分 引入的各种干扰，如衰落、多径、码间干 扰、非线性失真、可加噪声等都集中作用集中作用集中作用 集中作用 于信道于信道于信道于信道 P9 干扰分两类干扰分两类 加性干扰加性干扰由外界引入的随机干扰，与信道输入 信号统计无关统计无关统计无关统计无关，信道输出为输入和干扰之和 乘性干扰乘性干扰信号传播中由于物理条件的变化引起 信号参量随机随机随机随机变化，信道输出为输入与某些 随机变量相乘的结果 1.1.3 各模块功能各模块功能 译码器 定义是编码的逆变换逆变换，从受干扰的信 号中最大限度地提取出有关信源输出消 息的信息，应尽可能尽可能精确地恢复信源恢复信源的 输出输出，并将它们递送给信宿 核心问题研究各种可实现的解调和译 码方法 P9 1.1.3 各模块功能各模块功能 信宿 定义是信息的接收者，可以是人或物， 且与信源处于不同地点或存在于不同时刻 特点对传来的消息提出可接受的条件， 即提出一定的准则提出一定的准则，发端将以此来确定确定对 信源处理时所要保留的最小信息量要保留的最小信息量 P9 1.1.4 1.1.4 信息、消息和信号信息、消息和信号信息、消息和信号信息、消息和信号 信息信息 抽象的抽象的，可以定量描述。物质、能量和信 息是构成一切系统的三大要素 ，可以定量描述。物质、能量和信 息是构成一切系统的三大要素 信息是信息是无形无形的，可的，可共享共享的，的，无限无限的，的，可度 量 可度 量的的 P7 1.1.4 1.1.4 信息、消息和信号信息、消息和信号信息、消息和信号信息、消息和信号 消息消息 是是信息的载体信息的载体，相对，相对具体具体的，如语言，文 字，符号，数据，图像，但也不是物理的 的，如语言，文 字，符号，数据，图像，但也不是物理的 构成消息的条件：一是构成的消息能够被 通信双方所理解；二是可以在通信中进行 传递和交换 构成消息的条件：一是构成的消息能够被 通信双方所理解；二是可以在通信中进行 传递和交换 P3 天凉了，父母给子女寄衣物，天凉了，父母给子女寄衣物，蕴含的深情蕴含的深情是 是 信息信息 一则一则消息消息，包含，包含新鲜内容新鲜内容，所含，所含信息量信息量就就大大 一则一则消息消息，均为，均为已知内容已知内容，所含，所含信息量信息量就就小小 太阳从西边升起太阳从西边升起 今晚有信息论与编码课今晚有信息论与编码课 2013年4月20日四川雅安7.0级地震2013年4月20日四川雅安7.0级地震 中国国家男子足球队中国国家男子足球队3：0战胜巴西男足战胜巴西男足 NBA篮球篮球0708赛季，火箭队连胜赛季，火箭队连胜22场场 香港凤凰资讯台的消息？香港凤凰资讯台的消息？ 举出大信息量和小信息量事件的例子举出大信息量和小信息量事件的例子 （大） （小） （大） （大） （大） （小） （大） （大） （大）（大） 1.1.4 1.1.4 信息、消息和信号信息、消息和信号信息、消息和信号信息、消息和信号 信号信号 是 是 消息的表现形式消息的表现形式，是 ，是 消息的载体消息的载体，是 表示 消息的 ，是 表示 消息的物理量物理量，如电信号可由幅度，频率，相 位的变化表示不同消息；可用不同类型信号传 同一消息 ，如电信号可由幅度，频率，相 位的变化表示不同消息；可用不同类型信号传 同一消息 消息是 信号的具体内容消息是 信号的具体内容 P3 1.21.2 信息论研究的中心问题信息论研究的中心问题信息论研究的中心问题信息论研究的中心问题 1.2.1 Shannon1.2.1 Shannon信息论的基本任务信息论的基本任务信息论的基本任务信息论的基本任务 1948年Shannon发表了1948年Shannon发表了“通信的数学理论通信的数学理论” 奠定了信息论理论基础奠定了信息论理论基础 基本任务设计基本任务设计有效有效有效有效而而可靠可靠可靠可靠的通信系统的通信系统 P13 通信系统的基本任务要求通信系统的基本任务要求通信系统的基本任务要求通信系统的基本任务要求 有效性有效性有效性有效性 用尽可能短的时间短的时间和尽可能少的设 备 少的设 备来传输最大的消息最大的消息 可靠性可靠性可靠性可靠性 要使信源发出的消息经过传输后， 尽可能准确地准确地、无失真无失真或限失真限失真地 再现在接收端 P10 现代通信系统现代通信系统对信息传输的全面要求对信息传输的全