信息论与编码基础绪论.ppt

  信息论与编码基础 绪论绪论              •信息与编码信息与编码           •编码的分类与作用编码的分类与作用           •信息论与编码技术的发展及应用信息论与编码技术的发展及应用           •授课内容授课内容           •要求及评分标准要求及评分标准                            §1   信息与编码信息与编码1  什么是信息？什么是信息？     信息是消息中有意义的那一部分内容信息是消息中有意义的那一部分内容2    消息、信息与信号的关系消息、信息与信号的关系  信息蕴涵于消息之中，信号是消息的表现形式信息蕴涵于消息之中，信号是消息的表现形式3编编码码：：是是为为了了提提高高通通信信或或计计算算机机存存储储系系统统的的有有 效效性性、、可可靠靠性性或或安安全全性性（（或或其其他他目目的的））对对消息进行的某种变换消息进行的某种变换4 4信信息息论论：：研研究究信信息息及及其其度度量量、、信信道道容容量量、、编编码码所所能能达达到到的的理理论论极极限限等等内内容容的的学学科科，，又又称称为为通通信信的的数数学学理理论论，，对对通通信信具具有有重重大大的的指指导导作用。

作用 信息的概念l信息是信息论中最基本、最重要的概念，既抽象又信息是信息论中最基本、最重要的概念，既抽象又复杂复杂l信息在日常生活中被认为是信息在日常生活中被认为是“消息消息”、、“知识知识”、、“情报情报”等等 ØØ“ “信息信息信息信息” ”不同于消息不同于消息不同于消息不同于消息（在现代信息论形成之前，信息一（在现代信息论形成之前，信息一（在现代信息论形成之前，信息一（在现代信息论形成之前，信息一直被看作是通信中消息的同义词，没有严格的数学含义），直被看作是通信中消息的同义词，没有严格的数学含义），直被看作是通信中消息的同义词，没有严格的数学含义），直被看作是通信中消息的同义词，没有严格的数学含义），消息是表现形式，信息是实质；消息是表现形式，信息是实质；消息是表现形式，信息是实质；消息是表现形式，信息是实质；ØØ“ “信息信息信息信息” ”不同于情报不同于情报不同于情报不同于情报，，，，情报的含义比情报的含义比情报的含义比情报的含义比“ “信息信息信息信息” ”窄的多，窄的多，窄的多，窄的多，一般只限于特殊的领域，是一类特殊的信息；一般只限于特殊的领域，是一类特殊的信息；一般只限于特殊的领域，是一类特殊的信息；一般只限于特殊的领域，是一类特殊的信息；ØØ信息不同于信号信息不同于信号信息不同于信号信息不同于信号，信号是承载消息的物理量；，信号是承载消息的物理量；，信号是承载消息的物理量；，信号是承载消息的物理量；ØØ信息不同于知识信息不同于知识信息不同于知识信息不同于知识，知识是人们根据某种目的，知识是人们根据某种目的，知识是人们根据某种目的，知识是人们根据某种目的, ,从自然界收从自然界收从自然界收从自然界收集得来的数据中整理、概括、提取得到的有价值的信息，集得来的数据中整理、概括、提取得到的有价值的信息，集得来的数据中整理、概括、提取得到的有价值的信息，集得来的数据中整理、概括、提取得到的有价值的信息，是一种高层次的信息。

是一种高层次的信息是一种高层次的信息是一种高层次的信息消息：消息：消息：消息：用文字等能够被人们感觉器官所感知的形式，用文字等能够被人们感觉器官所感知的形式，用文字等能够被人们感觉器官所感知的形式，用文字等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来把客观物质运动和主观思维活动的状态表达出来把客观物质运动和主观思维活动的状态表达出来把客观物质运动和主观思维活动的状态表达出来 知识：知识：知识：知识：一种具有普遍和概括性质的高层次的信息一种具有普遍和概括性质的高层次的信息一种具有普遍和概括性质的高层次的信息一种具有普遍和概括性质的高层次的信息 ，以，以，以，以实践为基础，通过抽象思维，对客观事物规律性的概实践为基础，通过抽象思维，对客观事物规律性的概实践为基础，通过抽象思维，对客观事物规律性的概实践为基础，通过抽象思维，对客观事物规律性的概括情报：情报：情报：情报：是人们对于某个特定对象所见、所闻、所理解是人们对于某个特定对象所见、所闻、所理解是人们对于某个特定对象所见、所闻、所理解是人们对于某个特定对象所见、所闻、所理解而产生的知识而产生的知识而产生的知识而产生的知识 。

它们之间有着密切联系但不等同它们之间有着密切联系但不等同它们之间有着密切联系但不等同它们之间有着密切联系但不等同   ，信息的含义更深刻、广泛，信息的含义更深刻、广泛，信息的含义更深刻、广泛，信息的含义更深刻、广泛就狭义而言，就狭义而言，在通信中在通信中对信息的表达分为三个层次：信对信息的表达分为三个层次：信号、消息、信息号、消息、信息v 信号：信号：是信息的物理表达层，是三个层次中最具体的是信息的物理表达层，是三个层次中最具体的层次它是一个物理量，是一个载荷信息的实体，可测层次它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示量、可描述、可显示v 消息：消息：(或称为符号或称为符号)是信息的数学表达层，它虽不是是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大信号的进一步数学抽象，可将具体物理信号抽象为两大类型：类型：Ø离散离散(数字数字)消息消息，一组未知量，可用随机序列来描述：，一组未知量，可用随机序列来描述： X=(X1…Xi…Xn)Ø连续连续(模拟模拟)消息消息，未知量，它可用随机过程来描述：，未知量，它可用随机过程来描述： X( t, ω)v 信息：信息：它是更高层次哲学上的抽象，是信号与消息的它是更高层次哲学上的抽象，是信号与消息的更高表达层次。

更高表达层次 v信息、消息和信号是既有区别又有联系的三个信息、消息和信号是既有区别又有联系的三个不同的概念不同的概念 ™消息中包含信息，是信息的载体消息中包含信息，是信息的载体 ™信号携带着消息，它是消息的运载工具信号携带着消息，它是消息的运载工具 ™信息信息可认为可认为是是由具体的物理信号、数学描述的消息的由具体的物理信号、数学描述的消息的内内涵涵，即信号具体载荷的内容、消息描述的，即信号具体载荷的内容、消息描述的含义含义 ™而而信号信号则是抽象信息在则是抽象信息在物理层物理层表达的表达的外延外延；； 消息消息则是抽象信息在则是抽象信息在数学层数学层表达的表达的外延外延™同一信息，可以采用不同的信号形式同一信息，可以采用不同的信号形式(比如文字、语言、比如文字、语言、图象等图象等)来载荷；同一信息，也可以采用不同的数学表来载荷；同一信息，也可以采用不同的数学表达形式达形式(比如离散或连续比如离散或连续)来定量描述来定量描述™同一信号形式，比如同一信号形式，比如“0”与与“1”可以表达不同形式的可以表达不同形式的信息，比如无与有、断与通、低与高信息，比如无与有、断与通、低与高(电平电平)等等。

等等 ™什么是信息什么是信息™关关于于信信息息的的科科学学定定义义，，到到目目前前为为止止，，国国内内外外已已有有不不下下百百余余种种流流行行的的说说法法，，它它们们都都是是从从不不同同的的侧面侧面和和不同的层次不同的层次来揭示信息的本质的来揭示信息的本质的™1928年，哈特莱年，哈特莱(R．．V．．L Hartley) 在在《《信信息息传传输输》》一一文文中中提提出出：：发发信信者者所所发发出出的的信信息息，，就就是是他他在在通通信信符符号号表表中中选选择择符符号号的的具具体体方式方式™局限性局限性：：Ø定定义义不不涉涉及及到到信信息息的的价价值值和和具具体体内内容容，，只只考考虑虑选择的方式选择的方式Ø即即使使考考虑虑选选择择的的方方法法，，但但没没有有考考虑虑各各种种可可能能选选择方法的统计特性择方法的统计特性 v1948年，维纳年，维纳(N．．Wiener) 在在《《控制论控制论--动物和机器中通信与控制问题动物和机器中通信与控制问题》》一书中，指出：一书中，指出：“信息是信息，不是物质，也信息是信息，不是物质，也不是能量不是能量”将“信息信息”上升到上升到“最基本概念最基本概念”的位置。

的位置 后来，维纳在后来，维纳在《《人有人的用处人有人的用处》》一书中提出：一书中提出：“信息是人们适应外部世界并且使这种适应反作信息是人们适应外部世界并且使这种适应反作用于外部世界的过程中，同外部世界进行互相交用于外部世界的过程中，同外部世界进行互相交换的内容的名称换的内容的名称 ™局限性局限性：：Ø把信息与物质、能量混同起来所以，维纳关于把信息与物质、能量混同起来所以，维纳关于信息的定义是不确切的信息的定义是不确切的™1948年，香农（年，香农（C.E.Shannon）） 发表了一篇著名的论文，发表了一篇著名的论文，“通信的数学理论通信的数学理论” 他从研究通信系统传输的实质出发，对他从研究通信系统传输的实质出发，对信息作了科学的定义，并进行了定性和定量信息作了科学的定义，并进行了定性和定量的描述 u信息是事物运动状态或存在方式的不信息是事物运动状态或存在方式的不确定性的描述确定性的描述 相结合逐步发展而形成的一门新兴科学 奠基人：美国数学家香农（奠基人：美国数学家香农（C.E.Shannon））                1948年年“通信的数学理论通信的数学理论” 信息论信息论通信技术通信技术概率论概率论随机过程随机过程数理统计数理统计对信息论的研究内容一般有以下三种理解。

对信息论的研究内容一般有以下三种理解™狭义信息论狭义信息论（经典信息论）：（经典信息论）：主要研究信息的测度、主要研究信息的测度、信道容量以及信源和信道编码理论等问题这部分内信道容量以及信源和信道编码理论等问题这部分内容是信息论的基础理论，容是信息论的基础理论，又称为又称为香农信息论香农信息论™一般信息论一般信息论（通信理论）：主要是研究信息传输和处（通信理论）：主要是研究信息传输和处理问题，除了香农理论外，还包括噪声理论、信号滤理问题，除了香农理论外，还包括噪声理论、信号滤波和预测、统计检测和估计理论、调制理论以及信息波和预测、统计检测和估计理论、调制理论以及信息处理理论等处理理论等™广义信息论广义信息论：广义信息论不仅包括上述两方面的内容，：广义信息论不仅包括上述两方面的内容，而且包括所有与信息有关的领域，如模式识别、计算而且包括所有与信息有关的领域，如模式识别、计算机翻译、心理学、遗传学、语言学等等机翻译、心理学、遗传学、语言学等等™信信息息论论是是一一门门应应用用概概率率论论、、随随机机过过程程、、数数理理统统计计和和近近代代代代数数的的方方法法，，来来研研究究广广义义的的信信息息传传输输、、提提取和处理系统中一般规律的学科。

取和处理系统中一般规律的学科™它它的的主主要要目目的的是是提提高高信信息息系系统统的的可可靠靠性性、、有有效效性性、、保密性和认证性，以便达到系统最优化；保密性和认证性，以便达到系统最优化；™它它的的主主要要内内容容(或或分分支支)包包括括香香农农理理论论、、编编码码理理论论、、维维纳纳理理论论、、检检测测和和估估计计理理论论、、信信号号设设计计和和处处理理理理论、调制理论、随机噪声理论和密码学理论等论、调制理论、随机噪声理论和密码学理论等v 本课程讨论香农信息理论及编码理论本课程讨论香农信息理论及编码理论  信息论发展简史与现状 u信信息息论论是是在在长长期期的的通通信信工工程程实实践践和和理理论论研研究究的的基基础础上上发发展起来的展起来的一、简史一、简史v现代信息论实际上是从现代信息论实际上是从20世纪世纪20年代奈奎斯特和哈特年代奈奎斯特和哈特莱的工作开始的莱的工作开始的v1924年奈奎斯特年奈奎斯特(H．．Nyquist)的的 “影响电报速率因素影响电报速率因素的确定的确定” 一文，一文，1928年哈特莱年哈特莱(R．．V．．Hartley) 的的“信息传输信息传输” 一文研究了通信系统传输信息的能力，并一文研究了通信系统传输信息的能力，并给出了信息度量的方法给出了信息度量的方法v1946年柯切尔尼柯夫年柯切尔尼柯夫 的学位论文的学位论文“起伏噪声下的起伏噪声下的潜在抗干扰理论潜在抗干扰理论”，根据最小错误概率准则和最小，根据最小错误概率准则和最小均方误差准则研究了离散和连续信道的最佳接收问均方误差准则研究了离散和连续信道的最佳接收问题题v1948年香农年香农的权威性长文的权威性长文“通信的数学理论通信的数学理论”，讨，讨论了信源和信道特性，论了信源和信道特性，1949年年香农香农“噪声中的通信噪声中的通信”，上述两篇文章奠定了现代信息论的理论基础，上述两篇文章奠定了现代信息论的理论基础v此后，在基本理论和实际应用方面，信息论都得到此后，在基本理论和实际应用方面，信息论都得到了巨大的发展了巨大的发展信息论研究现状信息论研究现状Ø在香农理论基础上给出的在香农理论基础上给出的最佳噪声通信系统模型最佳噪声通信系统模型近近年来正在成为现实；年来正在成为现实；Ø在噪声中信号过滤与检测基础上发展起来的在噪声中信号过滤与检测基础上发展起来的信号检信号检测理论测理论和抗干扰编码基础上发展起来的和抗干扰编码基础上发展起来的编码理论编码理论已已成为现代信息论的两个重要分支；成为现代信息论的两个重要分支；Ø此外，模糊信息处理、相对信息处理、主观信息处此外，模糊信息处理、相对信息处理、主观信息处理、智能信息处理、自动化信息控制等大量理、智能信息处理、自动化信息控制等大量崭新课崭新课题题的研究也相继展开，使信息理论的面貌一新，并的研究也相继展开，使信息理论的面貌一新，并将大大促进信息科学的发展。

将大大促进信息科学的发展通信系统模型信源信源信源编码器信源编码器信道编码器信道编码器调调制制器器信道信道解解调调器器信宿信宿信源译码器信源译码器信道译码器信道译码器干扰干扰源源编码信道编码信道v信源信源：产生消息和消息序列的来源产生消息和消息序列的来源消息可以是离散的，也可以是连续的（数据、消息可以是离散的，也可以是连续的（数据、文字、语言、图像），通常信源的消息序列是随文字、语言、图像），通常信源的消息序列是随机发生的，因此要用随机变量来描述机发生的，因此要用随机变量来描述 §2 编码的分类与作用编码的分类与作用v 编码器编码器：把消息变换成适合于信道传输的信号把消息变换成适合于信道传输的信号Ø信源编码器信源编码器：将信源的输出进行适当的变换，以提高信：将信源的输出进行适当的变换，以提高信息传输的有效性息传输的有效性Ø信道编码器信道编码器：对信源编码器的输出进行变换，用增加多：对信源编码器的输出进行变换，用增加多余度的方法提高信道的抗干扰能力，以提高信息传输的余度的方法提高信道的抗干扰能力，以提高信息传输的可靠性v 调制器调制器：将信道编码器输出的数字序列变换为振幅、：将信道编码器输出的数字序列变换为振幅、频率或相位受到调制控制的形式，以适合在信道中频率或相位受到调制控制的形式，以适合在信道中进行较长距离的传输。

进行较长距离的传输v 信道信道：信号由发送端传输到接收端的媒介信号由发送端传输到接收端的媒介 典型的传输信道有明线、电缆、高频无线信道、典型的传输信道有明线、电缆、高频无线信道、微波通道和光纤通道等；典型的存储媒介有磁芯、微波通道和光纤通道等；典型的存储媒介有磁芯、磁鼓、磁盘、磁带等磁鼓、磁盘、磁带等v干扰源干扰源：对传输信道或存储媒介构成干扰的来源的总称对传输信道或存储媒介构成干扰的来源的总称干扰和噪声往往具有随机性，所以信道的特征也可以用概干扰和噪声往往具有随机性，所以信道的特征也可以用概率空间来描述；而噪声源的统计特性又是划分信道的依据率空间来描述；而噪声源的统计特性又是划分信道的依据 干扰可以分为两类：干扰可以分为两类：1）加性干扰，它是由外界原因产）加性干扰，它是由外界原因产生的随机干扰，它与信道中传送的信号的统计特性无关，生的随机干扰，它与信道中传送的信号的统计特性无关，因而信道的输出是输入和干扰的叠加；因而信道的输出是输入和干扰的叠加；2）乘性干扰：信道）乘性干扰：信道的输出信号可看成输入信号和一个时变参量相乘的结果的输出信号可看成输入信号和一个时变参量相乘的结果。

v解调器解调器：从载波中提取信号，是调制的逆过程：从载波中提取信号，是调制的逆过程v信道译码器信道译码器：利用信道编码时所提供的多余度，检查或纠：利用信道编码时所提供的多余度，检查或纠正数字序列中的错误正数字序列中的错误v信源译码器信源译码器：把经过信道译码器核对过的信息序列转换成：把经过信道译码器核对过的信息序列转换成适合接收者接收的信息形式适合接收者接收的信息形式v信宿信宿：消息传送的对象：消息传送的对象 （人或机器（人或机器 ）q在在通通信信系系统统中中形形式式上上传传输输的的是是消消息息，，但但实实质质上上传传输输的的是是信信息息消消息息只只是是表表达达信信息息的的工工具具、、载载荷荷信信息息的的客客体体显显然然，，在在通通信信中中被被利利用用的的(亦亦即即携携带带信信息息的的)实际客体是不重要的，而重要的是信息实际客体是不重要的，而重要的是信息q通通信信的的结结果果是是消消除除或或部部分分消消除除不不确确定定性性从从而而获获得得信息信源(source)     信宿(sink)       信道(channel)    编码器(encoder))译码器(decoder)    调制器(modulator)   解调器(demodulator)加密（Encrypt）   解密（Decrypt）信源编码信源编码(source)-提高有效性(提高传信率,或节省存储空间)信道编码信道编码(channel coding)-提高抗干扰能力,减低误码率(也可以    用于减少发射功率,或增大传输距离)保密编码保密编码-提高保密度, 防止被窃听或恶意修改• 编码所面临的问题编码所面临的问题• 信息论与编码之间的关系信息论与编码之间的关系   编码导致了信息论，而信息论又为编码提供了理论的指导（指出编码所能达到的理论极限）。

 ™可靠性可靠性 使信源发出的消息经过信道传输以后，尽使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现于接收端可能准确地、不失真地再现于接收端™有效性有效性 经济性好，即用尽可能短的时间和尽可能经济性好，即用尽可能短的时间和尽可能少的设备来传送少的设备来传送—定数量的信息定数量的信息 ™保密性保密性 隐蔽和保护通信系统中传送的消息，使它隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和只能被授权接收者获取，而不能被未授权者接收和理解™认证性认证性 接收者能正确判断所接收的消息的正确性，接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的验证消息的完整性，而不是伪造的和被窜改的™有效性、可靠性、保密性和认证性四者构成现代通有效性、可靠性、保密性和认证性四者构成现代通信系统对信息传输的信系统对信息传输的全面要求全面要求                   §3 信息论与编码技术的发展及应用信息论与编码技术的发展及应用1 理论的建立：理论的建立：2 发展：发展：狭义信息论→广义信息论，  单用户信息论→多用户信息论数据压缩、文本压缩、语音压缩、图象压缩汉明码→线性分组码（CRC码、BCH码、RS码等）→卷积码→TCM→Turbo码古典密码→现代密码（分组密码、序列密码、公开密钥密码）3 应用：应用：•纠错码纠错码-广泛用于通信（移动通信、卫星通信、深空通信、数据通信、光纤通信等）、数字电视、数字广播，计算机网络（INTERNET）、计算机存储系统以及CD、DVD等。

•压缩编码压缩编码-广泛用于通信（特别是多媒体通信、图象通信）、数字电视、计算机存储系统以及CD、DVD等•保密编码保密编码- 通信保密、计算机网络安全、电子商务、银行业务以及IC卡等                                  授课内容授课内容一、绪论一、绪论(课本第1章)二、信息论基础（二、信息论基础（课本第2,4章,通信原理第11章））   •  信息及其度量   •平均信息量-熵   •互信息量   •信道容量   • 各种信息量之间的关系三、信道编码三、信道编码（课本第5,6,7章,通信原理第10章）四、信源编码（四、信源编码（课本第3,8章））   • 基本定理   • 即时码（非续长码） •两种最优编码方法   （Shannon-Fano法，Huffman法）五、伪随机序列及保密编码简介五、伪随机序列及保密编码简介（课本第12章部分内容,通信原理第11章第5节）                       课程要求及评分标准课程要求及评分标准一一  要求：要求：• • 认真听课认真听课• • 做好笔记做好笔记• • 独立完成并按时交作业独立完成并按时交作业二二   教材及参考书教材及参考书:1.电子教案电子教案   2.戴善荣戴善荣,信息论与编码基础信息论与编码基础,机械工业出版业机械工业出版业, 20053.沈振元沈振元, 通信系统原理通信系统原理(第第10,11章章) ,西安电子科技大学出版社西安电子科技大学出版社4.Rajan Bose, Information Theory, coding and Cryptography三三  评分标准：评分标准：  平时（作业平时（作业+听课）：听课）：30%  考试：考试：70%。