信息及香农信息论概述概要ppt课件.ppt

信息及香农信息论简介大纲 第一部分 信息的概念 第二部分 香农信息论及应用 第三部分 香农信息论的局限性 第四部分 结束语世界的支柱之一:信息l物质世界的三大支柱：物质、能量和信息Without materials, there is nothing.没有物质的世界是虚无的世界Without energy, nothing happens.没有能源的世界是死寂的世界Without information, nothing makes sense.没有信息的世界是混乱的世界*5信息的定义信息的定义zz从从日常生活知识日常生活知识来理解来理解zz有关有关科学家科学家的论述的论述yy香农：香农：信息是事物运动状态或存在方式的不确定性的信息是事物运动状态或存在方式的不确定性的描述描述yy艾什比：把信息定义为艾什比：把信息定义为“ “差异度差异度” ”yy维纳：把信息定义为一种维纳：把信息定义为一种“ “组织性组织性” ”的度量的度量zz有关有关哲学家哲学家的论述的论述yy信息是一切物质的属性信息是一切物质的属性yy信息就是信息，不是物质也不是能量信息就是信息，不是物质也不是能量英国牛津字典英国牛津字典：信息是谈论的事情、新闻和知识：信息是谈论的事情、新闻和知识韦氏字典：韦氏字典： 在观察研究过程中获得的数据情报、新闻和知识在观察研究过程中获得的数据情报、新闻和知识日本广辞苑：日本广辞苑： 信息是所观察事物的知识信息是所观察事物的知识*6消息、信号和信息消息、信号和信息n n消息（消息（MessageMessage）：）： 信源发出的语言、文字、公式、数据、声音、图像信源发出的语言、文字、公式、数据、声音、图像等等。

每个消息都是具体的，其内容千千万万，形式多种等等每个消息都是具体的，其内容千千万万，形式多种多样n n信号（信号（SignalSignal）：）：替代消息并适合于在信道中传输的是连续或脉冲的替代消息并适合于在信道中传输的是连续或脉冲的电压、电流、电磁波及光波电压、电流、电磁波及光波信源信源信道信道信宿信宿消息消息( (发送者发送者) )( (收信者收信者) )干扰或噪声干扰或噪声*7消息、信号和信息消息、信号和信息zz信息（信息（InformationInformation）：yy信息是消息的内涵，是信号的价值，信息是消息的内涵，是信号的价值，信息信息是能使信宿得以获知解惑的东西是能使信宿得以获知解惑的东西yy它应当是从千千万万不同形式不同内容的它应当是从千千万万不同形式不同内容的消息中抽象出来的、具有共性的、可定量测消息中抽象出来的、具有共性的、可定量测度的一个量，应该有它的单位和数学表达度的一个量，应该有它的单位和数学表达8消息、信号和信息消息、信号和信息uu信号最具体，它是一物理量，可测量、可显示、信号最具体，它是一物理量，可测量、可显示、可描述，同时它又是载荷信息的实体可描述，同时它又是载荷信息的实体uu消息是具体的、非物理的，可描述为语言文字、消息是具体的、非物理的，可描述为语言文字、符号、数据、图片，能够被感觉到，同时它是信符号、数据、图片，能够被感觉到，同时它是信息的载荷体，是信息论中主要描述形式息的载荷体，是信息论中主要描述形式uu信息是抽象的、非物理的信息是抽象的、非物理的哲学层表达哲学层表达信息的物理层表达信息的物理层表达信息的数学层表达信息的数学层表达*9信息的特征信息的特征zz信息的基本概念在于它的信息的基本概念在于它的不确定性不确定性，任何已确定任何已确定的事物都不含信息。

的事物都不含信息yy接收者在收到信息之前，对它的内容是不知道接收者在收到信息之前，对它的内容是不知道的，所以信息是新知识、新内容的，所以信息是新知识、新内容yy信息是能使认识主体对某一事物的未知性或不信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识确定性减少的有用知识yy信息可以产生，也可以消失，同时信息可以被信息可以产生，也可以消失，同时信息可以被携带、贮存及处理携带、贮存及处理yy信息是可以量度的，信息量有多少的差别信息是可以量度的，信息量有多少的差别*10信息的特征信息的特征1. 1.信息的客观性信息的客观性2. 2.信息与载体的不可分割性信息与载体的不可分割性3. 3.信息的价值性信息的价值性4. 4.信息的时效性信息的时效性5. 5.信息的可分享性信息的可分享性6. 6.信息的可传递性信息的可传递性7. 7.信息的可扩散性信息的可扩散性信息论信息论基础理论与应用，博祖芸编著，电子工业出版社基础理论与应用，博祖芸编著，电子工业出版社*11信息的特征信息的特征8. 8.信息的可加工性信息的可加工性9. 9.信息的可再现性信息的可再现性10.10. 信息的可存储性信息的可存储性11.11. 信息的积累性信息的积累性12.12. 信息的延续性和继承性信息的延续性和继承性13.13. 信息的可开发性信息的可开发性14.14. 信息的可再生性和可增值性信息的可再生性和可增值性*12信息的性质信息的性质zz性质一：性质一：普遍性普遍性yy信息是普遍存在的。

信息是普遍存在的zz性质二：性质二：无限性无限性yy在整个宇宙时空中，信息是无限的在整个宇宙时空中，信息是无限的zz性质三：性质三：相对性相对性yy对于同一事物，不同观察者所获得的信息量可能不同对于同一事物，不同观察者所获得的信息量可能不同zz性质四：性质四：转移性转移性yy信息可以在时间上或空间中从一点转移到另一点信息可以在时间上或空间中从一点转移到另一点zz性质五：性质五：变换性变换性yy信息是可变换的，可由不同的载体和不同的方法来载荷信息是可变换的，可由不同的载体和不同的方法来载荷13我将你原来不知道的结果告诉你,就是提供了信息! 例1 当我给你一封信时，你就从我这里获得了信息，因为你事先并不知道其中的内容 例2 设电脑彩票由8个10进制数组成.在开奖之前，我们不知道特等奖号码的信息，因为特等奖的号码是不确定特等奖号码的信息只有在开奖时才获得一旦开奖，就获得了8个十进制数的信息 这就是说，将未知的变成已知的时就获得了信息！ 信息寓于不确定之中！何为信息? 什么能提供信息?*14何为信息何为信息? ? 什么能提供信息什么能提供信息? ?zz例一：扔硬币例一：扔硬币yy正反面不确定正反面不确定zz例二：天气预报例二：天气预报yy晴、多云、雨、雪、风：不确定晴、多云、雨、雪、风：不确定zz例三：足球比赛例三：足球比赛yy胜负关系不确定胜负关系不确定何为信息? 什么能提供信息?l消息 打时对方发出的声音互联网上的网页广播、电视的节目l有些消息我们是未知的，有些是我们已知的l人们感兴趣的是未知的消息如何度量信息如何衡量信息量的大小? 事件发生的概率越小，此事件含有的信息量就越大。

不太可能发生的事件竟然发生了，令人震惊）l 例1：中国足球队5：0力克韩国足球队”含有的信息量大小概率事件发生了，事件信息量大）l 例2: 中国足球队0：1负于韩国足球队”含有的信息量小大概率事件发生了，事件信息量小）17信息量我向你提供的信息量的大小就是你事先不知道结果的程度!也即是信息的不确定度如果你事先全知道了,说明我提供的信息量等于0;如果你事先一无所知,说明我提供的信息量最多.不知道意味着在我告诉你之前你只能猜测!猜测就是按照每个可能结果的出现概率进行猜测!因此,你只知道这个事情的每个结果的发生概率!18信息量的度量所以,我提供的信息量就是由你事先知道的每个可能结果的发生概率(即随机事件的概率分布)决定.简单地说,信息就是: (1) 当未知的变成已知的之后获取的信息; (2) 当未知的还没变成已知之前包含的未知信息.19信息量的度量通常的信息是指: (1) 一个实验提供的信息; (2) 一个随机事件包含的信息; (3) 一个随机变量包含的信息.其中(1)和(2)的含义相同,它们比(3)的意义更加广泛. 什么是信息信源信源信道信道信宿信宿消息消息( (发送者发送者) )( (收信者收信者) )干扰或噪声干扰或噪声l香农：“信息是事物运动状态或存在方式的不确定性的描述”。

l通过概率论和随机过程测度信息不确定性的大小l香农的通信系统模型 信道信源信道/信源译码器信源/信道编码器信宿噪声通信系统模型 信号信号加噪声消息消息通信系统模型通信系统模型*22信源、信宿和信道 l信源：发送消息的源离散信源和连续信源信源是信息论的主要研究对象之一，但在信息论中并不探讨信源的内结构和物理机理，而把注意力放在信源的输出上，重点讨论信源输出的描述方法及性质l信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地l信道：传输信息的物理媒介 23信源编码器与译码器 l信源编码器的作用把信源发出的消息变换成由二进制码元(或多进制码元)组成的代码组，这种代码组就是基带信号 同时通过信源编码可以压缩信源的冗余度，以提高通信系统传输消息的效率 l信源译码器的作用把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于信源编码器的逆过程母病愈母病愈，勿念，勿念*24信道编码器与译码器l信道编码器的作用在信源编码器输出的代码组上有目的地增加一些监督码元，使之具有检错或纠错的能力l信道译码器的作用具有检错或纠错的功能，它能将落在其检错或纠错范围内的错传码元检出或纠正，以提高传输消息的可靠性。

信道编码的主要作用是提高信息传送的可靠性信道编码的主要作用是提高信息传送的可靠性母病母病 ，勿念，勿念大纲 第一部分 信息的概念 第二部分 香农信息论及应用 第三部分 香农信息论的局限性 第四部分 结束语香农信息论及应用Claude Shannon (1916-Claude Shannon (1916-2001)2001)香农其人香农其人 20世纪中叶，信息论、控制论、系统论等标新立异的新理论相继问世，有力地“晃动”着传统的科学框架克劳德香农是一位美国数学工程师，作为信息论的创始人，人们认为他是20世纪最伟大的科学家之一他在通信技术与工程方面的创造性工作，为计算机与远程通信奠定了坚实的理论基础人们尊崇香农为信息论及数字通信时代的奠基之父 信息概念、“比特” 克劳德香农 (Claude Elwood Shannon，1916-2001) 1916年4月30日诞生于美国密西根州 父亲是该镇的法官，母亲是镇里的中学校长，香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械；此外，香农的家庭与大发明家爱迪生还有远亲关系 香农其人香农其人家庭背景家庭背景 2001年2月24日在马萨诸塞州的Medford因老年痴呆症与世长辞，享年85岁。

贝尔实验室和MIT发表的讣告都尊崇香农为 信息论及数字通信时代的奠基之父 香农其人香农其人 1938年在MIT获得获得电气工程硕士学位，硕士论文题目是A Symbolic Analysis of Relay and Switching Circuits (继电器与开关电路的符号分析)他注意到交换电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并用1和0表示于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基础 哈佛大学的伽登纳(Howard Gardner)教授说，“这可能是本世纪最重要、最著名的一篇硕士论文 香农其人香农其人攻读学位攻读学位 1940年香农在MIT获得数学博士学位，而他的博士论文却是关于人类遗传学的，题目是 An Algebra for Theoretical Genetics (理论遗传学的代数学) 香农其人香农其人攻读学位攻读学位 1948年发表论文 ：A Mathematical Theory of Communication “通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现” 这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型的新思想 在这篇论文。