华科-信息论与编码-非常详细、明了的幻灯片-第一章

基础信息论,电子与信息工程系 王怿 email: ywangmail.hust.edu.cn 南一楼 东南角5楼 通软中心,2,课程说明,课程类型：专业必修课 学时：32 教材： 陈运等，信息论与编码（第2版），电子工业出版社，2007.9 参考教材 傅祖芸，信息论-基础理论与应用，电子工业出版社。2001年8月（细致） Thomas M. Cover 著 Elements of Information Theory 清华大学出版社2003年11月 考核： 平时成绩30（作业、考勤） 期末考试70（闭卷）,课程说明,本课程将介绍信息科学的基础理论和基本方法，课程将基于一个通讯系统的抽象数学模型进行展开，课程的数学基础为概率论。 本课程以概率论为基础，数学推导较多，教学时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。学习时一定要从始至终注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。,4,课程地位,重要的专业基础课,概率论与数理统计,高等数学,线性代数,通信原理,信息论与编码,计算机网络,移动通信,纠错编码,数据压缩,信息安全,信号与系统,数字信号处理,第1章 绪论,6,感性认识：信息论与编码的用途,JPG、GIF，与BMP有什么不同？ WinRar, WinZip软件有什么用途？ MP3，MP4格式有什么特点？,图片压缩 数据压缩 音频、视频压缩,例1：一分钟CD音质 压缩前：11M byte 压缩后：1M byte 例2：联通3G，号称网速21M，用户实际体验，速度快慢不等 客服解释：信道条件不同？,Byte指的什么，到底是一个怎样单位？ 为什么可以压缩，最多能压缩多少？,“网速”和信道有什么关系？ 无线信道极限能传多快？,信息论： 信息相关领域的基础理论，定义信息领域中的相关概念、数学模型和方法，为高效、可靠、安全、经济并且随心所欲地交换和利用各种信息提供理论基础。,7,第1章 绪论,1.1 信息的一般概念 信息的定义 信息、信号与消息 信息的特征与性质 1.2 信息论的研究对象、目的和内容 1.3 信息论的形成和发展应用,8,信息的定义,到底什么是信息？有没有严格的、公认的书面定义? 信息就是信息，既不是物质也不是能量。（1948年，维纳） 信息是事物之间的差异。（1975年，朗格G.Longe） 信息是物质和能量在时间和空间的不均匀性。 信息是物质的普遍属性。 信息是集合的变异度。 信息是一种场。 信息是系统的复杂性。 信息是事物相互作用的表现形式。 信息是事物联系的普遍形式。 信息是收信者事先所不知道的报导。 信息是用以消除随机不定性的东西。 ,什么是信息? 信息时代 信息社会 信息高速公路 信息化建设 电子与信息工程系,接下来给出香农所做出的定义，也就是本课程所使用的定义,生活中的信息： 花朵开放时的鲜艳的色彩，可以引来昆虫为其授粉；色彩是一种信息 成熟的水果会产生香味，诱来动物，动物食后为其传播种子，果香也是一种信息； 药有苦味，让人难以吞咽，药味是一种信息； 听老师讲课可以得到许多知识，知识也是信息 。,可见，信息处处存在，人的眼、耳、鼻、舌、身都能感知信息。,视觉,嗅觉,味觉,听觉,对信息概念的感性认识,10,对信息概念的感性认识,收到一封电报，接到一个电话，或早晨从收音机里听到了天气预报，或看到了电视之后：,但到底我们得到了多少“信息”呢？如何衡量？ 例： 第二次听天气预报说今天会是阴天，得到多少信息？ 电视里报道中国男子足球队战胜了巴西队，和中国男子兵乓球队战胜了巴西队，分别得到多少信息？ 一位专业人士和一位普通人同时听一位学者的学术讲座，分别得到多少信息？ 两位专业人士同时听刚才那位学者的学术讲座，谁得到的信息量更多？ 一位渔民和一个工人同时收听天气预报中的海浪预报，谁得到了更有价值的信息？价值多出多少？,我们收到了“信息”。,11,对信息概念的感性认识,第二次听到天气预报说今天会是阴天，得到多少信息？ 感觉上信息量应为零，因为该事件已经被获知，是确定性的事件。但又似乎不完全是，因为对该事件又得到了一次新的确认，对信息的真实性更加有把握。 电视里报道中国男子足球队战胜了巴西队，和中国男子兵乓球队战胜了巴西队，分别得到多少信息？ 说不太清分别得到多少信息。但感觉上似乎前者信息量更大些，因为这种几率非常小，人们感觉很惊讶。不过对于不懂体育的人，似乎又没多大区别。 一位专业人士和一位普通人同时听一位学者的学术讲座，分别得到多少信息？ 说不太清分别得到多少信息。但感觉上似乎前者得到的信息量更大些，因为他懂得很多专业知识。,12,对信息概念的感性认识,两位专业人士同时听刚才那位学者的学术讲座，谁得到的信息量更多？ 说不太清谁得到的信息多。似乎应该是业务能力更强、专业知识更丰富的那个人得到的信息多，但很难对这两个人的能力和知识进行定量地衡量。 一位渔民和一个工人同时收听天气预报中的海浪预报，谁得到了更有价值的信息？价值多出多少？ 感觉是渔民，但价值多出多少无法回答。,13,结论,一般而言，信息既有其客观性，又有其主观性，与接收人所具有的专业知识、兴趣、职业等都有关系。 1. 客观性：所有人所听到的消息都是一样的。 天气预报说今天会下雨。 电视报道说中国足球队战胜了巴西足球队。 2. 主观性：与接收人的知识、兴趣、职业等主观因素有关。 知识：两个专业人士听学术讲座的例子。 兴趣：听到体育新闻的人是否爱好体育的例子。 职业：渔民和工人听海浪预报的例子。,14,总结,信息具有三方面特征： 语法（反映客观性） 语义（既有客观性、又有主观性） 语用（反映主观性） 信息的主观属性（语用、语义）是影响对信息进行度量的主要因素，这些属性与人的主观性有关，很难准确地进行量化表达。 基于以上考虑，香农大胆地去掉了信息在语义和语用方面的因素，只保留消息的语法属性，从而使得使用数学工具定量度量信息成为可能。,信息分类方法的一种,15,香农信息,1948年，香农在A Mathematical Theory of Communication中提出了三种假设：,16,香农信息不确定性的消除量,香农认为通信无外乎两种原因： 自己有某种形式的消息要告诉对方，而估计对方“不知道”这个消息。 自己有某种“疑问” 要寻问对方，而估计对方能做出一定的解答。 “不知道”、“疑问”就是通信前对可能发生事件的若干种结果不能做出明确判断，存在某种 “不确定性”。 通信后，将完全或部分消除通信前的不确定性。即：通信的作用就是通过消息的传递，使接收者从收到的消息中获取一定的信息，从而消除原先存在的某些不确定性。 例：地区A每天通过信道，向地区B发送地区A当天的天气情况。 通信前，问地区B的某人：地区A明天会是阴天吗？回答：不确定。 假设地区A第二天果然是阴天，并将此消息通过信道发送到地区B。但通信过程中受干扰因素的影响，消息变为“不是晴天” 通信后，问地区B的某人：地区A今天会是阴天吗？回答：还是不确定，但不确定的程度降低了。,17,根据香农信息的定义，重新回答之前的问题。,2. 电视里报道中国男子足球队战胜了巴西队，和中国男子兵乓球队战胜了巴西队，分别得到多少信息？,收看之前的不确定度 收看之后的不确定度,1. 别人给你打电话告诉了你一件不知道的事情，得到多少信息？告诉了一件你已经知道的事情呢？,18,3. 一位专业人士和一位普通人同时听一位学者的学术讲座，分别得到多少信息？,听到之前的不确定度 听到之后的不确定度,专业人士和普通人的得到的信息相同。,4. 两位专业人士同时听刚才那位学者的学术讲座，谁得到的信息量更多？,两位专业人士得到的信息相同。,5. 一位渔民和一个工人同时收听天气预报中的海浪预报，谁得到了更有价值的信息？,得到的信息相同。,可见：香农信息只考虑信息量的多少, 不考虑对人的作用或价值。,根据香农信息的定义，重新回答之前的问题。,19,香农信息的优缺点,20,其他信息定义,本课程后续讨论内容中将只使用香农先生的定义。,21,第1章 绪论,1.1 信息的一般概念 信息的定义 信息、信号与消息 信息的特征与性质 1.2 信息论的研究对象、目的和内容 1.3 信息论的形成和发展应用,22,信息与消息、信号间的区别与关系,23,例：,(莫尔斯码),24,分析,分析1：上述通信活动中，信息、消息、信号分别是： 高频电脉冲是 “母病愈”这三个汉字是 对母亲健康状况不确定性的消除，是 其中，消息与信息的概念较为容易混淆。消息通常是具体的文字，数据、声音、图像等形式，而信息较为抽象。 分析2： 第二天哥哥又发了一封“母病愈”的电报。 收到消息但信息为0 通信前后的不确定度： 0 0 第一份电报，传输过程中变成乱码。 收到消息但信息为0 通信前后的不确定度： f(p) f(p),信息,消息,信号,25,第1章 绪论,1.1 信息的一般概念 信息的定义 信息、信号与消息 信息的特征与性质 1.2 信息论的研究对象、目的和内容 1.3 信息论的形成和发展应用,26,信息的特征,信息是无形的 与物质和能量不同，信息看不见，摸不着，没有颜色、没有气味、没有形状、没有大小，没有重量非常抽象。 信息是“活”的 信息来源于客观事物，人们能够直接或间接感知它，它是人脑思维活动的反映，可以说，人脑是信息的主要载体。它是动态的，有很强的时间性，如：股票市场信息，瞬息万变，只有及时把握有效的信息才能获得信息的最佳价值。 信息是可分享的 甲传递一件东西给乙，乙得到的同时甲便失去。 信息持有者将信息传递出去后，自己的信息并不丧失。,27,信息的特征,信息是能产生实效的 信息是可以处理的 人们得到信息之后，往往要对信息进行整理、归纳和再加工，使信息更加精练。 如：信息的压缩是信息论的主要研究内容之一。 信息是可以快速传播并扩散的 信息可以在短时间内通过电视、广播、网络等渠道迅速传播开来，顷刻之间即可传遍全球。 . . . ,28,第1章 绪论,1.1 信息的一般概念 1.2 信息论的研究对象、目的和内容 通信系统模型 信息论的内容和目的 1.3 信息论的形成和发展应用,29,信息运动过程,30,通信系统模型,香农在创立信息论时，主要是考虑在通信领域中的应用。随着信息论的不断发展，其已逐渐渗透到计算机、雷达、导航、自动控制等领域，甚至已渗透到经济学、社会学等领域。但本课程只研究在通信领域中的应用。,信源,信源编码,信源译码,信宿,信道编码,信道,信道译码,+,+,加密编码,解密译码,噪声源,S,U,C,X,Y,V,S,n,通信系统基本模型,31,通信系统模型-信源和信宿,信源: 产生消息的源。 可是人、生物、机器或其它事物，是信息的表达者，但不是信息本身。 是事物各种运动状态或存在状态的集合，对应一个概率空间。 信源的输出是消息，消息可以是文字、语言、图像等。 信宿：信息传送过程中的接收者，即接收消息的人或物。 信宿和信源可处于不同的地点或存在于不同时刻。,32,通信系统模型-编码部分,编码部分： （发射机） 1、信源编码器：对信源消息进行变换和处理，提高传输效率 2、纠错编码器：用以提高对于信道干扰的抗击能力，提高传输可靠性。 3、调制器：变成适合于信道要求的信号形式 例如：电话机：人的语言转换成与声音信号成正比的电信号。 发报机：将语言文字转换成高频电脉冲。,33,通信系统模型-信道,信道：把载荷消息的信号从发射端传到接收端的媒质或通道 在狭义的通信系统中，实际信道有架空明线、电缆、波导、光纤、无线电波传播空间等。 广义的通信系统，信道还可以是其他传输媒介。,信 源,信源编码器,调制器,信 道,信道编码器,纠错编码器,信 宿,信源译码器,解调器,纠错译码器,干扰源,信道译码器,34,通信系统模型-