信息论的由来发展.docx

科学技术的发展是人类正在进入一个新的时代，这个时代的主要特征之一就是对信息的需求和利用，因此 有人称之为信息时代.而迄今为止，人们对信息都没有确切定义,但是它是一种人人皆知、不言自明的抽象概 念.信息虽无确切定义，但是却有两个明显的特征:广泛性与抽象性，信息时组成客观世界并促进社会发展的 最基本的三大要素之一（物质、能量和信息）它依附于物质和能量，但又不同于物质和能量没有信息就 不能更好地利用物质和能量，人类利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量 形式.信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更高层次人 类社会的生存和发展无时无刻都离不开信息的获取、传递、处理、再生、控制和利用信息论正是一门把信息作为研究对象，以揭示信息的本质特征和规律为基础，应用概率论、随机过程和 数理统计等方法来研究信息的存储、传输、处理、控制和利用等一般规律的科学自从1948年贝尔研究所的 香农发表了《通信的数学理论》一文，宣告了信息论作为一门独立的、全新的学科成立自此以后，信息理 论本身得到不断地发展和深化，尤其是在信息理论的指导下，信息技术也获得飞快发展。

这又使信息的研究 冲破了香农狭义信息的范畴，几乎渗透到自然科学与社会科学的所有领域，从而形成了一门具有划时代意义 的新兴学科——信息科学.信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、 计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科它的任务 主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一 般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解 放出来，提高人类认识世界和改造世界的能力信息科学在安全问题的研究中也有着重要应用1924 年Ho Nyquist开始分析电报信号传输中脉冲速率与信道带宽的关系1928 年RV.Lo Hartley提出信息应该由随机事件样本空间中元素的个数的 对数值来衡量1930 年N.Wiener开始把傅里叶分析方法全面引入随机时间信号的研究中来1936 年Eo Ho Armstrong提出频率调制1939 年Ho Dudley发明了声码器1948 年No Wiener发表《控制论》1948 年C.Eo Shannon发表《通信的数学理论》1952 年D.A.Huffman 提出 了 Huffman 编码1954 年Po Elias提出了卷积码1959 年So Ko Kullback提出了鉴别信息的概念1961 年C.E.Shannon提出了多用户信息论1963 年Po Elias提出了算术编码1965 年A.No Kolmogorov提出了通用编码1982 年G.Ungerboeck实现了网格编码调制1993 年Turbo码的性能已经非常接近于理论极限上表记录了科学家们再信息科学发展中的重要贡献，反映了信息科学的发展历程。

香农在论文《通讯的 数学理论》中系统地提出了关于信息的论述，创立了信息论维纳提出的关于度量信息量的数学公式开辟了 信息论的广泛应用前景1951年美国无线电工程学会承认信息论这门学科,此后得到迅速发展20世纪50 年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是 在已有的基础上进行重大建设的时期研究重点是信息和信源编码问题到70年代，由于数字计算机的广泛 应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题人们越来越认 识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享人类迈入21世纪 的高度信息化时代以来，移动通信、互联网通信、多媒体技术、计算机技术、空间技术等信息技术出现了超 越人们想象的、前所未有的发展速度，在这些领域中，只要涉及信息的存储、传输和处理就要用到香浓信息 理论——无失真通信的传输速率极限（即香浓极限）、无失真和限失真新源编码理论（即数据压缩原理）和 信道编码理论（即纠错码理论）等如今信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申 农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新 兴学科进一步发展.目前，人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等（完整）信息论的由来发展 学科中去.何为信息一般说来，信息可以界定为由信息源（如自然界、人类社会等）发出的被使用者接受和理解的各种信号. 作为一个社会概念，信息可以理解为人类共享的一切知识，或社会发展趋势以及从客观现象中提炼出来的各 种消息之和。

信息并非事物本身，而是表征事物之间联系的消息、情报、指令、数据或信号一切事物，包 括自然界和人类社会,都在发出信息我们每个人每时每刻都在接收信息在人类社会中，信息往往以文字、 图象、图形、语言、声音等形式出现.就本体论意义而言，信息是标志事物存在及其关系的属性.信息一般具有如下一些特征：1、 可识别；2、 可转换；3、 可传递；4、 可加工处理；5、 可多次利用（无损耗性）；6、 在流通中扩充；7、 主客体二重性信息是物质相互作用的一种属性，涉及主客体双方;信息表征信源客体存在方式和运动状 态的特性，所以它具有客体性，绝对性;但接收者所获得的信息量和价值的大小，与信宿主体的背景有关表现 了信息的主体性和相对性.8、 信息的能动性.9、 可共享性.这是信息与物质和能量的主要区别信息的产生、存在和流通，依赖于物质和能量，没有物质和能量就没有能动作用信息可以控制和支配物质 与能量的流动信息论学科的概述信息论是一门具有高度概括性、综合性，应用广泛的边缘学科信息论是信息科学的理论基础，它是一门 应用数理统计方法研究信息传输和信息处理的科学，是利用数学方法来研究信息的计量、传递、交换和储存 的科学。

随着科学技术的发展，信息论研究范围远远超出了通信及类似的学科，已延伸到生物学、生理学、 人类学、物理学、化学、电子学、语言学、经济学和管理学等学科信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、 系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科.它的任务主要是研究信息的性质， 研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种 信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世 界和改造世界的能力信息科学在安全问题的研究中也有着重要应用信息论的研究对象发送机 喋送源I 传收机信崽传输原型信源产生消息的源，消息可以是文字，语言，图像可以离散，可以连续随即发生研究的主要问题是消 息的统计特性和产生信息的速率编码器编码是把消息变换成信号的措施，而译码就是编码的发变换.编码器输出的是适合信道传输的信号，信号 携带着消息，它是消息的载荷者其中，编码器分为信源编码器和信道编码器.信源编码器：对信源输出进行变换，求得有效性信道编码器：对信源编码输出变换，提高抗干扰性调制器：将信道编码输出变成适合信道传输的方式信道通信系统把载荷消息的信号从甲地传输到乙地的媒介或通道干扰源系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，这要是统计特性信道的中心问题是研究信道的统计特性和传信能力，即信道容量译码器编码器的逆变换中心问题是研究各种可实现的解调和译码的方法信宿信息的接收者，信源和信宿可处于不同地点和不同时刻信息论研究的目的研究通信系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性。

有效性保密性 和认证性，以达到信息传输系统最优化可靠性高，就是要使信源发出的消息经过信道传输以后，尽可能准确地不失真地再现在接收端.有效性高，就是经济效果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息保密性，就是隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接受和 理解认证性，就是接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的信息论研究的内容信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学它主要是研究通讯和控制系 统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础 理论信息论的研究范围极为广阔一般把信息论分成三种不同类型：(1) 狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学它研究存在于通讯和控制 系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理 论2) —般信息论主要是研究通讯问题,但还包括噪声理论、信号滤波与预测、调制与信息处理等问题其 中维纳和香农等人都是运用概率和统计数学的方法来研究准确或近似地再现信息的问题，都是为了使信息传 送和接收最优化。

维纳研究的重点是在接收端研究一个信号如果在传输过程中被某些因素所干扰后，在接 收端怎样把它恢复、再现，从干扰中提取出来在此基础上，创立了最佳线性滤波理论、统计检测和估计理 论、噪声理论等而香农研究的对象则是从信源到信宿之间的全过程，是收、发端联合最优化问题，其重点 放在编码他指出，只要在传输前后对消息进行适当的编码和译码，就能保证在干扰的存在下，最佳地传送 和准确或近似地再现消息为此发展了信息测度理论、信道容量理论和编码理论等.(3) 广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理 学、语言学、神经心理学、语义学等信息论将信息的传递作为一种统计现象来考虑， 给出了估算通信信道容量的方法.信息传输和信息压缩是信息论研究中的两大领域.这两个方面又由信息传输定理、信源一信道隔离定理相互联系最后介绍一下信息论中衡量信息的几个重要的概念：信息量-—信息论中量度信息多少的一个物理量它从量上反映具有确定概率的事件发生时所传递的信 息.信息熵(Entropy):是信息论中用于度量信息量的一个概念.一个系统越是有序，信息炳就越低；是 一个数学上颇为抽象的概念，在这里不妨把信息炳理解成某种特定信息的出现概率 .条件熵(Conditional entropy):是信息论中信息炳的一种度量，它表示如果已经完全知道第二个随机 变量X的前提下，随机变量Y的信息炳还有多少。

也就是基于X的Y的信息炳相对熵(KL-Divergence):表示实际信源比理想信源的缩减程度互信息(Mutual information):它是指两个事件集合之间的相关性.香农三大定理是信息论的基础理论香农三大定理是存在性定理，虽然并没有提供具体的编码实现 方法，但为通信信息的研究指明了方向.香农第一定理是可变长无失真信源编码定理香农第二定理 是有噪信道编码定理.香农第三定理是保失真度准则下的有失真信源编码定理 .具体如下：一：香农第一定理(可变长无失真信源编码定理)设信源S的炳[shdng]H (S)，无噪离散信道的信道容量为C,于是，信源的输出可以进行这样的 编码，使得信道上传输的平均速率为每秒(C/H(S)-a )个信源符号.其中a可以是任意小的正数，要使 传输的平均速率大于(C/H (S))是不可能的二：香农第二定理(有噪信道编码定理)设某信道有r个输入符号，s个输出符号，信道容量为C,当信道的信息传输率R。