信息论与编码理论第一章.docx

信息论与编码理论第一章信息论与编码理论第一章第一章引论第一章引论1.1通信系统模型1.2信息论研究的中心问题及发展1.3shannon信息论的局限性1.4信息的广义性1.1通信系统模型通信系统模型信源编码器信道译码器信宿干扰源通信系统的基本任务要求可靠:要使信源发出的消息经过传输后，尽可能准确地、不失真或限定失真地再现在接收端有效:用尽可能短的时间和尽可能少的设备来传输最大的消息通信系统模型进一步细分信源信源编码器信道编码器调制器信道干扰源解调器信道译码器信源译码器信宿等效离散信道等效离散信源等效信宿信道编码器信道译码器信息、消息和信号信息一个抽象的概念，可以定量的描述 信息、物质和能量是构成一切系统的三大要素消息是信息的载体，相对具体的概念，如语言，文字，数字，图像信号表示消息的物理量，电信号的幅度，频率，相位等等1.2信息论研究的中心问题和发展Shannon信息论的基本任务1948年shannon发表了“通信的数学理论”奠定了信息论理论基础基本任务是设计有效而可靠的通信系统信息论的研究内容狭义信息论（经典信息论）研究信息测度，信道容量以及信源和信道编码理论一般信息论研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论广义信息论除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学Shannon理论Shannon定理的证明是非构造性的，而且也不够严格，但他的“数学直观出奇地正确”(A.N.Kolmogrov，1963)。

已在数学上严格地证明了Shannon编码定理，而且发现了各种具体可构造的有效编码理论和方法，可以实现Shannon指出的极限 几乎无错地经由Gaussian信道传信对于非白Gassian信道，Shannon的注水定理和多载波调制(MCM)CDMA、MCM(COFDM)、TCM、BCM、各种均衡、对消技术、以及信息存储编码调制技术信息论几个方面的主要进展信源编码与数据压缩信道编码与差错控制技术多用户信息论与网络通信多媒体与信息论信息论与密码学和数据安全信息论与概率统计信息论与经济学信息论与计算复杂性信息论与系统、控制、信号检测和处理量子信息论Shannon的其它重要贡献参见课程网站:信息论进展50年I信源编码与数据压缩-关键理论进展的十个里程碑Kieffer19931.无扰信源编码的诞生(1948,C.E.Shannon) 2.Huffman算法的发现(1952,D.A.Huffman) 3.建立Shannon-McMillan定理(1953,B.McMillan) 4.发现Lloyd算法(1957,S.P.Lloyd,1982年发表,) 5.率失真理论系统化(1959,C.E.Shannon,)。

6.KolmogorovComplexity概念诞生(1964,A.N.Kolmogorov,) 7.通用信源编码理论系统化(1973,L.D.Davission) 8.多端信源编码理论诞生(1973,D.Slepian和J.K.Wolf) 9.第一个实际的算术编码方案(1976,J.Rissannen和R.Pasco1976博士论文) 10.发现Lempel-Ziv码(1977,J.Ziv和A.Lempel) 信道编码与差错控制技术1Shannon信道编码定理和Shannon极限 Shannon编码信道定理:RC不存在有编码方法实现满足误码率要求的速率为R的传信 Shannon证明码长N大时，随机选择的码以很高概率为好码 问题：Shannon的证明是非构造性，如何构造好码实现定理目标?实现ML译码的复杂性随N呈指数增长 2关键理论进展：信道编码定理，1948，C.E.Shannon 发现Hamming码，1950，H.W.Hamming 发现Golay码，1954，M.J.E.Golay。

发现Reed-Muller码，1954，I.S.ReedandD.E.Muller 发现卷积码，1955,P.Elias 线性码、群码的系统描述，1956，D.Slepian 发现循环码，1957,E.Prange 卷积码的序列译码算法，1957,J.M.Wozencraft;1964,R.M.Fano 发现BCH码，1960,R.C.BoseandD.K.Ray-Chaudhuri,1959,A.Hocquenghem 发现Reed-Solomon码，1960,I.S.ReedandG.Solomon 纠错码作为信息论的分支出现，第一本书Error-CorrectingCodes,W.W.Peterson,MITPress,1961 Berlekamp-Massey译码算法分组码实用代数译码算法，1966,E.R.Berlecamp,1969,J.L.Massey 发现级连码，1966,G.D.Forney 卷积码的Viterbi译码算法，1967,A.J.Viterbi 发现Goppa码和代数几何码，1970,V.C.Goppa。

1982,M.A.Tsfasman,S.G.Vladut,andTh.Zink发现欧氏几何码，TCM,1976,G.Ungerboeck；BCM,1977,H.ImaiandS.Hirakawa 发现格码，1989，R.deBuda 格(lattice)码可趋近频带受限高斯信道容量 Loeligerz在1992年已证明，这是Zp上的欧氏空间群码 发现Turbo码，迭代自适应译码算法，1993,C.BerrouandA.Glavieux (19)LDPC码，近来又重新被发现多用户信息论与网络通信(1)理论基础 两路通信系统(Shannon1961) (2)理论进展 Cover,Schalkwijk,Van.derMeulen,Alswede,Slepian,Wolf,WynerLiao(UniverstyofHawaii),Han等 (3)技术成就 CDMA(Virerbi,Qaulecom)的技术问题：联合检测和译码、均衡、干扰抵消、速率分拆(ratesplitting)、功率检测控制等(Verdu,ShamaiandRimoldi)。

STC(Spacetimecode)，源于信息论考虑 线性网络编码合作编码技术过去50年中Shannon信息论已取得巨大、丰富的理论和技术成果，在未来的50年中，Shannon信息论将继续繁荣还是趋向衰落和消亡?在过去50年中也曾几次出现过类似的争论 如果信息论继续推动技术的发展，则在未来的几十年中就会继续繁荣下去，否则会象近30年来的物理学所经受的萧条 当前信息论对无线通信的重要作用为信息论的发展提供了契机，无线频带资源的匮乏更趋严重，高效和高可靠性通信愈加依靠信息论的发展，同时需要更多的信息论人才 Internet通信、移动通信、光存储、生物等领域将向信息论提出新的挑战 未来的趋势Shannon信息论在研究方法上的启示1.理论与实际的关系 五十年信息论发展的历史证明，理论必须结合(扎根于)实际才有旺盛的生命力 2简化模型 理论的作用是浓缩知识之树，“简单模型胜于繁琐的现象罗列”，“简单化才能显现出事物的本质，它表现了人的洞察力” 好的性能量度和复杂性的量度（信息量、熵、信道容量、商品等），常会引导出优秀的理论结果和令人满意的实际应用。

1.3Shannon信息论的局限性如果实际信源或信道符合所采用的概率模型描述，这种方法是有效的，否则只能是近似的，甚至根本无效 语言的熵描述是非常困难的，其是非平稳的，除了确定的信息，还有模糊的信息，比如“韵味”，“意境”不同的接收者对同一个东西得到的信息可能是不同的Shannon信息论适合于能够定量描述的信息，对难于定量描述的信息则无能为力 1.4信息论的广义性信息论常被理解为包括更广的领域语义学语言学神经生理学心理学组织学信息的不同属性的定义产生不同的信息论模糊信息论量子信息论生物信息论信息复杂度的信息理论课程内容Chap2:信息的定义与性质Chap3:DMS无失真编码定理和编码方法Chap4:channelCapacityChap5:channelcodingtheoremChap7:BlockcodingChap9:RateDistortionChap10:Multi-userInformationTheory结束 5Word版本。