您所在位置：网站首页 > 高等教育 > 大学课件信息论课件3信息论第一章

信息论课件3信息论第一章

28页

卖家[上传人]：E****

文档编号：90657176

上传时间：2019-06-14

文档格式：PPT

文档大小：329.50KB

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

0 金贝

/ 28 举报版权申诉马上下载

文本预览

下载提示

常见问题

1、 ,课程教材：信息论基础理论与应用傅祖芸编著,吉林大学通信工程学院,参考书目,1 朱雪龙清华大学出版社 2001 2 常迥清华大学出版社 TP 14/33 3 吴伟陵人民邮电出版社 4 章照止林须端上海科学技术出版社 1993 TN911 2/2 5 日有木卓人民邮电出版社 O 263/3,6 日腾田宏一 O 263/2 7 信息论基础 TN 911/1.2 8 编码和信息理论 TP 14/10 9 信息论 TN 911/2 10 信息论 TN 91/26 11 信息论基础 G 201/2 12 周荫清北京航空航天大学出版社 13 姜丹中国科学技术大学出版社 2001,参考书目,本学科的理论奠基人: 香农 shannon 先修课程: 概率论 , 随机过程, 数理统计, 通信技术.,第一章绪论,1.1 信息的概念,1.2 信息论研究的对象目的和内容,1.3 信息论发展简史与现状,1.1 信息的概念,1.1.1 信息的概念,1.1.2 概念区别：信息、情报、知识、消息,1.1.3 统计信息的测度,1.1.4 自信息的定义,1.1.5 互信息定义,1.1.

2、6 香农信息定义的优缺点,1.1 信息的概念,1.1.1 信息的概念,1. 广义信息：注重考虑形式和内容信息社会、信息爆炸,2. 计算机中的信息：注重考虑信息的形式,3. 统计信息,定义：信息是事物运动状态或存在方式的不确定性的描述。,统计信息与内容无关，也独立于形式，是科学的定义，可以度量和计算。,1.1.2 概念区别：信息、情报、知识、消息,广义信息已包含了情报、知识、消息。,情报用来表示军事方面、文献方面获取的信息。,知识是以实践为基础，通过抽象的思维对客观事物规律性的概括。,消息是把客观物质运动和主观思维活动的状态表达出来。,消息表达方式,文字书信符号电报数据股市语言汉语音符歌曲图象电视节目,相同的信息可用不同的消息形式来载荷,相同形式的消息载荷不同的信息及信息量,消息中包含信息，消息是信息的载体。,信号携带着消息，信号是消息的运载工具信号携带信息,发E-mail,信源编码,信道编码,传输,汉字符编码,调制器(脉冲),解调器,汉字译码,收E-mail,1.1.3 统计信息的测度,信息来自于消息。,收到消息前收到消息后不知已知不知不确定获得信息

3、知少知多不确定未减少不确定未获信息,通信的结果是消除或部分消除不确定性从而获得信息。通信消息的传输,信息量,不确定性消除程度,概率,不确定性,随机性,随机事件,概率论,随机过程,举例1：三个随机变量 X,Y,Z的密度矩阵为,X 的不确定程度最小,Z 的不确定程度最大,等概率分布时，随机变量的不确定性程度最大。,举例2：两个随机变量 X,Y 的密度矩阵为,Y 的不确定程度小,X 的不确定程度大,均等概率分布时，样本数多的不确定性程度最大。,1.1.4 自信息的定义,样本空间：某事物所有可能选择的消息集合,概率空间：样本空间和它的概率测度。,先验概率：,某消息的自信息：,后验概率：条件概率,收到消息后，发送端是否是的不确定性：,1.1.5 互信息定义,表示收信者收到消息后，已知消除的不确定性，即先验的不确定性减去尚存的不确定性，这就是收信者获得的信息量。,（1）如果信道无干扰,（2）若，则，无信息,（3）若，则，信息量大,1.1.6 香农信息定义的优缺点,优点：(1) 科学的定义，有明确的数学模型，可进行定量计算； (2) 与日常信息的含义一致； (3

4、) 计算结果客观。,缺点：(1) 有些事物取值的概率模型难以建立； (2) 未考虑信息的主观性和实用性。,1.2 信息论研究的对象、目的和内容,1.2.1 研究对象通信系统模型,1.2.2 目的信息传输系统最优化,1.2.3 信息论研究的内容,1.2 信息论研究的对象、目的和内容,1.2.1 研究对象通信系统模型,1. 信息源：简称信源信源是产生消息和消息队列的源。如电视直播厅，广播室，人等等特点：信源输出的消息是随机的、不确定的，但有一定的规律性。,2 编码器：编码器是把消息变换成信号的措施，编码器输出的是适合信道传输的信号。信号携带消息。,编码器,信源编码器：对信源输出的消息进行适当的变换和处理提高信息传输效率,信道编码器：对消息进行变换的处理提高信息传输可靠性,3 信道：指通信系统把信号从甲地传输到乙地的媒介。,4 译码器：把已叠加干扰的信号变换成消息。信道译码器：信道编码器的逆变换信源译码器：信源编码器的逆变换,5 信宿：信宿是消息传输的对象，即接收消息的人或机器。,1.2.2 目的信息传输系统最优化,1 可靠性高使信源发出的消息经过信道传输

5、后，尽可能准确地、不失真地再现在接收端。,2 有效性高经济效果好，用尽可能短的时间和尽可能少的设备来传送一定数量的信息。,往往提高可靠性和提高有效性是矛盾的。,3 保密性隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。,4 认证性指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被篡改的。,1.2.3 信息论研究的内容,1. 狭义信息论经典信息论：香农主要研究信息的测度、信道容量、信源编码、信道编码理论等。,2. 一般信息论维纳（美）、柯尔莫哥洛夫（苏），除上述内容，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论、信息处理理论、保密理论。,3 广义信息论新兴的信息科学理论，包括：上述两方面内容与信息有关的自然和社会领域，如：模式识别计算机翻译心理学遗传学神经生理学语言学语义学等,1.3 信息论发展简史与现状,信息论是在长期的通信工程实践和理论研究基础上发展起来的。电磁理论和电子学理论促进了电信系统的发展。由信息论研究形成的分支纠错码纠错码理论压缩编码压缩编码理论保密码密码学理论网络信息理论,信息论研究在近代取得的成果 1 语言信号压缩每秒传输位数减少 2 图象信号压缩图象信号进入通道领域 3 计算机文件压缩达原文件25%-50% 4 计算机中的容错问题接收纠错 5 图象信号的复原与重建用最大熵法,

《信息论课件3信息论第一章》由会员E****分享，可在线阅读，更多相关《信息论课件3信息论第一章》请在金锄头文库上搜索。

点击阅读更多内容

TA的资源

逍遥游复习知识点整理

近现代法德关系史高三展示课3稿

当代大学生人生信仰及追求的调查研究

长相思纳兰性德-ppt课件

课件：危机意识一

英语ppt演讲关于阿甘正传

发达国家基础教育改革的动向与趋势修改版

中国民间美术课件.ppt

生物质发电技术与系统课程ppt 第1章生物质发电技术现状及发展趋势 2学时 -----2016

现代信号处理思考题含答案

执业药师继续教育抑郁症的药物治疗 100分

小学生的成长档案模板不用修改万能型

增订六版现代汉语上册第二章文字思考与练习答案

国家财政ppt课件

加拿大英语介绍

六年级统计图的选择课件

中学生成长档案ppt

中国现代文学史期末复习整理

lohi和hihilo训练对女子赛艇运动员运动能力影响的比较研究

风雨贾平凹阅读答案

点击查看更多

新上传的PPT文档

购物网站的设计与实现计算机科学与技术毕业论文中职英语教育叙事财务人员承诺书范文借款合同汇编九篇 2022年考博英语-北京体育大学考试内容及全真模拟冲刺卷（附带答案与详解）第49期任意角的正弦函数余弦函数的定义及单位圆与周期性百精幼儿园运行计划书抗病魔忘我工作育英才呕心沥血墙体托换方案大学生机械厂实习总结 2022实用的学生周记9篇《信息技术基础》试题及答案-B卷小学语文实习总结西餐小吃甜品做法酒店人力资源部年终工作总结