信息论基础-练习与思考
36页1、2019/1/18,1,海尔集团CEO张瑞敏,在一次中层干部会上提出这样一个问题:“石头怎样才能在水上漂起来?”,2019/1/18,2,No Chance Stay For You !,孙子兵法曰:“激水之疾,至于漂石者,势也”速度决定了石头能否漂起来 早起的鸟儿有虫吃,赶在别人前头,不要停下来,这是竞争者的状态,也是胜者的状态。如果成功有捷径的话,那就是飞,时刻准备飞!,没有机会为你停留 !,2019/1/18,3,第二章总结,(1) 单符号离散信源 信息量 自信息、条件自信息概念、性质、计算 互信息、条件互信息概念、性质、计算 互信息的三种表达方式(输入端、输出端、系统总体) 熵 信息熵的概念、性质、计算 无条件熵、条件熵(信道疑义度、噪声熵) 平均互信息概念、性质、计算 平均互信息的三种表达方式 平均互信息的凸函数性 I(X;Y)是p(xi)的上凸函数 I(X;Y)是p(yj/xi)的上凸函数 数据处理定理概念 理解各种熵之间的关系,2019/1/18,4,(2) 多符号离散信源 离散平稳无记忆信源概念、计算 离散平稳有记忆信源概念、简单计算 条件熵、极限熵概念、简单计算 马尔
2、可夫信源概念、极限熵计算 信源冗余度概念、通信效率与可靠性的关系 (3) 连续信源 概念、与离散信源的比较和区别、简单计算 理解最大连续熵定理 熵功率的概念 (4) 离散无失真信源编码定理 定长编码定理 变长编码定理,2019/1/18,5,作业题1,2.1.设有12枚同值硬币,其中有一枚为假币,且只知道假币的重量与真币的重量不同,但不知究竟是重还是轻。现采用天平比较左右两边轻重的方法来测量(因无砝码)。为了在天平上称出哪一枚是假币,试问至少必须称多少次?,2019/1/18,6,作业题1,解答:在12枚同值硬币中,哪一枚是假币,假币的重量是比真币的重量重还是轻,都是“无知”、“不确定的”。而用天平比较左右两边轻重的测量方法,每测一次,能获得一定的信息量,能消除部分不确定性,则就能确定出其中一枚假币及其重量。因此, 设“在12枚同值硬币中,某一枚为假币”这事件为 ,其出现的概率为 又设“假币的重量比真币的重量是重或轻”这事件为 ,其出现的概率为 事件 的不确定性为 事件 的不确定性为,2019/1/18,7,作业题1,要发现某假币并知其比真币重还是轻所需的信息量就是要消除这两个事件的不
3、确定性。因为这两个事件是统计独立事件,所以需要获得的信息量为 而在天平上称一次能判断出三种情况:重、轻和相等,这事件为 。这三种情况是等概率的。其概率为 。 所以,天平测一次能获得的信息量(即消除的不确定性)为 则至少必须称的次数为 因此至少必须称三次。,2019/1/18,8,作业题2,2.2. 同时扔一对均匀的骰子,当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“骰子面朝上点数是3和4时”,试问这三种情况分别获得多少信息量?,2019/1/18,9,作业题2,解答:骰子一共有六面,某一骰子扔得某一点数面朝上的概率是相等的,均为1/6。两骰子面朝上点数的状态共有36种,其中任一状态出现都是等概率的,出现概率为1/36。 (1)设“两骰子面朝上点数之和为2”是事件A,点数之和为2的只有一种(1+1),故有 (2)设“两骰子面朝上点数之和为8”是事件B,点数之和为8的有5种(2+6, 6+2 , 4+4, 3+5, 5+3),2019/1/18,10,作业题2,(3)设“骰子面朝上点数是3和4时”是事件C,点数为3和4的状态只有两种,即3、4和4、3,2019/1/18,1
《信息论基础-练习与思考》由会员san****019分享,可在线阅读,更多相关《信息论基础-练习与思考》请在金锄头文库上搜索。
高中化学实验方案的设计第一节制备实验方案设计
高中生物实验室配置
高中体育与健康课程田径必修模块单元教学方案
高中通用技术方案的构思方法-设计分析教案苏教版必修
高中生物室配置
高中信息技术网络技术应用选修模块教学评价方案
骆小学教师戏曲知识培训方案(I)
麻村小学阳光体育活动计划及实施方案
高桥小学幼小衔接活动方案
马摆小学控辍保学实施方案
金阳街道中心小学未成年人思想道德建设实施方案
龙扬小学第32个爱国卫生月活动方案
魏家井联小学度控辍保学工作方案
高区第九届初中骨干教师课堂教学能力展示活动
长沙县2018年度小学生课外阅读知识竞赛及书目
阳江中心小学一月一事之五月主题活动方案
长营小学校园体育活动实施方案
高考历史备考方案-陈军
高考语文第5课父亲课前预案苏教版选修现代散文选读
高考语文第9课铃兰花课前预案苏教版选修现代散文选读
2024-04-11 25页
2024-04-11 37页
2024-04-11 28页
2024-04-11 31页
2024-04-11 36页
2024-04-11 29页
2024-04-11 22页
2024-04-11 27页
2024-04-11 34页
2024-04-11 32页