信息论基础与编码 (4)

2.1 熵函数熵函数的的定义定义第二章第2讲2.32.3香农熵为香农熵为上凸函数上凸函数的证明的证明2 2.2.2凸函数的凸函数的介绍介绍（优化理论中知识的优化理论中知识的补充补充)熵函数的定义：熵函数的定义：(1)香农熵香农熵是概率矢量的非负的上凸函数 考虑到约束因素：借助于对数不等式:（2）总结总结:单个状态的自信息量虽然有物理意义，但没有实际意义，所以计算自信息的数学期望即熵函数，表示X各状态由于受到外界的干扰，所蕴含的不确定性。第二讲 熵函数的性质 2.12.1熵函数熵函数的定义的定义二元概率空间是最简单的概率空间，所以概率等概时的熵函数值作为单位熵单位为：比特从该图可以看出：信源字母等概时，熵函数达到最大值，熵函数是上凸函数，当概率等于零或者等于1时，所携带的信息量为0。仿真与测试图仿真与测试图(3)2 2.2.2凸函数的凸函数的介绍介绍（优化理论中知识的优化理论中知识的补充补充)对数不等式的应用香农熵是概率矢量的非负的上凸函数 (6)证明：给出熵函数的表达式考虑到约束因素：(7)借助于对数不等式对于安排2 2.3.3香农熵为上凸函数香农熵为上凸函数的证明的证明证明凸函数性质之前，本节先给出凸函数的定义考虑连通域内任意两点与，(9)在凸区域上的函数满足如下的关系式(10)则称该函数为下凸函数，若上式中的不等式是严格的不等式，则称该函数为凸域上的严格下凸函数。安排(8)（1 1）先证明先证明香农熵香农熵的非负性的非负性 借助于平面几何知识、解析几何以及中值定理知识进行直观的分析。图1 凸函数（下凸函数）的示意图(2)(2)下下凸函数凸函数(convexfunctionconvexfunction)的图解分析的图解分析自变量的线性组合定比分点函数值的线性组合自变量线性组合的函数定比分点的函数值图2 （凹函数）上凸函数的示意图(3)(3)上上凸函数（凸函数（concavefunctionconcavefunction）的）的图解分析图解分析函数值的线性组合自变量线性组合的函数定比分点的函数值自变量的线性组合定比分点设是凸域D上的凸函数，且有：(11)（12）(4)J Jenson不等式引入不等式引入