27第2章2.3连续信源.ppt

HUST --- Information and Coding Theory第第2 2章章 信源熵信源熵o2.0 信源的数学模型及其分类信源的数学模型及其分类o2.1 单符号离散信源单符号离散信源o2.2 多符号离散平稳信源多符号离散平稳信源o2.3 2.3 连续信源连续信源n2.3.1 2.3.1 连续信源的熵连续信源的熵n2.3.2 2.3.2 几种特殊连续信源的熵几种特殊连续信源的熵n2.3.3 2.3.3 最大连续熵定理最大连续熵定理n2.3.4 2.3.4 联合熵、条件熵和平均交互信息量联合熵、条件熵和平均交互信息量1HUST --- Information and Coding Theoryp实际应用实际应用：信源的输出往往是时间的连续函数，如语音：信源的输出往往是时间的连续函数，如语音信号、电视图像等由于它们的取值既是连续的又是随信号、电视图像等由于它们的取值既是连续的又是随机的，称为连续信源，且信源输出的消息可以用随机过机的，称为连续信源，且信源输出的消息可以用随机过程描述p连续信源的数学描述连续信源的数学描述：对于某一连续信源：对于某一连续信源X(t),当给定某当给定某一时刻一时刻t=to时，其取值是连续的，即时间和幅度均为连时，其取值是连续的，即时间和幅度均为连续函数。

续函数 由于连续信源中消息数是无限的，其每一可由于连续信源中消息数是无限的，其每一可能的消息是随机过程的一个样本函数，可以用有限维概能的消息是随机过程的一个样本函数，可以用有限维概率分布函数或有限维概率密度函数来描述连续信源率分布函数或有限维概率密度函数来描述连续信源连续信源连续信源2HUST --- Information and Coding Theoryp平稳随机过程平稳随机过程：统计特性不随时间的平移而变化的随机：统计特性不随时间的平移而变化的随机过程p平稳遍历的随机过程平稳遍历的随机过程：集平均与时间平均相等集平均与时间平均相等连续信源连续信源3HUST --- Information and Coding Theoryp研究方法一研究方法一：取样、量化时间离散、取值离散，简化：取样、量化时间离散、取值离散，简化为离散信源（上一节已讨论）为离散信源（上一节已讨论）p研究方法二研究方法二：只取样、不量化时间离散、取值连续只取样、不量化时间离散、取值连续研究一个随机序列，序列中的每个分量的取值是连续的研究一个随机序列，序列中的每个分量的取值是连续的（本节研究的重点）（本节研究的重点）连续信源连续信源4HUST --- Information and Coding Theory连续信源的数学模型连续信源的数学模型5HUST --- Information and Coding Theory2.3.12.3.1连续信源的熵连续信源的熵o简单的连续信源可以用一维随机变量描述简单的连续信源可以用一维随机变量描述o连续连续 随机随机 变量变量X 满足：满足： 6HUST --- Information and Coding Theory连续信源熵的计算方法连续信源熵的计算方法7HUST --- Information and Coding Theory连续信源熵的计算方法连续信源熵的计算方法- -续续8HUST --- Information and Coding Theory定义定义 连续信源的熵连续信源的熵o对于连续信源对于连续信源X，，若其概率密度为若其概率密度为p(x)，，则连续信源则连续信源的熵为的熵为 解释解释o连续信源的熵与离散信源的熵具有相同的形式，但其连续信源的熵与离散信源的熵具有相同的形式，但其意义不相同。

连续信源熵与离散信源熵相比，去掉了意义不相同连续信源熵与离散信源熵相比，去掉了一个无穷项，连续信源的不确定性应为无穷大一个无穷项，连续信源的不确定性应为无穷大o由于实际应用中常常关心的是熵之间的差值，无穷项由于实际应用中常常关心的是熵之间的差值，无穷项可相互抵消，故这样定义连续信源的熵不会影响讨论可相互抵消，故这样定义连续信源的熵不会影响讨论所关心的交互信息量、信息容量和率失真函数所关心的交互信息量、信息容量和率失真函数o需要强调的是连续信源熵的值只是熵的相对值，不是需要强调的是连续信源熵的值只是熵的相对值，不是绝对值，而离散信源熵的值是绝对值绝对值，而离散信源熵的值是绝对值9HUST --- Information and Coding Theory第第2 2章章 信源熵信源熵o2.0 信源的数学模型及其分类信源的数学模型及其分类o2.1 单符号离散信源单符号离散信源o2.2 多符号离散平稳信源多符号离散平稳信源o2.3 2.3 连续信源连续信源n2.3.1 2.3.1 连续信源的熵连续信源的熵n2.3.2 2.3.2 几种特殊连续信源的熵几种特殊连续信源的熵n2.3.3 2.3.3 最大连续熵定理最大连续熵定理n2.3.4 2.3.4 联合熵、条件熵和平均交互信息量联合熵、条件熵和平均交互信息量10HUST --- Information and Coding Theory例例 求平均分布随机变量的熵求平均分布随机变量的熵11HUST --- Information and Coding Theory例例 求一维高斯分布的熵求一维高斯分布的熵 12HUST --- Information and Coding Theory第第2 2章章 信源熵信源熵o2.0 信源的数学模型及其分类信源的数学模型及其分类o2.1 单符号离散信源单符号离散信源o2.2 多符号离散平稳信源多符号离散平稳信源o2.3 2.3 连续信源连续信源n2.3.1 2.3.1 连续信源的熵连续信源的熵n2.3.2 2.3.2 几种特殊连续信源的熵几种特殊连续信源的熵n2.3.3 2.3.3 最大连续熵定理最大连续熵定理n2.3.4 2.3.4 联合熵、条件熵和平均交互信息量联合熵、条件熵和平均交互信息量13HUST --- Information and Coding Theory2.3.3 2.3.3 连续信源的最大熵连续信源的最大熵o对于离散信源，当所有消息独立等概率分布时，其对于离散信源，当所有消息独立等概率分布时，其熵值最大。

而在连续信源情况下，如果没有条件限熵值最大而在连续信源情况下，如果没有条件限制就没有最大熵在不同限制条件下，信源的最大制就没有最大熵在不同限制条件下，信源的最大熵也不同熵也不同oo问题：问题：问题：问题：对于连续信源，当存在最大熵值时，其概率对于连续信源，当存在最大熵值时，其概率密度函数密度函数p(x)应该满足什么条件呢？应该满足什么条件呢？o当当H(X)满足满足 为最大条件下，求解为最大条件下，求解p(x) 满足概率密度的定义满足概率密度的定义14HUST --- Information and Coding Theory连续信源的最大熵连续信源的最大熵- -续续o在具体应用中，仅讨论连续信源的两种情况：在具体应用中，仅讨论连续信源的两种情况：n一是信源输出的幅度受限；一是信源输出的幅度受限；n二是信源输出的平均功率受限二是信源输出的平均功率受限o利用数学表达式表示这两种情况，可以写为利用数学表达式表示这两种情况，可以写为15HUST --- Information and Coding Theory输出信号幅度受限条件下的最大熵输出信号幅度受限条件下的最大熵o定理定理:对于服从均匀分布的随机变量对于服从均匀分布的随机变量X，，具有最具有最大输出熵。

大输出熵16HUST --- Information and Coding Theory平均功率受限条件下的最大熵平均功率受限条件下的最大熵o定理：对于服从均值为定理：对于服从均值为m，，方差为方差为σ2的高斯的高斯分布的随机变量具有最大输出熵分布的随机变量具有最大输出熵17HUST --- Information and Coding Theory定理定理 - - 证明证明 续续18HUST --- Information and Coding Theory结论结论.o输出信号幅度受限的连续信源，当满足均匀输出信号幅度受限的连续信源，当满足均匀分布时达到最大输出熵，这与离散信源在以分布时达到最大输出熵，这与离散信源在以等概率出现达到最大输出熵的结论类似等概率出现达到最大输出熵的结论类似o输出信号平均功率受限条件下，具有高斯分输出信号平均功率受限条件下，具有高斯分布的连续信源的熵最大，且随平均功率的增布的连续信源的熵最大，且随平均功率的增加而增加加而增加19HUST --- Information and Coding Theory第第2 2章章 信源熵信源熵o2.0 信源的数学模型及其分类信源的数学模型及其分类o2.1 单符号离散信源单符号离散信源o2.2 多符号离散平稳信源多符号离散平稳信源o2.3 2.3 连续信源连续信源n2.3.1 2.3.1 连续信源的熵连续信源的熵n2.3.2 2.3.2 几种特殊连续信源的熵几种特殊连续信源的熵n2.3.3 2.3.3 最大连续熵定理最大连续熵定理n2.3.4 2.3.4 联合熵、条件熵和平均交互信息量联合熵、条件熵和平均交互信息量20HUST --- Information and Coding Theory联合熵、条件熵和平均交互信息量联合熵、条件熵和平均交互信息量21HUST --- Information and Coding Theory证明证明 22HUST --- Information and Coding Theory平均互信息平均互信息I(X;Y)的主要性质的主要性质o连续随机变量平均互信息的主要性质如下： o1.非负性 I(X;Y)≥0 n当且仅当连续随机变量X和Y统计独立时等号成立。

o2.对称性 I(X;Y)=I(Y;X) 23HUST --- Information and Coding Theory连续信源各种熵的关系式连续信源各种熵的关系式o连续信源是相对熵，不具有非负性和极值性连续信源是相对熵，不具有非负性和极值性o存在如下关系式：存在如下关系式：nH(X,Y)≤H(X)+H(Y)nH(X/Y)≤H(X)和和H(Y/X)≤H(Y)n当信源当信源X和和Y相互独立时，等号成立相互独立时，等号成立24HUST --- Information and Coding Theory小结小结o将离散信源的各种特征推广到连续信源将离散信源的各种特征推广到连续信源o分析了连续信源的熵绝对熵是无穷大的，分析了连续信源的熵绝对熵是无穷大的，主要考虑相对熵指出了相对熵具有的性质主要考虑相对熵指出了相对熵具有的性质o讨论了不同条件下，连续信源的最大熵讨论了不同条件下，连续信源的最大熵o给出了基于连续信源相对熵概念下，各种熵给出了基于连续信源相对熵概念下，各种熵函数，包括：联合熵、条件熵和平均交互信函数，包括：联合熵、条件熵和平均交互信息量之间的关系息量之间的关系。