离散信源PPT课件.ppt

本章需要掌握的内容：本章需要掌握的内容：信源的分类信源的分类离散平稳无记忆信源及扩展信源的特点和信息离散平稳无记忆信源及扩展信源的特点和信息√√离散平稳有记忆信源的特点和信息离散平稳有记忆信源的特点和信息马尔可夫信源的特点和信息马尔可夫信源的特点和信息√√信源的相关性和剩余度信源的相关性和剩余度√√第三章第三章 离散信源及其信息测度离散信源及其信息测度信息论对信源研究的主要内容由以下几个信息论对信源研究的主要内容由以下几个方面组成：方面组成：（（1 1）信源的建模）信源的建模（（2 2）信源输出信号中携带信息量大小的计算）信源输出信号中携带信息量大小的计算（（3 3）信源输出的有效表示）信源输出的有效表示一、信源一、信源信宿信宿信宿信宿信源信源信源信源发送器发送器发送器发送器信道信道信道信道接收器接收器接收器接收器消息消息消息消息信号信号信号信号发送发送发送发送信号信号信号信号接收接收接收接收消息消息消息消息噪声噪声噪声噪声第一节第一节 信源的数学模型及分类信源的数学模型及分类信源输出随机变量信源输出随机变量信源输出随机变量信源输出随机变量X X X X，可能的取值，可能的取值，可能的取值，可能的取值二、信源的数学模型二、信源的数学模型信息的来源信息的来源信息的来源信息的来源————信源信源信源信源1.1.按信源发出的消息在时间上的分布划分：按信源发出的消息在时间上的分布划分： 有限长记忆信源有限长记忆信源有限长记忆信源有限长记忆信源( ( ( (马尔可夫信源）马尔可夫信源）马尔可夫信源）马尔可夫信源）有记忆平稳信源有记忆平稳信源有记忆平稳信源有记忆平稳信源三三.信源分类信源分类离散信源离散信源离散信源离散信源2.2.2.2.按信源发出的按信源发出的按信源发出的按信源发出的前后消息是否有关划分：前后消息是否有关划分：前后消息是否有关划分：前后消息是否有关划分：连续信源连续信源连续信源连续信源无记忆信源无记忆信源无记忆信源无记忆信源有记忆信源有记忆信源有记忆信源有记忆信源例题例题（（1 1）为了使电视图像获得良好的清晰度和规定）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用的适当的对比度，需要用 个个像像素素和和1010个个不不同同亮亮度度的的电电平平，，设设每每秒秒传传递递3030帧帧图图像像，，所所有有象象素素是是独独立立变变化化的的，，且且所所有有亮亮度度电电平平等等概概率率出出现现, ,求求传传递递此此图图像像所所需的信息率（比特需的信息率（比特/ /秒）秒） （（2 2））设设某某彩彩电电系系统统，，除除了了满满足足对对黑黑白白电电视视系系统统的的上上述述要要求求外外，，还还必必须须有有3030个个不不同同的的色色彩彩度度，，试试证证明明传传输输这这彩彩色色系系统统的的信信息息率率大大约约是是黑黑白白系系统统的的传传输输信信息息率的倍。

率的倍一一. .离散无记忆信源离散无记忆信源 1.1.概念概念 信源先后发出的一个个消息符号信源先后发出的一个个消息符号彼此独立彼此独立 2. 2.数学模型数学模型 信源输出随机变量信源输出随机变量X X，可能的取值，可能的取值第二节第二节 离散无记忆信源及其扩展信源离散无记忆信源及其扩展信源 3.3.信源输出的信息量信源输出的信息量  1.1.求求N N次扩展信源次扩展信源 首先看输出只有两个符号（首先看输出只有两个符号（首先看输出只有两个符号（首先看输出只有两个符号（0 0 0 0，，，，1 1 1 1）的情况：）的情况：）的情况：）的情况：一次信源一次信源一次信源一次信源X X X X 信源信源信源信源X=XX=X1 1数学模型为数学模型为数学模型为数学模型为 : : : :二二.离散无记忆信源的扩展信源离散无记忆信源的扩展信源二次信源二次信源二次信源二次信源 扩展信源扩展信源扩展信源扩展信源每个消息序列的概率：每个消息序列的概率：每个消息序列的概率：每个消息序列的概率：   三次扩展信源三次扩展信源  扩展信源扩展信源扩展信源扩展信源每个消息序列的概率：每个消息序列的概率： 依次推出依次推出N N次扩展信源次扩展信源 一次信源输出符号集为一次信源输出符号集为进一步推广：进一步推广：N N次扩展信源次扩展信源 2 2、、N N次扩展信源的熵次扩展信源的熵例例3-1:3-1:例例3-23-2：：（（（（1 1 1 1）为了使电视图像获得良好的清晰度和规定的）为了使电视图像获得良好的清晰度和规定的）为了使电视图像获得良好的清晰度和规定的）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用适当的对比度，需要用适当的对比度，需要用适当的对比度，需要用 个个个个像像像像素素素素和和和和10101010个个个个不不不不同同同同亮亮亮亮度度度度的的的的电电电电平平平平，，，，设设设设每每每每秒秒秒秒要要要要传传传传递递递递30303030帧帧帧帧图图图图像像像像，，，，所所所所有有有有象象象象素素素素是是是是独独独独立立立立变变变变化化化化的的的的，，，，且且且且所所所所有有有有亮亮亮亮度度度度电电电电平平平平等等等等概概概概率率率率出出出出现现现现. . . .求求求求传传传传递递递递此此此此图图图图像像像像所所所所需需需需的的的的信信信信息率（比特息率（比特息率（比特息率（比特/ / / /秒）秒）秒）秒）. . . . （（（（2 2 2 2））））设设设设某某某某彩彩彩彩电电电电系系系系统统统统，，，，除除除除了了了了满满满满足足足足对对对对黑黑黑黑白白白白电电电电视视视视系系系系统统统统的的的的上上上上述述述述要要要要求求求求外外外外，，，，还还还还须须须须有有有有30303030个个个个不不不不同同同同的的的的色色色色彩彩彩彩度度度度，，，，试试试试证证证证明明明明传传传传输输输输这这这这彩色系统的信息率约是黑白系统信息率的倍。

彩色系统的信息率约是黑白系统信息率的倍彩色系统的信息率约是黑白系统信息率的倍彩色系统的信息率约是黑白系统信息率的倍解解：：（（（（1 1 1 1））））每个象素亮度信源的概率空间为：每个象素亮度信源的概率空间为：每个象素亮度信源的概率空间为：每个象素亮度信源的概率空间为： 每个象素亮度含有的信息量为：每个象素亮度含有的信息量为：每个象素亮度含有的信息量为：每个象素亮度含有的信息量为： H(X)=log10=1H(X)=log10=1哈特来哈特来/ /象素比特象素比特/ /象素象素每帧图像含有的信息量为：每帧图像含有的信息量为：每帧图像含有的信息量为：每帧图像含有的信息量为： 设每秒传送设每秒传送设每秒传送设每秒传送30303030帧图像，则传递此图像所需的信息率为帧图像，则传递此图像所需的信息率为帧图像，则传递此图像所需的信息率为帧图像，则传递此图像所需的信息率为：： （（2 2）证明：）证明： 色彩度信源的概率空间为色彩度信源的概率空间为: : 每个象素色彩度含有的信息量为：每个象素色彩度含有的信息量为： 比特比特/ /象素象素亮度和色彩度同时出现，每个象素含有的信息量为：亮度和色彩度同时出现，每个象素含有的信息量为： 比特比特/ /象素象素 传传输输这这彩彩色色系系统统的的信信息息率率与与传传输输黑黑白白系系统统的的信信息息率率之之比比就就等等于于彩彩色色系系统统每每象象素素含含有有的的信信息息量量与与黑黑白白系系统统每每象象素素含含有有信信息息量之比，即：量之比，即： 则则证证明明传传输输这这彩彩色色系系统统的的信信息息率率是是传传输输黑黑白白系系统统的的信信息息率率的倍。

的倍例例3-33-3：： 每帧电视图像可以认为是由每帧电视图像可以认为是由每帧电视图像可以认为是由每帧电视图像可以认为是由 个个个个象象象象素素素素组组组组成成成成的的的的，，，，所所所所以以以以象象象象素素素素都都都都是是是是独独独独立立立立变变变变化化化化的的的的且且且且每每每每一一一一个个个个象象象象素素素素又又又又取取取取128128128128个个个个不不不不同同同同的的的的亮亮亮亮度度度度电电电电平平平平，，，，并并并并设设设设亮亮亮亮度度度度电电电电平平平平等等等等概概概概率率率率出出出出现现现现若若若若现现现现有有有有一一一一个个个个广广广广播播播播员员员员在在在在约约约约10000100001000010000个个个个汉汉汉汉字字字字的的的的字字字字集集集集中中中中选选选选1000100010001000个个个个字字字字来来来来口口口口述述述述此此此此电电电电视视视视图图图图像像像像（（（（设设设设每每每每个个个个字字字字是是是是等等等等概概概概率率率率分分分分布的，并且布的，并且布的，并且布的，并且彼此独立彼此独立彼此独立彼此独立的）。

的）• •试问广播员描述此图像所广播的信息量是多少？试问广播员描述此图像所广播的信息量是多少？试问广播员描述此图像所广播的信息量是多少？试问广播员描述此图像所广播的信息量是多少？• •若要恰当描述此图像，广播员在口述中至少需用多少汉字？若要恰当描述此图像，广播员在口述中至少需用多少汉字？若要恰当描述此图像，广播员在口述中至少需用多少汉字？若要恰当描述此图像，广播员在口述中至少需用多少汉字？解：解：（（1 1）分析可知汉字字集是等概率分布的，则汉字字集信源）分析可知汉字字集是等概率分布的，则汉字字集信源为为得该汉字字集中每个汉字含有的信息量为：得该汉字字集中每个汉字含有的信息量为：得该汉字字集中每个汉字含有的信息量为：得该汉字字集中每个汉字含有的信息量为： 比特比特比特比特/ / / /字字字字广播员描述此帧图像所广播的信息量为：广播员描述此帧图像所广播的信息量为：广播员描述此帧图像所广播的信息量为：广播员描述此帧图像所广播的信息量为：（（2 2）分析可知）分析可知每个象素的亮度信源为每个象素的亮度信源为每个象素的亮度信源为每个象素的亮度信源为每个象素亮度含有的信息量为：每个象素亮度含有的信息量为： H(X)=log128=7 H(X)=log128=7比特比特/ /象素象素每帧图像含有的信息量为：每帧图像含有的信息量为：每帧图像含有的信息量为：每帧图像含有的信息量为：广播员口述此图像至少需用的汉字数为：广播员口述此图像至少需用的汉字数为：广播员口述此图像至少需用的汉字数为：广播员口述此图像至少需用的汉字数为：例例例例3-43-43-43-4：：：： 对一最高频率分量为对一最高频率分量为对一最高频率分量为对一最高频率分量为4kHz4kHz4kHz4kHz的模拟信号以的模拟信号以的模拟信号以的模拟信号以奈奎斯特采样定理奈奎斯特采样定理奈奎斯特采样定理奈奎斯特采样定理采采采采样，已知抽样结果是一个样，已知抽样结果是一个样，已知抽样结果是一个样，已知抽样结果是一个独立的平稳随机序列独立的平稳随机序列独立的平稳随机序列独立的平稳随机序列。

现将每个抽样现将每个抽样现将每个抽样现将每个抽样值量化为值量化为值量化为值量化为5 5 5 5个个个个离散离散离散离散电平之一，已知这电平之一，已知这电平之一，已知这电平之一，已知这5 5 5 5个电平构成的符号集个电平构成的符号集个电平构成的符号集个电平构成的符号集{X}{X}{X}{X}的的的的概率特性为概率特性为概率特性为概率特性为 求这个离散信源每秒传送的平均信息量求这个离散信源每秒传送的平均信息量求这个离散信源每秒传送的平均信息量求这个离散信源每秒传送的平均信息量解：解：由题意可知采样率为由题意可知采样率为由题意可知采样率为由题意可知采样率为8kHz8kHz，则符号速率是，则符号速率是，则符号速率是，则符号速率是80008000个符号个符号个符号个符号/s /s每个符号的平均信息量为每个符号的平均信息量为每个符号的平均信息量为每个符号的平均信息量为则这个离散信源每秒传送的平均信息量为则这个离散信源每秒传送的平均信息量为则这个离散信源每秒传送的平均信息量为则这个离散信源每秒传送的平均信息量为 ————信源发出的符号序列的概率分布与时信源发出的符号序列的概率分布与时间起点没有关系间起点没有关系, ,但发出的符号之间有依赖但发出的符号之间有依赖关系。

关系第三节第三节 离散平稳有记忆信源离散平稳有记忆信源一一. .平稳有记忆信源概念平稳有记忆信源概念 源源源源，简称平稳信源简称平稳信源简称平稳信源简称平稳信源 如果信源发出的是如果信源发出的是如果信源发出的是如果信源发出的是N N N N长序列长序列长序列长序列，且这个，且这个，且这个，且这个N N N N维联合分布维联合分布维联合分布维联合分布 与与与与时间起点无关时间起点无关时间起点无关时间起点无关，则称为，则称为，则称为，则称为N N N N维平稳信维平稳信维平稳信维平稳信二二. .离散平稳信源的熵离散平稳信源的熵 最简单的有记忆最简单的有记忆最简单的有记忆最简单的有记忆（（（（N=2N=2N=2N=2））））平稳信源的概率空间平稳信源的概率空间平稳信源的概率空间平稳信源的概率空间：： 熵熵H(X)H(X)可用联合熵表示：可用联合熵表示： 条件熵为条件熵为 可可知知：：平平平平稳稳稳稳信信信信源源源源输输输输出出出出一一一一个个个个符符符符号号号号α αi i，，，，则则则则对对对对输输输输出出出出下下下下一一一一个个个个符符符符号号号号有有有有影影影影响响响响，，，，这这这这个个个个影影影影响响响响根根根根据据据据α αi i而而而而异异异异。

依依依依赖赖赖赖关关关关系系系系越越越越强强强强，，，，对对对对输输输输出出出出下下下下一一一一个个个个符符符符号号号号的的的的影影影影响响响响越大联合熵可表示离散平稳信源的熵联合熵可表示离散平稳信源的熵由由可知可知可知可知：：：：  信信信信源源源源联联联联合合合合熵熵熵熵等等于于信信信信源源源源发发发发出出出出前前前前一一一一个个个个符符符符号号号号的的的的信信信信息息息息熵熵熵熵加加上上前一个符号已知时信源发出下一个符号的条件熵前一个符号已知时信源发出下一个符号的条件熵前一个符号已知时信源发出下一个符号的条件熵前一个符号已知时信源发出下一个符号的条件熵前后序列没有依存关系，则前后序列没有依存关系，则 ：：平均每个序列携带的信息量平均每个序列携带的信息量平均每个序列携带的信息量平均每个序列携带的信息量 由由N=2N=2推广到推广到N=∞N=∞信源序列的熵：信源序列的熵： 三三. .极限熵极限熵 平均每个符号携带的熵平均每个符号携带的熵当当N→∞,N→∞,极限熵（信源的熵率）记作极限熵（信源的熵率）记作注意：注意：对于一般平稳信源，信源的极限熵一定存在。

对于一般平稳信源，信源的极限熵一定存在  熵率的计算很复杂，在实际应用中常采用有限熵率的计算很复杂，在实际应用中常采用有限N N下下的条件熵作为极限熵的近似值，即的条件熵作为极限熵的近似值，即 信源输出信号所携带的信息利用信源输出信号所携带的信息利用信源输出信号所携带的信息利用信源输出信号所携带的信息利用极限熵极限熵极限熵极限熵来表示 例例3-53-5：：设某二阶离散平稳信源设某二阶离散平稳信源X=X1X2X=X1X2的原始信源的原始信源的信源模型为：的信源模型为： X=XX=X1 1X X2 2中前后两个符号的条件概率为：中前后两个符号的条件概率为： 比较原始信源与二阶信源的熵比较原始信源与二阶信源的熵比较原始信源与二阶信源的熵比较原始信源与二阶信源的熵信源信源X X提供的熵提供的熵 平均每个符号携带的信息量：平均每个符号携带的信息量：平均每个符号携带的信息量：平均每个符号携带的信息量： 结论：结论：极限熵、条件熵都小于原始信源的熵极限熵、条件熵都小于原始信源的熵原因原因：：符号之间存在相关性符号之间存在相关性 解：解：原始信源的熵：原始信源的熵：原始信源的熵：原始信源的熵： 条件概率确定的条件熵：条件概率确定的条件熵：条件概率确定的条件熵：条件概率确定的条件熵： 第四节第四节 马尔可夫信源及其熵马尔可夫信源及其熵一一. .马尔可夫信源的概念马尔可夫信源的概念----------------信源在某一时刻发出某一个符号的概率仅与前信源在某一时刻发出某一个符号的概率仅与前信源在某一时刻发出某一个符号的概率仅与前信源在某一时刻发出某一个符号的概率仅与前面发出的面发出的面发出的面发出的mm个符号有关，而与更早的无关，这样的个符号有关，而与更早的无关，这样的个符号有关，而与更早的无关，这样的个符号有关，而与更早的无关，这样的有记忆信源称为有记忆信源称为有记忆信源称为有记忆信源称为mm阶马尔可夫信源。

阶马尔可夫信源阶马尔可夫信源阶马尔可夫信源 对于对于对于对于mm阶马尔可夫信源，当有阶马尔可夫信源，当有阶马尔可夫信源，当有阶马尔可夫信源，当有q q个可能的输出符号个可能的输出符号个可能的输出符号个可能的输出符号时，则该信源有时，则该信源有时，则该信源有时，则该信源有 个可能的状态，从而一个个可能的状态，从而一个个可能的状态，从而一个个可能的状态，从而一个讨论信源讨论信源讨论信源讨论信源输出符号不确定性的问题转换成了讨论信源状态转换输出符号不确定性的问题转换成了讨论信源状态转换输出符号不确定性的问题转换成了讨论信源状态转换输出符号不确定性的问题转换成了讨论信源状态转换的问题的问题的问题的问题二二. .马尔可夫信源的状态转移图马尔可夫信源的状态转移图 例例3-63-6：：设设设设有有有有一一一一个个个个二二二二进进进进制制制制一一一一阶阶阶阶马马马马尔尔尔尔可可可可夫夫夫夫信信信信源源源源，，，，其其其其信信信信源源源源符符符符号集为号集为号集为号集为A={0,1},A={0,1},A={0,1},A={0,1},条件概率为条件概率为条件概率为条件概率为 求状态转移矩阵。

求状态转移矩阵解解：：信源符号个数信源符号个数信源符号个数信源符号个数q=2q=2q=2q=2，，，，k=1k=1k=1k=1, , , ,故状态数故状态数故状态数故状态数则令状态则令状态S S1 1=0,=0,状态状态S S2 2=1=1S1=0S2=10.750.500.250.50根据状态图求状态转移概率：根据状态图求状态转移概率：p(Sp(S1 1|S|S1 1)=0.25 p(S)=0.25 p(S2 2|S|S1 1 p(S p(S1 1|S|S2 2)=0.50 p(S)=0.50 p(S2 2|S|S2 2则状态转移矩阵为：则状态转移矩阵为： 有一个二进制二阶马尔可夫信源，其信源符号集为有一个二进制二阶马尔可夫信源，其信源符号集为有一个二进制二阶马尔可夫信源，其信源符号集为有一个二进制二阶马尔可夫信源，其信源符号集为A={0,1},A={0,1},A={0,1},A={0,1},条件概率为：条件概率为：条件概率为：条件概率为：求状态转移矩阵求状态转移矩阵例例3-73-7：：由状态图可知转移矩阵：由状态图可知转移矩阵：由状态图可知转移矩阵：由状态图可知转移矩阵： 则令：则令：状态状态S S1 1=00,=00,状态状态S S2 2=01=01，状态，状态S S3 3=10=10，状态，状态S S4 4=11=11则状态图：则状态图： 0.5S201S310S100S4110.80.80.50.50.50.20.2解解：信源符号个数：信源符号个数q=2q=2，，k=2,k=2,故状态数故状态数 1.1.遍历性的遍历性的m阶马尔可夫信源的定义阶马尔可夫信源的定义三三. .遍历的马尔可夫信源的熵遍历的马尔可夫信源的熵信源的每个状态由信源的每个状态由信源的每个状态由信源的每个状态由mm个符号构成，且不论从哪一个状态个符号构成，且不论从哪一个状态个符号构成，且不论从哪一个状态个符号构成，且不论从哪一个状态的概率的概率的概率的概率出发，只要经过足够时间，转移到状态出发，只要经过足够时间，转移到状态出发，只要经过足够时间，转移到状态出发，只要经过足够时间，转移到状态都近似等于一个常数都近似等于一个常数都近似等于一个常数都近似等于一个常数, ,具有这样性质的马尔可夫信源具有这样性质的马尔可夫信源具有这样性质的马尔可夫信源具有这样性质的马尔可夫信源就是遍历性的马尔可夫信源。

就是遍历性的马尔可夫信源就是遍历性的马尔可夫信源就是遍历性的马尔可夫信源设遍历性的马尔可夫信源有设遍历性的马尔可夫信源有设遍历性的马尔可夫信源有设遍历性的马尔可夫信源有r r r r个状态，且它的稳态分布矢量为个状态，且它的稳态分布矢量为个状态，且它的稳态分布矢量为个状态，且它的稳态分布矢量为状态转移矩阵为状态转移矩阵为状态转移矩阵为状态转移矩阵为P P，则有，则有，则有，则有提问：提问：任何马尔可夫信源都具有稳态分布吗？任何马尔可夫信源都具有稳态分布吗？任何马尔可夫信源都具有稳态分布吗？任何马尔可夫信源都具有稳态分布吗？定理：定理：马尔可夫信源具有稳态分布的充要条件是存马尔可夫信源具有稳态分布的充要条件是存马尔可夫信源具有稳态分布的充要条件是存马尔可夫信源具有稳态分布的充要条件是存在一个正整数在一个正整数在一个正整数在一个正整数N N N N，使马尔可夫信源的状态转移矩阵，使马尔可夫信源的状态转移矩阵，使马尔可夫信源的状态转移矩阵，使马尔可夫信源的状态转移矩阵中的所有元素均大于零中的所有元素均大于零中的所有元素均大于零中的所有元素均大于零例例3-83-8 有一个马尔可夫链，其状态转移矩阵为：有一个马尔可夫链，其状态转移矩阵为：有一个马尔可夫链，其状态转移矩阵为：有一个马尔可夫链，其状态转移矩阵为：问：问：是否存在稳态分布，如果存在求此稳态分布。

是否存在稳态分布，如果存在求此稳态分布是否存在稳态分布，如果存在求此稳态分布是否存在稳态分布，如果存在求此稳态分布 解：解： 由此判断：稳态分布存在由此判断：稳态分布存在由此判断：稳态分布存在由此判断：稳态分布存在由由由由WP=WWP=WWP=WWP=W以及各状态概率之和为以及各状态概率之和为以及各状态概率之和为以及各状态概率之和为1 1 1 1得：得：和和 由由由由平平平平稳稳稳稳信信信信源源源源的的的的熵熵熵熵率率率率（（（（实实实实际际际际熵熵熵熵、、、、极极极极限限限限熵熵熵熵））））可可可可得得得得遍遍遍遍历历历历性性性性的马尔可夫信源的熵为：的马尔可夫信源的熵为：的马尔可夫信源的熵为：的马尔可夫信源的熵为：则则则则mm阶马尔可夫信源的熵：阶马尔可夫信源的熵：阶马尔可夫信源的熵：阶马尔可夫信源的熵：  2.2.遍历性的遍历性的m m阶马尔可夫信源的阶马尔可夫信源的熵熵注意：注意：一般认为，当时间足够长时，遍历的一般认为，当时间足够长时，遍历的一般认为，当时间足够长时，遍历的一般认为，当时间足够长时，遍历的mm阶马尔阶马尔阶马尔阶马尔可夫信源视作平稳有记忆信源。

可夫信源视作平稳有记忆信源可夫信源视作平稳有记忆信源可夫信源视作平稳有记忆信源提问：提问：为什么？为什么？为什么？为什么？计算：计算： 由遍历性的马尔可夫信源的概念可知，它的每一由遍历性的马尔可夫信源的概念可知，它的每一由遍历性的马尔可夫信源的概念可知，它的每一由遍历性的马尔可夫信源的概念可知，它的每一个状态完全由输出的符号集：个状态完全由输出的符号集：个状态完全由输出的符号集：个状态完全由输出的符号集：A={A={a a1 1,a ,a2 2,…a,…ar r} }唯一确定唯一确定唯一确定唯一确定 两端同时取对数，则：两端同时取对数，则： 两端对两端对两端对两端对S S S Sj j j j和和和和a a a ak1k1k1k1…a…a…a…akm+1km+1km+1km+1取统计平均取统计平均取统计平均取统计平均, , , ,然后取负值然后取负值然后取负值然后取负值, , , ,则则则则 求遍历性的求遍历性的m m阶的马尔可夫信源熵的公式阶的马尔可夫信源熵的公式: : 其中：其中： 是马尔可夫链的稳态分布是马尔可夫链的稳态分布, ,可利用：可利用： WP=W WP=W和和 求解出求解出。

表示信源处于状态表示信源处于状态Sj时发出一个消息符号的平均不时发出一个消息符号的平均不确定性确定性3.3.举例说明马尔可夫信源熵的计算方法举例说明马尔可夫信源熵的计算方法 例例3-9:3-9:有一个二进制二阶马尔可夫信源，其信源符号集为有一个二进制二阶马尔可夫信源，其信源符号集为有一个二进制二阶马尔可夫信源，其信源符号集为有一个二进制二阶马尔可夫信源，其信源符号集为A={0,1},A={0,1},A={0,1},A={0,1},条件概率为：条件概率为：条件概率为：条件概率为：求求求求二阶马尔可夫信源的熵二阶马尔可夫信源的熵二阶马尔可夫信源的熵二阶马尔可夫信源的熵解解: :由例由例7 7可知状态转移矩阵为：可知状态转移矩阵为：可知：可知：此信源是遍历性的马尔可夫信源，稳态分布存在此信源是遍历性的马尔可夫信源，稳态分布存在此信源是遍历性的马尔可夫信源，稳态分布存在此信源是遍历性的马尔可夫信源，稳态分布存在设稳态分布为：设稳态分布为： 则利用则利用WP=WWP=W和和 可知：可知：对于遍历性马尔可夫信源有对于遍历性马尔可夫信源有由由 则有：则有： 第五节第五节    信源的相关性和剩余度信源的相关性和剩余度一一. .信源的相关性信源的相关性 信源输出符号之间的依赖关系信源输出符号之间的依赖关系信源输出符号之间的依赖关系信源输出符号之间的依赖关系 对于离散平稳信源有对于离散平稳信源有对于离散平稳信源有对于离散平稳信源有 当信源输出符号之间的相关程度越长，实际熵越小当信源输出符号之间的相关程度越长，实际熵越小当信源输出符号之间的相关程度越长，实际熵越小当信源输出符号之间的相关程度越长，实际熵越小 二二. .信源熵的相对率信源熵的相对率ηη 三三. .信源的剩余度信源的剩余度γγ 讨论讨论讨论讨论γ γ ：：：： 从提高抗干扰能力角度出发从提高抗干扰能力角度出发从提高抗干扰能力角度出发从提高抗干扰能力角度出发: : : :希望减少或去掉剩余度希望减少或去掉剩余度希望减少或去掉剩余度希望减少或去掉剩余度希望增加或保留信源的剩余度希望增加或保留信源的剩余度希望增加或保留信源的剩余度希望增加或保留信源的剩余度因为因为: :剩余度大的消息具有很强的抗干扰能力。

当干扰剩余度大的消息具有很强的抗干扰能力当干扰剩余度大的消息具有很强的抗干扰能力当干扰剩余度大的消息具有很强的抗干扰能力当干扰使消息在传输过程中出现错误时，能从它的上下关联中使消息在传输过程中出现错误时，能从它的上下关联中使消息在传输过程中出现错误时，能从它的上下关联中使消息在传输过程中出现错误时，能从它的上下关联中纠正错误纠正错误纠正错误纠正错误从提高信息传输的有效性观点出发从提高信息传输的有效性观点出发从提高信息传输的有效性观点出发从提高信息传输的有效性观点出发: : : :原因是什么原因是什么? ?例例3-103-10：： 黑黑黑黑白白白白气气气气象象象象传传传真真真图图图图的的的的消消消消息息息息只只只只有有有有黑黑黑黑白白白白两两两两种种种种颜颜颜颜色色色色，，，，即即即即信信信信源源源源X={X={X={X={黑黑黑黑，，，，白白白白} } } }，且，且，且，且p(p(p(p(黑，黑，黑，黑，p(p(p(p(白1 1 1 1）假设图上黑白消息出现前后没有关系，）假设图上黑白消息出现前后没有关系，）假设图上黑白消息出现前后没有关系，）假设图上黑白消息出现前后没有关系，求熵求熵求熵求熵H(X)H(X)H(X)H(X)。

2 2 2 2）假设消息前后有关系，其依赖关系为）假设消息前后有关系，其依赖关系为）假设消息前后有关系，其依赖关系为）假设消息前后有关系，其依赖关系为p(p(p(p(白白白白| | | |白，白，白，白，p(p(p(p(黑黑黑黑| | | |白，白，白，白，p(p(p(p(白白白白| | | |黑，黑，黑，黑，p(p(p(p(黑黑黑黑| | | |黑，黑，黑，黑，求此一阶马尔可夫信源的熵求此一阶马尔可夫信源的熵求此一阶马尔可夫信源的熵求此一阶马尔可夫信源的熵H2H2H2H23 3 3 3））））分分分分别别别别求求求求上上上上述述述述两两两两种种种种信信信信源源源源的的的的剩剩剩剩余余余余度度度度，，，，并并并并比比比比较较较较H(X)H(X)H(X)H(X)和和和和H H H H2 2 2 2的的的的大大大大小小小小，，，，并说明其物理意义并说明其物理意义并说明其物理意义并说明其物理意义（（2 2））分分析析得得此此信信源源为为一一一一阶阶阶阶马马马马尔尔尔尔可可可可夫夫夫夫信信信信源源源源，，它它的的的的状状态态集集为为：：A=A={S{S1 1= =黑，黑，S S2 2= =白白} }。

则状态转移图：则状态转移图：S1 S20.20.10.80.9解解：（：（1 1）假设黑白气象图上黑白消息出现的前后没有关）假设黑白气象图上黑白消息出现的前后没有关系，则等效于一个离散无记忆信源信源概率空间为：系，则等效于一个离散无记忆信源信源概率空间为： 则其状态转移矩阵为则其状态转移矩阵为则其状态转移矩阵为则其状态转移矩阵为 ：：：：由由此此可可见见：：此此马马尔尔可可夫夫信信源源是是遍遍历历的的，，稳稳态态分分布布存存在在，，则设则设W=(p(S1) p(S2)),W=(p(S1) p(S2)),根据根据WP=WWP=W可得：可得：可以求出可以求出可以求出可以求出: : : : 则此信源的熵为：则此信源的熵为：则此信源的熵为：则此信源的熵为： （（（（3 3 3 3）黑白消息信源的剩余度）黑白消息信源的剩余度）黑白消息信源的剩余度）黑白消息信源的剩余度   即即。