信源及信源熵().ppt

第三章 信源及信源熵（1）,信源的主要问题：1．如何描述信源（信源的数学建模问题）2．怎样计算信源所含的信息量 3．怎样有效的表示信源输出的消息，也就是信源编码问题,,本章学习的内容,信源的数学模型和分类 离散无记忆信源（离散无记忆信源的N次扩展） 离散有记忆信源——马尔可夫信源 信源的相关度和剩余度,本章重点：信源的数学模型和统计特性；离散无记忆信源、离散平稳信源和马尔可夫信源的信息量计算本章难点：马尔可夫链；马尔可夫信源信息熵的计算方法3.1 信源的数学模型及其分类,3.1.1 信源的数学模型若信源是由有限或无限个取值离散的符号组成的离散集合，则称为离散信源又若一个符号代表一个完整的消息，则这种离散信源又称为单符号离散信源例如，掷一个六面质地均匀的骰子，每次出现朝上面的点数是随机的则用随机变量X表示这个单符号离散信源：X的可能取值就是信源可能发出的各种不同符号，X的概率分布就是信源发出各种不同符号的先验概率这个离散信源的数学模型可完整表示为：,,为信源X的“信源空间” 信源X 的概率空间是一个完备集一般离散信源的数学模型:,不同信源对应不同的信源空间，如信源给定，就意味着相应的信源空间已确定，反之，如信源空间已确定，就意味着相应的信源已给定。

用信源空间表示信源的数学模型的必要前提就是信源可能发出的各种不同符号的概率先验可知，或实际可测定测定信源的概率空间是构建信源空间的关键用一个离散随机变量X代表一个离散信源，这就是我们用数学描述信源的基本出发点随机变量X的状态空间和概率空间，是构建信源空间 的两个基本要素，而概率空间是决定性要素在实际应用中，存在着两类信源 （一）离散信源 （二）连续信源最简单的连续信源可用一维连续随机变量X来描述，其数学模型为连续型概率空间：,其中p(x)是连续随机变量X的概率 密度函数，[a,b]是X存在域,3.1.2 信源的分类,1）信源的分类由多种方法，我们常根据信源输出的消息在时间和取值上是离散或连续进行分类：,,,,表3.1 信源的分类,2)根据各维随机变量的概率分布是否随时间的推移而变化将信源分为平稳信源和非平稳信源 3)根据随机变量间是否统计独立将信源分为有记忆信源和无记忆信源一个实际信源的统计特性往往是相当复杂的，要想找到精确的数学模型很困难实际应用时常常用一些可以处理的数学模型来近似随机序列，特别是离散平稳随机序列是我们研究的主要内容随机序列,3.2 离散无记忆信源,定义 3.1 设信源X输出符号集, q为信源发出的消息符号个数，每个符号发生的概率 为 ，i=1，2，…，q。

这些消息符号彼此互不相关，且有则称X为离散无记忆信源信息量 I=-logp(xi) 熵,3.3离散多符号信源,1、离散平稳信源的数学定义,,定义3.1：对于随机变量序列 ，在任意两个不同时刻 和 ( 和 为大于1的任意整数)信源发出消息的概率分布完全相同，即对于任意的 ， 和具有相同的概率分布也就是即各维联合概率分布均与时间起点无关的信源称为离散平稳信源定义 随机变量序列中，对前N个随机变量的联合熵求平均： 称为平均符号熵如果当 时上式极限存在，则 称为熵率，或称为极限熵，记为,,,2. 离散无记忆信源的扩展信源,（1）最简单的离散信源对于二进制信源，q=2，信源输出符号只有两个：“0”和“1”设P(X=0)=p, P(X=1)=q, p+q=1,则数学模型为：,,（2）N次扩展信源 1）二次扩展信源的数学模型为其中，a是二次扩展信源X的输出符号这里a1=00， a2=01,a3=10,a4=11且有式中， ，表示二次扩展信源X中分量的序号，N=2为序号长度，i=1，2，3，4表信源X的符号序列，概率 表分量 ，k=1，2 取值a1或a2的概率。

2） 离散无记忆二进制信源X的三次扩展信源三次扩展信源 共输出 个消息符号，q=2，N=3.这样二进制序列符号共有8个它等效为一个具有8个消息符号的新信源X，同时有其中该三次扩展信源X的概率空间为,3) 离散无记忆信源的N次扩展定义3.2 设X是一个离散无记忆信源，其概率空间为其中q为信源符号的个数， 则X的N次扩展信源 是具有 个消息符号的离散无记忆信源3) 离散无记忆信源的N次扩展 其N重概率空间为：其中,,,,,,4）N次扩展信源的熵,定义3.3 离散无记忆信源X的N次扩展信源 的熵等于信源X的熵的N倍，即这表明离散无记忆信源X的N次扩展信源每输出1个消息符号（即符号序列）所提供的信息熵是信源X每输出1个消息符号所提供信息熵的N倍离散平稳无记忆信源输出的符号序列是平稳随机序列，并且符号之间是无关的，即是统计独立的假定信源每次输出的是N长符号序列，则它的数学模型是N维离散随机变量序列： ，,,,例1 设有一离散无记忆信源X，其概率空间为且求该信源X的二次扩展信源的熵,解：由于信源X中共有q=3个符号，而二次扩展的结果N=2，故二次扩展信源 共有 个不同的符号， 。

又因信源是无记忆的，故有可以算的，原始信源熵为,,而二次扩展信源熵为,故有,。