
信息论基础总结.docx
16页第1章信息论基础信息是物质和能量在空间和时间上分布的不均匀程度,或者说信息是关于事物运动的状态和规律消息是能被人们感觉器官感知的客观物质和主观思维的运动状态或存在状态通信系统中形式上传输的是消息,实质上传输的是信息,消息中包含信息,消息是信息的载体信息论是研究信息的基本性质及度量方法,研究信息的获取、传输、存储和处理的一般规律的科学「狭义信息论信息论研究的范畴:•实用信息论1■-广义信息论信息传输系统信息传输系统的五个组成部分及功能:1. 信源 信源是产生消息的源2, 编码器编码器是将消息变换成适合于信道传送的信号的设备编码器分为信源编码器和信道编码器两种3. 信道 信道是信息传输和存储的媒介,如光纤、电缆、无线电波等4. 译码器译码器是编码器的逆变换,分为信道译码器和信源译码器5, 信宿 信宿是消息的接收者,可以是人,也可以是机器离散信源及其数学模型离散信源一消息集X为离散集合,即时间和空间均离散的信源连续信源一时间离散而空间连续的信源波形信源一时间和空间均连续的信源无记忆信源一X的各时刻取值相互独立有记忆信源一X的各时刻取值互相有关联离散无记忆信源的数学模型一离散型的概率空间:X -xxAx=12Iq( X)q(x)1q(x)2Aq( x「离散无记忆N维扩展信源的数学模型:「X -「XxAx 一=12mq(X )_q(x )1q(x )2Aq(x m )」x.e{a1,a2,—,ak} IWiWI0 离散信道有时也称为数字信道连续信道一信道的输入和输出都是时间上离散、取值连续的随机序列,又称为模拟信道半连续信道一输入序列和输出序列一个是离散的,而另一个是连续的波形信道一信道的输入和输出都是时间上连续,并且取值也连续的随机信号无记忆信道一信道的输出y只与当前时刻的输入乂有关有记忆信道一信道的输出y不仅与当前时刻的输入乂有关,还与以前的输入有统计关系离散无记忆信道的数学模型一信道转移概率矩阵:信道输入、输出符号集为X、YX={x1,x2,…,xj, x.G{a15 a2,—,ak},1
先验概率、信道转移概率、后验概率和联合概率应满足的一些性质及关系0 < q(x ) w( y ) p(y I x ) ^ (x I y ) p(x y ) < 1i j j i i j i j&(x ) = 1ii=1£w( y ) = 1jj=1£p( y, I xj = 1j=1£ 4 (x Iy) = 1i=1££p(xy ) = 1i ji=1 j=1p(x y ) = q(x )p(y x ) = w(y 加(x y )i j i j i j i jw( y ) = £p(x y ) = £q(x )p( y x )j i j i ji =1 i=1q(x ) = £p(xy ) = £w(y 川(x y )i i j j ij=1 j=14 (x, y) = q(x,)p(xy) = q(x,) w( y )输入与输出 p(y x ) = w(y )相互独立时: j i j第2章信息的度量自信息量和条件自信息量一个事件的自信息量就是对其不确定性的度量/⑴A —log q(x)(比特)I(x y )△ —log p(x y )(比特)I(x y )A- log^ (x y )(比特)= i j = i j i j = i j自信息量的性质:(1)I(x)是q(x)的单调递减函数; (2)信息量具有可加性;(3)当 q(x)=1 时,I(x)=0; (4)当 q(x)=0 时,I(x)—8。 互信息量和条件互信息量 互信息量表明两个随机事件的相互约束程度I(x ; y ) = I(x ) — I(x |y ) = log丝 [j 1 1 j q(x)i(2-7)(2-8)I(x ; y ) = log p*,= I(y ) — I(y |x) i j w (y ) j j iI(x ; y ) = log = I(x ) +1(y ) -1(xy )i j q( x )w (y.) i j i j口式(2-7)的物理意义:在信源发出信号前,信宿收到y•的概率为3(y),其不确定性用I (y・)度量而信源 发出符号xi后,由于干扰,使信宿收到r={yi,y2,…,y/}中的哪个符号具有发散性,即信宿是否 收到yj仍存有不确定性,用I(yj I xi)度量这二者之差就是事件发生过程中观察者所获得的信息量 口式(2-8)的物理意义:通信前X、Y统计独立,联合概率为p(xiyj) = q(xgyj),不确定性用-log q(x^(yj) =I(xi)+l(y・)度量通信后,由于信道转移概率p(yj I xi)的存在,使符号工/为有了某种关联,联合概 率p(xiyj) = q(xi) p(yj I xi),发xi收yj的不确定性用I(x,yj)= - log p(x/y)度量,二者之差就是通信过 程中,xi与yj所得到的互信息量。 互信息量的性质:(1) 互易性:I(xi; yj)= I(yj ; xi)(2) 可加性:I(xi ; yj zk)= I(xi; yj)+ I(xi; zk 1 yj)(3) 当xi yj统计独立时,互信息量I(xi ;yj) = 0及条件互信息量(4) 互信息量I(xi ;yj)可以是正数,也可以是负数5) 两个事件的互信息量不大于单个事件的自信息量,即有:平均自信息量I(x「y \zk) = 0I (x「七)< I (x )i< I (yj◊平均自信息量(熵)H (X) AZ q ( xl ) I (x,) = -Z q (x「log q (x,) (比特/符号)i i◊平均条件自信息量(条件熵)H (X | Y)aZZiH (Y\X) Ap(x y )I(x | y ) = —ZZL j L j jZZp(xy )logn(x | y )l j l ji jp(xy )I(y |x) = —ZZp(xy )logp(y |x)'' i j j ii j j iij ij(比特/符号)(比特/符号)从通信角度来看:若X为信道输入符号集,Y为信道输出符号集,则称H(X| Y)为疑义度/含糊度或损失熵;称H (Y|X)为散布度或噪声熵(1) 对于无噪信道,X与Y ——对应,不存在疑义H (X | Y) = 0,也不会产生错位H (Y |X)=0;(2) 在强噪声情况下,X与Y统计独立,H(X | Y)=H(X), H(Y|X)=H(Y)。 联合熵 h(^Y) A ZZ p(xy )I(xy ) =—ZZ p(x y )log p(x y )(比特/符号)= i j i j i j i ji j i j熵、条件熵、联合熵的关系:H (X Y) = H (X) + H (Y| X)= H (Y) +H (X | Y) 当 X,Y 统计独立时,H(XY)= H(X)+ H(Y)极大离散熵定理:设信源消息集X={x1,x2,,-,xM}的消息个数为M,则H(X)WlogM,等号当且仅当信源X中各消 息等概(=1/M)时成立,即各消息等概分布时,信源熵最大熵函数的性质:(1)对称性 (2)非负性 (3)确定性 (4)扩展性 (5)可加性(6) 条件熵小于等于无条件熵,即:H (X | Y)WH (X),X,Y统计独立时等号成立7) 联合熵大于等于独立事件的熵,小于等于两独立事件熵之和,即:J H (XY) > H (X)I H(XY) > H(Y) H(XY)WH (曷 + H (Y)平均互信息量(交互熵)q(x j (比特/符号)iI(X;Y) = ZZ p(x y )I(x ; y ) = ZZ p(x y )lo^—^ ')i j i j i j1 j 1 j平均互信息量与信源熵、条件熵的关系(维拉图)I(X;Y)=H(X)—H(X | Y) (2-35)I(X;Y)=H(Y)-H(Y | X) (2-36)I(X;Y)=H(X)+H(Y)—H(XY) (2-37)从通信的角度讨论:(2-35)式的物理意义:设X为发送消息符号集,Y为接收符号集,H(X)是输入集的平均不确定性,H (X|Y)是观察到Y后,集X还保留的不确定性,二者之差I(X;Y)就是在接收过 程中得到的关于X,Y的平均互信息量。 2-36)式的物理意义:H(Y)是观察到Y所获得的信息量,H (Y|X )是发出确定消息X后,由于干扰而 使Y存在的平均不确定性,二者之差I(X ; Y)就是一次通信所获得的信息量2-37)式的物理意义:通信前,随机变量X和随机变量Y可视为统计独立,其先验不确定性为H(X)+ H(Y),通信后,整个系统的后验不确定性为H(XY),二者之差H(X)+H(Y)-H(XY)就是通 信过程中不确定性减少的量,也就是通信过程中获得的平均互信息量I(X ; Y)1) 对于无噪信道,X 与 Y ——对应,H(X | Y)=0 从而 I(X ; Y)=H(X); H(Y | X)=0 从而 I(X ; Y)= H(Y);(2) 对于强噪信道,X 与 Y 统计独立,H(X | Y) =H(X)从而 I(X; Y)=0; H(Y | X)= H(Y)从而 I(X ; Y) = 0平均互信息量的性质:i(x;y)> 0 I(X;Y)< H(X)(1)非负性:I(X;Y|Z)> 0 (2)互易性:I(X ; Y)= I(Y ; X) (3)极值性:/Q。












