信息熵-平均互信息-信道容量260442.doc

《信息论与编码》实验1 绘制爛函数曲线一、 实验目的•熟悉工作环境及Matlab软件•掌握绘图函数的运用•理解爛函数表达式及其性质二、 实验原理丄信息爛自信息量是针对信源的单个符号而言的，而符号是随机发生的，因此单个符 号的不确定性不足于代表信源的不确定性性质，为此，可对所有符号的门信息量 进行统计平均，从而得到平均不确定性＞爛的表示H(X) = E[/(X)]=工 p(xjl (壬)=-工 p(xz)log p(xj• •I I＞注意的问题爛是自信息量的统计平均，因此单位与自信息量的单位相同，与爛公式中所 用对数的底有关：bit/符号、nat/符号、dit/符号、r进制单位/符号特殊公式：某个pk=O时，01og0=0(limxlogx = 0)在爛的定义中忽略零概率xtO事件＞平均互信息平均互信息量(I(X;Y))是统计平均意义下的先验不确定性与后验不确定性Z 差，是互信息量的统计平均：/(X ； Y)=工 (X; yj)=工 p(儿)卩(兀 /j ij P\^i)/（X;Y）= H（X）-H（ X/y）1（Y\X）= H（Y）-H（Y IX）三、实验内容1 •用Matlab软件绘制二进爛函数曲线。

＞二元信源（x\ 60 1 ）= 0＜P＜12丿・1-卩丿＞二元信源的爛为H(p.l-p) = -plogp-(l-p) log(l - p) 绘制当p从0到1之间变化时的二元信源的信息爛曲线.Matlab 程序：p=0.00001:0.001:l;h=-p.*log2(p)-( 1 -p). *log2( 1 -p);plot(p,h);titlef二进爛函数曲线);ylabelCHCpJ-p)1)2.绘制三元信源的爛＞三元信源＞三元信源的爛为H （Pl，Pl，1 - P1 - P1）= -卩 log Pl - P2 log 卩2 -（1 - Pl - 卩2）log（l - P1 - 卩2）绘制当"1，从0到1之间变化时的三元信源的信息爛曲线.[pl ,p2]=meshgrid(0.00001:0.001:1);h=-p 1 .*log2(p 1 )-p2.*log2(p2)-( 1 -pl -p2) .*log2( I -pl -p2);meshc(pl，p2,h);title(三进爛函数曲线);3.绘制平均互信息量图形对于二元对称信道的输入概率空间为~X・0,1_PM_co,co = \-co平均互信息：z（x；y）= H（r）-//（r/X）H(n-^P(x)^P(y/x)logX Y1P(y/x)H(r)-^P(x)[plog 丄+piog 丄]X P P= H(Y)-[p\og--^p\og^] = H(Y)-H(p)P P根据：p(bj)=pa)p(bjg)=iZ=1所以：2p(y = 0) = P(q)P(0 丨 q) = P(0)P(0 丨 0) + P(l)P(0 丨 1)=切 + copJ=1p(y = [)= Y P(4)P(0 \ai) = P(O)P(1 丨 0) + P(1)P(111) = p + cop1=1/(X；Y) = H(X)-H (p) =(69/7+ log— +(69/? + 6>p)log - [/?log —+ plog-^]cop + (dp {cop + (dp) p p=H(砂 + 引) — //(/”绘制当69, 〃从0到i之间变化时的平均互信息爛曲线.[w,p] = meshgrid(0.00001:0.001:1);h=-(w.*(l -p)+( 1 -w).*p).*log2(w.*(l -p)+(l-w).*p)-(w.*p+( 1 -w).*(l -p)).*log2(w.*p+( l-w).*(l-p))+(p*log2(p)+(l-p).*log2(l-p))meshz(w,p,h)titleC互信息J;ylabel(H(w,p,h))四、实验报告要求•简述实验目的；•简述实验原理；•分别绘制二元信源和三元信源的爛及平均互信息量图形。

通过图形分析他们的特点实验2 信道容量仿真一、 实验目的•熟悉工作环境及Matlab软件；•理解信道容量的含义二、 实验原理＞离散信道的数学模型离散信道的数学模型一般如图6」所示图小输入和输出信号用随机矢量表示，输入信 号为X= (XI, X2,..., XN),输出信号为Y= (Yl, Y2,..., YN)；每个随机变量Xi和Yi又分别取 值于符号集A二{al, a2,ar}和B={bl, b2,bs},其中r不一定等于s；条件概率P(ylx)描 述了输入信号和输出信号Z间的统计依赖关系，反映了信道的统计特性A 信道 aX * * YX=(X|,X2，...,XJ P(y I X) 丫 =(也,•.必)离散信道模型A二元对称信道这是很重要的一种特殊信道(简记为BSC),它的输入符号X取值于{0,1},输岀符号 Y 取值于{0,1}, r=s=2, al=bl=(), a2=b2=l,传递概率为I ) = P(010) = 1- p = p P(b2 1^2)= P(111) = 1 — P =歹?(/?! k/2) = P(0ll) = p P(b2 kz1) = P(H0) = p其小，户(1 I 0)表示信道输入符号为0而接收到的符号为1的概率，户(0 | 1)表示信道输 入符号为1而接受到的符号为0的概率，它们都是单个符号传输发住错谋的概率，通常用P 表示。

而户(0 | 0)和户(1 | 1)是无错误传输的概率，通常用= P表示X 1-p Y5=0 0 = /?!a2= I1 = b2二元对称信道用矩阵來表示，即得二元对称信道的传递矩阵为0 1o |"l-p P1 [p 1-p_依此类推，一般离散单符号信道的传递概率可用以下形式的矩阵來表示，即blb2... bsP(b] I)P(Eldi)…P(bs 1 aSa2■■P如 a2)••P(b2 1 ai)…•• •…P(hs\a2)■■■ar•_p丨勺）■P(U…■p(m并满足式 z pg a） = i （7 = 1,2,…，厂）7=1为了表述简便，记P（bj \ a） = PiJ ,信道的传递矩阵表示为PwPn… P\sp=P2\■■P22•■…Pls• •• •■_Pr\•pr\• •…Prs_PiJ> 0卩是行的标号 t/是列的标号平均互信息平均互信息表示接收到输出符号后平均每个符号获得的关于输入变量x的信息最，也 表示输入•输出两个随机变量Z间的统计约束程度呱丽-孕log瓦而= yp（xy）log-^-《 PMP（y）其中X是输入随机变量，Y是输出随机变最平均互信息是互信息（即接收到输出符号y后输入符号x获得的信息量）的统计平均值，所以永远不会取负值。

最差情况是平均互信息为零，也就是在信道输出端接收到输出符号Y后不获得任何关于输入符号X的信息量> 对于每一个确定信道，都有一个信源分布，使得信息传输率达到最大值，我们把这个最 大值称为该信道的信道容量C = max{/(J; K)}P(x)相应的输入概率分布称为最佳输入分布e=0:0.1:l;h=l -0.5.*e.*log2(e)-0.5.*(l -e).*log2(l -e);plot(e,h);titled信道容量?；ylabcl(H(e,h));c=max(h)三、 实验内容一个信道是一个二进制输入，二进制输出的信道，输入和输出字母表x =r = {o,i},且该 信道特性由发送1码和0码的两个错谋转移概率P(0\l) = e和P(011) = 0来表征绘出当 = 0,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.&0.9,1 时的平均互信息 /(%;/)和 p = P(X = 1)间的函数关系确定每种情况下的信道容最四、 实验报告要求•简述实验目的；•简述实验原理；•完成实验内容，给出图形和结果，并进行简单分析。