信道与信道容量.ppt

信道与信道容量信道与信道容量信道与信道容量信道与信道容量第三章第三章3.13.1 信道分类和表示参数信道分类和表示参数3.2 3.2 离散单个符号信道及其容量离散单个符号信道及其容量3.3 3.3 离散序列信道及其容量离散序列信道及其容量3.4 3.4 连续信道及其容量连续信道及其容量内容内容2信道信道•设信道的输入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an} 输出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm}•信道转移概率矩阵p(Y|X)：–描述输入/输出的统计依赖关系,反映信道统计关系信 道XYp(Y|X)3无干扰无干扰(无噪声无噪声)信道信道•无干扰(无噪声)信道–信道的输出信号Y与输入信号X之间有确定的关系Y=f (X),已知X后就确知Y–转移概率:4有干扰无记忆信道有干扰无记忆信道•有干扰无记忆信道–信道的输出信号Y与输入信号X之间没有确定的关系,但转移概率满足:•有干扰无记忆信道可分为:–二进制离散信道–离散无记忆信道–离散输入、连续输出信道–波形信道5离散无记忆信道离散无记忆信道DMC•信道输入是n元符号X∈{a1, a2, …, an}•信道输出是m元符号Y∈{b1, b2, …, bm}•转移矩阵–已知X,输出Y统计特性a1a2anb1b2bm::::::p11p12p21p22pnm63.2 3.2 离散单个符号信道离散单个符号信道及其容量及其容量7信道容量信道容量 •平均互信息I (X;Y)：–接收到符号Y后平均每个符号获得的关于X的信息量。

•信道的信息传输率就是平均互信息 8信道容量信道容量•信道容量C：–最大的信息传输率•单位时间的信道容量：9信道容量的计算信道容量的计算 •对于一般信道,信道容量计算相当复杂,我们只讨论某些特殊类型的信道：•离散信道可分成： •无干扰(无噪)信道–无嗓无损信道–有噪无损信道 –无噪有损信道 •有干扰无记忆信道•有干扰有记忆信道10无干扰离散信道无干扰离散信道•无嗓无损信道•有嗓无损信道•无嗓有损信道113.2.1 3.2.1 对称对称DMC信道信道•对称离散信道：•对称性:–每一行都是由同一集{p1, p2,…pm} 的诸元素不同排列组成——输入对称–每一列都是由集{q1, q2,…qn}的诸元素不同排列组成——输出对称满足对称性,所对应的信道是对称离散信道12对称对称DMC信道信道•信道矩阵 •不具有对称性,因而所对应的信通不是对称离散信道 13对称对称DMC信道信道•若输入符号和输出符号个数相同,都等于n,且信道矩阵为•此信道称为强对称信道 (均匀信道)–信道矩阵中各列之和也等于1 14对称对称DMC信道信道•对称离散信道的平均互信息为15对称对称DMC信道信道•对称DMC信道的容量： •上式是对称离散信道能够传输的最大的平均信息量,它只与对称信道矩阵中行矢量{p1, p2,…pm }和输出符号集的个数m有关。

•强对称信道的信道容量： 16•设二进制对称信道的输入概率空间•信道矩阵：BSC信道容量信道容量1718•当p固定时,I (X,Y) 是ω的 型上凸函数I(XY)ω•BSC信道容量1-H(p)•I (X,Y) 对ω存在一个极大值BSC信道容量信道容量19pC•当固定信源的概率分布ω时,I (X,Y) 是p的 型 下凸函数信道无噪声•当p = 0, C =1－0 = 1bit = H(X)•当p =1/2, 信道强噪声BSC信道容量信道容量•BSC信道容量20信道容量信道容量•定理：•给定转移概率矩阵P后,平均互信息I (X;Y)是输入信源的概率分布p(ai)的 型上凸函数•定理：•平均互信息I (X;Y)是信道传递概率p(bj|ai)的 型凸函数•信道容量是完全描述信道特性的参量,是信道能够传输的最大信息量21•当信源输入符号的速率为rs(符/秒),信道容量BSC信道容量信道容量•实际信息传输速率Rt为 •进入信道输入端的信息速率 22例BSC信道如图, rs=1000符号/秒,错误传递概率p=0.1求:信道容量¼ 0Y0.9¾ 10.1输入符号等概时有最大信息传输速率信道实际信息传输速率23串联信道串联信道•例3-3 设有两个离散BSC信道,串接如图,两个BSC信道的转移矩阵为:X00ZY111-p1-p1-pp•串联信道的转移矩阵为:1-pp24串联信道串联信道X00ZY11•求得:•在实际通信系统中,信号往往要通过几个环节的传输,或多步的处理,这些传输或处理都可看成是信道,它们串接成一个串联信道。

pp1-p1-p1-p1-p25串联信道串联信道•由信息不增原理信道2信道m信道1…•可以看出,串接的信道越多,其信道容量可能会越小,当串接信道数无限大时,信道容量可能会趋于0XYZ263.2.3 3.2.3 准对称准对称DMC信道信道 •准对称信道–转移概率矩阵P是输入对称而输出不对称•将信道矩阵P的列划分成若干个互不相交的子集mk,由mk为列组成的矩阵[P]k是对称矩阵 •它们满定对称性,所以P1所对应的信道为准对称信道 27准对称信道的信道容量准对称信道的信道容量 •准对称信道•准对称信道容量28准对称信道的信道容量准对称信道的信道容量 •当输入分布为等概率时：–其中n是输入符号集的个数,(p1, p2,…pm)为准对称信道矩阵中的行元素•设矩阵可划分成r个互不相交的子集–Nk是第k个子矩阵Pk中行元素之和,–Mk是第k个子矩阵Pk中列元素之和 29•例：设信道传递矩阵为 •计算得：N1 =3/4, N2 = 1/4, M1=3/4, M2 = 1/4•将它分成 303.2.4 3.2.4 一般一般DMC信道信道•定理：•一般离散信道的平均互信息I(X;Y)达到极大值的充分和必要条件是输入概率{p(ai)}必须满足: I (ai;Y) = C 对于所有ai其p(ai)＞0 I (ai;Y) ≤C 对于所有ai其p(ai) = 0•上式说明：–当信道的平均互信息I(X;Y)达到信道容量时,输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息,只是概率为0的除外。

313.3 3.3 离散序列信道及容量离散序列信道及容量32离散序列信道及容量离散序列信道及容量•设信道的输入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an} 输出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm}信 道XYp(Y|X)•对于无记忆离散序列信道,其信道转移概率为–仅与当前输入有关若信道是平稳的33•定理：若信道的输入和输出分别是L长序列X和Y,且信道是无记忆的,亦即信道传递概率为•则存在 •定理：若信道的输入和输出分别是L长序列X和Y,且信源是无记忆的,亦即•则存在 34离散序列信道及容量离散序列信道及容量•若信源与信道都是无记忆的 •L次扩展信道的信道容量 •当信道平稳时: •一般情况下: 35•例3-7.BSC信道二次扩展0 0X0 11 01 10 00 11 01 1Y•转移概率矩阵•2次扩展信道的信道容量 • 若 p = 0.1• 则 C2=(2－0.938)bit/序列 = 1.062bit/序列 C1 = 0.531bit/序列 36独立并联信道独立并联信道 •设有L个信道,它们的输入、输出分别是： X1,X2…XL； Y1,Y2…YL信 道信 道信 道p(Y1|X1)p(YL|XL)p(Y2|X2)…•每一个信道的输出Yl只与本信道的输入Xl有关,与其他信道的输入、输出都无关。

•独立并联信道的信道容量 X1X2XLY1Y2YL373.3 3.3 连续连续信道及其容量信道及其容量38连续信道及其容量连续信道及其容量•连续信道的容量不容易计算•当信道为加性连续信道时,情况简单一些•设信道的输入和输出信号是随机过程x(t) 和y(t) y(t) = x(t) + n(t)–n(t)：信道的加性高斯白噪声 •一个受加性高斯白噪声干扰的带限波形信道的容量,由香农(1948)正式定义：信 道n(t)x(t)y(t)39连续信道及其容量连续信道及其容量•高斯白噪声加性信道单位时间的信道容量这就是著名的香农公式 40习题习题•3-1•3-3•3-4•3-1041。