li??logp(si)?1。
写出费诺编码步骤。
答：1. 将信源消息符号按其出现概率大小依次排列： p(x1)≥p(x2) …. p(xn)。2 .将依次排列的信源符号按概率植分两大组,并对各组赋予一个二进制元码0、1。3.将每一大组的信源符号进一步分组,使划分后的两组概率和近于相同并又赋两组0,1。4.如此重复,至两组只剩下一个信源符号为止。5.信源符号所对应的码字即为费诺码.
写出哈夫曼编码步骤。
(1) 将n个信源消息符号按其出现的概率大小依次排列,p(x1)≥p(x2)≥…≥p(xn)
(2) 取两个概率最小的字母分别配以0和1两码元,并将这两个概率相加作为一个新字母的概率,与未分配的二进符号的字母重新排队。
(3) 重复步骤(2)的过程,直到最后两个符号配以0和1为止;
(4)从最后一级开始,向前返回得到各个信源符号所对应的码元序列。 描述克劳夫特不等式。
用码树的概念可以推导出唯一可译码存在的充要条件，即各码字的长度Ki应符合不等式m是进制数，n是信源符号数 称之为克劳夫特(Kraft)不等式
简单叙述无噪无损信道、无噪有损信道、有噪无损信道的信道容量。 无噪无损信道：
?kim??1 i?1n?H(X)??logr比特/符号C?max?I(X;Y)??max1p(x)p(x)?r
无噪有损信道：
C?max?I(X;Y)??max?H(Y)??logs比特/符号p(x)p(x)
有噪无损信道：
C?max?I(X;Y)??max?H(x)??logr(比特/符号)
p(x)p(x) 简单叙述离散信道、连续信道、半连续半离散信道。
离散信道：又称数字信道，该类信道中输入空间、输出空间均为离散时间集合，集合中事件的数量是有限
的，或者无限的，随机变量取值都是离散的。连续信道：又称为模拟信道，输入空间、输出空间均为连续事件集合，集合中事件的数量是无限的、不可数的，即随机变量的取值数量是无限的，或者不可数的。半离散半连续信道：输入空间、输出空间一个为离散事件集合，而另一个则为连续事件集合，即输入、输出随机变量一个是离散的，另一个是连续的。
简述一个通信系统包括的各主要功能模块及其作用 简单叙述算术编码的步骤。
四、大题
某地二月份天气的概率分布统计如下：晴天的概率是1/2，阴天的概率是1/4，雨天的概率是1/8，雪天的概率也是1/8。求此四种气候的自信息量分别的是多少？ 解：“I(a1)=1(比特) I(a2)=2(比特)，I(a3)=3(比特），I(a4)=3(比特) 英文字母中“e”出现的概率是0.105，“c”出现的概率是0.023,“o”出现的概率 是0.001。分别计算其自信息量。 解：“e”:I(e)=－㏒20.105=3.25(比特)
“c”:I(c)=－㏒20.023=5.44(比特)
“o”:I(o)=－㏒20.001=9.97(比特)
一个布袋内放有100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。
x1表示摸出的球为红球，x2表示摸出的球为白球 当被告知摸出的是红球，则获得的信息量是： I(x1)=－㏒p(x1)=－㏒0.8(比特)
当被告知摸出的是白球，则获得的信息量是： I(x2)=－㏒p(x2)=－㏒0.2(比特)
同时掷2颗色子，事件A、B、C分别表示:(A)仅有一个色子是3；(B)至少有一个色子是4；(C)色子上点数的总和为偶数。试计算事件A、B、C发生后所提供的信息量。（见课本2-1）
居住某地区的女孩子有20%是大学生，在女大学生中有60%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？
答：设随机变量X代表女孩子学历 X x1（是大学生） x2（不是大学生） P(X) 0.20 0.80 设随机变量Y代表女孩子身高 Y y1（身高>160cm） y2（身高<160cm） P(Y) 0.5 0.5
已知：在女大学生中有60%是身高160厘米以上的 即：
p(y1/x1)?0.6
p(x1)p(x1/y1)0.2?0.625??log?logbitp(y1)0.56
求：身高160厘米以上的某女孩是大学生的信息量
I(x1/y1)??logp(x1/y1)??log即：
一信源有4种输出符号码，Xi(i=0,1,2,3)，且p(Xi)=1/4。设信源向信宿发出X3，但由于传输中的干扰，接
收者收到X3后，认为其可信度为0.9。于是信源再次向信宿发送该符号(X3)，信宿无误收到。问信源在两次发送中发出的信息量各是多少?信宿在两次接收中得到的信息量又各是多少? 第一次收到的符号为y，第二次发送无误收到，发、收信息量相等，则 I(X3/y)=-log2p(Xi/y)=-log20.9=0.15(比特) 第一次发出的信息量为
I(X3)=-log2p(Xi)=-log20.25=2(比特)
第一次传送的信息量为两次发送信息量之差， 即 I(X3;y)=I(X3)-I(X3/y)=1.85(比特) 画出一个通信系统包括的各主要功能模块。
信 源 信源编加密编信道编信 道 噪声信道译解密编信源译信 宿 通信系统物理模型
一个无记忆信源，随机变量X∈{0；1}等概分布。 求(1)以单个消息出现的信源熵； (2)两个消息出现信源熵； (3)信源的平均符号熵 （1）H(X)??
（2）两个消息出现：(N=2的序列) 随机序列X?(00,01,10,11)
源 11p(a)logp(a)??log?2?1 ?ii22i11H(X)???p(ai)logp(ai)??log?4?2
44i（3）信源的平均符号熵：
H2(X)?11H(X)??2?1 22已知X，Y∈｛0，1｝，X，Y构成的联合概率为p(00)=p(11)=1/8，p(01)=p(10)=3/8，计算条件熵H(X/Y)。
H(X/Y)????p(xiyj)log2p(xi/yj)
i?1j?1nm??p(00)log2p(0/0)?p(01)log2(0/1)?p(10)log2(1/0)?p(11)log2p(1/1)
p(y1=0)=p(x1y1=00)+p(x2y1=10)=1/8+3/8=4/8=1/2 p(y2=1)=p(x1y2=01)+p(x2y2=11)=1/8+3/8=4/8=1/2 P(0/0)=p(x=0，y=0)=p(x1y1)/p(y1)=p(00)/p(0) =(1/8)∕(1/2)=1/4 = p(1/1) 同理有p(1/0)=p(0/1)=3/4
∴H(X/Y)
=-1/8㏒(1/4)-3/8㏒(3/4)-3/8㏒(3/4)-1/8㏒(1/4) =0.406（比特/符号）
2221111,,,,,,]，随机变量Y是X的函数，其分布为将X的4个101010101010102224最小的概率分布合并为一个: [,,,]
10101010设随机变量X的概率分布为[(1)显然H(X)＜log27，请解释原因； (2) 计算H(X)，H(Y)； (3)计算H(X/Y)并解释其结果。
1) H(X)＜log27，请解释原因
根据熵的极值性，当随机变量等概分布时，随机变量的熵最大。有7个
可能取值的随机变量的最大熵为Hmax（X）=log27，而随机变量X不是等概分布，所以H(X)＜log27。
(2)H(X)??p(x)log2p(x)??3??log210?2211log2?4?log2 101010106log22?3.322?0.6?2.722 10
2244log2?log2 1010101064?log210?log22?log24?3.322?0.6?0.8?1.922
1010有一离散平稳无记忆信源
(3)H(Y)??p(y)log2p(y)??3?aa2?X???1??p(X)????1,1???4?2a3?3?1?, ?p(ai)?1i?14??
求:这个信源的二次扩展信源的熵
解:求二次扩展信源。扩展信源是长度为2的消息序列。信源有3个不同的消息，每两个消息组成的不同排列共有3=9种，构成二次扩展信源的9个不同元素. p(ai)?p(ai1)p(ai2) (il，i2 =1，2，3; i=1，2?.9) X2信源 a1 a2 a3 a4 a5 a6 a7 a8 a9 的元素 相应的 a1a1 a1a2 a1a3 a2a1 a2a2 a2a3 a3a1 a3a2 a3a3 2
消息序列 概率p(ai) 1/4 1/8 1/8 1/8 1/16 1/16 1/8 1/16 1/16