信息论与编码试卷09-10-1-A-答案

多少信息量。

杭州电子科技大学学生考试卷 （A） 卷

考试课程 课程号 学生姓名

信息论与编码

r1 = 2k 解：根据题意有 R =   0 .7

r 2 = 5k   w1 = 1 / 8 w2 = 1 / 4  ，W =   ， p( w1 / r1) = 0.8 0 .3  0.36   0.64

考试日期 教师号 任课教师 班级

成绩

由 p( w1) = p(r1) p ( w1 / r1) + p( r 2) p ( w1 / r 2) ⇒ p( w1 / r 2) = 4 / 15 所以 p( w2 / r 2) = 1 − p ( w1 / r 2) = 11 / 15 得知 5kΩ电阻的功耗为 1/4W，获得的自信息量为 −lb( p( w2 / r 2)) = 0.448bit

学号（8 位）

一、填空题（每空 2 分，共 32 分） 。

1. 在现代通信系统中，信源编码主要用于解决信息传输中的

有效性

，信道编码主要用 安全性 。  a1 三、 （18 分）已知 6 符号离散信源的出现概率为  1  2 a2 1 4 a3 1 8 a4 1 16 a5 1 32 a6  1  ，试计算它的  32 

于解决信息传输中的

可靠性

，加密编码主要用于解决信息传输中的

1.75bit/符号 。 2. 离散信源  X  =  x1 x 2 x 3 x 4  ，则信源的熵为  p ( x) 1 / 2 1 / 4 1 / 8 1 / 8     3. 对称 DMC 信道的输入符号数为 n，输出符号数为 m，信道转移概率矩阵为 pij，则该信

道的容量为 C = log m +

j =1

∑ pij log pij 。

n

m

熵、Huffman 编码和费诺编码的码字、平均码长及编码效率。

解：该离散信源的熵为 H ( x) = − ∑ pi lb( pi ) =

i =1 6

4. 采用 m 进制编码的码字长度为 Ki，码字个数为 n，则克劳夫特不等式为 ∑ m − Ki ≤ 1 ，

i =1

1 1 1 1 1 1 lb 2 + lb 4 + lb8 + lb16 + lb32 + lb32 2 4 8 16 32 32

=1.933 bit/符号 Huffman 编码为：

它是判断

唯一可译码存在

的充要条件。 前向纠错 、 反馈重发 和 混合纠错 。 。

5. 差错控制的基本方式大致可以分为

符号 概率 a1 0.5 a2 0.25 a3 0.125 a4 0.0625 a5 0.03125 1 0.0625 0 0 平均码长 l = 1 0.125 0 1 0.25 0 1 0.5 0 1 1.0

码字 1 01 001 0001 00001 00000

6. 如果所有码字都配置在二进制码树的叶节点，则该码字为

唯一可译码

7. 齐次马尔可夫信源的一步转移概率矩阵为 P，稳态分布为 W，则 W 和 P 满足的方程为 W=WP

。

8. 设某信道输入端的熵为 H(X)，输出端的熵为 H(Y)，该信道为无噪有损信道，则该信

道的容量为

MAX H（Y）

。 等概_____分布情况下，信

9. 某离散无记忆信源 X，其符号个数为 n，则当信源符号呈

a6 0.03125

源熵取最大值___log（n） 。

10. 在信息处理中，随着处理级数的增加，输入消息和输出消息之间的平均互信息量趋于

1 1 1 1 1 1 * 1 + * 2 + * 3 + * 4 + * 5 + * 5 = 1.933码元 / 符号 2 4 8 16 32 32

H ( x) l = 100%

减少

。

编码效率为 η =

二、 12 分）设有一批电阻，按阻值分 70%是 2kΩ，30%是 5kΩ；按功耗分 64%是 1/8W， （

36%是 1/4W。现已知 2kΩ电阻中 80%是 1/8W，假如

得知 5kΩ电阻的功耗为 1/4W，问获得

第1页 共3页

费诺编码为：

符号 概率 编码过程 码字 a1 0.5 1 1 a2 0.25 1 01 a3 0.125 1 001 a4 0.0625 0 1 0001 0 a5 0.03125 0 1 00001 0 a6 0.03125 0 00000 1 1 1 1 1 1 平均码长 l = * 1 + * 2 + * 3 + * 4 + * 5 + * 5 = 1.933码元 / 符号 2 4 8 16 32 32

编码效率为 η =

H ( x) l = 100%

四、 14 分）在图片传输中，每帧约有 2 106 个像素，为了能很好地重现图像，每像素能 （ 分 256 个亮度电平，并假设亮度电平等概分布。试计算每分钟传送两帧图片所需信道的带 宽（信噪功率比为 30dB） 。

解： 每个像素点对应的熵 H = log 2 n = log 2 256 = 8 bit/点 2 帧图片的信息量 I = 2 * N * H = 2 * 2 * 10 6 * 8 = 3.2 * 10 7 bit 单位时间需要的信道容量 C t =

I 3.2 * 10 7 = = 5.3 * 10 5 bit / s t 60

Ct 5.3 * 10 5 = ≈ 5.35 * 10 4 Hz log 2 (1 + SNR) log 2 (1 + 1000)

由香农信道容量公式 C t = W log 2 (1 + SNR) ⇒ W =

第2页 共3页

五、 （8 分）求右图所示的信道的容量及达到信道容量时的输入 分布。

解：

X a1 1/2 a2 1/2 a3

1

Y b1

 U1 六、 16 分） （ 设离散信源  U  =  1    p (u )

 p 2

U2 1 (1 − p ) 2

U3 1 (1 − p ) 2

U4  1 （其中 p ≤ ） 和接收变量 V={v1， 1  2 p 2 

0   1 1 / 2 1 / 2 由右图可知，该信道的转移概率矩阵为 P =    0 1   

可以看到，当该信道的输入分布取 P ( X ) = 

2

1

b2

b2   a1 a 2 a 3   b1  时， P(Y ) = 1 / 2 1 / 2 1 / 2 0 1 / 2  

= lb 2 ， 同理可得 I ( X = a 3 ; Y ) = lb 2

pi ≠ 0 pi = 0

 0 0 .5 0 .5 1   0 .5 0 1 0 .5    ，求 Dmin，Dmax、R（Dmin） R（Dmax） v2，v3，v4}，失真矩阵为 D = 、 、  0 .5 1 0 0 .5     1 0 .5 0 .5 0  达到 Dmin 和 Dmax 时的编码器转移概率矩阵 P。

解： 由于失真矩阵每行每列都只有一个最小值“0” ，所以可以达到 Dmin=0，此时对应的信道转移概率矩阵

此时 I ( X = a1 ; Y ) =

∑ p(b

j =1

j

/ a1 ) log

p(b j / a1 ) p (b j )

 I ( x ; Y ) = lb 2 而 I ( X = a 2 ; Y ) = 0 ，此分布满足  i  I (x i ;Y ) = 0

。因此这个信道的容量为

1 0 应使得信源的每个输出经过信道转移后失真为 0，即选择 P =  0  0

R（Dmin）= R（0）= H(U) = 1-p*log p –(1-p)*log(1-p) = 1+H(p)。 Dmax=

0 0 0 1 0 0 。 0 1 0  0 0 1

 a1 a 2 a 3  C=lb2=1（bit/符号） ，而达到信道容量的输入分布可取 P ( X ) =  。 1 / 2 0 1 / 2

min ∑ p d

j =1, 2 , 3, 4 i =1 i

4

ij

，由于 pi 和d ij 具有对称性，每个和式结果都为 1/2，因此 Dmax= 1/2，对应的转

1 1 移概率矩阵可取任意 1 列为全 1，如 P =  1  1

0 0 0 0 0 0  ，此时 R（Dmax）= R（1/2）= 0。 0 0 0  0 0 0

第3页 共3页

多少信息量。

杭州电子科技大学学生考试卷 （A） 卷

考试课程 课程号 学生姓名

信息论与编码

r1 = 2k 解：根据题意有 R =   0 .7

r 2 = 5k   w1 = 1 / 8 w2 = 1 / 4  ，W =   ， p( w1 / r1) = 0.8 0 .3  0.36   0.64

考试日期 教师号 任课教师 班级

成绩

由 p( w1) = p(r1) p ( w1 / r1) + p( r 2) p ( w1 / r 2) ⇒ p( w1 / r 2) = 4 / 15 所以 p( w2 / r 2) = 1 − p ( w1 / r 2) = 11 / 15 得知 5kΩ电阻的功耗为 1/4W，获得的自信息量为 −lb( p( w2 / r 2)) = 0.448bit

学号（8 位）

一、填空题（每空 2 分，共 32 分） 。

1. 在现代通信系统中，信源编码主要用于解决信息传输中的

有效性

，信道编码主要用 安全性 。  a1 三、 （18 分）已知 6 符号离散信源的出现概率为  1  2 a2 1 4 a3 1 8 a4 1 16 a5 1 32 a6  1  ，试计算它的  32 

于解决信息传输中的

可靠性

，加密编码主要用于解决信息传输中的

1.75bit/符号 。 2. 离散信源  X  =  x1 x 2 x 3 x 4  ，则信源的熵为  p ( x) 1 / 2 1 / 4 1 / 8 1 / 8     3. 对称 DMC 信道的输入符号数为 n，输出符号数为 m，信道转移概率矩阵为 pij，则该信

道的容量为 C = log m +

j =1

∑ pij log pij 。

n

m

熵、Huffman 编码和费诺编码的码字、平均码长及编码效率。

解：该离散信源的熵为 H ( x) = − ∑ pi lb( pi ) =

i =1 6

4. 采用 m 进制编码的码字长度为 Ki，码字个数为 n，则克劳夫特不等式为 ∑ m − Ki ≤ 1 ，

i =1

1 1 1 1 1 1 lb 2 + lb 4 + lb8 + lb16 + lb32 + lb32 2 4 8 16 32 32

=1.933 bit/符号 Huffman 编码为：

它是判断

唯一可译码存在

的充要条件。 前向纠错 、 反馈重发 和 混合纠错 。 。

5. 差错控制的基本方式大致可以分为

符号 概率 a1 0.5 a2 0.25 a3 0.125 a4 0.0625 a5 0.03125 1 0.0625 0 0 平均码长 l = 1 0.125 0 1 0.25 0 1 0.5 0 1 1.0

码字 1 01 001 0001 00001 00000

6. 如果所有码字都配置在二进制码树的叶节点，则该码字为

唯一可译码

7. 齐次马尔可夫信源的一步转移概率矩阵为 P，稳态分布为 W，则 W 和 P 满足的方程为 W=WP

。

8. 设某信道输入端的熵为 H(X)，输出端的熵为 H(Y)，该信道为无噪有损信道，则该信

道的容量为

MAX H（Y）

。 等概_____分布情况下，信

9. 某离散无记忆信源 X，其符号个数为 n，则当信源符号呈

a6 0.03125

源熵取最大值___log（n） 。

10. 在信息处理中，随着处理级数的增加，输入消息和输出消息之间的平均互信息量趋于

1 1 1 1 1 1 * 1 + * 2 + * 3 + * 4 + * 5 + * 5 = 1.933码元 / 符号 2 4 8 16 32 32

H ( x) l = 100%

减少

。

编码效率为 η =

二、 12 分）设有一批电阻，按阻值分 70%是 2kΩ，30%是 5kΩ；按功耗分 64%是 1/8W， （

36%是 1/4W。现已知 2kΩ电阻中 80%是 1/8W，假如

得知 5kΩ电阻的功耗为 1/4W，问获得

第1页 共3页

费诺编码为：

符号 概率 编码过程 码字 a1 0.5 1 1 a2 0.25 1 01 a3 0.125 1 001 a4 0.0625 0 1 0001 0 a5 0.03125 0 1 00001 0 a6 0.03125 0 00000 1 1 1 1 1 1 平均码长 l = * 1 + * 2 + * 3 + * 4 + * 5 + * 5 = 1.933码元 / 符号 2 4 8 16 32 32

编码效率为 η =

H ( x) l = 100%

四、 14 分）在图片传输中，每帧约有 2 106 个像素，为了能很好地重现图像，每像素能 （ 分 256 个亮度电平，并假设亮度电平等概分布。试计算每分钟传送两帧图片所需信道的带 宽（信噪功率比为 30dB） 。

解： 每个像素点对应的熵 H = log 2 n = log 2 256 = 8 bit/点 2 帧图片的信息量 I = 2 * N * H = 2 * 2 * 10 6 * 8 = 3.2 * 10 7 bit 单位时间需要的信道容量 C t =

I 3.2 * 10 7 = = 5.3 * 10 5 bit / s t 60

Ct 5.3 * 10 5 = ≈ 5.35 * 10 4 Hz log 2 (1 + SNR) log 2 (1 + 1000)

由香农信道容量公式 C t = W log 2 (1 + SNR) ⇒ W =

第2页 共3页

五、 （8 分）求右图所示的信道的容量及达到信道容量时的输入 分布。

解：

X a1 1/2 a2 1/2 a3

1

Y b1

 U1 六、 16 分） （ 设离散信源  U  =  1    p (u )

 p 2

U2 1 (1 − p ) 2

U3 1 (1 − p ) 2

U4  1 （其中 p ≤ ） 和接收变量 V={v1， 1  2 p 2 

0   1 1 / 2 1 / 2 由右图可知，该信道的转移概率矩阵为 P =    0 1   

可以看到，当该信道的输入分布取 P ( X ) = 

2

1

b2

b2   a1 a 2 a 3   b1  时， P(Y ) = 1 / 2 1 / 2 1 / 2 0 1 / 2  

= lb 2 ， 同理可得 I ( X = a 3 ; Y ) = lb 2

pi ≠ 0 pi = 0

 0 0 .5 0 .5 1   0 .5 0 1 0 .5    ，求 Dmin，Dmax、R（Dmin） R（Dmax） v2，v3，v4}，失真矩阵为 D = 、 、  0 .5 1 0 0 .5     1 0 .5 0 .5 0  达到 Dmin 和 Dmax 时的编码器转移概率矩阵 P。

解： 由于失真矩阵每行每列都只有一个最小值“0” ，所以可以达到 Dmin=0，此时对应的信道转移概率矩阵

此时 I ( X = a1 ; Y ) =

∑ p(b

j =1

j

/ a1 ) log

p(b j / a1 ) p (b j )

 I ( x ; Y ) = lb 2 而 I ( X = a 2 ; Y ) = 0 ，此分布满足  i  I (x i ;Y ) = 0

。因此这个信道的容量为

1 0 应使得信源的每个输出经过信道转移后失真为 0，即选择 P =  0  0

R（Dmin）= R（0）= H(U) = 1-p*log p –(1-p)*log(1-p) = 1+H(p)。 Dmax=

0 0 0 1 0 0 。 0 1 0  0 0 1

 a1 a 2 a 3  C=lb2=1（bit/符号） ，而达到信道容量的输入分布可取 P ( X ) =  。 1 / 2 0 1 / 2

min ∑ p d

j =1, 2 , 3, 4 i =1 i

4

ij

，由于 pi 和d ij 具有对称性，每个和式结果都为 1/2，因此 Dmax= 1/2，对应的转

1 1 移概率矩阵可取任意 1 列为全 1，如 P =  1  1

0 0 0 0 0 0  ，此时 R（Dmax）= R（1/2）= 0。 0 0 0  0 0 0

第3页 共3页