《信息论基础》参考答案
一、填空题（共15分，每空1分）
1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。 3、三进制信源的最小熵为0，最大熵为log 23
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= Hr (S)）。 5、当R=C或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。 7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为σ2f (
x )-x 22σ2
1
时，信源具有最大熵，其值为值log 2πe σ2。
2
9、在下面空格中选择填入数学符号“=, ≥, ≤, 〉”或“〈”
（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。
H (X 1X 2X 3)H (X 1X 2)
H X =（2）H 2(X )= ≥3()
32
（3）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)
⎧1
⎪,2≤x ≤6
Q f (x )=⎨4
⎪⎩0, 其它
∴相对熵h (x )=-⎰f (x )log f (x )dx
26
=2bit/自由度
该信源的绝对熵为无穷大。 三、（16分）已知信源
⎡S ⎤⎡s 1s 2s 3s 4s 5s 6⎤⎢P ⎥=⎢0.20.20.20.20.10.1⎥ ⎣⎦⎣⎦
（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ; （4分）
（3）计算编码信息率R '; （2分）
（4）计算编码后信息传输率R ; （2分） （5）计算编码效率η。（2分）
（1）
S 1S 2S 3S 4S 5S 6
0.20.20.20.20.10.1
010
10
1
1
1
1.00
编码结果为：
S 1=00S 2=01S 3=100S 4=101 S 5=110S 6=111
（2）L =∑P i ρi =0.4⨯2+0.6⨯3=2.6码元
i =16
（3）R '=log r=2.6（4）R =（5）η=
H (S )=
2.53
=0.973其中，H (S )=H (0.2,0.2,0.2,0.2,0.1,0.1)=2.53 2.6
H (S )log r
=
H (S )=0.973
评分：其他正确的编码方案：1，要求为即时码 2，平均码长最短
四、（10分）某信源输出A 、B 、C 、D 、E 五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。如果符号的码元宽度为0.5μs 。计算： （1）信息传输速率R t 。（5分）
（2）将这些数据通过一个带宽为B=2000kHz的加性白高斯噪声信道传输，噪声的单边功率谱密度为
n 0=10-6W
解：
。试计算正确传输这些数据最少需要的发送功率P 。（5分）
1
（1）R t =⎡H (X )-H X ⎤
⎦t ⎣
()
1111
H (X )=-log ⨯4-log
882211
=log8+log 22231
=log 2+log 2 22=2log 2=2bit 2bit R t ==4⨯106bps
0.5μs
P ⎛⎫
4⨯106=2⨯106log 1+-6
6⎪
⎝10⨯2⨯10⎭
P
（2）1+=22
2P =6W 五、(16分) 一个一阶马尔可夫信源，转移概率为
21
P (S 1|S 1)=, P (S 2|S 1)=, P (S 1|S 2)=1, P (S 2|S 2)=0。
33
(1) 画出状态转移图。(4分)
(2) 计算稳态概率。(4分)
(3) 计算马尔可夫信源的极限熵。(4分)
(4) 计算稳态下H 1, H 2及其对应的剩余度。(4分) 解：(1)
1(2)由公式P (S i )=
2
∑P (S |S )P (S )
i
j
j
j =1
2
2⎧
P S =P S |S P S =P (S 1)+P (S 2)()()()∑11i i ⎪3i =1⎪
2
⎪1
P (S 2)=∑P (S 2|S i )P (S i )=P (S 1)有⎨
3i =1⎪
⎪P (S 1)+P (S 2)=1⎪⎩
3⎧
P S =()1⎪⎪4得⎨
1⎪P (S )=2
⎪⎩4
(3)该马尔可夫信源的极限熵为：
H ∞=-∑∑P (S i )P (S j |S i )log P (S j |S i )
i =1j =1
22
322311=-⨯⨯log -⨯⨯log
43343311
=⨯0.578+⨯1.59924=0.681bit 符号=0.472nat 符号=0.205hart 符号
(4)在稳态下：
311⎫⎛3
=-∑P (x i )log P (x i )=- ⨯log +⨯log ⎪=0.811bit 符号
444⎭⎝4i =1
2
H 2=H ∞=0.205hart =0.472nat 符号=0.681bit 符号
对应的剩余度为
η1=1-
H 10.811
=1-=0.189 H 0⎛1⎛1⎫1⎛1⎫⎫
- log ⎪+log ⎪⎪
⎝2⎭2⎝2⎭⎭⎝2H 20.681
=1-=0.319 H 0⎛1111⎫⎛⎫⎛⎫
- log ⎪+log ⎪⎪
⎝2⎭2⎝2⎭⎭⎝2
X
η2=1-
六、设有扰信道的传输情况分别如图所示。试求这种信道的信道容量。
Y
解：信道传输矩阵如下
P Y |X
⎡1
⎢2⎢⎢0⎢=⎢⎢0⎢⎢1⎢⎣2
121200
012120
⎤0⎥⎥0⎥⎥ 1⎥⎥2⎥1⎥⎥2⎦
可以看出这是一个对称信道，L=4,那么信道容量为
⎛11⎫
C =log 4-H , ,0,0⎪
⎝22⎭
=log L +∑p (y j |x i )log p (y j |x i )
j =1L
11
=log 4+2⨯log
22
=1bit
七、(16分) 设X 、Y 是两个相互独立的二元随机变量，其取0或1的概率相等。定义另一个二元随机变量Z=XY(一般乘积) 。试计算 (1) H (X ), H (Z ); (2) H (XY ), H (XZ ); (3) H (X |Y ), H (Z |X ); (4) I (X ; Y ), I (X ; Z ); 解：(1)
⎛11⎫
H (X )=H , ⎪=1bit
⎝22⎭⎛31⎫
H (2)=H , ⎪=0.8113bit
⎝44⎭
(2) H (XY )=H (X )+H (Y )=1+1=2bit 对
11⎛11⎫
H (XZ )=H (X )+H (Z |X )=1+H (1,0)+H , ⎪=1.5bit 对
22⎝22⎭
(3) H (X |Y )=H (X )=1bit
H (Z |X )=
11⎛11⎫
H (1,0)+H , ⎪=0.5bit 22⎝22⎭
(4) I (X , Y )=H (Y )-H (Y |X )=H (Y )-H (Y )=0
I (X , Z )=H (Z )-H (Z |X )=0.8113-0.5=0.3113bit
八、(10分) 设离散无记忆信源的概率空间为⎢
⎡X ⎤⎡x 1x 2⎤
，通过干扰信道，信道输出端的接收符号集=⎢⎥⎥
⎣P ⎦⎣0.80.2⎦
为Y =[y 1, y 2]，信道传输概率如下图所示。
x 1
y 1
x 2
y 2
(1) 计算信源X 中事件x 1包含的自信息量； (2) 计算信源X 的信息熵； (3) 计算信道疑义度H (X |Y )； (4) 计算噪声熵H (Y |X )；
(5) 计算收到消息Y 后获得的平均互信息量。 解：
(1) I (x 1)=-log0.8=0.322bit =0.0969hart =0.223nat
(2) H (X )=H (0.8,0.2)=0.722bit 符号=0.5nat 符号=0.217hart 符号 (3)转移概率：
联合分布：
⎛2231⎫
H (XY )=H , , , ⎪
⎝3152020⎭=1.404bit
=0.973nat 符号=0.423hart 符号
H (Y )=H (49/60,11/60)=0.687bit 符号=0.476nat 符号=0.207hart 符号 H (X |Y )=H (XY )-H (Y )=0.717bit 符号=0.497nat 符号=0.216hart 符号
(4) H (Y |X )=H (XY )-H (X )=0.682bit 符号=0.473nat =0.205hart 符号 (5) I (X ; Y )=H (X )-H (X |Y )=0.00504bit 符号=0.00349nat 符号=0.00152hart 符号
《信息论基础》参考答案
一、填空题（共15分，每空1分）
1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。 3、三进制信源的最小熵为0，最大熵为log 23
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= Hr (S)）。 5、当R=C或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。 7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为σ2f (
x )-x 22σ2
1
时，信源具有最大熵，其值为值log 2πe σ2。
2
9、在下面空格中选择填入数学符号“=, ≥, ≤, 〉”或“〈”
（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。
H (X 1X 2X 3)H (X 1X 2)
H X =（2）H 2(X )= ≥3()
32
（3）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)
⎧1
⎪,2≤x ≤6
Q f (x )=⎨4
⎪⎩0, 其它
∴相对熵h (x )=-⎰f (x )log f (x )dx
26
=2bit/自由度
该信源的绝对熵为无穷大。 三、（16分）已知信源
⎡S ⎤⎡s 1s 2s 3s 4s 5s 6⎤⎢P ⎥=⎢0.20.20.20.20.10.1⎥ ⎣⎦⎣⎦
（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ; （4分）
（3）计算编码信息率R '; （2分）
（4）计算编码后信息传输率R ; （2分） （5）计算编码效率η。（2分）
（1）
S 1S 2S 3S 4S 5S 6
0.20.20.20.20.10.1
010
10
1
1
1
1.00
编码结果为：
S 1=00S 2=01S 3=100S 4=101 S 5=110S 6=111
（2）L =∑P i ρi =0.4⨯2+0.6⨯3=2.6码元
i =16
（3）R '=log r=2.6（4）R =（5）η=
H (S )=
2.53
=0.973其中，H (S )=H (0.2,0.2,0.2,0.2,0.1,0.1)=2.53 2.6
H (S )log r
=
H (S )=0.973
评分：其他正确的编码方案：1，要求为即时码 2，平均码长最短
四、（10分）某信源输出A 、B 、C 、D 、E 五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。如果符号的码元宽度为0.5μs 。计算： （1）信息传输速率R t 。（5分）
（2）将这些数据通过一个带宽为B=2000kHz的加性白高斯噪声信道传输，噪声的单边功率谱密度为
n 0=10-6W
解：
。试计算正确传输这些数据最少需要的发送功率P 。（5分）
1
（1）R t =⎡H (X )-H X ⎤
⎦t ⎣
()
1111
H (X )=-log ⨯4-log
882211
=log8+log 22231
=log 2+log 2 22=2log 2=2bit 2bit R t ==4⨯106bps
0.5μs
P ⎛⎫
4⨯106=2⨯106log 1+-6
6⎪
⎝10⨯2⨯10⎭
P
（2）1+=22
2P =6W 五、(16分) 一个一阶马尔可夫信源，转移概率为
21
P (S 1|S 1)=, P (S 2|S 1)=, P (S 1|S 2)=1, P (S 2|S 2)=0。
33
(1) 画出状态转移图。(4分)
(2) 计算稳态概率。(4分)
(3) 计算马尔可夫信源的极限熵。(4分)
(4) 计算稳态下H 1, H 2及其对应的剩余度。(4分) 解：(1)
1(2)由公式P (S i )=
2
∑P (S |S )P (S )
i
j
j
j =1
2
2⎧
P S =P S |S P S =P (S 1)+P (S 2)()()()∑11i i ⎪3i =1⎪
2
⎪1
P (S 2)=∑P (S 2|S i )P (S i )=P (S 1)有⎨
3i =1⎪
⎪P (S 1)+P (S 2)=1⎪⎩
3⎧
P S =()1⎪⎪4得⎨
1⎪P (S )=2
⎪⎩4
(3)该马尔可夫信源的极限熵为：
H ∞=-∑∑P (S i )P (S j |S i )log P (S j |S i )
i =1j =1
22
322311=-⨯⨯log -⨯⨯log
43343311
=⨯0.578+⨯1.59924=0.681bit 符号=0.472nat 符号=0.205hart 符号
(4)在稳态下：
311⎫⎛3
=-∑P (x i )log P (x i )=- ⨯log +⨯log ⎪=0.811bit 符号
444⎭⎝4i =1
2
H 2=H ∞=0.205hart =0.472nat 符号=0.681bit 符号
对应的剩余度为
η1=1-
H 10.811
=1-=0.189 H 0⎛1⎛1⎫1⎛1⎫⎫
- log ⎪+log ⎪⎪
⎝2⎭2⎝2⎭⎭⎝2H 20.681
=1-=0.319 H 0⎛1111⎫⎛⎫⎛⎫
- log ⎪+log ⎪⎪
⎝2⎭2⎝2⎭⎭⎝2
X
η2=1-
六、设有扰信道的传输情况分别如图所示。试求这种信道的信道容量。
Y
解：信道传输矩阵如下
P Y |X
⎡1
⎢2⎢⎢0⎢=⎢⎢0⎢⎢1⎢⎣2
121200
012120
⎤0⎥⎥0⎥⎥ 1⎥⎥2⎥1⎥⎥2⎦
可以看出这是一个对称信道，L=4,那么信道容量为
⎛11⎫
C =log 4-H , ,0,0⎪
⎝22⎭
=log L +∑p (y j |x i )log p (y j |x i )
j =1L
11
=log 4+2⨯log
22
=1bit
七、(16分) 设X 、Y 是两个相互独立的二元随机变量，其取0或1的概率相等。定义另一个二元随机变量Z=XY(一般乘积) 。试计算 (1) H (X ), H (Z ); (2) H (XY ), H (XZ ); (3) H (X |Y ), H (Z |X ); (4) I (X ; Y ), I (X ; Z ); 解：(1)
⎛11⎫
H (X )=H , ⎪=1bit
⎝22⎭⎛31⎫
H (2)=H , ⎪=0.8113bit
⎝44⎭
(2) H (XY )=H (X )+H (Y )=1+1=2bit 对
11⎛11⎫
H (XZ )=H (X )+H (Z |X )=1+H (1,0)+H , ⎪=1.5bit 对
22⎝22⎭
(3) H (X |Y )=H (X )=1bit
H (Z |X )=
11⎛11⎫
H (1,0)+H , ⎪=0.5bit 22⎝22⎭
(4) I (X , Y )=H (Y )-H (Y |X )=H (Y )-H (Y )=0
I (X , Z )=H (Z )-H (Z |X )=0.8113-0.5=0.3113bit
八、(10分) 设离散无记忆信源的概率空间为⎢
⎡X ⎤⎡x 1x 2⎤
，通过干扰信道，信道输出端的接收符号集=⎢⎥⎥
⎣P ⎦⎣0.80.2⎦
为Y =[y 1, y 2]，信道传输概率如下图所示。
x 1
y 1
x 2
y 2
(1) 计算信源X 中事件x 1包含的自信息量； (2) 计算信源X 的信息熵； (3) 计算信道疑义度H (X |Y )； (4) 计算噪声熵H (Y |X )；
(5) 计算收到消息Y 后获得的平均互信息量。 解：
(1) I (x 1)=-log0.8=0.322bit =0.0969hart =0.223nat
(2) H (X )=H (0.8,0.2)=0.722bit 符号=0.5nat 符号=0.217hart 符号 (3)转移概率：
联合分布：
⎛2231⎫
H (XY )=H , , , ⎪
⎝3152020⎭=1.404bit
=0.973nat 符号=0.423hart 符号
H (Y )=H (49/60,11/60)=0.687bit 符号=0.476nat 符号=0.207hart 符号 H (X |Y )=H (XY )-H (Y )=0.717bit 符号=0.497nat 符号=0.216hart 符号
(4) H (Y |X )=H (XY )-H (X )=0.682bit 符号=0.473nat =0.205hart 符号 (5) I (X ; Y )=H (X )-H (X |Y )=0.00504bit 符号=0.00349nat 符号=0.00152hart 符号