-
【例
1.2
】
设有一个二进制离散信源（
0
，
1
）
，每个符号独立发送。
（
1
）若
“
0
”
、
“
1
”
等概出现，求每个符号的信息量和平均信息量（熵）
；
（
2
）若
“
0
”
出现概率为
1/3
，重复（
1
）
。
解：
（
1
）
< br>
由于
“<
/p>
0
”
、
“
1
”
等概出现，因此
P
(
0
)
?
P
(
1
)
?
1
/
2
其信息量为
I
0
?
I
1
?
log
1
2
P
(
x
< br>)
?
log
2
< br>2
?
1
(
bit
)
平均信息量为：
M
< br>H
(
x
)
?
?
?
P
(
x
i
)
log
i
?
1
2
P
(
x
i
)
?
P
(
0
)
I
0
< br>?
P
(
1
)
I
1
?
1
(
bit
/
符
号
)
（
2
）
若
P
(
0
)
?
1
/
3
则
P
(
1
)
< br>?
1
?
P
(
0
)
?
2
/
3
因此，
“
0
”
、
“
1
”
的信息量分
别为：
I
0
?
log
1
2
P
(
0
)
1<
/p>
?
log
2
3<
/p>
?
1
.
584<
/p>
(
bit
)
<
/p>
I
1
?
log<
/p>
2
P
(
1
)
?
log
2
(
3
/
2
)
?
0
.
585
(
bit
)
平均信息量为：
M<
/p>
H
(
x
)
?
?
?
P
(
x
i
)
log
i
?
1
2
P
(
x
i
)
?
P
(
0
)
I
0<
/p>
?
P
(
1
)
I
1
?
0
.
918
(
bit
/
符号
)
【例
1.3
】
国际摩尔斯电码用
“
点
”
和
“
划
”
的序列发送英文字母，
“
划
”
用持续
3
单位的
电流
脉冲表示，
“
点
< br>”
用持续
1
单位的电流脉冲表示
；
且
“
划
”<
/p>
出现的概率是
“
点
”
出现概率的
1/3
。
（
< br>1
）计算
“
点
< br>”
和
“
划
”
的信息量；
（
2
）计算
“
点
”
和
“
划
”
的平均信息
量。
解：
（
1
）设
“
点
”
的概率用
P
1
表示；
“
划
”
的概率用
P
2
表示。
< br>
已知
P<
/p>
2
?
P
1
/
3
，且
P
2
?
P
1
?
1
所以
P
2
?
1
/
4
，
P
1
?
3
/
4
所以
I
1
?
?
log
I
2
?
?
log
2
2
P
1
?
0
.
415
(
bit
)
P
2
?
2
(
bit
)
（
2
）根据（
1
）可以得到平均信息量为：
H
?
P
1
I
1
?
P
2
I
2
?<
/p>
0
.
81
(
bit
/
符号
)<
/p>
【例
1.5
】
设某信息源的输出由
128
个不同的符号组成，其中
16
个出现的概率为
1/32
，其
余
112
个的出现概率为
1/224
。信息源每秒发出
1000
个符号，且每个符号彼此独立。
（
1
）计算该信息源的平均比特速率。
（
2
）传送
1h
的信息量。
解：
（
1
）每个符号的平均信息量可以表示为：
M
H
?
?
i
?
1
P<
/p>
(
x
i
)
log
1
2
P
(
x
i
)
?
16
?
1
32
log
2
32
?
112
?
1
224
log
2
224
?
6
.
405
(
bit
/
符
号
)
因为符号速率
< br>R
B
?
1000
(
符号
/
s
< br>)
所以平均比特速率
R
b
?
R
B
?
H
?
6
.
405
?
10
(
bit
/
s
)
3
-
-
-
-
-
-
-
-
-
上一篇：Tonge twister
下一篇：阅读理解作业1