-
关于相关信源的码率界限及其编码的评述
摘要
随着多媒体移动通信技术的快速
发展，
人们对信息可靠且有效的传输需求日
益增长，
但是由于受到无线带宽资源和多径衰落等因素的影响，
很难实现高速可
靠的数据传输。
要解决这一矛盾我们必须采用全新的通信理论及技术
。
本文从信
息论的角度对相关信源编码的相关理论进行了介绍，
包括单符号信源编码的理论
基础，相关信源的编码理论和码率界
限和其编码。
关键字：信源编码，相关信源编码，分布式信源
编码，
Slepian-
Wolf
编码理论，
Abstract
With the
development of multimedia mobile communication
technologies, the
demand
for
reliable
and
efficient
transmission
of
information
is
growing.
However,
due
to
the
impact
of
limited
wireless
bandwidth
resources,
multipath
fading
and
other
factors, it is difficult to achieve high-speed and
reliable data transmission. To
solve
this
problem
we
must
adopt
some
new
communication
theories
and
article makes an introduction to the related
theories of correlated
source
coding
fromthe
perspective
of
information-theoretic
security,
including
the
basic theory of single
symbol source coding and correlated source coding.
KEYWORD
：
Source
Coding
，
Correlated Source
Coding
，
Distributed Source
Coding
，
CodingTheory of
Slepian-Wolf
1.
引言
信源编码是一种以提高通信有效
性为目的而对信源符号进行的变换，
或者说
为了减少或消除信源
冗余度而进行的信源符号变换。
具体说，
就是针对信源输出
符号序列的统计特性来寻找某种方法，
把信源输出符号序列变换为最
短的码字序
列，
使后者的各码元所载荷的平均信息量最大，
同时又能保证无失真地恢复原来
的符号序列。
信源编码的作用之一是设法减少码元数目和降低码元速率，
即通常
所说的数据压缩；
作用之二是将信源的模拟信号转化成数字信号，
< br>以实现模拟信
号的数字化传输。最原始的信源编码就是莫尔斯电码，另外还有
ASCII
码和电报
码都是信源编码。但现
代通信应用中常见的信源编码方式有：
Huffman
编码、算
术编码、
L-Z
编码，这三种都是无损
编码，另外还有一些有损的编码方式。信源
编码的目标就是使信源减少冗余，
更加有效、
经济地传输，
最常见的应用形式就
是压缩。
而相关信源编码与传统信源编码
不同。
它一般采用信道码编码技术得以实现，
因而可以看作是一
种联合信源
-
信道编码技术。虽然分布式编码理论早在二十多<
/p>
年前就已经提出，
但
Slepian-W
olf
理论
[1]
和
< br>Wyner-Ziv
理论
[2]
只给出了信源编码的
理论根据，
并没有给出一种具体的实现方法
，
因此这方面的进展并不显著。
直到
近
几年，
研究者才找到实现分布式信源编码的可行方法，
发现了信
源编码和信道
编码的密切关系。
如果信道码能够渐近地接近信道
容量，
那么把它应用于分布式
信源编码就能渐近地接
Slepian-Wolf
理论极限，
Pradh
an
和
Ramchan
－
dran
提出
了分布式编码的实现方案
[3]
，
一些具体的实现方案陆续的提出
[4-6]
，
从理论上证明
了使用
Turbo
码可以接
Selp
ian-Wolf
编码效率
[6]
，<
/p>
并且证明了使用
LDPC
码可以达
到比
Turbo
码更好的效果
[7]
。
本文从信源编码
的基本理论出发，
介绍了相关信源的分布式编码的信息论基
础。
重点介绍了
Slepian-Wolf
理论即相关信源的码率界
限，对几种不同的编码方
式进行了简单介绍和评述。
2.
相关信源编码的理论
2.1
单符号信源编码
信源编码理论是信息
论的重要内容，
信源是多种多样的，
但信源符号之间具
有一定的相关性，
因此可以利用信源的冗余度来进行压缩，
通过编码让符号间解
除相关性，尽可能独立。或是压缩每个信源的平均比特数
，从而提高编码效率。
它使信源编码的具体设计和架构更加明确。
而香农第一定理明确的提出了信源编码的理论依据。即在无失真的信源编。
码当中，离散信源的熵为
H(X)
，对
n
次扩展信源进行信源编码，对任意给定的
?<
/p>
>0
，只要有码率：
R>H(X)+
?
那么当
n
足够大时，平均译码错误概率就无限接近于<
/p>
0
。这就是单符号离散
信源的编码原理。
由定理可得，
若想符号可以从码字中
无损的恢复出来，
信源熵
H(X)
是信
源实
现无失真编码的速率最小值。香农编码、
Fano
编码
Huffman
编码
DMS
的几个基
本的信源编码方法。
2.2
相关信源编码的理论
相关信源编码是
分布式信源编码的基本研究问题，
目前已经解决了相关信源
的可
达信息率问题，
虽然很多学者做出了努力，
但是关于具体码字的
设计和优化
还没有明确的答案。
20
世纪
70
年代，分布式信源编码
[8]
( Distributed Source Coding
, DSC )
初步形
成，它也可以称为是相关信源的信源编码
。
DSC
的理论基础是
Slepian
-Wolf
理论
和
Wyner-Ziv
理论组成而来。
S
lepian
和
Wolf
指出如果两个
信源有一定关联性，
若想实现信源的无损压缩则可以根据它们的信息熵计算出一个理论极
限，
我们称
之为
Slepian-
Wolf
界。
其中两个相关信源在分离状态下压缩编码，
仍可以达到互
相协作时的压缩效率。不久之后，
Wyner
和
Ziv
对无损压缩理
论做出了进一步研
究，并提出了有损压缩编码理论，得到类似的结果。它与传统的信源编
码不同，
传统的信源编码是编码端充分利用多个信源的冗余信息最大限度的进行压缩，<
/p>
而
Slepian-
Wolf
理论和
Wyner-Ziv
理
论的出现，
使人们意识到信源的冗余信息在译码
端也可以充分利
用，从而达到相同效果。
在传统的信源编码中，
由无失真信源编码定理而得，
只有当编码速率比信息
熵大时才能保证信息的正确传送。传统信源编码结构中，两个相关信源
X
，
Y
间能够相互通信，
通过对信源
X
和
Y
进行联合编码，
同样要实现无差错恢复出信
源，就必须保证编码和速率大于
X
，
Y
的联合熵
H(X
，
Y)
。图
1
给出了传统的信源
编码结构，其中编码端
X
，
Y
可以互相结合各自的信息，同时将信源
X
压缩到速
率为
H(X/Y)
< br>，信源
Y
以
H(Y)
的速率进行压缩，译码器收到
X
和
Y
的相关信息序列
后进行联合译码。
< br>
图
1
传统信源编码结构
当两个相关信源不
能互相通信时，
如下图
2
所示。
已知针对两个独立信源分
别用独立信道传送时，
若实现无损压缩编码，
每个信道的信息率必须大于各信源
的无
条件熵，即总信息率必须大于
H(X)
+H(Y)
。首先此处要满足这个基本条件。
但是
X
，
Y
有一定相关性，
S
lepian
和
Wolf
利用此相关性
进行了一定研究，指出
若数字信号
X
、
Y
满足条件概率分布
p(x
，
y)
，
如果
X
，
Y
在编码端不能互相
通信，
分别采取独立编码也可以达到
X
，
Y
互相通信联合编码的编码效率。只要在解码
端联合译码，则分
开
编码和
联
合编码
都
能正确解
码，效
率相同，这
即为
Slepi
an-Wolf
定理。
图
2
分布式信源编码结构
图
2
中两个分离的编码器分别对
X
，
Y
进行编码，码率设置为
Rx<
/p>
和
Ry
，而
在译
码处进行联合解码，
Slepian-Wolf
理论提出对于
互相关的两个离散随机信号
X
、
Y
，服从联合概率分布
p
（
< br>x
，
y
）
，那么在编码端得不到
Y
的情况下对
X
进行
编码可以取得编码效率和在编
码端得到
Y
的情况下对
X
进行编码的效率一样。
也
就是说，在编码端可以不需
要直接跟
Y
通信，
X
< br>最少也能以
H
（
X/Y
）比特编码，
-
-
-
-
-
-
-
-
-
上一篇：索尼相机使用说明书中的外语字
下一篇：常见珊瑚赏析