-
第三章
自适应数字滤波器
3.1
引言
3.2
自适应横向滤波器
3.3
自适应格型滤波器
3.4
最小二乘自适应滤波
3.5
自适应滤波的应用
3.1
引
言
（维纳滤波器的特点与不足）自适
应数字滤波器和维纳滤波器一样，都
是符合
某种准则
的最佳滤波器。维纳滤波器的参数是固定的，适用于平稳
随机信号的最佳滤
波，但要设计这种滤波器，必须要求输入信号是平稳的，
且具有信号和噪声统计分布规律
的先验知识。在实际中，常常无法知道这
些
先验知识
，且
统计特性还会变化
，因此实现最佳滤波是困难
的。
自适应滤波器的特点是：滤波器的参数可以自动地按照某
种准则调整
到最佳滤波；实现时不需要任何关于信号和噪声的先验统计知识，尤其当
输入统计特性变化时，自适应滤波器都能调整自身的参数来满足最佳滤波
的需要。常常将这种输入统计特性未知，调整自身的参数到最佳的过程称
为“
学习过程
”
。
将输入信号统计特性变化时，调整自身的参数到最佳的
过程称为“<
/p>
跟踪过程
”
，因此自适应滤波器具有学习
和跟踪的性能。由于自
适应滤波器有这些特点，
自
1967
年威德诺
(B. Widrow)
等人提出自适应滤波
器以来，在短短十几年中，自适应滤波器发展很快，
已广泛地用于系统模
型识别，通信信道的自适应均衡，雷达与声纳的波束形成，减少或消
除心
电图中的周期干扰，噪声中信号的检测、跟踪、增强和线性预测等。
本章主要介绍自适应横向滤波器、自适应格型滤波器、最小二乘自适
应滤波器以及自适应滤波器的应用举例。
3.2
自适应横向滤波器
自适应滤波器的原理框图如图
3.2.1
所示，
图中
x
(
n
)
称为输入信号，
y
(
< br>n
)
是输出信号，
d
(
n
)
称为期望信号，<
/p>
或者称为参考信号、
训练信号，
e
(
n
)
是误差信号。
其中
x
(
n
)
y
(
n
)
－
e
(
n
)
＋
d
(
n
)
图
3.2.1
自适应滤波器原理图
e
(
n
)
?
< br>d
(
n
)
?
y
(
n
)
自适应滤波器
H
(
z
)
的系数根据误差信
号，通过一定的自适应算法，不断地进
行改变，使输出
< br>y
(
n
)
最接近期望信号
H
(
z
)
d
(
n
< br>)
。这里暂时假定
d
(
n
)
是可以利用的，实际中，
< br>d
(
n
)
要根据具体情况进
行选取，能够选到一个合适的信号作为期望信号，是设计自适应滤波
器的
一项有创意的工作。如果真正的
d
(
n
)
可以获得，我们将不需要做任何
自适
应滤波器。
自适应线性组合器和
自适应
FIR
滤波器是学习自适应信号处理的基础，
它们都是非递归型的，相对地说，容易分析和理解，我们首先由此展开对
自
适应滤波基础理论的讨论。
3.2.1
自适应线性组合器和自适应
FIR
滤波器
< br>1.
自适应滤波器的矩阵表示式
图
3.2.2
表示的是一个有
N<
/p>
个
权系数的自适应线性组合器，图
中
N
个权系数
w
1<
/p>
,
w
2
,
L
,
w
N
受误
差信号
e
j
的自适应控制。对于固
定的权系数，输出
y
j
是输入信号
x
1
j
x
2
j
w
1
?
-
w
2
y
j
－
＋
d
< br>j
e
j
x
Nj
w
N
图
3.2.2
自适应线性组合器
x
1
j
,
x
2
j
,
L
,
x
N
j
的线
性组合，因此
称它为线性组合器。这里的
x
1
j
,
x
2
j
,
L
,<
/p>
x
N
j
可以理解
为是从
N
个不同的信号
源
到达的瞬时输入，是一个多输入系统，也可以是
同一个信号源的
N
个序
贯样本
，如图
3.2.3
所示。
x
(
n
)
z
－
1
x
(
n
－
1)
z
－
1
x
(
n
－
2)
…
w
< br>N
－
1
z
－
1
w
N
x
(
n
－
N
)
w
1
w
2
w
3
d
(
n
)
＋
< br>－
e
(
n
)
y
(
n
)
图
3.2.3
自适应
FIR
滤波器
因此它是一个单输入系统，
实际上这
种单输入系统就是一个
FIR
网络
结构
，或者说是一个自适应横向滤波器。其输出
y
(
n
)
用滤波器的单位脉冲
相应
表示成下式：
y
(
< br>n
)
?
?
w
(
m
)
x
(
n
?
m
)
(3.2.1)
m
< br>?
0
N
?
1
这里
w
(
n
)
称为滤波器单位脉冲响应，令：
i
?
m
?
1
，记
w
i
?
w
(
i
?
1)
，
x
i
?
x
(
n
< br>?
i
?
1)
，
n
用
j
表示，上式可以写成
y
j
?
?
w
i
x
i
j
(3.2.2)
i
?
1
N
这里
w
< br>i
也称为滤波器加权系数。用上面公式表示其输出，适合于自适应线
性组合器，也适合于
FIR
滤波器。将上式表示成矩
阵形式：
T
y
j
?
X
T
W
?
W
X
j
(3.2.3)
j
式中，
W
?
[
w
1
,
w
2
,
L
,
w
N
]
T<
/p>
,
X
j
?
[
x
1
j
,
x
2
j
,
L
,
x
N
j
]
T
误差信号表示为
T
< br>e
j
?
d
j
?
y
j
?
d
j
?
X
T
W
?
d
?
W
X
j
(3.2.4)
j
j
2.
利用均方误差最小准则求最佳权系数和最小均方误差
误差信号被用来作为权系数的控制信号。下面采用均方误差最小的准
则，
求最佳权系数。由
(3.2.4)
式，均方误差为
2
E
[
< br>e
2
]
?
E
[(
d
?
y
)
]
j<
/p>
j
j
T
T
T
?
E
[
d
2
]
?
2
E
[
d
X
]
W
?
W
E
[
X
X<
/p>
j
j
j
j
j
]
W
(3.2.5)
令
R
dx<
/p>
?
E
[
d
j
X
j
]
?
E
[
d
j
x
1
j
,
d
j
x
2
j
,
L
,<
/p>
d
j
x
Nj
]
T
(3.2.6)
?
x
1
2
j
?
x
1
j
x
1
j
T
?
R<
/p>
xx
?
E
[
X
j
X
j
]
?
E
?
M
?
?
?
< br>x
N
j
x
1
j
x
1
j
x
2
j
2
x
2
j
M
x
N
j
x
2
j
L
L
< br>O
L
x
1
j
x
N
j
?
?
x
1
j
x
N
j
?
(3.2.7)
?
M
?
2
x
N
j
?
?
将
(3.2.6)
、
(3.2.7)<
/p>
式代入
(3.2.5)
式，得到
2
T
T
E
[
e
2
< br>]
?
E
[
d
]
?
2
R
W
?
W
R
xx
W
(3.2.8)
j
j
dx
R
< br>dx
称为
d
j
< br>与
X
j
的互相关矩阵，是一个<
/p>
N
维列矩阵；
R
xx
是输入信号的自
相关矩阵，特点如下：
(1)
是对称矩阵，即
R
T
xx
?
R
xx
；
(2) <
/p>
是正定或半正定的，因为对于任意矢量
V
满足下式：
V
T
R
xx
V
?
E
[
V
T
X
X
T
V
]
?<
/p>
E
[||
X
T<
/p>
V
||
2
]
?
0
自相关矩阵
主对角线是输入信号的均方值，交叉项是输入信号的自相关值。
(3.2.8)
式表明，
当输入信号和期望信号是平稳随机信
号时
（即
R
dx
和
R
xx
为常数）
< br>，均方误差信号
E
[
e
2
j
]
是权系数的二次
函数，即将
(3.2.8)
式展开时，
公式中的权系数均以它的一次幂或二次幂出现。如果只有一个权系数
w
< br>1
，
2
]
E
[
e
则
E
[
e
2
是
的口向上的抛物线；如果有两个权系数
，则
w
w
,
w
j<
/p>
j
]
是它
1
2
1
们的口向上的抛物面；对于两个权系数
以上的情况，则属于超抛物面性质。
E
[
e
2
j
]
在自适应信号处理中是一个重要的函数，经常称它为
性能函数<
/p>
。
为选择权系数，使性能函数到达它的最小点，一些有用的自适应
方法都是
2
]
E
[
e
基于
梯度法
的，我们用
?
j
表示
E
[
e
2
< br>的梯度向量，它是用
j
j
]
对每个权系
数求微分而形成的一个列向量，用公式表示如下：
?
?
E
[
e
]
?
E
[
e
]
?
E
[
e
?
j
?
?<
/p>
,
,
L
,
?
w
2
?
w
N
?
?
?
w
1
2
j
2
j
2
j
]
?
?
(3.2.9)
?
?
T
按照
< br>(3.2.4)
式：
e
j
?
d
j
?
W
T
X
j
，梯度推导如下：
T
?
?
?
e
j
?
e
j
?
e
j
?
?
< br>?
j
?
2
E
?
e
j
?
,
,
L
,
?
?
?
?
2
E
[
e
j
X
j
]
< br>
(3.2.10)
?
w
?
w
2
?
< br>w
N
?
?
?
?
?
1
?
2
T
T
]
?
E
[
d
]
?
2
R
W
?
W
R
< br>xx
W
对
W
求导得到
还可以用
(3.2.8
)
式：
E
[
e
2
j
j
dx<
/p>
?
j
?
2
R
xx
W
?
2
R
dx
(3.2.11)
令上式等于
0
，得到最佳权矢量
W
?
的表达式：
1
W
*
?
R
?
xx
R
dx
(3.2.12)
对比第二章维纳滤波器的最佳解，结果是一
样的。上式也称为
维纳权
矢量
。
当自适应滤波器的权系数满足上式时，
均方误差将取最小值。
将
(3.2.12)
式代入
(3.2.8)
式得到最小均方误差：
< br>2
T
?
?
T
?
E
[
e
2
]
?
E
[
d
]
?
2
R
W
?
W
R
W
j
< br>min
j
dx
xx
?
E
[
d
< br>]
?
2
R
W
?
(
R
x
x
W
)
W
2<
/p>
j
T
d
x
?
?
T
?
T
?
?
E
[
d
2
]
?
R
W
(3.2.13)
j
dx
或者将上式取转置，用下式表示：
2
?
T
E
[
e
2
]
?
E
[
d
]
?
W
R
dx
(3.2.14)
j
min
j
?
?
T
比较式（
3.2.13
）和（
3.2.14
）可知，
R
T
W
?
W
R
dx
，这是因为它们
dx
都
是常数。
我们知道，在维纳滤波器中，当滤波器的单位脉冲响
应取最佳值时，
其误差信号和输入信号是正交的；这里也有相同的结果，当权矢量取最佳
值时，梯度为
0
，按照
(3.2.10)
式：
?
j<
/p>
?
?
2
E
[
e
j
X
j
]
?
j
?
?
2
E
[
e
j
X
j
]
?
0<
/p>
上式表明，权系数取最佳值时，误差信号与输入信号是正交的，
即仍然服
1
从正交原理。
也可以根据正
交原理推导出维纳解
（
3.2.12
）
式：
W
*<
/p>
?
R
?
xx
R
dx
。
上式关于
自适应滤波器的结论适合于随机信号的自适应滤波器，也适
合与确定性信号的自适应滤波
器，但
对于随机信号取统计平均的地方，确
定性信号必须用时间
平均代替
。为了说明自适应滤波器基本原理，下面举
一个确定性
信号自适应滤波器的例子。
例
3.2.1
一个单输入的二维权
矢量自适应滤波器如图
3.2.4
所示，
图中输入信号与期望信号分别为
x
j
z
－
1
w
1
w
2
＋
－
y
< br>j
e
j
d
j
?
2
π
x
j
?
sin
?
?
N
?
?
2
π
j
?
,
d
j
?
2cos
?
?
?
N
?
j
?
?
这两个信号都是周期性确定性
图
3.2.4
两个权的自适应滤波器
信号，因为任
何正弦函数积的期望值，都可由这个积在一个或多个周期上
作时间平均来计算，可以推导
出下面公式
[6]
：
1
N
2
π
2
π
1
2
π
E
[
x
j<
/p>
x
j
?
n
]
?
?
sin
j
sin
(
j
?
n
)
?
cos
n
N
j
?
1
N
N
2
N
2
N
2
π
2
π
2
π
E
[
d<
/p>
j
x
j
?
n
]
?
?
cos
j
sin
(
j
?
n
)
?
?
sin
n
N
j
?
1
N
N
N
4
N
2
π
2
π
2
π
E
[<
/p>
d
j
d
j
?
n
]
?
?
cos
j
cos
(
j
?
n
)
?
2cos
n
N
j
?
1
N
N
N
?
< br>x
2
R
xx
?
E
?
j
?
?
x
j
?<
/p>
1
x
j
?
?
1
x
j
x
j
?
1
?
?
?
0.5
?
2
x
j
?
1
?
?
cos
2
?
?
?
N
?
cos
n
?
0,1
n
?
0,1
n
?
0,1
2
?
?
N
?
?
<
/p>
1
?
?
?
2
?
?
?
R
dx
?
E
[
d
j
x
< br>j
,
d
j
x
j
?
1
]
T
?
?
0,<
/p>
?
sin
?
<
/p>
N
?
?
2
T
T
E
[
e
2
]
?
E
[
d
]
?
2
R
W
?
W
R
xx
W
j
j
dx
T<
/p>
2
π
?
2
π
?
?
w
1
?
?
N
?
?
w
1
?
?
2
?
0.5[
w
1
?
?
?
?
2
?
0
?
sin
?
?
?
w
N
?
?
w
2
?
?
1
?
?
2
?
< br>?
?
2
π
2
π
2
2
?
0.5(
w
1
?
w
2
)
?<
/p>
w
1
w
2
cos
?
2
w
2
sin
?
2
N
N
?
?
1
w
2
]
?
?
cos
2
π
?
N
?
cos
上式表明性能函数
E
[
e
2
j
]
对权函数是二次型的，用
(3.2.11)
式求
其梯度向量，
得到
?
j
?
2
R
xx
W
?
2
R
dx
?
?
1
?
?
?
co
s
2
π
?
N<
/p>
?
cos
2
π<
/p>
?
2
π
?
?
0
w
?
w
cos
?
?
1
2
?
?
N
?
?
w
1
?
N
?
?
?
?
?<
/p>
2
?
2
π
?
?
?
?
?
w
?
sin
?
w
cos
2
π
?
w
?
2sin
2
π
?
1
?
?
2
< br>?
N
?
?
1
?
2
?
N
N
?
?
?
?
1
求最佳权矢量可以用
< br>(3.2.12)
式：
W
*
?
R
?
xx
R
dx
，通过对
R<
/p>
xx
求逆得到，
也可以通过上式，令
?
j
?
0
，而求出：
W
?
?
[
w
1
2
π
?
T
w
2
]
?
< br>?
2cot
N
?
2
π
?
?
2csc
?
N
< br>?
T
用
(3.2.13)
式求最小均方误差：
E
[
e
2
j
]
min
2
π
?
?
2cot
2
π
?
?
?
N
?
2
T
?
?
E
[
d
j
]
?
R
dx
W
?
2
?
?
0
?
sin
?
?
?
?
0
2
π
N
?
?
?<
/p>
?
2csc
?
?
N
?
?
?
上式说明只要
N
?
2
，
不管
N
取
多少，
通过对权系数的调整可使均方误
差达到
< br>0
，此时输出信号
y
j
完全等于期望信号
d
j
，例如
N
?
4
，按照上面公
式，可以求出输入、输出信号以及最佳权系数如下：
w
?
?
[
w
1
?
x
j
?
sin(
?<
/p>
w
2
]
?
[0
?
2]
T
π
j
)
2
π
y
j
?
w
1
x
j
?
w
2
x
j
?
1
?<
/p>
2cos(
j
)
2
π
d
j
?<
/p>
2cos(
j
)
2
可以看出
y
j
和
d
j
相同。
3.2.2
性能函数表示式及其几何意义
在自适
应滤波器的分析研究中，性能函数是一个重要函数，前面已推
导出性能函数用
(3.2.8)
式表示，现重写如下：
2
T
T
E
[
e
2
]
< br>?
E
[
d
]
?
2
R
W
+
W
R
xx<
/p>
W
j
j
dx
下面我们推导它的其它表示方法以及几何意义。
< br>
均方误差是权系数的二次函数，当权系数取最佳值时，均方误差取得
最小值，
将
(3.2.14)
式代入
(3.2.8)
式，
可以用
最小均方误差表示性能函数，
推
导如下：
为了表示方便，令
?
?
E
[
e
2
j
]
，那么由式（
3.2.1
4
）可知：
2
?
T
E
[
d
2
]
?
E
[
e
]
?
W
R
dx
，则
j
j
min
?
T
T
T
?
?
E
[
e
< br>2
]
?
?
?
W
R
?
2
R
W
?
W
R
xx
W
j
min
dx
dx<
/p>
将
(3.2.12)
式代入上式，得到<
/p>
?
?
?
min
?
W
?
T
R
xx
W
?
?
W
T
R
xx
W
?
?
W
?
T
R
x
x
W
?
W
T
R
x<
/p>
x
W
?
?
m
i
n
?
[
W
?
W
]
R
x
x
W
?
[
W
?
W
]
R
xx
W
?
T
T
?
?
T
T
?
?
min
?
(
W
?
W
?
)
T
< br>R
xx
(
W
?
W
?
)
(3.2.15)
其中，
W
?
T
R
xx
W
?
W
T
R
xx
W
?
< br>，成立的条件是
W
?
T
R
xx
W
是标量。令<
/p>
V
=
W
-
W
?
=
[v
1
,
v
2
,
L
,
< br>v
N
]
T
(3.2.16)
其中，
V
称为偏差权向量，它表示权向量对最佳权向量的偏差。这样性能
函数可以表示得更简单：
?
?
?
min
?
V
T
R
xx
< br>V
(3.2.17)
因为
R
xx
是对称的，
正定或半正定的，
利用它的特征值和特征向量再进
一步简化，假设
R
xx
是
N
?
N
维，它的
N
个特征
值为：
?
1
,
?
2
,
L
,<
/p>
?
N
，将
R
xx
进行正交分解，得到
R
xx
?
Q
< br>Λ
Q
T
，其中，
Λ
=
Q
T
R
xx
Q
(3.2.18)
通过调节使
Q
归一化，即
Q
T
Q
=
I,Q
T
=
Q
?
1
(3.2.19)
?
q
11
q
12
L
q
1
N
?
< br>?
?
?
q
21
q
22
L
q
2
N
?
(3.2.20)
Q
=
[q
1
,q
2
,
L
,q
N
]
?
?
?
M
?
?
M
M
?
?
q<
/p>
N
1
q
N
2
L
q
NN
?
?
式中，
Q
称为正交矩阵或特征矩阵，
q
i
称为特征向量，满足下式：
?
1
i
?
j
(3.2.21)
q
q
j
?
?
?
< br>0
i
?
j
T
i
R
xx
q
i
=
λ
i<
/p>
q
i
i
?
1
,2,
L
,
N
(3.2.22)
Λ
是由特征值组成
的对角矩阵，用下式表示：
Λ
?
Diag(
?
1
,
?
2
,
L
,
?
N
)
(3.2.23)
将
(3.2.18
)
式代入
(3.2.17)
式，得到<
/p>
?
?
?
min
?
V
T
Q
Λ
Q
T
V
令
?
,
v
2
?
,
L
,
v
N
?
]
T<
/p>
,V
=
QV
?<
/p>
(3.2.24)
V
?
=
Q
< br>T
V
=
[
v
1
则
?
?
?
min
?
V
?
T
Λ
V
?
?
?
min
?
?
?
i
v
i
?
2
(3.2.25)
i
?
1
N
上式将性能函数变成
了平方和的形式。再观察
(3.2.24)
式，该式将
V
坐
标中的
R
xx
的特征向量变成了
V
?
坐标中的单位向量。利用
(3.2.24)
式将特征
向量
q
i
变成
q
?
i
，再利用
(3.2.20)
、
(3.2.21)
式，可得
T
T
T
(3.2.26)
q
?
=
Q
q
< br>=
[q
,
L
,
q
,
L
,q
]
q
?
[
0,
L
,1,
L
,0]
i
i
1
i
N
i
可
以
理
解
为
?
R
xx
q
i
=
λ
i
q
i
?
Q
Λ
Q
T
q
i
?
λ
i
q
i
?
Λ
Q
T<
/p>
q
i
?
λ
i
Q
T
q
i
?
Λ
q
?
i
?
λ
i
q
i
。
?
?
也就是说，
q
?
i
为
V
坐标中的第
i
个单位向量，
q
i
亦是
Λ
矩阵对应于
?
i
的特征向量
。下面用二维权矢量的情况说明它的几何意义。对于二维权矢
量情况，有下面公式：
?
w
1
?
?
v
1
?
?
W
?
< br>?
?
,
V
=
W
-
W
?
?
?
?
w
2
?
?
v
2
?
?
r
xx
(0)
r
xx
(1)
?
R
xx
?
?
?
?
r
xx
(1)
r
xx
(0)
?
?
?
?
min
?
(
W
-
W
?
)
T
R
xx
(
< br>W
-
W
?
)
?
?
min
?
r
xx
(0)
v
?
2
r
xx
(1)
v
1
v
2
?
r
x
x
(0)
v
2
1
2
2
式中
，
r
xx
(0)
?
0
。显然，这是一个口向上的抛物面，如图
3.2.5
所示，
V
坐
标相当于将坐标原点移动
W
坐标的最佳点
W
?
，如果用性能函数等于常数
的不同平面（平行于
W
坐标平面）去切割抛物面，
投影在
W
坐标平面，便
得到一族同心椭
圆，如图
3.2.6
所示。
?
w
2
′
v
2
v
2
< br>′
v
1
w
2opt
w
1opt
w
1
w
opt
v
1
?
min
v
1
v
2
w
< br>2
0
w
1
图
3.2.6
等均方误差的椭圆曲线族
图
3.2.5
二维权矢量性能表面
按照
(3.2.17)
式：
?
?
?
min
?
V
T
R
xx
V
，有
?<
/p>
min
?
V
T<
/p>
R
xx
V
?
c
或
V
T
R
xx
V
?
c
1
当
c
?
?
min
时，对应椭圆
的中心，
V
=
W
-
W
?
，则相当于
< br>W
坐标平移
到
V
坐标的原点，
即
V
坐标的原点
对应
W
坐标的最佳点
W
?
。
这里，
v
1
,
v
2
不
是椭圆的主轴。但经过对
R
xx
的分解：
?
?
1
0
?
<
/p>
Q
R
xx
Q
=
Λ
?
?
?
?
0
?
2
?
T
且
< br>V
?
=
Q
T
V
将性能函数的椭圆族
(
按照
(3.2.25)
式
)
变成
V
?
T
Λ
V
?<
/p>
?
c
1
即
?
2
?
?
2
v
2
?
2
?
c
1
?
< br>1
v
1
或者
?
2
?
2
v
1
v
2<
/p>
?
?
1
(3.2.27)
c
1
/
?
< br>1
c
1
/
?
2
?
和
v
2
?
是椭圆族的主轴，如果
?
1
?
?
2
，
显然，上式是一个椭圆方程，
v
1
?
是长轴，
< br>v
2
?
是短轴。因此
(3.2.24)
式起坐标旋转的作用，将
v
1
,
v
2
旋转到
则
v
1
?
,
v
2
?
主轴。
对于维数
N
?
2
的情况，
长轴对
应最小特征值，按
主轴上，
形成
v
1
照上面的椭圆方程长轴正比于
1/
?
min
；短轴对应于最大特征值，正比于<
/p>
1/
?
max
。
另外，因为
?
,
v
2
?
,
L
,
v
N
?<
/p>
]
T
V
?
=
Q
T
V
=
[
v
1
得到
?
< br>,
v
2
?
,
L
,
v
?
[
q
1
v
1
,
q
2
v
2
,
L
,
q
N
v
< br>N
]
?
[
v
1
N
]
(3.2.28)
V
?
中单位矢量对应就是
V
坐
标中的
R
xx
的特征矢量。
3.2.3
最陡下降法
我们知道，
自适应过程的最终目的是要寻找最佳权系数。
按照
（
3.2.12
）
1
式：
W
*
?
R
?
要预先求得互相关函数和自相关函数，
< br>还要计算矩阵的
xx
R
dx
，
逆，这样在实际应用中便遇到了很大的困难。下面介绍最佳权系数
的搜索
方法。
前面已经学习过，当输
入信号和期望信号都是平稳随机信号时，均方
误差函数是权系数的二次函数，二次函数的
参数却是未知的，但是可以在
一段时间中，根据误差函数的平方求平均，估计出在误差性
能函数上的位
置。由此出发，可以得到不同的搜索性能表面函数并寻找最佳值的方法或<
/p>
算法，这里有两种熟知的搜索方法，它们是牛顿法和最徒下降法。牛顿法
< br>常常难以实现，但具有重要的数学意义
[2]
；最陡下降
法已经工程实现，并已
证明是在广泛的实际应用中有价值的一种方法。
< br>本书仅介绍最陡下降法
[1-3]
。
威德诺（
Widrow
）等人于
1959
年提出最陡下降法（
Stee
pest
Descent
Method
）的算法，按照这一算法，最陡下降法权矢量的改变用下式表示：
W
j+1
=
W
j
?
?
(
?
?
j
)
(3.2.29)
式中，
?
是调整步长的常数，它控制着系统的稳定性和自适应的收敛速度。
上面公
式表示下一个权矢量
W
j+1
等于现在
的权矢量
W
j
加上一个正比于负
梯度的变化量，因为梯度的方向是性能函数增加最快的方向，负梯度的方
向就是性能函数减小最快的方向，因此称为最陡下降法。下面按照上式来
推导最陡下降
法的递推公式、收敛条件以及它的过渡特性。
1.
最陡下降法的递推公式
将
(3.2.11)
式代入
(3.2.29)
式，得到
W
j+1
=
W
j
?
?
(2
R
dx
-
2
R
xx
W
j
)
(3.2.30)
?
[
I
?
< br>2
?
R
xx
]
W
j
?
2
?
R
xx
W
?
(3.2.31)
在上式两边都减
去
W
?
，并令
V
j
=
W
j<
/p>
-
W
?
，得到<
/p>
V
j+1
?<
/p>
[
I
?
2
?
R
xx
]
V
j
(3.2.32)
上式是一个递推
公式，由于
[
g
]
项不是对角矩阵，计算与分析均复杂。
下面仍然采用坐标旋转的方法进行推导。
R
xx
=
Q
Λ
Q
T
=
Q
Λ
Q
-1
,
Λ
=
< br>Q
-1
R
xx
< br>Q
V
j
?
=
Q
V
j
,
V
j
=
QV
j
?
-1
V<
/p>
j
?
?
1
=
Q
-1
V
j
?
1
?
Q
-1
[I
?
2
?
R
xx
]V
j
?
Q
< br>-1
[I
?
2
< br>?
R
xx
]QV
j
?
?
(
Q
IQ
?
2
?
Q
R
xx
Q)V
j
?
-1
-1
?
(
I
?
2
?
?<
/p>
)
V
j
?
(3.2.33)
?
，
此时
[
g
]
项已变成对角矩阵，
假设起始值是
< br>V
0
可得到上式的递推解为
<
/p>
V
j
?
?
(
I
?
2
?
Λ
)
j
V
0
?
(3.2.34)
再将
(3.2.2
4)
式：
V
?
=
Q
T
V,V
=
QV
?
代入，再经过坐标平移，即代
入
V
j
=
W<
/p>
j
-
W
?
式，
最后得到权系数的递推公式：
W
j
=
W
?
+
V
j
?
W
?
?
QV
?
j
?
W
?
?
Q
(I
?
2
?
Λ
)
j
V
0
?
?
W
?
?
Q(I
?
2
?
Λ
)
j
Q
T
V
0
?
< br>W
?
?
Q(I
< br>?
2
?
Λ
)
j
Q
T
(
W
0
-
W
?<
/p>
)
(3.2.35)
上面递推公式中，
[
g
]
部分已变成对角矩阵，这使分析
与研究自适应特
性变得简单了。
2.
收敛条件
-
-
-
-
-
-
-
-
-
上一篇：电子海图翻译FEA-21X7
下一篇：剖析自我分享经验共同进步丁俊刚.doc