-
第
1
章
广义最小二乘法
在经典假定条件下，
OLS
估计量具有
BLUE
性质。
解释变量与误差项不相关保证了
OLS
估计量的无偏性，误差项的同方差、无序列相关保证了
OLS
估计量的有效性。但实践中，
这些假定很可能被违背。
因此，
模型估计之后需要检验这些假定是否得到满足；
如果某些假
定被违背的的话，则需要对其进行修正。本章介绍异方差、自相关情况下的模
型修正。
1.1
异方差和自相关的概念
在随机误差项
u
满足同方差和没有序列自相关的假定下，
u
的方差协方差矩阵
Var(
u<
/p>
)
是
一个对角矩阵。即
Var(
u
)
主对角线上的元
素都是相同的常数；非主对角线上的元素为零。当
这两个假定不成立时，
V
ar(
u
)
不再是一个纯量对角矩阵。
?
?
11
?
12
?
?
22
?
?
Var(
u
)
=
?
=
?
21
.
.
?
?
?
?
T
1
?
T
2
..
?
1
T
?
?
...
?
2
T
?
?
?
2
I
1.1
?
...
.
?
...
?
TT
?
?
当
Var(
u
)
主对角线上的元素不相等时，
表示误差项存在异方差。<
/p>
如果非主对角线上的元
素不为
0
，表示误差项存在序列相关。当模型存在异方差或自相关时，
?
|
X
)
?
β
?
E[(
X
'
X
)
< br>?
1
X
'
u
|
X
]
?
0
E(
β<
/p>
?
|
X
)
?
E[(
β
?
?
β
)(
β
?
?
β
)'|
X
]
?
E[(
X
'
X
)
?
1
X
'
< br>uu
'
X
(
X
'
X
)
?
1
|
X
]<
/p>
?
Var(
β
?
???????????
(
X
'
X
)
X
'
Ω
X
(
X
'
X
)
?
?
(
X
'
X
)
?
1
?<
/p>
1
2
?
1
因此，异方差和自相关不会影响
OLS
估计量的无偏性，但会导致非有效性。存在异方
差或自相关时，参数
估计量的方差估计量
?
2
(
X
'
X
)
-1
是真实方差的有偏估计量，可能会低估
或高估真实的方差。
t
统计量不再服从
t
分布
，即使是在大样本的情况下也是如此。
F
统计
< br>量也不再是
F
分布。由此导致错误的推断或预测。比如，
?
2
(
X
'
X
)
-1
低估了真实方差，那么
< br>t
统计量就高估了，就容易将不显著的变量错误地判断为显著。
< br>
1.2
广义最小二乘法
要解决异方差和自相
关的问题，
需要对模型的进行适当的转换，
使得转换后模型的误
差
性满足同方差、无序列相关的假定条件。这即是广义最小二乘法（
GLS
）
。
假设
var(
u
)
?
Ω
，那么对于正定矩阵可以找到矩阵
M
，使得
M
Ω
M
'
?
I
?
M
'
M
?
Ω
?
1<
/p>
在方程两边同时乘以
M
，得到转换后的新模型：
y
?
X
β
?
u<
/p>
?
My
?
MX<
/p>
β
?
Mu
令
y
*
?
My
,
?
X
*
?
MX
,
?
u
*
?
< br>Mu
，即
y
*
< br>?
X
*
β
?
u
*
。
新的随机误差项的协方差矩阵为
var(
u
*
)
?
E
(
Muu
'
M
')
?
M
Ω
M
'
?
I
，显然
是同方差、无
序列相关的。目标函数，即残差平方和，为：
<
/p>
?
*
)'(
Mu
?
*
)
?
u
?
'
M
'
Mu
?
?
u
?
'
Ω
?
1
u
?
Q
?
(
Mu
即，
目标函数是
u
的加权平方和，
而权数矩阵则是
u
的协方差矩阵的逆矩阵。
根据一阶条
件，新模型的
OLS
估计量即是原模型的
GLS
估计量。
?
?
(
X
*
'
X
*
)
?
1
X
*
'
y
*
?
(
X<
/p>
'
M
'
MX
)
?
1
X
'
M
'
My
?
(
X
'
Ω
?
1
X
)
?
1
X
'
Ω
?
1
y<
/p>
β
GLS
具有
BLUE
性质，而转换后模型的参数估计量与最初模型的参数是
完全相同的。
如果模型存在异方差，则协方差矩阵
?
和转换矩阵
M
分别为：
0
?
?
?
1
2
0
?
?
1/
?
1
?
?
?
?
1/
?
2
< br>?
2
2
?
?
?
?
Ω
?
?
M
?
?
?
?
?
?
?
?
?
?
?
2
?
< br>?
0
0
1/
?
?
n
?
?
n
?
?
即对
每个观测值赋予不同的权数，权数即标准差的倒数。因此，异方差情况下的
GLS
也称作加权
LS
方法。
对于自相关问题，协方差矩阵
?
取
决于自相关的形式。自相关的一般表达式为：
u
t
?
?
1
< br>u
t
?
1
?
?
?
?
k
u
t
?
k
?
v
t
。
对于
AR(1)
过程
u
t
?
?
1
u
t
?
1
?
v
t
，
E[
u
t
u
t
?
k
]
?
?
1
E[
u
t
?
1
u
t
?
k
]
?
E[
u
t
?
k
v
t
]
可得到不同期误差项的协方差，
k<
/p>
??
0:
??
?
0
?
?
1
?
1
?
?
v
2
?
?
2
2
?
?
< br>?
0
?
?
v
/(1
?
?
1
)
k
?
0
:
??
?
1
?
?
1
?
0
??????????
?
?
????????????
?
???????????
?
k
?
?
1
?
k
?
1
协方差矩阵
?
和转换
矩阵
M
分别为：
?
1
?
?
Ω
?
?
0
?
?
.
?
T
?
1
< br>?
?
?
?
1
.
?
2
?
.
?
T
?
2
?
T
?
3
?
na
...
?
T
?
1
?
?
?
?
1
?
?
T
?
1
?
...
?
?
?
M
?
?
?
1
?<
/p>
?
.
.
?
1
?
?
...
1
?
?
?
?
?
?
0
na
?
0
?
< br>?
?
?
?
1
?
?
由
于差分缺少了第一个观测值。
转换后的变量即是原来变量的广义差分变量，
差分系数
即是自回归系数。因此，自相关情况下的
G
LS
方法也称作广义差分
LS
方法。<
/p>
对于
AR(p)
过程，
差分过程中损失掉前
p
个观测
值。
转换后的变量即是原来变量的
p
阶
广义差分变量，差分系数即是
p
阶自回
归系数。
实践中，
?
一般是未知的。因此，要修正异方差或自相关问题，必须首先估计协方差矩
阵<
/p>
?
。
即，
首先得
到
?
的一致估计量，
然后再进行
GLS
估计。
这即是可行的
< br>GLS
估计
（
FGLS
）
或两步
GLS
估计。
本章
1.3
节和
1.4
节介绍如何在异方差或自相关模型中估计
?
。
在进行
GLS
估计之
前，
首先要对异方差和自相关进行检验。
如果模型中存在显著的
异方差或
自相关问题，再进行
GLS
估
计。接下来，我们介绍异方差和自相关检验的常用方法。
1.3
异方差的检验与估计
异方差的基本假定形式
H
0
: E(
u
i
2
|
x<
/p>
1
,
x
2
, …,
x
k
) = E(
u
i
2
|
x
1
,
x
2
, …,
x
k
) =
σ
2
即，
u
i<
/p>
的条件方差是相同的，或者说当
u
i
与
x
1
,
x
2
, …,
x
k
不相关时，
u
< br>i
的方差是相同的。
如果
u
i
存在异方差，那么说明
u
i
与
x
1
,
x
2
, …,
x
k
存在相关性。因此，检验异方差的基本思路
是考察
u
i
与
x
1
,
x
2
, …,
x
k
是否存在相关性，以及什么形式的相关性。
1.3.1
Breusch and Pagan /Cook-Weisberg
检验
根据异方差检验的基本思路，
Breusch and Pag
an
（
1979
）和
< br>Cook and Weisberg
（
1983
）
假设异方差形式为
Var(
u
)
?
X
γ
?
v
在同方差条件下，上式中每个解释变量的回归系数都不应该具有显著性，即
?
=0
。实践
际检验用
OLS
估计的残差的平方代替
Var(u)
。步骤如下。
?
2
。
Step1
：估计方程
y
< br>?
X
β
?
u
，提取残差平方
u
?
2
/
?
?
< br>2
?
X
γ
?
v
，
利用
F
、
LM=T*R2
或得分统计量
Score=RSS/2
检验整个
Step
2
：
估计方程
u
方程的显著性。
?
2
?
?
0
?
< br>?
1
y
?
?
v
。
在
第
2
步中，也可以用被解释变量的拟合值作为解释变量，即
u
1.3.2
White
检验
White
（
1980
）是通过更
一般的形式检验异方差，它对异方差的形式没有要求。基本检
验步骤如下。
?
2
。
Step1
：估计方程：
y
?
X
β
?
u
，提取残差平方
u
?
2
?
X
γ
1
?
X
2
γ
2
?
v
，
X
2
表示所有变量的二次项。利用<
/p>
F
、
LM=TR
2
Step2
：估计方程：
u
统计量检验整个方程的显著性。
?
表示所有
?
γ
?
v
。其中，
X
?
2
?
X
γ
1
?
X
2
γ
2
?
X
在第
2
步中，检验方程也可以采取形式：
< br>u
3
变量的两两交叉积。
1.3.3
加权
LS
方法
在
?
中共有
n
个方差参数，不可能通过样本得到其单独的估计量，而必须找到其统一的
变化规律。根据异方差检验的思路，异方差的形式的判断即是要找到方差随
X<
/p>
变化的某种
规律，进而通过
X
预测方差。当然，方差如何随
X
的变化而变化没有
统一的规律可循。这
里，我们介绍一种较常见的处理方法。假定
Var(
u
)
?
exp(
X
γ
)
?
2
。
Step1
：估计方程
y
< br>?
X
β
?
u
，提取残差平方
u
?
。
?
2
< br>的预测值记为
h
?
2
)
?
X
γ
?
v
，
u
Step2
：估计方程
log(
u
?
作为权数利用
WLS
方法估计方程
y
?
X
β
?
u
。
Step3
：以
1/
h
估计异方差形式的另外一种更一般的方法是，假定
?
γ
)
Var(
u
)
?<
/p>
exp(
X
γ
1
?
X
2
γ
2
?
X
3
其对应的修正步骤如下。
?
< br>2
和拟合值
y
?
。
Step1
：估计方程<
/p>
y
?
X
β
?
u
，提取残差平方
u
?
。
?<
/p>
2
的预测值记为
h
?
2
)
?
?
0
?
?
1
y
?
?
?
2
y
?
2
?
v
，
u
< br>Step2
：估计方程
log(
u
?
作为权数利用
WLS
方法估计方程
y
?
X
β
?
u
。
Step3
：以
1/<
/p>
h
在实际应用中，避免异方差的两种方法。其一，使不同变量的测
度单位接近。比如，不
同国家的收入和消费数据。
如果利用总收
入和总消费进行分析，
由于不同国家的总量相差非
常巨大，
因此模型中难免出现异方差。
如果利用人均收入和人均消费进行分析
，
就可以使得
减弱不同国家变量之间的测度差异，从而降低异方
差的程度甚至消除异方差。
其二，
对
变量取自然对数。
变量取对数降低了变量的变化程度，
因此有助
于消除异方差。
1.3.4
案例
例
1.1
回归工资方程
（
1
）回归方程；
. regress wage educ exper female
. est store het
（
2
）进行异方差检验；
.
estat hettest, normal <
得分统计量
Score=RSS/2
。
>
.
estat hettest, iid <
LM=T*R2
形式的
LM
检验。
>
. estat hettest, fstat
<
F
统计量。
>
.
estat imtest, white
<
White
统计量。
>
（
3
）如果存在异方差，对其进行修正。
. predict u, resid
. predict yf, xb
. gen
lnu2=ln(u^2)
. gen yf2=yf^2
. quietly regress lnu2 yf yf2
. predictnl u2f = exp(xb())
. gen invvar=1/u2f
. regress
y x [iweight=invvar]
1.4
1.4.1
自相关的检验与估计
DW
检验
DW
检验是
J.
Durbin
和
G
.
S. Watson
于
1951
年提出的。
DW
统计量只适用于检验解释
变量具有严格外生性的模型中是否存在一阶自相关。
DW
统计量定义如下，
?
D
W
?
把上式展开，
< br>T
t
?
2
?
t
?
u
?
t
?
1
)
2
(
u
T
t
?
2
?
T
?
t
u
< br>2
1.2
DW
?
由
<
/p>
?
t
2
?
?
t
?
2
u
?
t
?
1
2
?
2
?
t
?
2
u
?
t
?
1<
/p>
u
?
t
?
1
?
t
?
2
u
T
T
?
T
T
t
?
1
t
?
u
2
1.3
?
T
2
2
2
?
?<
/p>
?
1.4
u
?
u
?
u
?<
/p>
?
t
t
?
1
t
t
?
2
t
?
2
t
?
1
T
代入（
5.15
）式，
DW
?
?
t
?
1
2
?
2
?
t
?
2
u
?
t
u
?
t
?
1<
/p>
2
?
t
?
2
u
T
T
?
?
T
t
?
2
?
u
2
t
?
1
?
2(1
?
?
?
T
t
?<
/p>
2
T
?
t
u
?
t
?
1
u
?
u
2
t
?
1
?
)
1.5
)
?
2(1
?
?
t
?
2
显然
，
DW
统计量的取值范围是
[0,
4]
。
?
与
DW
值的对应关系见表
5.1
。
表
1.1
?
与
DW<
/p>
值的对应关系及意义
DW
DW
= 0
DW
= 2
DW
= 4
0 <
DW
< 2
2 <
DW
< 4
u
t
的表现
u
t
完全正自相关
u
t
非自相关
u
t
完全负自相关
u
t
有某种程度的正自相关
u
t
有某种程度
的负自相关
?
= 1
?
= 0
?
= -1
0 <
?
< 1
-1 <
?
< 0
Durbin-Watson
根据样
本容量和被估参数个数，在给定的显著性水平下，给出了检验用
的上、下两个临界值
d
U
和
d
L
。判别规则如图表示。
(1)
若
DW
取值在（
0,
d
L
）之间，
u
t
存在显著的一阶正自相关。
(2)
若
DW
取值在（
4 -
d
L
, 4
）之间，
u
t
存在显著的一阶负自相关。
(3)
若
DW
取值在（
d
U
,
4-
d
U
）之间，
< br>u
t
非自相关。
(4)
若
DW
取值在（
d
L
,
d
U
）或（４
-
d
U
, 4 -
d
L
）之间，不能判别是否存在一阶自相关。
-
-
-
-
-
-
-
-
-
上一篇：有关经验的英语名言
下一篇：新概念第二册第14课课文讲解