第九章 非线性回归模型
回归模型的一般形式是
y i =h (x i , β) +εi （1）
很明显，线性模型只是一种特殊情况，我们应该讨论更一般的模型（1）。 例如，
y =β1+β2e β3x +ε （2）
不能变换到线性形式。
1 线性化回归 非线性回归模型是
y =h (x , β) +ε
（为简化记号，我们去掉了观测值的下标）非线性回归模型的许多结果是基于在参数向量的一个特定值β处（如由经验得到的数据时）对h (x , β) 的一个线性泰勒级数来近似：
h (x , β) ≅h (x , β0) +∑
k
∂h (x , β)
∂βk
β=β
(βk -βk 0) （3）
这被称为线性化回归模型。整理各项可得
h (x , β) ≅h (x , β0) -∑βk 0
k
∂h (x , β) ∂βk
β=β
+∑βk
k
∂h (x , β) ∂βk
β=β0
x k 等于第k 个偏微分∂h (x , β) /∂βk 。对于β0的一个给定值，这~x k 是数据而不是含未令~
知参数的函数。于是
h (x , β) ≅[h 0-∑~x k 0βk 0]+∑~x k 0βk
k
''
=h 0-~x 0β0+~x 0β
或
''y ≅h 0-~x 0β0+~x 0β+ε
把已知项移到方程左边，可得回归模型：
''~y =y -h 0+~x 0β0=~x 0β+ε （4）
有了β值，我们就可以计算~y 和~x 并通过线性最小二乘法估计（4）中的参数。
然后，进行再次的迭代和回归，直至收敛和满足我们的精度要求。
[例] 对于（2）所给的非线性回归模型，线性化方程中的回归量是
∂h (.)~x 10==1, ∂β10∂h (.)~x 20==e β3x ,
∂β2
0∂h (.)β300~x 3==β2xe x
∂β3
有了一组参数β
00~0~y 0=y -h (x , β10, β2, β30) +β10~x 10+β2x 2+β30~x 30
可以对前面为估计β1, β2和β3而定义的三个变量进行回归。
2、非线性最小二乘估计
最小二乘法仍然是一种比较具有吸引力的估计参数的方法。对于这种估计量已经得到许多分析结果，例如，一致性和渐近正态性。然而，除了在扰动项是正态分布的情况下，我们不能肯定非线性最小二乘估计量是最有效的估计量。（这和我们对于线性模型所得的结论是一样的）下面的一些例子将说明这一点。
在继续之前，有必要关于回归量做些假设。贾奇等人（1985）和雨宫（1985）曾详细地讨论过精确的要求。在古典回归模型中，为了得到渐近结果，我们假设样本矩矩阵（1/n）X ′X 收敛于一个正定矩阵Q 。类似地，当线性化模型中的“回归量”在真实参数值处被计算时，我们在其上附加相同的条件。因此，对于非线性回归模型，与以前类似的是
00⎤⎡
⎛1⎫~~⎛1⎫⎡∂h (x i , β) ⎤⎢∂h (x i , β) ⎥~p lim ⎪X 'X =p lim ⎪∑⎢=Q （5） ⎥00n n ∂β⎢⎥⎝⎭⎝⎭i ⎣⎦⎣∂β⎦
~
其中Q 是正定矩阵。根据这个公式，非线性最小二乘估计量的渐近性质可以导出。实
际上，除了在这种情况下我们把X 中的导数也作为回归量之外，它们与我们已见到的线性模型的渐近性质十分相似。
~
（5）中的矩阵收敛于正定矩阵的要求还附带回归量矩阵X 的各列是线性无关的条件。这是一个识别条件，类似于线性模型中的解释变量是线性无关的要求。
非线性最小二乘准则函数是
~
S (b ) =∑[y i -h (x i , b )]2=∑e i 2
i
i
其中我们已经代入即将是解的b 。最小化的一阶必要条件是
g (b ) =-2∑[y i -h (x i , b )]
i
∂h (x i , b )
=0 ∂b
注意
~
g (b ) =-2X 'e
这与线性模型的情况相同。这是非线性最优化的一个标准问题，可以用许多方法来求解。高斯—牛顿方法在这种情况下经常使用。回想我们关于线性回归模型的讨论，如果β的值是可以获得的，那里所显示的线性回归模型可以用普通最小二乘法来估计。一旦回到一个参数向量，它就可以作为一个新的β，计算可以继续进行。迭代可以一直进行到相邻两个参数向量的差是足够小可以认为已经收敛为止。这个方法的主要优点之一是在最后一步迭代，
~
ˆ2，给出了参数估计渐近方差矩阵的正确估计。σ2的一致估计可以利Q -1的估计，除了σ
用残差来计算：
ˆ2= ⎪∑[y i -h (x i , b )]2 （6） σ
i
⎛1⎫
⎝n ⎭
（自由度校正1/（n －K ）在这里没有价值，因为所有结果在任何情况下都是渐近的和
n -K
→1的事实。 n
b −−→N [β,
其中
a
σ2
n
Q -1]
~~
⎛X 'X ⎫
⎪Q =p lim n ⎪ ⎝⎭
渐近协方差矩阵的样本估计是
~~ˆ2(X 'X ) -1 Est . Asy . Var [b ]=σ
只要得到这些结果，推论和假设检验就可以按前几章中所描述的同样方式进行。在评价回归拟合值中产生一个小问题，因为
R =1-
2
(y
e
i
2i
2
-)
不再保证在零到1的范围内,(因为估计的误差个有用的描述性度量。
∑e
2i
有可能足够的大) 。然而，它仍给出了一
第九章 非线性回归模型
回归模型的一般形式是
y i =h (x i , β) +εi （1）
很明显，线性模型只是一种特殊情况，我们应该讨论更一般的模型（1）。 例如，
y =β1+β2e β3x +ε （2）
不能变换到线性形式。
1 线性化回归 非线性回归模型是
y =h (x , β) +ε
（为简化记号，我们去掉了观测值的下标）非线性回归模型的许多结果是基于在参数向量的一个特定值β处（如由经验得到的数据时）对h (x , β) 的一个线性泰勒级数来近似：
h (x , β) ≅h (x , β0) +∑
k
∂h (x , β)
∂βk
β=β
(βk -βk 0) （3）
这被称为线性化回归模型。整理各项可得
h (x , β) ≅h (x , β0) -∑βk 0
k
∂h (x , β) ∂βk
β=β
+∑βk
k
∂h (x , β) ∂βk
β=β0
x k 等于第k 个偏微分∂h (x , β) /∂βk 。对于β0的一个给定值，这~x k 是数据而不是含未令~
知参数的函数。于是
h (x , β) ≅[h 0-∑~x k 0βk 0]+∑~x k 0βk
k
''
=h 0-~x 0β0+~x 0β
或
''y ≅h 0-~x 0β0+~x 0β+ε
把已知项移到方程左边，可得回归模型：
''~y =y -h 0+~x 0β0=~x 0β+ε （4）
有了β值，我们就可以计算~y 和~x 并通过线性最小二乘法估计（4）中的参数。
然后，进行再次的迭代和回归，直至收敛和满足我们的精度要求。
[例] 对于（2）所给的非线性回归模型，线性化方程中的回归量是
∂h (.)~x 10==1, ∂β10∂h (.)~x 20==e β3x ,
∂β2
0∂h (.)β300~x 3==β2xe x
∂β3
有了一组参数β
00~0~y 0=y -h (x , β10, β2, β30) +β10~x 10+β2x 2+β30~x 30
可以对前面为估计β1, β2和β3而定义的三个变量进行回归。
2、非线性最小二乘估计
最小二乘法仍然是一种比较具有吸引力的估计参数的方法。对于这种估计量已经得到许多分析结果，例如，一致性和渐近正态性。然而，除了在扰动项是正态分布的情况下，我们不能肯定非线性最小二乘估计量是最有效的估计量。（这和我们对于线性模型所得的结论是一样的）下面的一些例子将说明这一点。
在继续之前，有必要关于回归量做些假设。贾奇等人（1985）和雨宫（1985）曾详细地讨论过精确的要求。在古典回归模型中，为了得到渐近结果，我们假设样本矩矩阵（1/n）X ′X 收敛于一个正定矩阵Q 。类似地，当线性化模型中的“回归量”在真实参数值处被计算时，我们在其上附加相同的条件。因此，对于非线性回归模型，与以前类似的是
00⎤⎡
⎛1⎫~~⎛1⎫⎡∂h (x i , β) ⎤⎢∂h (x i , β) ⎥~p lim ⎪X 'X =p lim ⎪∑⎢=Q （5） ⎥00n n ∂β⎢⎥⎝⎭⎝⎭i ⎣⎦⎣∂β⎦
~
其中Q 是正定矩阵。根据这个公式，非线性最小二乘估计量的渐近性质可以导出。实
际上，除了在这种情况下我们把X 中的导数也作为回归量之外，它们与我们已见到的线性模型的渐近性质十分相似。
~
（5）中的矩阵收敛于正定矩阵的要求还附带回归量矩阵X 的各列是线性无关的条件。这是一个识别条件，类似于线性模型中的解释变量是线性无关的要求。
非线性最小二乘准则函数是
~
S (b ) =∑[y i -h (x i , b )]2=∑e i 2
i
i
其中我们已经代入即将是解的b 。最小化的一阶必要条件是
g (b ) =-2∑[y i -h (x i , b )]
i
∂h (x i , b )
=0 ∂b
注意
~
g (b ) =-2X 'e
这与线性模型的情况相同。这是非线性最优化的一个标准问题，可以用许多方法来求解。高斯—牛顿方法在这种情况下经常使用。回想我们关于线性回归模型的讨论，如果β的值是可以获得的，那里所显示的线性回归模型可以用普通最小二乘法来估计。一旦回到一个参数向量，它就可以作为一个新的β，计算可以继续进行。迭代可以一直进行到相邻两个参数向量的差是足够小可以认为已经收敛为止。这个方法的主要优点之一是在最后一步迭代，
~
ˆ2，给出了参数估计渐近方差矩阵的正确估计。σ2的一致估计可以利Q -1的估计，除了σ
用残差来计算：
ˆ2= ⎪∑[y i -h (x i , b )]2 （6） σ
i
⎛1⎫
⎝n ⎭
（自由度校正1/（n －K ）在这里没有价值，因为所有结果在任何情况下都是渐近的和
n -K
→1的事实。 n
b −−→N [β,
其中
a
σ2
n
Q -1]
~~
⎛X 'X ⎫
⎪Q =p lim n ⎪ ⎝⎭
渐近协方差矩阵的样本估计是
~~ˆ2(X 'X ) -1 Est . Asy . Var [b ]=σ
只要得到这些结果，推论和假设检验就可以按前几章中所描述的同样方式进行。在评价回归拟合值中产生一个小问题，因为
R =1-
2
(y
e
i
2i
2
-)
不再保证在零到1的范围内,(因为估计的误差个有用的描述性度量。
∑e
2i
有可能足够的大) 。然而，它仍给出了一