多元线性回归模型的统计检验

2014-01-13 16:29阅读：

http://blog.sina.cn/dpool/blog/u/1805006143

一、拟合优度检验

拟合优度检验，顾名思义，是检验模型对样本观测值的拟合程度。检验的方法，是构造一个可以表征拟合程度的指标，在这里被称为统计量，统计量是样本的函数。从检验对象中计算出该统计量的数值，然后与某一标准进行比较，得出检验结论。有人也许会问，采用普通最小二乘估计方法，已经保证了模型最好地拟合了样本观测值，为什么还要检验拟合程度？问题在于，在一个特定的条件下做得最好的并不一定就是高质量的。普通最小二乘法所保证的最好拟合，是同一个问题内部的比较，拟合优度检验结果所表示优劣是不同问题之间的比较。例如图3.2.1和图3.2.2中的直线方程都是由散点表示的样本观测值的最小二乘估计结果，对于每个问题它们都满足残差的平方和最小，但是二者对样本观测值的拟合程度显然是不同的。

9352; 总体平方和、残差平方和和回归平方和
定义

为总体平方和，反映样本观测值总体离差的大小；为回归平方和，反映由模型中解释变量所解释的那部分离差的大小；为残差平方和，反映样本观测值与估计值偏离的大小，也是模型中解释变量未解释的那部分离差的大小。其中，为模型被解释变量的样本观测值，为被解释变量的样本观测值的平均值，为模型被解释变量的估计值。读者也许会问，既然反映样本观测值与估计值偏离的大小，可否直接用它作为拟合优度检验的统计量？这里提出了一个普遍的问题，即作为检验统计量的一般应该是相对量，而不能用绝对量。因为用绝对量作为检验统计量，无法设置标准。在这里，，即残差平方和，与样本容量关系很大，当n比较小时，它的值也较小，但不能因此而判断模型的拟合优度就好。
将，即总体平方和进行分解。

其中

根据上一节的正规方程组，有：

所以有：

显然，对于一个拟合得好的模型，总体平方和与回归平方和应该比较接近。或者说，可以选择总体平方和与回归平方和的接近程度作为一个评判模型拟合优度的标准。
⒉ 和统计量
根据上述关系，于是可以用
(3.2.1)
检验模型的拟合优度。如果模型与样本观测值完全拟合，即
i=1,2,…,n
此时

当然，模型与样本观测值完全拟合的情况是不可能发生的，不可能等于1。但毫无疑问的是该统计量越接近于1，模型的拟合优度越高。
当模型参数估计量已经得到后，可以很方便地计算。在应用过程中发现，如果在模型中增加一个解释变量，模型的解释功能增强了，回归平方和既然就增大了，就增大了。这就给人一个错觉：要使得模型拟合得好，就必须增加解释变量。但是，在样本容量一定的情况下，增加解释变量必定使得自由度减少。所以用以检验拟合优度的统计量必须能够防止这种倾向。于是，实际中应用的统计量是在对进行调整后。具体表达式为：
(3.2.2)
其中

为残差平方和的自由度，为总体平方和的自由度。
在实际应用中，达到多大才算模型通过了检验？没有绝对的标准，要看具体情况而定。模型的拟合优度并不是判断模型质量的唯一标准，有时甚至为了追求模型的经济意义，可以牺牲一点拟合优度。而且，在下一部分中，我们将推导出与另一个统计量的关系，那时会对有新的认识。

二、方程的显著性检验(F检验)

方程的显著性检验，旨在对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立作出推断。
从上面的拟合优度检验中可以看出，拟合优度高，则解释变量对被解释变量的解释程度就高，可以推测模型总体线性关系成立；反之，就不成立。但这只是一个模糊的推测，不能给出一个在统计上严格的结论。这就要求进行方程的显著性检验。方程的显著性检验所应用的方法是数理统计学中假设检验。
⒈　假设检验
假设检验是统计推断的一个主要内容，它的基本任务是根据样本所提供的信息，对未知总体分布的某些方面的假设作出合理的判断。
假设检验的程序是，先根据实际问题的要求提出一个论断，称为统计假设，记为；然后根据样本的有关信息，对的真伪进行判断，作出拒绝或接受的决策。
假设检验的基本思想是概率性质的反证法。为了检验原假设是否正确，先假定这个假设是正确的，看由此能推出什么结果。如果导致一个不合理的结果，则表明“假设为正确”是错误的，即原假设不正确，因此要拒绝原假设。如果没有导致一个不合理现象的出现，则不能认为原假设不正确，因此不能拒绝拒绝原假设。
概率性质的反证法的根据是小概率事件原理，该原理认为“小概率事件在一次试验中几乎是不可能发生的”。在原假设下构造一个事件，这个事件在“原假设是正确”的条件下是一个小概率事件。随机抽取一组容量为n的样本观测值进行该事件的试验，如果该事件发生了，说明“原假设是正确”是错误的，因为不应该出现的小概率事件出现了。因而应该拒绝原假设。反之，如果该小概率事件没有出现，就没有理由拒绝原假设，应该接受原假设。
⒉ 方程显著性的F检验
用以进行方程的显著性检验的方法主要有三种：F检验、t检验、r检验。它们的区别在于构造的统计量不同，即设计的“事件”不同。应用最为普遍的F检验，在目前使用的计量经济学软件包中，都有关于F统计量的计算结果。我们在此只介绍F检验。
检验模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立，即是检验方程
i=1,2,…,n
中参数是否显著不为0。按照假设检验的原理与程序，提出原假设为

即模型线性关系不成立。
由于服从正态分布，根据数理统计学中的定义，的一组样本的平方和服从分布。所以有：
～
～
即回归平方和、残差平方和分别服从自由度为和的分布。进一步根据数理统计学中的定义，如果构造一个统计量
(3.2.3)
则该统计量服从自由度为的分布。根据变量的样本观测值和估计值，计算统计量的数值；给定一个显著性水平，查分布表（见本书附录），得到一个临界值。于是
＞
为原假设下的一个小概率事件。如果发生了＞，则在(1－ )水平下拒绝原假设，即模型的线性关系显著成立，模型通过方程显著性检验。如果未发生＞，则在(1－ )水平下接受原假设，即模型的线性关系显著不成立，模型未通过方程显著性检验。
在实际应用中，显著性水平的给定对检验结果有一定影响，在一个水平下是显著成立的，在另一个水平下可能不成立。这正是统计学意义上的结论的严格性与科学性所在。
⒊ 关于拟合优度检验与方程显著性检验关系的讨论
拟合优度检验和方程显著性检验是从不同原理出发的两类检验，前者是从已经得到估计的模型出发，检验它对样本观测值的拟合程度，后者是从样本观测值出发检验模型总体线性关系的显著性。但是二者又是关联的，模型对样本观测值的拟合程度高，模型总体线性关系的显著性就强。那么，找出两个用作检验标准的统计量之间的数量关系，在实际应用中互为验证，是有实际意义的。
用(3.2.2)和(3.2.3)分别表示的两个统计量之间存在下列关系：
(3.2.4)
那么，对于例2.3.1, 给定一个显著性水平 =0.01时，查分布表，得到一个临界值为，即是说，只要统计量的值大于6.70，模型的线性关系在99%的水平下是显著成立的。将该数值代入(3.2.4)，计算得到对应的为0.432。如果我们首先得到为0.432，肯定认为该模型质量不高，殊不知它的总体线性关系的显著性水平达到99%。这样，在应用中不必对过分苛求，重要的考察模型的经济关系是否合理。

三、变量显著性检验（t检验）

对于多元线性回归模型，方程的总体线性关系是显著的，并不能说明每个解释变量对被解释变量的影响都是显著的，必须对每个解释变量进行显著性检验，以决定是否作为解释变量被保留在模型中。如果某个变量对被解释变量的影响并不显著，应该将它剔除，以建立更为简单的模型。这就是变量显著性检验的任务。
变量显著性检验的数理统计学基础相同于方程显著性检验，检验的思路与程序也与方程显著性检验相似，在此不再重复。用以进行变量显著性检验的方法主要有三种：F检验、t检验、z检验。它们的区别在于构造的统计量不同。应用最为普遍的t检验，在目前使用的计量经济学软件包中，都有关于t统计量的计算结果。我们在此只介绍t检验。
⒈t统计量
在上一节关于参数估计量的有效性证明中，已经导出了参数估计量的方差为：

以表示矩阵主对角线上的第i个元素，于是参数估计量的方差为：

其中为随机误差项的方差，在实际计算时，用它的估计量代替，即

其中

这样，当模型参数估计完成后，就可以计算每个参数估计量的方差值。
因为服从正态分布，这在数理统计学中作为定理得到了证明；又因为为无偏估计量，均值为，因此服从下列正态分布：
～
前面已经说明：
～
进一步根据数理统计学中的定义，如果构造一个统计量
(3.2.5)
则该统计量服从自由度为的分布，即
～
该统计量即为用于变量显著性检验的统计量。
⒉ 检验
如果变量是显著的，那么参数应该显著地不为0。于是，在变量显著性检验中设计的原假设为：

给定一个显著性水平，查分布表（见附录），得到一个临界值。因为分布是双尾分布，所以按照查分布表中的临界值。于是
＞
（这里的已不同于(3.2.5) 式，其中）为原假设下的一个小概率事件。在参数估计完成后，可以很容易计算的数值。注意，模型中包括几个解释变量，就要计算几个的数值。如果发生了＞，则在(1－ )水平下拒绝原假设，即变量是显著的，通过变量显著性检验。如果未发生＞，则在(1－ )水平下接受原假设，即变量是不显著的，未通过变量显著性检验。

举报/Report

我的更多文章

下载客户端阅读体验更佳