一元线性回归在处理现实经济问题时,往往难以满足,因为经济系统复杂,需要多变量控制以减小偏差。遗漏变量问题,即仅用一个变量解释时,若遗漏变量与已有变量相关且是被解释变量的决定因素,会导致估计结果有偏。条件是遗漏变量与已包含变量相关且是被解释变量决定因素之一时,会产生内生性偏差。在大样本情况下,这种偏差依然存在,导致OLS估计不一致。
多元线性回归通过引入多个解释变量解决遗漏变量问题。其模型结构包括被解释变量、解释变量、常数项、随机误差项,以及确定性和不确定性部分。模型假设包括线性性、球形扰动、正态性、回归性和外生性。多元线性回归中的回归系数是偏回归系数,表示在控制其他变量不变的情况下,变量间的关系。
OLS模型估计的目标是使残差平方和最小。通过最小二乘估计得到系数和残差的估计量。OLS估计过程涉及求解系数表达式,简化为矩阵形式,通过矩阵运算找到估计系数的解。过程包括将模型写成矩阵形式,写出残差平方的矩阵形式,化简求导,求解系数。
极大似然估计与OLS估计在多元线性回归中过程相似,但求解过程不同。极大似然估计首先写出联合概率密度函数,然后取对数,最终求得极大值以获得估计量。结果下,OLS估计与极大似然估计的估计量相同,但方差不同,方差的性质将在后续部分详细讨论。