线性模型是一类统计模型的总称，它包括了线性回归模型、方差分析模型、协方差分析模型和线性混合效应模型（或称方差分量模型）等。线性模型是现代统计学中应用最为广泛的模型之一，因为
- 现实世界中，许多变量之间具有线性或近似线性的依赖关系。
- 现实世界中，虽然有些变量之间的关系是非线性的，但往往可以通过适当的变换，使得新变量之间具有线性或者近似线性的关系。
- 线性关系是数学中最基本的关系，容易处理。
线性回归模型
现实生活中变量与变量之间的关系：
- 确定性关系：变量之间的关系可以用数学函数来表示，例如圆的半径 $r$ 与面积 $S$ 之间的关系可以用 $S=\pi r^2$ 来表示。
- 相关关系：变量之间的关系不能用数学函数刻画，但具有一定的“趋势性”关系。例如人的身高 $x$ 与体重 $y$ 之间大致呈现身高越高、体重越重的趋势。
回归分析的研究对象是具有相关关系的变量。需要注意的是，往往任何两个变量在有了观测数据之后，都可以进行相关关系的回归分析，但是进一步需要通过一系列操作（理论或人工）来判断这种关系是否显著或具有实际意义。
称 $y$ 为因变量或响应（response）变量，$x$ 为自变量、解释变量或协变量（covariate）。一般认为，$y$ 的值由两部分组成：一部分是 $x$ 能够决定的部分，记为 $f(x)$；另一部分是未加考虑的随机误差，记为 $e$。于是有如下模型
特别地，若 $f(\cdot)$ 是线性的或近似线性的，即 $f(x)=\beta_0+\beta_1x$，则
上式称为一元线性回归模型，这里 $\beta_0$ 称为回归常数，$\beta_1$ 称为回归系数（有时统称 $\beta_0,\beta_1$ 为回归系数）。
记 $(x_i,y_i),i=1,\dots,n$ 为来自 $(x,y)$ 的样本，如果上述回归关系成立，则 $(x_i,y_i)$ 应满足
基于以上样本信息，应用适当的统计方法，可得到 $\beta_0$ 和 $\beta_1$ 的点估计 $\hat{\beta}_0$ 和 $\hat{\beta}_1$。称
为经验回归方程。
注: 通常假设随机误差 ${e_i,i\geq1}$ 是i.i.d.序列，且与 ${x_i,i\geq1}$ 独立，同时满足 $\textsf{E}(e_i)=0$。因此上式实际上是回归函数
的一个估计。回归分析的首要问题就是估计回归函数。
自然的，在实际问题中，影响响应变量的主要因素往往很多，这就需要考虑多个协变量的回归问题。
假设响应变量 $y$ 和 $p$ 个协变量满足如下的多元线性回归模型：
若 $(x_{i1},\dots,x_{ip},y_i),i=1,\dots,n$ 为相应的样本，则它们满足关系
引入矩阵符号
则多元线性回归模型可简写为
通常称 $\pmb y$ 为观测向量，$\pmb X$ 为设计矩阵（design matrix），$\pmb\beta$ 为未知参数向量，$\pmb e$ 为随机误差向量。
对于随机误差向量 $\pmb e$，通常假定它满足Gauss-Markov假设：
- 零均值：$\textsf{E}(e_i)=0$，即误差项不包含任何系统的趋势；
- 同方差：$\textsf{Var}(e_i)=\sigma^2$，即每一个 $y_i$ 在其均值附近波动程度是一致的；
- 不相关：$\textsf{Cov}(e_i,e_j)=0$，$i\neq j$，即不同次的观测之间是不相关的。
将多元线性回归模型和Gauss-Markov假设合在一起，可简洁地表示为
这就是以后要讨论的最基本的线性回归模型。
假设 $\hat{\pmb\beta}=(\hat{\beta}_0,\hat{\beta}_1,\dots,\hat{\beta}_p)’$ 为 $\pmb\beta$ 的一个估计，则经验回归方程为
方差分析模型
不难发现，在线性回归模型中，协变量一般都是连续变量，研究的目的是寻求响应变量与协变量之间客观存在的依赖关系。但有时，协变量是示性变量，这种变量往往表示某种效应的存在与否，因而只能取0和1两个值。这种模型称为方差分析模型。
单向分类（one-way classification）模型：要比较三种药治疗某种疾病的效果，服用药效度量指标为 $y$。假设每种药有 $n$ 个人，记 $y_{ij}$ 为第 $i$ 种药的第 $j$ 个病人的药效度量值，则 $y_{ij}$ 可表示为
这里 $\mu$ 表示总平均，$\alpha_i$ 表示第 $i$ 种药的效应，$e_{ij}$ 表示随机误差。若采用矩阵符号，上述模型可改写为
或
注意到，$\textsf{rk}(\pmb X)=3$，它小于 $\pmb X$ 的列数4，称之为列降秩，这是方差分析模型的一个特点。
其它还有两向分类模型、具有交互效应的两向分类模型、三向分类模型等等，在此不做展开。
协方差分析模型
协方差分析模型是上述两种模型的混合，模型中的协变量既有取连续值的数量因子，又有取0-1值的属性因子，其设计矩阵可以看作由线性回归模型和方差分析模型的设计矩阵组拼而成。
以饲料催肥效果为例。试验者欲比较两种饲料的催肥效果，用每种饲料喂养三头猪。要考虑的协变量是小猪的初始体重，记 $y_{ij}$ 为喂第 $i$ 种饲料的第 $j$ 头猪的体重增加量，则 $y_{ij}$ 可表示为
这里 $\mu$ 表示总平均，$\alpha_i$ 表示第 $i$ 种饲料的效应，$x_{ij}$ 为喂第 $i$ 种饲料的第 $j$ 头猪的初始体重，$\gamma$ 为协变量的系数，$e_{ij}$ 的假设同单向分类模型。若采用矩阵符号，上述模型可改写为
或
注意到设计矩阵的部分列元素只取0或1，剩余列的元素则取连续值，但它也是列降秩的。
混合效应模型
混合效应模型的最一般形式为
其中 $\pmb y$ 为 $n\times1$ 观测向量，$\pmb X$ 为 $n\times p$ 设计矩阵，$\pmb\beta$ 为 $p\times1$ 非随机的参数向量，称为固定效应，$\pmb U_i$ 为 $n\times q_i$ 已知设计阵，$\pmb\xi_i$ 为 $q_i\times1$ 随机向量，称为随机效应。一般我们假设
于是
其中 $\sigma_i^2$ 称为方差分量，因此上述模型也称为方差分量模型。
对于混合效应模型，关心的问题是对两类参数（固定效应和方差分量）作估计和检验，并对随机效应 $\pmb\xi_k$ 进行预测。
两向分类混合模型：要研究人的血压在一天内的变化规律，在一天内选择 $a$ 个时间点测量被观测者的血压，假设观测了 $b$ 个人，用 $y_{ij}$ 表示第 $i$ 个时间点的第 $j$ 个人的血压，则 $y_{ij}$ 可表示为
这里 $\alpha_i$ 为第 $i$ 个时间点的效应，它是非随机的，是固定效应；$\beta_j$ 为第 $j$ 个人的个体效应。如果这 $b$ 个人是感兴趣的特定的 $b$ 个人，那么 $\beta_j$ 也是非随机的，是固定效应，这就变成了方差分析模型；如果这 $b$ 个人是随机抽取的，这时 $\beta_j$ 就是随机变量，是随机效应，模型就成了混合效应模型。
记 $\pmb y=(y_{11},\dots,y_{1b},\dots,y_{a1},\dots,y_{ab})’$ 为 $ab\times1$ 观测向量，
其中 $\otimes$ 表示矩阵的Kronecker乘积，$\pmb 1_n$ 表示所有元素均为1的 $n\times1$ 向量。此时该问题对应的混合效应模型可以写成矩阵形式：
一般总是假设所有随机效应都是不相关的，且 $\textsf{Var}(\beta_i)=\sigma_\beta^2$，$\textsf{Var}(e_{ij})=\sigma^2$，则观测向量的协方差阵为
其中 $\pmb J_n=\pmb 1_n\pmb 1_n’$ 为所有元素均为1的 $n\times n$ 矩阵。
Panel数据模型：假设对 $N$ 个个体进行了 $T$ 个时刻的观测，观测数据可写为
其中 $y_{it}$ 表示第 $i$ 个个体第 $t$ 个时刻的某项经济指标，$\pmb x_{it}$ 是 $p\times1$ 已知向量，它刻画了第 $i$ 个个体在时刻 $t$ 的一些自身特征，$\xi_i$ 是第 $i$ 个个体的个体效应，$\varepsilon_{it}$ 是随机误差项。如果我们的目的是研究整个市场的运行规律，而不是关心特定的 $N$ 个个体，那么个体效应就是随机的。
记
则上述模型可表示为
如果假设 $\textsf{Var}(\xi_i)=\sigma_\xi^2$，$\textsf{Var}(\varepsilon_{it})=\sigma_\varepsilon^2$，所有 $\xi_i$ 和 $\varepsilon_{it}$ 都不相关，则
其中 $\sigma_\xi^2$ 和 $\sigma_\varepsilon^2$ 就是方差分量。
在上述问题中，如果把时间效应也考虑进来，则模型可改写为
如果时间效应 $\lambda_t$ 也看成随机的，并且假设 $\textsf{Var}(\lambda_t)=\sigma_\lambda^2$，$\lambda_t$ 与所有的 $\xi_i$ 和$\varepsilon_{it}$ 都不相关，记 $\pmb U_2=\pmb 1_N\otimes\pmb I_T$，$\pmb\lambda=(\lambda_1,\dots,\lambda_T)’$，则得到如下模型
此时，观测向量的协方差阵为
其中 $\sigma_\xi^2$，$\sigma_\lambda^2$ 和 $\sigma_\varepsilon^2$ 就是方差分量。
后记
本文内容参考自《线性模型引论》（王松桂等，科学出版社）。
如对本文内容有任何疑问，请联系 watthu@mail.ustc.edu.cn。
