机器学习——线性回归 线性回归教程

数据集为：

样本向量：

拟合函数：

最??乘法

使用平?误差来定义损失函数：

向量表示：

求导：

其中?称为伪逆。对于?满秩或者列满秩的，可以直接求解，但是对于?满秩的样本集合，需要使?奇异值分解（SVD）的?法。得到于是：

线性回归的几何解释

假设我们的试验样本是张成的 维空间（满秩的情况）：?模型可以写成，也就是超平面上单位向量的线性组合，?最??乘法就是说希望和这个超平面的距离越?越好，于是它们的差与超平面正交：

噪声为?斯分布的 MLE

对于?维的情况，记，那么。代?极?似然估计中：

这个表达式和最??乘估计得到的结果?样。

权重先验也为?斯分布的 MAP

取先验分布。于是：

我们将会看到，超参数的存在和下?会介绍的 Ridge 正则项可以对应，同样的如果将先验分布取为Laplace 分布，那么就会得到和 L1 正则类似的结果。

正则化

在实际应?时，如果样本容量较小，很可能造成过拟合，对这种情况，我们有下

?三个解决?式：

1. 增加数据量

2. 特征选择（降低特征维度）如 PCA 算法。

3. 正则化

正则化?般是在损失函数（如上?介绍的最??乘损失）上加?正则化项（表示模型的复杂度对模型的惩罚），常用的两种正则化框架如下。

下?对最??乘损失函数分别分析这两者的区别。

L1 Lasso

L1正则化可以引起稀疏解。

从最?化损失的?度看，由于 L1 项求导在0附近的左右导数都不是0，因此更容易取到0解。

从另?个??看，L1 正则化相当于：

我们已经看到平?误差损失函数在空间是?个椭球，因此上式的解就是椭球和的切点，因此更容易相切在坐标轴上。

L2 Ridge

可以看到，这个正则化参数和前?的 MAP 结果不谋?合。利?2范数进?正则化不仅可以使得模型选择较少的参数，同时可以应对不可逆的情形。

?结

线性回归模型是最简单的模型，但是麻雀虽?，五脏俱全，在这?，我们利?最??乘误差得到了闭式解。同时也发现，在噪声为?斯分布时，MLE 的解等价于最??乘误差，?增加了正则项后，最??乘误差加上 L2 正则项等价于?斯噪声先验下的 MAP解，加上 L1 正则项后，等价于 Laplace 噪声先验。

传统的机器学习?法或多或少都有线性回归模型的影?：

1. 线性模型往往不能很好地拟合数据，因此有三种?案克服这?劣势：

1. 对特征的维数进?变换，例如多项式回归模型就是在线性特征的基础上加??次项。

2. 在线性?程后?加??个?线性变换，即引??个?线性的激活函数，典型的如感知机。

3. 对于?致的线性系数，我们进?多次变换，这样同?个特征可以不仅仅被单个系数影响，例如多层感知机（深度前馈?络）。

2. 线性回归在整个样本空间都是线性的，我们可以修改这个限制，在不同区域引?不同的线性或?线性，例如线性样条回归和决策树模型。

3. 线性回归中使?了所有的样本，但是对数据预先进?加?学习的效果可能更好（所谓的维数灾难，?维度数据更难学习），例如 PCA 算法和流形学习。