贝叶斯角度理解正则化缓解过拟合">从贝叶斯角度理解正则化缓解过拟合

参考: LR正则化与数据先验分布的关系？ - Charles Xiao的回答 - 知乎

原始的Linear Regression

假设有若干数据 $(x_1,y_1),(x_2,y_2),...,(x_m,y_m)$，我们要对其进行线性回归。也就是得到一个方程

$$y = \omega^T x + \epsilon$$

注意，这里忽略偏置，或者可以认为偏置是在$\omega^T x$里面。

$\epsilon$ 可以认为是，我们拟合的值和真实值之间的误差。
我们将 $\epsilon$ 看成是一个随机变量，其服从高斯分布，即 $p(\epsilon)=\mathcal{N}(0,\delta^2)$ ，即：

$$p(\epsilon_i) = \frac{1}{\sqrt{2\pi}\delta}exp\left(-\frac{(\epsilon_i)^2}{2\delta^2}\right)$$

则对于每一个数据点 $(x_i, y_i)$ ，我们用$x_i$得到$y_i$的概率为：

$$p(y_i|x_i;\omega) = \frac{1}{\sqrt{2\pi}\delta}exp\left(-\frac{(y_i-\omega^T x_i)^2}{2\delta^2}\right)$$

注意，这里的$y_i$是真实值。

如果我们想要让这个概率最大，就得到了最大似然：

$$\begin{split} L(\omega)&=\prod_{i=1}^{m}p(y_i|x_i;\omega) \\ &=\prod_{i=1}^{m}\frac{1}{\sqrt{2\pi}\delta}exp\left(-\frac{(y_i-\omega^T x_i)^2}{2\delta^2}\right) \end{split}\tag1$$

取对数：

$$\begin{split} logL(\omega)&=log\prod_{i=1}^{m}\frac{1}{\sqrt{2\pi}\delta}exp\left(-\frac{(y_i-\omega^T x_i)^2}{2\delta^2}\right) \\ &=\sum_{i=1}^{m}log\frac{1}{\sqrt{2\pi}\delta}exp\left(-\frac{(y_i-\omega^T x_i)^2}{2\delta^2}\right) \\ &=mlog\frac{1}{\sqrt{2\pi}\delta}-\frac{1}{2\delta^2}\sum_{i=1}^{m}(y_i-\omega^T x_i)^2 \end{split}\tag2$$

由上式可以看出，最大化对数似然，也就是最小化均方误差。即：

$$\omega^*=\mathop{argmin}\limits_\omega \sum_{i=1}^{m}(y_i-\omega^T x_i)^2$$

这样， 就从最大似然的角度解释了均方误差。

但是，如果$x$的维度过高， $\omega$ 对应的分量又不接近0的话，也就是说，我们的模型将所有维度的特征都考虑了，这就可能导致过拟合的问题。
所以说，要环节过拟合，一方面我们可以进行特征选择，另一方面，我们可以让 $\omega$ 的某些分量变小。

---

对$\omega$引入先验分布

对$\omega$引入高斯先验分布

如果我们对 $\omega$ 引入高斯先验分布，也就是说，让 $\omega$ 的分量在靠近0的区域出现的概率大：

$$p(\omega^j)=\frac{1}{\sqrt{2\pi}\alpha}exp\left(-\frac{(\omega^j)^2}{2\alpha^2}\right)$$

这样，(1)式就变为：

$$\begin{split} L(\omega)&=p(\omega)\prod_{i=1}^{m}p(y_i|x_i;\omega) \\ &=\prod_{j=1}^{n}\frac{1}{\sqrt{2\pi}\alpha}exp\left(-\frac{(\omega^j)^2}{2\alpha^2}\right)\prod_{i=1}^{m}\frac{1}{\sqrt{2\pi}\delta}exp\left(-\frac{(y_i-\omega^T x_i)^2}{2\delta^2}\right) \\ &=\left(\frac{1}{\sqrt{2\pi}\alpha}\right)^n exp\left(-\frac{\sum_{j=1}^{n}(\omega^j)^2}{2\alpha^2}\right)\prod_{i=1}^{m}\frac{1}{\sqrt{2\pi}\delta}exp\left(-\frac{(y_i-\omega^T x_i)^2}{2\delta^2}\right) \\ &= \left(\frac{1}{\sqrt{2\pi}\alpha}\right)^n exp\left(-\frac{\color{red}{\omega^T\omega}}{2\alpha^2}\right)\prod_{i=1}^{m}\frac{1}{\sqrt{2\pi}\delta}exp\left(-\frac{(y_i-\omega^T x_i)^2}{2\delta^2}\right) \end{split} \tag3$$

取对数:

$$\begin{split} logL(\omega)&=log \left[ \left(\frac{1}{\sqrt{2\pi}\alpha}\right)^n exp\left(-\frac{\omega^T\omega}{2\alpha^2}\right)\prod_{i=1}^{m}\frac{1}{\sqrt{2\pi}\delta}exp\left(-\frac{(y_i-\omega^T x_i)^2}{2\delta^2}\right) \right] \\ &=mlog\frac{1}{\sqrt{2\pi}\delta} + nlog\frac{1}{\sqrt{2\pi}\alpha} - \frac{1}{2\delta^2}\sum_{i=1}^{m}(y_i-\omega^T x_i)^2 - \frac{\color{red}{\omega^T\omega}}{2\alpha^2} \end{split}\tag4$$

n是数据的维度。

最大化对数似然函数，就等价于：

$$\omega^*=\mathop{argmin}\limits_\omega \sum_{i=1}^{m}(y_i-\omega^T x_i)^2+\lambda\color{red}{||\omega^T\omega||_2}$$

也就是说，为参数 $\omega$ 引入高斯先验分布的最大似然，相当于给均方误差函数加上L2正则项。

对$\omega$引入拉普拉斯先验分布

如果我们对 $\omega$ 引入拉普拉斯先验分布：

$$p(\omega^j)=\frac{1}{2b}exp\left(-\frac{|\omega^j|}{b}\right)$$

类似上面的推导，我们可以得到：

$$\omega^*=\mathop{argmin}\limits_\omega \sum_{i=1}^{m}(y_i-\omega^T x_i)^2+\lambda\color{red}{|\omega|_1}$$

也就是说，为参数 $\omega$ 引入拉普拉斯先验分布的最大似然，相当于给均方误差函数加上L1正则项。

总结

之所以推导这些，是向给解释正则化找个理由。有了贝叶斯的这种方式，我们可以说，引入先验分布是降低了模型的复杂度，或者说是拉普拉斯分布进行了一定的特征选择，而高斯分布式对不重要的特征进行了抑制。另外，还可以说是，在 $\omega$ 的空间搜索时，先验分布缩小了解空间，这样对求解速度也有好处。