最大似然用于线性回归的公式推导

高斯分布定义

假设随机变量X服从高斯分布，记作$X\sim N(\mu ,{\sigma }^2)$。概率密度函数为： $$f(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$

用最大释然推导得到线性回归均方误差

为了得到之前推导出的相同的线性回归算法，定义$p(y|x)=N(y;y^{\bullet }(x;w),{\sigma }^2)$。函数$y^{\bullet }(x;w)$预测高斯的均值。 $${\theta }_{ML}=argma{x}_{\theta }\sum _{i=1}^{m}logp(y^{(i)}|x^{(i)};\theta )$$ 上式中： $$\sum _{i=1}^{m}logp(y^{(i)}|x^{(i)};\theta )=\sum _{i=1}^{m}log\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{[y^{(i)}-y^{\bullet (i)}{]}^2}{2{\sigma }^2}}$$

$$=\sum _{i=1}^{m}log\frac{1}{\sqrt{2\pi {\sigma }^2}}+\sum _{i=1}^m-\frac{[y^{(i)}-y^{\bullet (i)}{]}^2}{2{\sigma }^2}$$

$$=-\sum _{i=1}^{m}log\sqrt{2\pi {\sigma }^2}-\sum _{i=1}^m\frac{||y^{(i)}-y^{\bullet (i)}|{|}^2}{2\pi {\sigma }^2}$$

$$=-mlog\sigma -\frac{m}{2}log(2\pi )-\sum _{i=1}^m\frac{||y^{(i)}-y^{\bullet (i)}|{|}^2}{2\pi {\sigma }^2}$$

由上式可知最大化${\sum }_{i=1}^{m}logp(y^{(i)}|x^{(i)};\theta )$等价于最小化${\sum }_{i=1}^m\frac{||y^{(i)}-y^{\bullet (i)}|{|}^2}{2\pi {\sigma }^2}$。而 $$MS{E}_{train}=\sum _{i=1}^m\frac{||y^{(i)}-y^{\bullet (i)}|{|}^2}{2\pi {\sigma }^2}$$ 由此便由最大似然推出了线性回归的最小均方误差。