转载

线性回归——最大似然法

似然函数

似然函数与概率非常类似但又有根本的区别，概率为在某种条件（参数）下预测某事件发生的可能性；而似然函数与之相反为已知该事件的情况下 推测出该事件发生时的条件（参数） ；所以似然估计也称为参数估计，为参数估计中的一种算法；下面先求抛硬币的似然函数，然后再使用似然函数算出线性回归的参数；

假如有一枚硬币我们现在不知道它是否为正常硬币（正反面出现概率各位50%），所以想通过抛10次然后通过硬币正反面出现的概率分布判断该硬币是否正常；当抛完10次时出现5次正面向上、5次反面向上，正反面出现的概率符合正常硬币的预期，这时我们可以判断该硬币是正常的；

抛硬币符合二项分布所以下面计算出概率分布情况：

如图：

上图中x轴为正面出现的次数，y轴为上述函数的结果

上面式子中w为正反面出现的比例，y为正面出现的次数；

使用最大似然法求硬币问题

似然函数为知道了结果求条件，概率问题为知道了条件求概率，在这个问题中就是知道了硬币是正常的，求正反面出现的比例w为何值时该结果最靠谱；所以似然函数等于：

线性回归——最大似然法

函数左边的值并非条件概率中的条件而是该函数的依赖值，似然函数L为在给定结果y的情况下参数w的取值情况，概率函数L为知道了参数w求得y的取值；有了抛硬币情况的概率分布这里就可以给出 似然函数 ：

线性回归——最大似然法

似然函数求的是在给定样本向量y的情况下，符合该概率分布的参数向量w取值可能性；该似然函数求的是在w取何值时y=5的可能性更高；就问题而言就是求w取何值时线性回归——最大似然法的最大值，就如之前梯度下降法一样，求该函数的偏导数就可以求得极大值；由于直接求偏导数比较复杂，通常情况下都会求对数似然函数，对数函数为单调递增的所以与似然函数具有同样的最大值，该对数似然函数为：

线性回归——最大似然法

下面对该似然对数进行求关于w的偏导数：

线性回归——最大似然法

要求其最大值就是求该导数的拐点，也就是令函数等于0；

线性回归——最大似然法

通过求L关于w的偏导数求得w=0.5，于我们上面概率中的w时一致的，也就是说当w=0.5时y正面出现的次数等于5的可能性是最高的；

线性回归

通过前面几篇文章我们知道了线性回归的模型为：

线性回归——最大似然法

线性回归——最大似然法为误差值，所以我们也可以变为：

线性回归——最大似然法

线性回归——最大似然法代表的是误差，我们知道模型与实际的结果值时一个 连续随机变量 ，也就是说 损失函数（loss function）的值时连续随机变量 ，也就是，模型不可能考虑到所有的特征那也可能就过拟合了所以就会存在噪音，一般来说多种噪音叠加会呈现出 正态分布 的所以这里假设是正态分布的，训练模型的数据集中肯定不止一条记录，但结果只有一个，所以可以假设每条记录误差都是独立同分布的；