1、似然函数
统计学中，似然函数是一种关于统计模型参数的函数。给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率： L(θ|x)=P(X=x|θ)。
似然函数在推断统计学（Statistical inference）中扮演重要角色，尤其是在参数估计方法中。在教科书中，似然常常被用作“概率”的同义词。但是在统计学中，二者有截然不同的用法。概率描述了已知参数时的随机变量的输出结果；似然则用来描述已知随机变量输出结果时，未知参数的可能取值。例如，对于“一枚正反对称的硬币上抛十次”这种事件，我们可以问硬币落地时十次都是正面向上的“概率”是多少；而对于“一枚硬币上抛十次，落地都是正面向上”这种事件，我们则可以问，这枚硬币正反面对称的“似然”程度是多少。
似然函数的主要用法在于比较它相对取值，虽然这个数值本身不具备任何含义。例如，考虑一组样本，当其输出固定时，这组样本的某个未知参数往往会倾向于等于某个特定值，而不是随便的其他数，此时，似然函数是最大化的。
关于利用似然函数进行统计推断的应用，可以参考最大似然估计（Maximum likelihood estimation）方法和似然比检验（Likelihood-ratio testing）方法。
2、极大后验假设 极大似然估计
机器学习的任务：在给定训练数据D时，确定假设空间H中的最佳假设。
学习器在候选假设集合H中寻找给定数据D时可能性最大的假设h，h被称为极大后验假设（MAP maximum a posteriori）。
确定MAP的方法是用贝叶斯公式计算每个候选假设的后验概率，计算式如下:
h_map=argmax P(h|D)=argmax (P(D|h)*P(h))/P(D)=argmax P(D|h)*p(h) (h属于集合H)
最后一步，去掉了P(D)，因为它是不依赖于h的常量。
在某些情况下，可假定H中每个假设有相同的先验概率，这样式子可以进一步简化，只需考虑P(D|h)来寻找极大可能假设。 h_ml = argmax p(D|h) h属于集合H
P(D|h)常被称为给定h时数据D的似然度，而使P(D|h)最大的假设被称为极大似然假设。
3、最大似然估计
作用：在已知试验结果（即是样本）的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数作为真实的参数估计。
解释：最大似然估计中采样需满足一个很重要的假设，就是所有的采样都是独立同分布的。下面我们具体描述一下最大似然估计：首先，假设为独立同分布的采样，θ为模型参数，f为我们所使用的模型，遵循我们上述的独立同分布假设。参数为θ的模型f产生上述采样可表示为
回到上面的“模型已定，参数未知”的说法，此时，我们已知的为，未知为θ，故似然定义为:
在实际应用中常用的是两边取对数，得到公式如下：
其中称为对数似然，而称为平均对数似然。而我们平时所称的最大似然为最大的对数平均似然，即：
最大似然估计的一般求解过程：
（1）写出似然函数；
（2）对似然函数取对数，并整理；
（3）求导数 ；
（4） 解似然方程。
4、最大后验假设和最大似然估计区别
MAP与MLE最大区别是MAP中加入了模型参数本身的概率分布，或者说。MLE中认为模型参数本身的概率的是均匀的，即该概率为一个固定值。
