极大似然估计是一种估计数据参数的常见统计方法，它遵循的准则是极大似然准则。极大似然准则和经验风险最小化准则一样，都是一种计算模型概率分布参数的准则，我们后面会讨论它们的区别。
假定某制药开发了一种新的药物来治疗一种致命的疾病，为了估计服药患者的存活概率分布（注意，概率和统计是有区别的，统计只能近似逼近概率）。
制药公司采集了服用该药物的m个患者的信息，令S=（x1，.....，xm）表示m个患者构成的训练集，其中，如果患者i存活，则记xi=1，否则记xi=0。我们可以使用存活率来刻滑数据的概率分布。
我们希望在给定训练集S的基础上，对参数进行估计。一个直观的想法是，将训练集S中1的平均出现概率，作为参数的估计，即：。
显然，，即时参数的无偏估计。
事实上，关于的另一个解释是：它是参数的极大似然估计。
我们首先写出样本集S的生成概率：。
对上式取对数，就是给定参数时，样本集S的对数似然函数。
如果我们把对数似然函数看做参数的函数，则极大似然估计就是使得似然程度最大的那个点：
对于我们的例子来说，为了求存活率的极大似然估计，需要对求关于的导致未0的解，即：，等式的解即存活率的估计。
假设X是一个连续型随机变量。那么，对于所有的，有。于是之前给出的似然度的定义，对于连续型随机变量来说，似乎不太合理。
为了克服这个技术困难，我们可以定义似然度为随机变量X的概率密度函数在x点的对数值。具体地，由分布采样得到的一个独立同分布训练集S=（x1，....，xm），我们定义S关于参数的似然估计函数为：
参数的极大似然估计就是函数关于的极大值点。
我们以一个正态分布的随机变量为例来说明求极大似然估计的过程。设X服从正态分布：
为了使似然函数达到最大，分别另其关于和的偏导数为0，可以得到如下方程组：
对方程组进行求解，得到极大似然估计：
在经验风险最小化原则中，有一个假设集，利用训练集进行学习，选取假设，实现使得经验风险最小化。实际上，极大似然估计是对于特定的损失函数的经验风险最小化，也就说，极大似然估计是一种特殊形式的经验风险最小化。
对于给定的参数和观测样本x，定义损失函数为：
也就是说，假设观测样本X服从分布，损失函数与x的对数似然函数相差一个负号。该损失函数通常被称为对数损失。
在基础上，可以验证，极大似然准则等价于上式定义的对数损失函数的经验风险最小化（仅限于对数损失函数）
这里我们可以这么理解：经验风险最小化是一种泛化的模型求参法则，它的核心是求极值。而极大似然是一种特殊的形态，即使用对数这种形式来进行极值求导。
数据服从的潜在分布为P（不必满足参数化形式），参数的真实风险为：
其中，称为相对熵，H称为熵函数。
相对熵是描述两个概率分布的差异的一种度量。对于离散分布，相对熵总是非负的，并且等于0当且仅当两个分布是相同的。
由此可见，当时，真实风险达到极小值。
同时，上式还刻画了生成式的假设对于密度估计的影响，即使是在无穷多样本的极限情况下，该影响依然存在。如果潜在分布具有参数化的形式，那么可以通过选择合适的参数，使风险降为潜在分布的熵。
然而，如果潜在分布不满足假设的参数化形式，那么即使由最优参数所确定的模型也可能是较差的，模型的优劣是用熵刻画的。
上面的讨论总结一下本质就是估计风险和逼近风险的概念：