源于托马斯·贝叶斯（Thomas Bayes）生前为解决一个“逆概”问题写的一篇文章，而这篇文章是在他死后才由他的一位朋友发表出来的。
什么叫逆概问题
在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，如“假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率是多大”。
而一个自然而然的问题是反过来：“如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测”。这个问题，就是所谓的逆概问题。
机器学习与贝叶斯方法
后来，贝叶斯方法席卷了概率论，并将应用延伸到各个问题领域，所有需要作出概率预测的地方都可以见到贝叶斯方法的影子，特别地，贝叶斯是机器学习的核心方法之一。
这背后的深刻原因在于，现实世界本身就是不确定的，人类的观察能力是有局限性的。
贝叶斯方法思路
- 首先提出猜测（hypothesis，更为严格的说法是“假设”，这里用“猜测”更通俗易懂一点）
- 算出各种不同猜测的可能性大小。就是计算特定猜测的后验概率，对于连续的猜测空间则是计算猜测的概率密度函数。
- 算出最靠谱的猜测是什么。所谓的模型比较，模型比较如果不考虑先验概率的话就是最大似然方法。
