先验概率:(由历史求因 P(因))
换个情景，我们不再考虑隔壁小哥去公园的结果了。假设隔壁小哥还没去，大早上刚起床，打算吃完早饭再去。
假设我们比较了解小哥的个人习惯，别管怎么了解的：) 。小哥是个健身爱好者就喜欢跑步运动，这个时候我们可以猜测他更可能倾向于走路过去。
当然我的隔壁小哥是个大死肥宅，懒得要命！这个时候我们猜测他更可能倾向于坐车，连骑自行车的可能性都不大。
这个情景中隔壁小哥的交通工具选择与花费时间不再相关。因为我们是在结果发生前就开始猜的，根据历史规律确定原因 （交通方式）的概率分布即
先验概率。例子问题公式化： P(交通方式) P(交通方式)
一般化： P(因) P(因)
正规化： P(θ)
**
后验概率:(知果求因 P(因|果))
**
隔壁小哥去公园的故事才刚刚开始，假设在这里您已经牢记住这个故事的因和果。故事仍然要接着讲，顺便带出我们的概念。
假设我们已经知道小哥花了1个小时到了公园，那么你猜他是怎么去的（走路or坐车or自行车），事实上我们不能百分百确定他的交通方式，我们正常人的思路是他很大可能是骑车过去的，当然也不排除开车过去却由于堵车严重花了很长时间，当然还有可能他是个赛跑的运动员自己一路飞跑过去的。
假设已经知道小哥花了3个小时才到公园，这个时候我们猜的时候会觉得他很大可能是静静地走路过去的。但是假设已经知道小哥只花了20分钟才到公园，那么正常人会觉得他最大可能是开车奔驰而去。
这种预先已知结果（路上花的时间），然后根据结果估计（猜）原因（交通方式）的概率分布即 后验概率。
例子问题公式化： P(交通方式|花费的时间) P(交通方式|花费的时间)
修改成一般的公式： P(因|果) P(因|果)
公式正规化： P(θ|x)
**
似然估计（由因求果 P(果|因)）
换个情景，我们先重新考虑隔壁小哥去公园的交通方式。
假设隔壁小哥步行走路去，15公里的路到公园，一般情况下小哥大概要用2个多小时，当然很小的可能性是小哥是飞毛腿，跑步过去用了1个小时左右，极为小的可能是小哥是隐藏的高手，10分钟就轻功跑酷到了。
小哥决定开车，到公园半个小时是非常可能的，非常小的概率是小哥因为途径的路上有车祸堵了3个小时。
这种先定下来原因，根据原因来估计结果的概率分布即 似然估计。根据原因来统计各种可能结果的概率即似然函数。
似然函数问题公式化： P(时间|交通方式) P(时间|交通方式)
一般化： P(果|因) P(果|因)
正规化： P(x|θ)
**
evidence(无因求果 p(果))
隔壁小哥去公园很多次，忽略交通方式是什么，只统计每次到达公园的时间 xx，于是得到了一组时间的概率分布。这种不考虑原因，只看结果的概率分布即
evidenceevidence，它也称为样本发生的概率分布的证据。 evidenceevidence 在故事中如下表示： P(时间)
P(时间) 或 P(果)
贝叶斯公式：
我们熟知的贝叶斯公式是这样的： P(A|B)=P(B|A)∗P(A)/P(B)
但在这里我们采用如下形式： P(θ|x)=P(x|θ)∗P(θ)/P(x)
后验概率=似然估计∗先验概率evidence
贝叶斯推断的意义：
大家可以看到：没有做实验之前我们推断 P(θ=一号箱)=1/2P(θ=一号箱)=1/2
这个先验概率；而有了参考结果数据“从中摸出一颗糖发现是水果糖“，我们便可以得到P(θ=一号箱|x=水果糖)=3/5P(θ=一号箱|x=水果糖)=3/5
这个后验概率。也就是说推断是一号箱的概率，在取出水果糖前和后，【θ=一号箱θ=一号箱 】事件的可能性得到了增强（1/2 < 3/5）。
我们可以用小哥在公园的第二个奇遇来解释【贝叶斯估计】的意义：
小哥在公园里玩飞镖，附近有个陌生人说他是一个专业的飞镖玩家，假设你现在是小哥，你可能最开始会假设这家伙在开玩笑忽悠我吧。
首先你对这个人几乎什么都不了解，但遇到一个真正的专业飞镖玩家的概率是很小的。 因为澳大利亚的专业飞镖玩家也不过大约15个。
如果这个陌生人为了证明自己，开始扔飞镖并且第一次正中靶心，但这个数据可能还是不能令你非常信服，因为你觉得这可能只是运气。
但如果这个人连续十次都正中靶心，多个观测样本让你会倾向于接受他的专业说法。
在这件事当中，你对【陌生人是专业玩家】的先验置信度就被累积的实验数据所覆盖而增强变大，贝叶斯定理起作用了。
1、条件概率公式
设A,B是两个事件，且P(B)>0,则在事件B发生的条件下，事件A发生的条件概率（conditional probability)为：
P(A|B)=P(AB)/P(B)
分析：一般说到条件概率这一概念的时候，事件A和事件B都是同一实验下的不同的结果集合，事件A和事件B一般是有交集的，若没有交集（互斥），则条件概率为0，例如：
① 扔骰子，扔出的点数介于[1,3]称为事件A，扔出的点数介于[2,5]称为事件B，问：B已经发生的条件下，A发生的概率是多少？
也即，做一次实验时，即有可能仅发生A，也有可能仅发生B，也有可能AB同时发生，
② 同时扔3个骰子，“三个数都不一样”称为事件A，“其中有一个点数为1”称为事件B。这一题目中，AB也是有交集的。
用图更能容易的说明上述问题，我们进行某一实验，某一实验所有的可能的样本的结合为Ω（也即穷举实验的所有样本），圆圈A代表事件A所能囊括的所有样本，圆圈B代表事件B所能囊括的所有样本。
由图再来理解一下这个问题：“B已经发生的条件下，A发生的概率”，这句话中，“B已经发生”就相当于已经把样本的可选范围限制在了圆圈B中，其实就等价于这句话：“在圆圈B中，A发生的概率”，显然P(A|B)就等于AB交集中样本的数目/B的样本数目。为什么这里用的是样本的数目相除，而上面的公式却是用的概率相除，原因很简单，用样本数目相除时，把分子分母同除以总样本数，这就变成了概率相除。
2、乘法公式
1.由条件概率公式得：
P(AB)=P(A|B)P(B)=P(B|A)P(A)
上式即为乘法公式；
2.乘法公式的推广：对于任何正整数n≥2，当P(A1A2...An-1) > 0 时，有：
P(A1A2...An-1An)=P(A1)P(A2|A1)P(A3|A1A2)...P(An|A1A2...An-1)
3、全概率公式
1. 如果事件组B1，B2，… 满足
1.B1，B2....两两互斥，即 Bi ∩ Bj = ∅ ，i≠j ， i,j=1，2，....，且P(Bi)>0,i=1,2,....;
2.B1∪B2∪....=Ω ，则称事件组 B1,B2,...是样本空间Ω的一个划分
设 B1,B2,...是样本空间Ω的一个划分，A为任一事件，则：
已知：各个A∩Bi的样本数、Bi的样本数，
求A的样本数 / 总样本数Ω？
上图中，某一实验所有的可能的样本的集合为Ω，圆圈A代表事件A所能囊括的所有样本，把总集合Ω分为n个小集合，依次为B1、B2···Bn，这些小集合两两互斥，那么显然，A的样本数目可以通过与Bi的交集来获得，也即=（A∩B1的样本数）+（A∩B2的样本数）+····+（A∩Bn的样本数）。前文已经说过，样本数公式和概率公式，本质上是一样的东西。
4、贝叶斯公式
1.与全概率公式解决的问题相反，贝叶斯公式是建立在条件概率的基础上寻找事件发生的原因（即大事件A已经发生的条件下，分割中的小事件Bi的概率），设B1,B2,…是样本空间Ω的一个划分，则对任一事件A（P(A)>0),有
上式即为贝叶斯公式（Bayes formula)，Bi 常被视为导致试验结果A发生的”原因“，P(Bi)(i=1,2,…)表示各种原因发生的可能性大小，故称先验概率；P(Bi|A)(i=1,2…)则反映当试验产生了结果A之后，再对各种原因概率的新认识，故称后验概率。
已知：各个A∩Bi的样本数、Bi的样本数，
求A∩B3的样本数 / A的样本数？
例子：发报台分别以概率0.6和0.4发出信号“∪”和“—”。由于通信系统受到干扰，当发出信号“∪”时，收报台分别以概率0.8和0.2受到信号“∪”和“—”；又当发出信号“—”时，收报台分别以概率0.9和0.1收到信号“—”和“∪”。求当收报台收到信号“∪”时，发报台确系发出“∪”的概率。
解析：贝叶斯这一概念，所探讨的问题，也是事件A和事件B都是某一实验的不同的结果集合，然后把事件B这个结果集合分为n小份，每一小份也是结果集合，只不过这些小集合一定位于B集合内部，每一小份结果集合称为Bi(i∈[1,n])，Bi之间两两互斥，所有Bi并起来就是B。
本例中，实验为“发一次报，收一次报，然后记录发、收的字符”，事件A为“收到了U”，事件B为"发出了信号"，事件B1为“发出了U”，事件B2为“发出了—”，显然这里B1∪B2=B，B1∩B2=∅。要想求P(B1 | A)，根据条件概率公式，P(B1 | A)=P(B1 A)/P(B1)，只要分别计算出分子分母就行了，显然分子可以用上面的乘法公式来求，分母为已知（若分母未知，就得用全概率公式来求）。
贝叶斯公式，根本不用记忆，其实就是条件概率、乘法公式、全概率公式的组合。
解：设…， P(B1|A）= (0.60.8)/(0.60.8+0.4*0.1)=0.923
