三硬币问题-Expectation Propagation解法

某师兄在临死(毕业)前,挖了个坑希望给他闲得XX疼的时候想出来的三硬币问题给出EM、Gibbs Sampling、VBEM、loop bp以及VBEP各种解法。现在他已经成为一名出色的sql工程师了。我算是给出这个Expectation Propagation解法,告慰他的在天之灵,少传播一点负能量。

变分推断与LDA

首先从LDA(Latent Dirichlet Allocation)开始,LDA是文档聚类的生成模型,又是PGM(概率图模型)很典型的一个例子,先看看它的生成图模型(这里并不讨论LDA与PLSA优劣,或者是其他有关文档主题发现模型有关的问题,主要是以LDA为一个例子,学习变分推断这个方法)。