三硬币问题-Expectation Propagation解法

某师兄在临死(毕业)前,挖了个坑希望给他闲得XX疼的时候想出来的三硬币问题给出EM、Gibbs Sampling、VBEM、loop bp以及VBEP各种解法。现在他已经成为一名出色的sql工程师了。我算是给出这个Expectation Propagation解法,告慰他的在天之灵,少传播一点负能量。

Multi-View Multi-Instance Multi-Label Learning

概念 首先是题目的三个关键点 - multi-view:这个名词由于实验室见到的比较多比较熟悉,multi-view是指同一个物体可能有多个view,以常见的数据集3-sources Text为例子,对于相同的story有3个新闻出版社的news,每一个新闻出版社其实就是一个view,multi-view聚类就是要利用这三个views之间的一些信息对story进行聚类。 - multi-instance:这个名词也出现了相当长的时间,m

Gibbs Sampling与B-LDA

之前已经见过了变分推断这种求近似解的手段,它似乎为我们对复杂模型提供了一个漂亮的解法,但是我们也发现变分推断求解过程比较复杂,又比较依赖指数家族共轭分布(虽然非指数家族或者非共轭可解,但是手段更加复杂),MC(蒙特卡洛方法)就提供了另一种手段,其中在概率图模型上常用的就是MCMC(蒙特卡洛马尔科夫)方法,用一句话描述MCMC,就是对于在随机向量\(X\)状态空间上的随机过程\({X(1),...,X(t)}\),如果给出适当的概率转移矩阵并作用于\(X\),就可以构造出马尔可夫链使\(X(t)\)的分布收敛到其真实后验分布.因此,这一类算法称为MCMC算法。其中比较常见的就是Gibbs采样算法。

变分推断与LDA

首先从LDA(Latent Dirichlet Allocation)开始,LDA是文档聚类的生成模型,又是PGM(概率图模型)很典型的一个例子,先看看它的生成图模型(这里并不讨论LDA与PLSA优劣,或者是其他有关文档主题发现模型有关的问题,主要是以LDA为一个例子,学习变分推断这个方法)。