Gibbs Sampling与B-LDA

之前已经见过了变分推断这种求近似解的手段,它似乎为我们对复杂模型提供了一个漂亮的解法,但是我们也发现变分推断求解过程比较复杂,又比较依赖指数家族共轭分布(虽然非指数家族或者非共轭可解,但是手段更加复杂),MC(蒙特卡洛方法)就提供了另一种手段,其中在概率图模型上常用的就是MCMC(蒙特卡洛马尔科夫)方法,用一句话描述MCMC,就是对于在随机向量\(X\)状态空间上的随机过程\({X(1),...,X(t)}\),如果给出适当的概率转移矩阵并作用于\(X\),就可以构造出马尔可夫链使\(X(t)\)的分布收敛到其真实后验分布.因此,这一类算法称为MCMC算法。其中比较常见的就是Gibbs采样算法。