Laplace Approximation

在进行概率图模型中建模的时候,大多数情况下,我们都会尽量选择共轭先验,这样可以在计算时利用积分积掉一些不好求的部分。还有一些情况是在生成模型中,混入了广义线性模型,带隐变量同时又带有非共轭的模型,这就导致后验分布写出来的形式很难进行处理。比如这篇论文里面,由于使用softmax函数的原因,导致非共轭的情况出现,这种时候,主要采用两种手段,Laplace Approximation或者Sampling的方法。最近碰巧遇到了,就记录一下。