particle filter中important sampling能否用gibbs算法,以及importance distribution怎样选取?

假设我们的未知后验是normal 分布的, 则对于 important sampling, 你要propose一个尽可能的与后验概率相似的分布(比如t-distributino)作为important function然后对这个分布进行sampling, 然后计算weight 来distort 我们的sample。 propose的distribution与posterior distribution越接近,sample的效率越好。当然,我们不知道posterior distribution是什么,但是我们可以用优化的方法大概知道其mode 与方差,这样我们就能propose一个至少mean 和 variance 差不太多的import function。important sample的一大缺点就是我们必须要知道posterior distribution的normalized constant(即其marginal likelyhood), 所以,最好能用rejection sampling. 当然,important sampling , rejection sampling 与MCMC比起类,还是MCMC比较好用:一个重要的原因就是高维灾难,在高纬度问题中,大多数地方是分布稀疏的,在选important function 的mean 或者 选rejection sampling 中要用到的 envelope function 的时候, 往往确定不了posterior distribution的"bump"在什么地方. 而是用MCMC类的方法,比如H-M算法,会自动找到bump的位置进行sampling (当然初始位置没选好也会有很长时间的burn-in,不过可以用multiple chain来解决).


    推荐阅读