Search results
我之前有一个偏见，以为 mcmc 的问题在于很难 gpu 加速。但是这个说法过于温和，所以这里抛出一些板砖来娱乐众蛙。mcmc 本身没有任何问题，但是想用 mcmc 来计算高维流形上的配分函数 z，从而计算后验分布、估算后验概率，大体上相当于发展空气动力学来登月。
本文通过详细分析MCMC全过程的原理，帮助读者深入理解细致平稳条件的含义和作用。细致平稳条件是指目标分布与转移矩阵的内积相等，是找到马尔科夫链的平稳分布的充分条件，也是基于马尔科夫链采样的方法的必要条件。
MCMC最大的特点是让我们“能够在已知概率密度相差一个乘数因子的情况下，对该概率进行采样”。也即是，想对密度 p(x) 进行采样，而手上只有 f(x)=c\cdot p(x) ，且 c 未知，这时候就可以使用MCMC。
Non-reversible MCMC; 传统MCMC是基于detailed balance的，也就是确保Markov chain是可逆的。但其实可逆性是Markov chain存在极限平衡状态的一种特殊情况，也是更高级的情况。研究证明不可逆的Markov chain相比可逆的Markov chain收敛的速度更快，这对于MCMC的发展至关重要。
Feb 9, 2020 · MCMC采样和M-H采样存在两个问题： 对于高维的情形，由于接受率 \alpha 的存在，所以效率并没有很高，那是否能找到一个转移矩阵Q使接受率为1呢; 有可能我们采样了上百万次马尔可夫链还没有收敛，也就是上面这个n1要非常非常的大，这让人难以接受; Gibbs采样的 ...
首先大概从字面上解释一下mixing的意思，mix是混杂混合的意思。大家知道，由于随机性和初始化，同一个MCMC收敛的路径也可能是不同的，但是如果构造得当的话，好的MCMC应该最终是收敛于一处的，也就是各条路径混杂在一起。
有哪些学习mcmc的材料值得推荐？ 嗯…想大致学习MCMC的理论，以及在非参数贝叶斯模型及其各类变体中抽取后验的具体实现方法。 请问一般有哪些比较好的paper或者书籍推荐呢？
这样的话我们就可以用平时普通的MCMC来解决了. 步骤大概是，在t时刻，你有一个模型k和参数thetak，你希望得到t+1时刻的采样的x的值. 于是我们先按照q(m|k)先选个模型m. 然后根据提议分布将模型m的参数维度补全，并建立好与模型k参数的一一映射
当然，传统MCMC算法在高维情况下依然会遇到收敛速度慢的问题，而且糟糕的proposal distribution可能会让算法收敛得非常缓慢（MCMC是绝对会收敛的，但是众所周知，10年后才收敛也是收敛的一种）。 二来在很多贝叶斯模型里面后验分布往往是没法具体算出来的。
Oct 24, 2019 · mcmc关键是找出状态转移矩阵，使平稳分布趋近后验分布。网上很多mcmc m-h算法文章，但算法步骤里都没解释这个转移矩阵是怎么求出的或更新的。比如 … 显示全部
