三村 崇晃
2015/1/14 (水), 15:00-17:00
東京大学 工学部6号館 235号室
統計や自然科学において現れる確率モデルでは，興味の対象となる確率分布が高次元かつ多峰的になることがしばしばある．サンプリング手法のひとつマルコフ連鎖モンテカルロ法（MCMC）は次元の呪いを回避するという点においては優れているが，多峰性分布に対してはマルコフ鎖が局所的なモードにトラップされ混合が遅くなり，効率性の低下や誤った推定をもたらす．この問題は、例えば機械学習においては不安定な挙動や良くない推定値といった形でモデルの性能に直接影響を及ぼす[1][2]．
この問題に対する処方としてさまざまなアルゴリズムが提案されているが，Salakhutidnovはその一部を発展させ深層ボルツマンマシン学習に応用した[3]．本発表ではその手法と背景を通じて適応的なサンプリング手法のいくつかを紹介する．
参考文献
[1] G. Desjardins, A. Courville, Y. Bengio, P. Vincent and O. Delalleau, Parallel Tempering for Training of Restricted Boltzmann Machines.
In Proceedings of the 13th International Conference on Artificial Intelligence and Statistics, Chia Laguna Resort, Sardinia, Italy, 2010.
[2] R. Salakhutdinov, Learning in Markov Random Fields using Tempered Transitions.
In Advances in Neural Information Processing Systems, 22, 2010.
[3] R. Salakhutdinov, Learning Deep Boltzmann Machines using Adaptive MCMC.
In Proceedings of the 27th International Conference on Machine Learning, Haifa, Israel, 2010.
