担当 井上 彰

題目 リカレントニューラルネットワークの学習方法について

概要:
リカレントニューラルネットワーク(RNN)はサイクルを持つニューラルネットワークのことで、音声認識を含む時系列データ解析やテキストマイニング等、順序を持ち現在と過去の相関が大きいデータを扱う幅広い分野への応用が期待されている。

RNNの基本的な学習方法はRNNをフィードフォワードニューラルネットワークに展開(unfold)し通常のbackpropagationを用いるというものであり、backpropagation through time(BPTT)と呼ばれる。この手法自体は1990年代からよく知られたものであったが、近年勾配を二次近似まで考慮することでその性能が向上するという研究[1]がなされている。本発表では、RNNの学習方法について基本となるBPTTを紹介するとともに、近年の進展について述べる。

[1]Martens, J. and Sutskever, I. Learning recurrent neural networks with hessian-free optimization. In Proceedings of the 28th International Conference on Machine Learning (ICML), pp. 1033-1040, 2011.