Hiding global synchronization latency in the preconditioned Conjugate Gradient algorithm(文献紹介)

松岡 栄光
2014/7/23 (水), 15:00-17:00
東京大学 工学部6号館 235号室

 共役勾配法(CG法)に代表されるクリロフ部分空間法を並列化すると通信によるオーバーヘッドが発生するが,特にノード数が増加した場合内積の計算において生じるglobalな通信のコストが大きくなる.本発表ではGhysels等によって提案されたPipelined-CG法[1]を紹介する.本手法では,計算順序の変更により,globalな通信を行っている間に他の計算をオーバーラップさせることで,globalな通信のオーバーヘッドを回避するアルゴリズムを提案している.MPI-3において利用可能となったノンブロッキング集合通信を導入した実装により,既存手法と比較してよりスケーラブルな性能を得られることを数値実験によって示す.

参考文献
[1] P. Ghysels, W. Vanroose, Hiding global synchronization in the preconditioned Conjugade Gradient algorithm, Parallel Computing, 2013.