確率的勾配降下法+α の話をしました
先日PFIセミナーにて，「SGD+α: 確率的勾配降下法の現在と未来」というタイトルで発表をしました！発表の機会を設定して頂いたPFIの皆様，ありがとうございます．スライドは以下になります．
確率的勾配降下法(SGD)はシンプルで大規模データから”そこそこの”解を得るには非常に有効なアルゴリズムです．一度自分で実装してSGDを回してみたことのある人も多いと思います．
一方で
- 結局ステップ幅の設定が大変
- 正規化とか前処理しないとそれほど上手く動いてくれない
などなどSGDには欠点も多く，たくさんの人が使う際に苦しめられてきた現実もあるのではないでしょうか．
今回の発表では，SGDの欠点を克服するため，およびさらなる長所を加えるための，最新の+α拡張研究について紹介しました．
内容は，
- ステップ幅設定に今後悩まされないための +α手法
- 前処理なし，オンラインで自動正規化を行うための +α手法
- バッチデータから厳密解を高速に得るための +α手法
の３つを紹介しています．
もちろん今回紹介した+α手法以外にも，省メモリ化拡張手法 (こちらは前回のICML2013読み会で紹介しました）等様々な+αが考案されています．過去の単純なSGDでは満足に使えなかった場合も，SGD+αであれば上手く動くケースも多々あるのではないかと思います．そんな未来を夢見つつ，今回の発表をしました．ご参考となれば幸いです．
