オンライン学習による線形識別器
オンライン学習による線形識別器(Online Linear Classifiers ~PerceptronからCWまで~)というタイトルで研究室内の勉強会発表を行いました．
勉強会で使用したスライドを以下に公開します．
(スライドが表示されない場合は，一度リロードを行うと表示されるようになる場合があります．）
スライド
OnlineClassifiers
View more presentations from Hidekazu Oiwa.
内容概説
本スライドの構成は以下の通りです．
- 線形識別器とオンライン学習の定義，特性の説明
- Perceptron
- MIRA / Passive-Aggressive
- Confidence-Weighted Algorithms
内容のちょっとした補足
上のスライドでも説明しているようにオンライン学習の長所は，
- 高速に収束
- 再学習が容易
- 実装が単純
- 空間計算量（メモリ容量）を節約
という点にあると考えており，これらの特性を最大限利用したアルゴリズムが今回紹介したOnline Linear Classifiersです．
特に，通常のConfidence-Weightedは出現頻度の低い特徴を含むデータにラベルノイズが載っていると急激に性能が落ちる，という点はCWを使用する際に抑えておくべき有用な情報です．
原論文で挙げられている，ニュース記事分類精度等の実験結果を見ると既存手法に比べて圧倒的な精度を示していますが，ノイズが少しでも含まれるデータを扱う場合にはPA-IIを用いた方が良い場合もあるでしょう．
また，PAもCWも最適解へ収束した時の分類精度はそれほど変わらないこともあるかと思います．（低頻度特徴を強く重み付けしすぎてCWの方がPAよりも精度が悪くなるケースもありえます．）
データに応じて使用するべきアルゴリズムも変化するため，実用的には，いくつかのアルゴリズムを試してみて精度や挙動を比較するという作業も必要になるかと思います．
さらに補足
以前，AROWの解説スライドを作成していたことを思い出しました．
AROWの詳しい説明を確認したい方はこちらへどうぞ．
http://www.r.dl.itc.u-tokyo.ac.jp/study_ml/pukiwiki/index.php?schedule%2F2010-07-01
