Volume Regularization for Binary Classification

概要

分類問題を多次元空間の「点（重みベクトル）」ではなく「箱（重みベクトルの集合）」の形で最適化する．ここで「箱」の形で最適化する，とは「箱」中の重みベクトル集合の中で最悪性能を示す重みベクトルで最適化問題を評価した場合の値を最大化する事．さらに，理論的にはPAC-Bayesian Boundを求めており，ノイズ環境下ではAROWやSVMよりも非常に高い性能を示すことを確認している．

背景

  • 既存の線形モデルは，信頼度や代替となる重みベクトルの情報を持たせる事が困難
  • Bayesian Classifierは，計算量やメモリ制約の問題から近似手法が必要
  • これまた中庸を取る
  • 重みベクトル集合，つまり「箱」の最適化を行う
    • 高速かつ省メモリでパラメータ更新が可能かつパラメータとして信頼できる重みベクトル集合が得られる

最適化問題とアルゴリズム

  • (3)式 : 累積損失項 + log (箱の体積) + 正則化項 の総和を最小化する「箱」を求める
  • 各損失関数と正則化項は「箱」内で最悪の重みベクトルでの評価値を用いる
  • COMID (FOBOS) で逐次的に最適化
    • 「箱」の形に限定しているため，各軸の最小値と最大値さえ求めれば良い
    • 線形モデルである特性から，正則化項がL2の場合，各軸毎に最適化問題を分解できる
    • 損失関数も正則化項も箱全体の重みベクトルを使う必要がなく，いくつかの代表値のみを用いてパラメータ更新が可能

雑感

  • 「箱」を最適化するという発想が凄い．何故このような手法を思いつくのでしょう．見習いたい．
  • ただ，ハイパーパラメータが２つあるのは実用上で不安？
    • パラメータチューニングは結構骨を折りそう
  • SCWとの比較がないので，比較して欲しい所