ICML2011気になった論文リスト
ICML2011のAccepted paperが公開されています．
http://www.icml-2011.org/papers.php
個人的に気になった（あとで読みたい）論文リストを以下にまとめていきます．
オンライン学習，多クラス分類問題，スパース化，転移学習系の論文が多めです．
Efficient Sparse Modeling with Automatic Feature Grouping (Wenliang Zhong, James Kwok)
ノルムと
ノルムを組み合わせたsparse modeling手法であるOSCARのソルバー提案．
計算量をから
に改善． d:特徴次元数
http://www.icml-2011.org/papers/9_icmlpaper.pdf
On tracking portfolios with certainty equivalents on a generalization of Markowitz model: the Fool, the Wise and the Adaptive (Richard Nock, Brice Magdalou, Eric Briys, Frank Nielsen)
online-learning portfolioの論文．
Mean-Variance appoarchの，株式リターンがガウス分布に従うという仮定を緩和し，指数型分布族に対する一般的なonline learning portfolioの手法を提案．
http://www.icml-2011.org/papers/63_icmlpaper.pdf
Large Scale Text Classification using Semi-supervised Multinomial Naive Bayes (Jiang Su, Jelber Sayyad Shirab, Stan Matwin)
Semi-supervised Frequency Estimateによる，多項モデルナイーブベイズの半教師あり学習への拡張．
大規模データに対しても適用できるように，実装が単純かつ計算量が低い手法を提案．
実験より，EM+MNBや単純MNBよりも良い精度を達成することを確認．
http://www.icml-2011.org/papers/93_icmlpaper.pdf
On optimization methods for deep learning (Quoc Le, Jiquan Ngiam, Adam Coates, Ahbik Lahiri, Bobby Prochnow, Andrew Ng)
Deep Learningでは今まで主にSGDが使われてきたが，これは並列化やチューニングが困難．
本稿ではL-BFGS,CG法+リニアサーチによって，Deep learningの単純化・高速化を実現する手法を提案．
http://www.icml-2011.org/papers/210_icmlpaper.pdf
Multiclass Classification with Bandit Feedback using Adaptive Regularization (Koby Crammer, Claudio Gentile)
Bandit Feedback状況下での多クラス分類問題に対する新たな学習手法の提案．
second-order Perceptronをベースに，upper-confidence boundsを用いる．
また，Regretを証明．
http://www.icml-2011.org/papers/211_icmlpaper.pdf
Large-Scale Convex Minimization with a Low-Rank Constraint (Shai Shalev-Shwartz, Alon Gonen, Ohad Shamir)
協調フィルタリングや行列の低ランク近似のための特異値分解手法の研究．
効率的な貪欲法を用いた，最大の特異値に対応する特異ベクトルを効率的に求める反復アルゴリズムを提案．
線形時間オーダーで動き，近似保証もされている．
http://www.icml-2011.org/papers/232_icmlpaper.pdf
Learning from Multiple Outlooks (Maayan Harel, Shie Mannor)
データがいくつかの異なる特徴空間から生成される場合の学習問題を定式化．１つ１つの特徴空間を"Outlook"と呼ぶ．
目的は，各Outlookから生成されるデータをそれぞれ上手く分類する学習器を作ること．
本稿では，Outlook間の最適なアフィン変換を求めるアルゴリズムを提案．１つの特徴空間に全データをまとめられるようにする．
分布を推定するために必要なサンプルデータ数の理論保証もあり．
http://www.icml-2011.org/papers/275_icmlpaper.pdf
Predicting Legislative Roll Calls from Text (Sean Gerrish, David Blei)
トピックモデルとideal point estimationを用いて，法律草案の内容から国会議員の投票パターンと政治的傾向を予測．
http://www.icml-2011.org/papers/333_icmlpaper.pdf
Learning Linear Functions with Quadratic and Linear Multiplicative Updates (Tom Bylander)
乗算型アルゴリズムによるオンライン学習手法の提案．
Exponentiated Gradient(EG)アルゴリズムの累乗部分を，線形or二次の方程式で置き換える事により，学習上の制約を緩和．
（近似と言うべきか？）
特に，線形乗算型の更新式に置き換えたときは，重みの総和に関する制約等が無くなるにもかかわらず，最悪ケースでの挙動は本来のEG法と同等となる．
http://www.icml-2011.org/papers/339_icmlpaper.pdf
Domain Adaptation for Large-Scale Sentiment Classification: A Deep Learning Approach (Xavier Glorot, Antoine Bordes, Yoshua Bengio)
感情分析の需要は年々指数的に増えているが，全てのドメインに対して教師データを作成するのは困難．だから，ドメイン適応をさせたい．
本稿では，各レビューから意味ある表現を抽出するため，さらにドメイン適応にも利用できる方法での教師なしDeep learningを提案．
http://www.icml-2011.org/papers/342_icmlpaper.pdf
Optimal Distributed Online Prediction (Ofer Dekel, Ran Gilad-Bachrach, Ohad Shamir, Lin Xiao)
既存のオンライン学習(Dual-Averaging)等に対して，分散可能なミニバッチの枠組みで学習を行う手法を提案．
さらに，スムースな凸損失関数かつ確率的にインスタンスが与えられる条件下で，漸近的にリグレット上限を求められることを証明．
証明には，通信遅延とか考慮しているらしい．
さらに，提案手法をノイズやノードごとのデータ分布の不均一性に頑健にするための方法を紹介．
http://www.icml-2011.org/papers/404_icmlpaper.pdf
Preserving Personalized Pagerank in Subgraphs (Andrea Vattani, Deepayan Chakrabarti, Maxim Gurevich)
多くの場合，次数分布やクラスター係数を保った上で，実世界の巨大なグラフを小さな部分グラフで近似して様々な問題を解く．
しかし，多くの既存手法はノード間のきめ細かい関係を犠牲にしている．
本稿では，Personalized PageRank Valueという概念を用いてきめ細かい関係をモデル化し，その性質を保ったまま部分グラフを作るアルゴリズムを提案する．
http://www.icml-2011.org/papers/434_icmlpaper.pdf
Manifold Identification of Dual Averaging Methods for Regularized Stochastic Online Learning (Sangkyun Lee, Stephen Wright)
正則化項付きの最適化問題をDual-Averaging等の反復法で解くとき，正則化項によって誘導したい構造に沿った低次元の多様体上に最適解が存在する事が多い．
本稿では，RDAが高い確率でその多様体を同定できることを示す．
さらに，その性質を利用して，もし最適な多様体に近い物を同定することが出来れば，重みベクトルの空間をその多様体上に限定して学習を行うことで最適解への収束を高速化できる事を示す．
http://www.icml-2011.org/papers/569_icmlpaper.pdf
Active Learning from Crowds (Yan Yan, Romer Rosales, Glenn Fung, Jennifer Dy)
複数人かつ絶対でないアノテーターからの学習を確率的にモデル化．
http://www.icml-2011.org/papers/596_icmlpaper.pdf
