機械学習界隈の情報収集方法

こんにちは.Machine Learning Advent Calendar (MLAC) 2013の14日目を担当します,[twitter:@kisa12012]です.普段は博士学生として,各地を放浪しながら機械学習の研究をしてます.今回の記事はボストンで執筆しています.現地時間(EST)での締切は守ったの…

確率的勾配降下法+α の話をしました

先日PFIセミナーにて,「SGD+α: 確率的勾配降下法の現在と未来」というタイトルで発表をしました!発表の機会を設定して頂いたPFIの皆様,ありがとうございます.スライドは以下になります. SGD+α: 確率的勾配降下法の現在と未来 from Hidekazu Oiwa 確率的…

ICML読み会2013 で発表してきました

先日行われたICML読み会2013で発表してきました.主催者の @sla さん,会場提供をして頂いた中川先生,および読み会を盛り上げて頂いた他発表者・参加者の皆様ありがとうございました!やはり論文読み会は刺激的で非常に楽しいひとときが過ごせました. これ…

研究の参考にしているサイト集

自分のメモ書きとして,たびたび論文執筆やプレゼン時に参考にしているサイトを以下にまとめてみました. 自身の研究分野である,コンピュータサイエンスや人工知能分野に関連する資料が多めです. 他に参考となる有用なサイトをご存知の方がいらっしゃれば…

Volume Regularization for Binary Classification

概要 分類問題を多次元空間の「点(重みベクトル)」ではなく「箱(重みベクトルの集合)」の形で最適化する.ここで「箱」の形で最適化する,とは「箱」中の重みベクトル集合の中で最悪性能を示す重みベクトルで最適化問題を評価した場合の値を最大化する事…

A Stochastic Gradient Method with an Exponential Convergence Rate with Finite Training Sets

概要 データが事前に固定されていれば,ある種の一般的条件設定のもとで,データ数に対して定数オーダーの計算コストで線形収束を実現するSGDを提案.確率的最適化手法であるSGDと全データの勾配を毎ステップ計算して最適化するGDのハイブリッド(良いとこ取…

Learning Multiple Tasks using Shared Hypotheses

概要 複数の関連する分類問題を同時に最適化するマルチタスク分類問題を考える.例として,個々人の受信メールから重要度の高いメールを抽出するタスクはマルチタスク問題として考えられる*1 *2. 上記のようにパーソナライゼーション等のタスクでは,タスク…

NIPS2012より識別モデル学習の進展を垣間見る

こんばんは.[twitter:@kisa12012]です.しがない機械学習系大学院生をやっております.Machine Learning Advent Calendar 2012 9日目では,"NIPS2012より識別も出る学習の進展を垣間見る"という無駄に野心的なタイトルで,先ほどまで開催されていたNIPS2012…

ICML2012読み会で発表しました && SVMの性能をガタ落ちさせるためには

本日サイボウズラボさんの会場で開催されたICML2012読み会に発表者として参加しました. 主催者のnokunoさん,会場係のshuyoさん,また参加者の皆様,ありがとうございました!非常に勉強になりました. 今回発表したのは,Poisoning Attacks against Suppor…

Exact Soft Confidence-Weighted Learning (ICML2012) 読んだ

概要 オンラインでの分類学習の世界では,CWが非常に強力なアルゴリズムとして注目されています.特に,その圧倒的な分類精度及び収束速度は圧巻の一言であり,自然言語処理を中心に様々な分野で応用例や派生アルゴリズムが提案されています*1. 一方で,ノ…

最適化本自分用メモ1章

Optimization本の自分用メモを少しずつ書いていこうと思います.各章に何が書いていたかを自分なりに纏めることで,後で見なおした時に過去に理解したことを復元するための種みたいなものとする事がこのメモの目的です.他の人が読んだ時に少しでも参考にな…

機械学習を様々なアプリケーションに適用するためのアドバイス

Andrew Ngの講義で面白いスライドがあったので紹介.研究ではなく様々なアプリケーションへ機械学習を適用するときに実践すべきTipsが3つのトピックに関して語られています.以下は,スライド内で自分が覚えておくべきと思った部分を抽出し,メモ書きしたも…

WWW気になった論文リスト

ただソーシャルメディアやマイクロブログを上手く利用しただけ論文は殆ど見かけなくなってきていますね.クラウドソーシングの新たな使い道を考案しました,な論文はちらほら.他には,ユーザー間を協調させる仕組みを作るサービスであったり,Twitterの中で…

能動学習入門的な話をしました

修論の原稿提出と国際学会の論文締切が1日違いなため,両方の作業を同時で進める日々を送っております今日この頃,皆様いかがお過ごしでしょうか. 今回は,先日PFIセミナーにて発表しました能動学習入門的な話の補足を少し述べたいと思います. (レイアウ…

Yahoo!のニュースコメント欄からスパムを排除するには

論文紹介のコーナー.*1 今回紹介するのは,KDD'2011のUnbiased Online Active Learning in Data Streams (Wei Chu, Martin Zinkevich, Lihong Li, Achint Thomas, and Belle Tseng). Yahoo! Labsのグループによる研究です.(その後,第一著者はMicrosoftへ…

適当な仕事をしている注釈者を発見せよ!

NIPS2011の論文を紹介していくコーナー. 今回対象とする論文は,Ranking annotators for crowdsourced labeling tasks. 概要 本論文は,標本のラベル付を複数人にしてもらう時に,標本をきちんと見ず,適当な注釈を行なっている人を見付け出すためのスコア…

WSDM 2012気になった論文リスト

WSDM2012のAccepted Paperが公開されています. http://wsdm2012.org/program/overview.html 最近,気になった論文リストしか書いていないですね・・. 何かエントリ書きます. How to Win Friends and Influence People, Truthfully: Influence Maximizatio…

NIPS2011気になった論文リスト

NIPS2011のAccepted Papersが公開されました。(まだタイトルのみですが) http://nips.cc/Conferences/2011/Program/accepted-papers.php いつもどおり、備忘録です。 Active Learning, Crowd, Submodular, Manifoldといったキーワードが流行しているように…

ECML/PKDD2011気になった論文リスト

自分用メモ. 当日,チェックしておきたいAccepted Papersを以下に纏めておきます. ペーパーが公開されているものは,アブストをナナメ読みした感想を簡単に書いています. Frequency-aware Truncated methods for Sparse Online Learning Hidekazu Oiwa, S…

PRankを実装しました

ランキング学習の一手法であるPRankを実装しました. PRankはPerceptronに似たアルゴリズムであり,実装も非常に簡単です. ソースコード github 解説 ランキング学習及びPRankの解説は,先日のDSIRNLPで発表された以下の記事が詳しいです. DSIRNLP#1で「ラ…

デマをデマと見抜けない人はTwitterを使うのは難しい

Twitterにおけるデマ検出手法を論じた研究が,ついにEMNLP2011に出てきたので紹介します. 論文:Rumor has it: Identifying Misinformation in Microblogs[Qazvinian et al., 2011] Twitter上のデマに関する興味深い統計情報も幾つか含まれているので,興味…

EMNLP気になった論文メモ

上の2つは特に気になった論文. Approximate Scalable Bounded Space Sketch for Large Data NLP Amit Goyal and Hal Daume III. pdf Rumor has it: Identifying Misinformation in Microblogs Vahed Qazvinian, Emily Rosengren, Dragomir R. Radev and Qi…

クラウドソーシング時代の能動学習

例によって,ICML2011からActive Learning from Crowdsのメモ書きです. クラウドと銘打ってはいますが,結局のところ複数アノテーターがいるときにどのように能動学習を行うとよいか,という手法提案の論文になっています. 概要 アノテーターが複数いる場…

ドメイン適応を用いた評判分析手法

ICML2011のドメイン適応の論文のメモ書き.数式番号が1つも使われていない,珍しい論文. Domain Adaptation for Large-Scale Sentiment Classification: A Deep Learning Approach 概要 評判分析,評判抽出のためのドメイン適応手法の提案 Deep Learningと…

分散型オンライン学習

ICML2011のOptimal Distributed Online Predictionをざっくりと読んだので,メモ書き. 論文 概要 既存のオンライン学習アルゴリズムをミニバッチに拡張,分散学習を可能にする 勾配ベースのオンライン学習手法は全て拡張可能 勾配ベースのオンライン学習手…

劣勾配法(ヒンジ損失)書いたよ

ソースコード ソースコード 内容 劣勾配法の解説は,以下のブログ記事が詳しいです. 劣微分を用いた最適化手法について(3) | Preferred Research こちらでも劣勾配法について簡単に説明したいと思います. 多クラス分類問題を解く場合,ヒンジ損失関数は以…

Passive-Aggressive書いたよ

ソース ソースコード 内容 Passive-Aggressiveの概要・説明については,先日のオンライン学習による線形識別器のスライドをご覧ください. http://d.hatena.ne.jp/kisa12012/20110625/1309003409 実験結果 NaiveBayes, Perceptronとの比較は以下. NaiveBaye…

Perceptron書いたよ

ソース ソースコード 内容 Perceptronの概要・説明については,先日のオンライン学習による線形識別器のスライドをご覧ください. http://d.hatena.ne.jp/kisa12012/20110625/1309003409 実験結果 NaiveBayesと比較すると,以下のようになりました. NaiveBa…

Bandit Feedback下での多クラス分類アルゴリズム

ICML2011のMulticlass Classification with Bandit Feedback using Adaptive Regularizationをざっくりと読んだのでメモ. 論文 概要 Bandit Feedbackでの多クラス分類問題における新たなアルゴリズムを提案 アルゴリズムは,Second-order Perceptronとupper…

オンライン学習による線形識別器

オンライン学習による線形識別器(Online Linear Classifiers ~PerceptronからCWまで~)というタイトルで研究室内の勉強会発表を行いました. 勉強会で使用したスライドを以下に公開します. (スライドが表示されない場合は,一度リロードを行うと表示されるよ…