雑用 特異モデルまとめ、LSIFの漸近論の厳密化 しも論文読み、multi-bag を考察する。 授業準備：統計学、来年度の院の講義

５年間は本を書くまいと思っていましたが、前著に不満があり(執筆上の制約が多かった)、第二弾の執筆を決意しました。ブースティングを軸にして、機械学習と統計学に関する 標準的な内容 を解説したいと考えています(前著はマニアック過ぎた)。とりあえず書…

論文について、すぎポンとメールのやりとり。uLSIF の learning curve を計算してくれたようで、明日にでも確認しよう。

比較的面白い論文でした。査読報告書をまとめました。明日、もうすこし補足して送ります。

Approximating cone： Shapiro (1987), On differentiability of metric projections in 、 でお勉強。Cone が positive homogeneous であることを使うと、最尤推定量を構成するときに、パラメータ領域が cone で１次近似されていることを証明できる。 クリ…

査読 雑用 しも論文読み 特異モデルの漸近論まとめ Uniform convergence まとめ

Shapiroさん、Ruszczynskiさんの "Lectures on Stochastic Programming" をプリント。301ページもあるが、technical background を除けば 200ページくらい。Statistical inference, Risk Averse Optimization あたりには非常に興味がある。[Two|Multistage] …

Dr.ズッキー's memo を読むために、クリキンの本で特異モデルの漸近論について調べました。Approximating cone というものを学びました。Tangent cone との違いを示す例がクリキン本にありますが、まだ定義以上に深く理解できていません。Importance 推定の…

Dr.ズッキー's memo 後半読み 特異モデルの漸近論を確認 multiscale bootstrap 論文読み

数値実験の結果を載せて、文章を修正。漸く共著者に送付しました。 LSIF では Regularizaition-path が求まり、generalization error の推定には k-fold cross validation を使う。一方、uLSIF では regularization path は区分線形にならないが、leave-one-…

cov-shift 論文 担当個所を書き上げて、共著者に投げる Dr.ズッキー's memo 解読 P-Donsker CVaR-learning 校正。それに伴って、robust opt tutorial by Ben-tal 読み

論文の修正。Learning curve の節の notation を直した。数値実験も書き加えよう。

今年最後の講義。最尤推定量の例をいくつか紹介して、その後、指数型分布族の諸性質について解説。漸近論までは辿りつきませんでした。

multi-bag rank boost integrable boost CVaR-learning ECOC-game

講義：数理統計(最尤推定) cov-shift 研究：数値実験まとめ、Dr.ズッキー's memoの後半解読 Geer本読み。P-Donsker など。

Dr.ズッキー'memoの前半を読む。Approximation error ありのときの non-parametric uniform bound の収束オーダの計算。Local Rademacher complexity のあたりはあまり知りませんので、証明の詳細までは追えず。しかしいろいろ勉強になります。 learning cur…

B4：文字認識のラベルつきデータのラベルを見ないで、どの程度クラスタリングできるかを試している。目的はクラスタ数の推定なのだが、今のところ、あまりうまくいっていない。DDgap, X-means など。DDgap は Stanford 軍団、X-means は CMU 軍団からの提案…

最尤推定と指数型分布族について解説します。

講義準備：数理統計(最尤推定量) cov-shift：メモ読み、数値実験

Nguyen et al's paper を漸くメモにまとめた。肝心の定理については更に Geer本を参照する必要がある。どこまで遡るか、悩ましい。この機会に uniform convergence 関連の review を作ってしまおうか。来年度の大学院の講義でも、そのあたりは話したい。

論文に learning curve と deviation の計算についての解説を追加。設定を変えて数値実験をしている。Active set が変わる影響があるにもかかわらず、ある程度サンプル数が大きいときには漸近理論と数値結果が割とよく合っている。ただし情報量規準はあまり…

cov-shift論文：数値実験のやりなおし、論文修正。Learning curveの節を追加 本読み Nguyen, et al.論文のまとめ。P-Donsker復習 講義準備：数理統計

LSIFによる推定の learning curve と deviation を漸近論を使って計算した。これから情報量規準はすぐ導出される。 Regularization path を用いた推定のプログラムでバグを発見したので、これを修正。論文の数値実験をやりなおす必要がある。大きな影響はな…

NC研究会に一部出席 cov-shift研究。learning curveの計算結果の意味を考える non-parametric での convergence rate などについて考える Devroye本読む Nguyen et al.論文の復習とまとめ

mathematical programming journal の Shapio's paper と Ben-tal's paper (どちらも tutorial) をコピーしました。

Parametric model で importance 推定をしたときの learning curve を計算した。式は情報量規準と同様にスッキリしているが、まだ式が意味するところを理解していない。 論文の typo をいくつか修正。

Geer, Empirical Processes in M-Estimation を参照する必要があり、経済図書室から借りる。読みやすそうな本でよかった。 Entropy と uniform law of large numbers (ULLN) との関連は、はっきり言って難しくない。問題は正則化が入ったときの話。

cov-shift 研究 Nguyen, et al フルペーパーをじっくり読む。 Dr.ズッキー's memo を読む。 Squre error の場合を考える。 Importance 推定の learning curve を計算する。

午後は、Nguyen, et al. をじっくり読みました。のサンプルから を推定しようという話。f-divergence と思って、その dual を考えるのだが、このとき最適解として importance ratio が得られる。Non-parametric の設定での convergence rate を計算するのに…

仮説検定のレポート解説に1時間かかり、本題の最尤推定はあまり進みませんでした。 来週の補講で最尤推定の例と指数型分布族について説明します。