今年も素晴らしい共同研究者の方々に恵まれ、研究を進めることができました。ありがとうございます。 もしかしたら今年は「研究者」でいることが出来たかもしれません。 来年も全力を尽くしたいと思います。(今年の残り数時間、もう少しネバりますが)

査読をしました。

メモにまとめました。 update formula が、一般には SL(n)-invariance だが beta-div の場合のみ GL(n)-invariance になるのはなぜか? PD(n)上に定義可能な幾何学と関連していますが、まだ見えません。 収束性について KL-base でなく Bregman-base で評価す…

beta-divergence leads GL(n)-invariance in PD(n), though others have only SL(n) invariance.

quasi-newton alg. is derived based on a variational view. I've done; description of algorithm, convergence, exploiting sparseness of Hessian matrix, effect of numerical outliers, robust update based on statistical devices. How should the e…

doubly flatness leads a unified geometrical structure. The nice view will be broken under the V-extension.

RKHS 関連の復習で読みました。来期の講義の参考します Sobolev embedding theorem については引用のみで証明はなし。 h>n/2 で RKHS から Sovolev space への injection が存在する。 RKHS の kernel k が定義する linear operator L_k の eigen function …

１月末にある information geometry 関連の ws での発表を依頼され、それに向けて以前から気になっていた事柄について、昨日から考えはじめています。 PD(n) 上の幾何学と quasi-newton。V関数から導出される Hessian update formula を計算しました。V関数…

２週間ほど前、boosting with prior knowledge について、いくつか計算して、発表をしました。 これについて、当初は論文にするつもりはありませんでしたが、たけさんも興味を持っているようで、共同研究としてまとめようということになりました。 U-conjuga…

カーネル関連について、いろいろ復習しています。

A new approach to collaborative filtering: operator estimation ...., JMLR. collaborative filtering with kernel method. representer theorem. **Square root of Gram matrix** is required... Rademachre and Gaussian complexity: risk boundes...,J…

IPM, f-div and binary classification IPM and f-dvi: total variation distance empirical computation of IPM: LP is available uniform consistency and rate of convergence: standard approach based on Geer's book. binary classificaiton and IPM: …

数理統計：Fisher information, Cramer-Rao's ineq.

Margin-based Ranking and an Equivalence between AdaBoost and RankBoost, JMLR. objective func. と margin 最大化との関連。収束性。 bipartite ranking における adaboost と rankboost の等価性 (with threshold) The P-Norm Push: A Simple Convex Ra…

U-conjugate で考えたら、非常に簡単になりました。数値実験では、今のところあまり優位性がありません。 Schapire et al. の incorporating 論文では toy problem の結果が載っていないので、なぜうまくいっているのか、よく分かりません。

評価関連。

binary svm without bias term なら kernel化は(形式的には)できます。問題の設定から、bias項についてはもともと考えていない。もちろん、入力を拡張して bias を入れることはできるが、regularization term が少しだけ異なるため、svm そのものではなくな…

評価関連。

準備：１年生の統計学。不偏推定量。図を多く入れています。

数理統計：明日の準備。不偏推定量など。

Bayes 研究会に向けて、数値実験をしました。 deformation of loss と incorporating prior knowledge がある場合には等価という話を boosting に応用します。その結果、計算時間が短縮します。なぜなら virtual samples を追加する必要がないからです。 普…

担当の項目(集団学習)を執筆して送付しました。

数理統計学の講義の準備。昨年度からの資料を使います。不偏推定量など。

Greedy algorithm. Scheduling prob. に対する greedy alg. と その optimality。 終わる時間が出来るだけ早いものを、どんどん取り込んでいきます。optimality の証明： f(i_r)帰納法、最小性には背理法を用いる。

統計学：多次元確率変数、独立性、正規分布。

明日の統計学(１年生)の講義を準備しています。解説はプロジェクタを使い、その後黒板で問題演習をします。多変数の確率変数、独立性、正規分布について説明する予定。

Mゼミ：Rの使い方。 Bゼミ：ICA, FIR, IIR。定常非定常、エルゴード、非正規。分かりやすい説明でした。

事典の項目を１つ担当しています。集団学習を4ページで解説します。内容は、bagging, boosting, stacking, ECOC です。どうにか書き終えたので、締切に間に合いそうです。 mixture of experts と stacking の関連などは軽く触れていますが、ECOCとboostingの…

R本は無事に出版されました。 事典の執筆期限が迫ってきています。Ensemble learning はあまり知らないので、勉強しています。