査読 講義準備 rank-boost 研究 multi-bag 研究 書類書き：科研費、推薦状

企画セッションのお仕事

いくつか計算するも、進展せず。 えぐメモが届きました。大きなヒントになりそうなことが書かれています。 ranking は、思ったよりはるかに奥が深いことを認識しつつあります。モデルが真を含まない状況での推定量の挙動が、binary とはちょっと違うようです…

いくつかの確率不等式についてまとめます。

領域に対する non-parametric consistency。当初思ったほど強い定理ではないが、一応できました。もうすこし整備する必要があります。 うまく出来たと思ったが、いろいろミスあり。主張しようと思っていたことは成立しないようです。そうこうしているうちに…

期待値の推定を考えてみる。どのような母集団分布に対しても一致性をもつ推定量は、サンプル平均しかありません。 同じことを ordinary regression でやるわけです。結果をレジメにまとめています。

すでに boost は関係なくなってきています。 reduction の枠組を越えることは難しそうです。2年ほどまえに(我々以外に)考えていた人々がいたのですね。 まだ、すべきことはあります。 loss function and probability estimation modeling parametric optimiz…

kernel PCA の数値例を作りました。3次元データを2次元に表現します。結果を示します。 , , kernel化してノイズ除去されている様子

reduction について調べました。整備された話があるようです。

cross validation による カーネルパラメータの推定についてまとめました。 Kernel PCA について書きました。明日にも例を計算してメモにまとめます。

やる気のない学生をどう扱うべきでしょう? 定期的に face-to-face で明確に研究の指示をして進展具合を確認する、もしくは、まったくほっておく、というのが妥当と考えます。 中途半端はよくない。例えば、メールだけで指示するなど。 その意味では、この 2…

RKHS と VC theory について簡単に解説する予定です。RKHSのもとでの uniform convergence は Rademacher complexity から導出されますが、そのあたりは省きます。 multi-class SVM についてまとめました。 one-vs-one と one-vs-all

meeting のため上京。 boost ではなく svm でやろうということになりつつあります。似た話はいくつかあるようです。そのあたりの文献リサーチが必要です。 binary の拡張として ordered label に対する vc はあるのか?

svm for ordered regression の coding。 2次の部分の行列が縮退している QP なので、R の quantreg では解けない。仕方無く、diagonal に epsilon を足して解かせてみました。toy problems に対しては、結果は良好です。 ordered label に対する 信頼領域も…

えぐメモで何をやっているのかを理解しました。Ordered regression by U-loss。あまりスジはよくないと思う。順位の平均を取るのは論外。方法が目的に沿っていない。 すこし考え、SVM的なアプローチが有効であろうと結論しました。明日、coding してみます。

月曜に備え、えぐメモの復習をしました。 順位を応答変数のように扱うことの是非について、きちんと考えるべきと思います。ところでこれは、数学的な問題です。 Rennie and Srebro も読みました。 Freund らの rankboost の設定とは違います。

Representer theorem についてまとめました。 soft-margin svm primal (linear) → dual → dual を kernelization → primal が RKHS での soft-margin (via representer theorem)

law of large numbers for multiple sums について、そのうちまとめましょう。

校正論文を再投稿しました。Reviewer's comments から推測すると、すぐに受理してもらえるでしょう。

Mercer's theorem についてまとめました。 説明のため、Gaussian kernel の feature space と map を陽に書き下してみました。 Representer theorem

law of large numbers の double sum version の挙動について、若干の考察をしました。 実数値有界関数の集合 の VC dim が有限なら に確率収束します。どちらかの変数を index と看倣して、Donsker class に入っていることが十分条件になります。 少しきつ…

SMO の2次元パラメータの選択についてまとめました。 Gap-torelance classifiers の VC 次元の証明を学びました。最大を達成する点配置の厳密な証明はあるのでしょうか。超球に内接する 対称 simplex が maximum。

校正。共著者の鋭いコメントがあり、CVaR の性質について考え直しました。正則化項付きの場合、VaR がどうなるか、少し考えてみてもいいと思いました。 最終稿です。

原稿の最終チェックをしています。ほとんど最終稿です。

soft-margin SVM の dual form の導出。Wolfe の duality で説明することにします。

いくつかの仮説集合に対する VC dim を、例として挙げています。 SVM の説明についてまとめました。 素朴な linear classification で hard margin と soft margin について書きました。

講義準備(統計解析)：SVM, margin, 正則化, カーネル 研究 multi-bag rank-boost

Sauer's lemma についてまとめました。Schapire の講義ノートに分かりやすい帰納法による証明がのっています。Devroye らの Combinatorial methods in density estimation にある証明は、upper bound を直接導出しています。Schapire と比較して大分繁雑です…