本・論文

Fast alg. for extracting the diagonal of the inverse matrix with applicaion to ... を眺めました。 物理的には自然ということですが、数学的には強い仮定が必要のようです。 extract diagonal elements of the inversion matrix of M. Let A, B be diag…

smooth analysis of the condition number and the least singular value. Lemma 10.1 と lemma 6.8(entropy of rich vector) を除いて、証明を Follow しました。Rich vector が compressible であることを示すことで、Littlewood-Offord and invertibility…

Fukuda et al., Sparse clique factorization について復習。

Henmi, et al., モンテカルロ積分の論文をきちんと読みました。いろいろ inspire される面白い論文でした。 最近考えている研究のヒントになりそうです。

On the mathematical foundations of learning, Cucker and Smale.

RKHS 関連の復習で読みました。来期の講義の参考します Sobolev embedding theorem については引用のみで証明はなし。 h>n/2 で RKHS から Sovolev space への injection が存在する。 RKHS の kernel k が定義する linear operator L_k の eigen function …

論文読み

A new approach to collaborative filtering: operator estimation ...., JMLR. collaborative filtering with kernel method. representer theorem. **Square root of Gram matrix** is required... Rademachre and Gaussian complexity: risk boundes...,J…

論文読み

IPM, f-div and binary classification IPM and f-dvi: total variation distance empirical computation of IPM: LP is available uniform consistency and rate of convergence: standard approach based on Geer's book. binary classificaiton and IPM: …

論文読み

Margin-based Ranking and an Equivalence between AdaBoost and RankBoost, JMLR. objective func. と margin 最大化との関連。収束性。 bipartite ranking における adaboost と rankboost の等価性 (with threshold) The P-Norm Push: A Simple Convex Ra…

optimized cutting plane alg. for large-scale risk minimization, JMLR.

binary svm without bias term なら kernel化は(形式的には)できます。問題の設定から、bias項についてはもともと考えていない。もちろん、入力を拡張して bias を入れることはできるが、regularization term が少しだけ異なるため、svm そのものではなくな…

Bickel at al., simultateous analysis of lasso and dantzig selector.

Candes and Tao に比べて証明が簡略化されています。 解の一意性が重要なのではない、ということが新しい知見でしょうか。解が十分 concentrate している。

Candes and Tao, Dantzig selector

証明がかなり technical です。 δ_{2S} などに関する条件が必要ですが、これは L_1-norm を L_2-norm で upper bound するために S を引き出す必要がある、ということのようです。δ_{S} だとダメだが δ_{2S} なら 1/S が出てくるので O.K。 部分空間 V を仲…