昨日の修論中間発表。非線型偏微分方程式の数値解法はおもしろい発表でした。他は、分野が違いすぎて面白さが分からない発表もかなりあしました。

論文をかなり書きました。すこしいい加減な書き方になっているので、今後細部の詰めが必要です。

nips paper をいくつか査読しました。

ordinal-svm 論文をまとめる。 最適化について少し勉強する。LP-QP-SOCP-SDP の流れを理論的にきちんと解説している本があまりないように思う。Boyd本は辞書としては良いが理論の記述がいい加減で、これでは１人で勉強できない。Ben-Tal本のほうがいいかもし…

しきい値の差の uniform convergence を計算しました。Squared-loss を使うといろいろなことがきれいに計算できます。一般の損失で同じ結果を得るのは難しいという印象です。 数値実験を継続しています。

線形代数の試験。問題が易しすぎたのか、皆30分くらいで退出。

アルゴリズム輪読。グラフにおけるパスの存在の判定、連結成分の取り出しなど。リストや配列などのデータ構造とグラフの関連について読みました。

Candes and Tao に比べて証明が簡略化されています。 解の一意性が重要なのではない、ということが新しい知見でしょうか。解が十分 concentrate している。

M2: 中間発表の練習。素人向けに話すことを意識すること。 B4: Bishop本読み。Bias-variance decomposition.

設定を少し変えて数値実験をしています。計算時間を揃えるように sub-sampling のサイズを変更しました。

証明がかなり technical です。 δ_{2S} などに関する条件が必要ですが、これは L_1-norm を L_2-norm で upper bound するために S を引き出す必要がある、ということのようです。δ_{S} だとダメだが δ_{2S} なら 1/S が出てくるので O.K。 部分空間 V を仲…

二次錐計画→半無限。SIP の dual を解く方法について勉強する。 Robust opt を 半正定値相補性に変換。non-convex quadratic opt. の strong duality というのを知りました。その論文を眺めています。 絶対値計画、絶対値方程式について。線型相補性問題との…

いまから京都に最適化の話を聞きに行きます。

数値実験をしています。ラベルの予測では、Li-Linと比べるとあまりよい数値は出ていません。SVM-type ではデータが持っている情報をラベルの推定に集中しているのですが、提案法はそうではありません。したがって当然の結果と言えます。Ordinalな設定で、条…

Algorithm ゼミで出てきた話題で気になっていたことがあったので、考えていました。 コップの強度は 1 から n とする。強度が i とは、高さ i-1 から落としても壊れないが i から落とせば割れる。コップの強度を確定したい。2分探索なら log n (底は2)回落と…

Lasso と Dantzig selector を解析するための共通の枠組を提案しています。Candes and Tao では identifiability が強調されているようですが、その仮定は oracle inequality を導出するのには必要ではない、ということです。 Oracle inequality を導出する…

線形代数の試験問題の準備など。

R-coding の細かい修正などをしました。計算に数日掛かる予定です。 当初はアルゴリズムと数値例だけでよいかと考えていましたが、理論的にも考えたいことが定まってきました。

Convex non-increasing な関数で証明されていたことは、2乗ロス+LSモデルでも成立することが分かり、制約なし最適化で済むことが分かりました。少し計算してみれば、まったく明らかです。 R-code を仕上げました。計算には数日かかりそうです。

1norm-SVM だと、結局のところ条件付き確率は推定できないので、L2-loss で推定することにしました。2norm-SVMでもいいのですが、2norm-SVMが R は kernlab and e1071 にはなく、プログラムしやすい L2-loss で実装しました。 Li and Lin らによる C の実装 …

もうひとつセミナを聞きました。 傾向スコアについて。X(独立変数)所与のもとでY_1,Y_2(従属変数)とZ(割り当て)が条件付き独立のとき、傾向スコアの値で重み付けしてY_1とY_2の期待値の差(一般にはモーメント)をbias corrected GMMで推定。傾向スコア or Yの…

熱伝導方程式に impulse を加えて温度を保つ話を聞きました。Impulse を加える時間間隔のオーダの次元依存性について。

さきがけの不採録通知が届きました。グラントを得るための勉強が必要です。精進したいと思います。

すでに boosting は関係ありませんが、ordinal regression について、R で coding しています。大方できました。 計算速度は相当に速いです。 Li and Lin の論文('07) では 5-fold cv で 1時間弱かかっているが、提案手法は cv なしで試して 1分以下で計算が…

条件数の計算や本執筆などで、ずっと ranking をほっていましたが再開します。2週間ほどで仕上げて投稿したいと思います。 ranking で binary reduction をしてから確率を推定するのですが、これに対して Platt's posteriori probability を適用しようと思い…

共著者の頑張りのおかげで、原稿が仕上がりました。発売は11月の予定です。

校正を続けています。

大学院口述試験がありました。 17:00時ごろまで、その他の雑用など。

校正など、大詰めです。

数日前、久し振りに杉原先生の話を聞きました。コンピュータによる認識と表現の冗長性についての、興味深い話題でした。