ordinal-svm 研究

打ち合わせのために復習しています。すでに投稿した論文ですが、いくつか typo を発見しました。 \ell の bound のところ。Prank のところ。

投稿しました。

x≦y で∂l(x)+∂l(-y)≦{0} なら、ordered threshold が成り立つことを証明しました。可微分なら証明は簡単ですが、微分可能でないときの証明ではsubdifferentialに関する性質(maximal totally ordered)を使います。 論文はほぼ完成しました。

半日ほど校正し、かなり仕上がりました。

論文をかなり書きました。すこしいい加減な書き方になっているので、今後細部の詰めが必要です。

しきい値の差の uniform convergence を計算しました。Squared-loss を使うといろいろなことがきれいに計算できます。一般の損失で同じ結果を得るのは難しいという印象です。 数値実験を継続しています。

設定を少し変えて数値実験をしています。計算時間を揃えるように sub-sampling のサイズを変更しました。

数値実験をしています。ラベルの予測では、Li-Linと比べるとあまりよい数値は出ていません。SVM-type ではデータが持っている情報をラベルの推定に集中しているのですが、提案法はそうではありません。したがって当然の結果と言えます。Ordinalな設定で、条…

R-coding の細かい修正などをしました。計算に数日掛かる予定です。 当初はアルゴリズムと数値例だけでよいかと考えていましたが、理論的にも考えたいことが定まってきました。

Convex non-increasing な関数で証明されていたことは、2乗ロス+LSモデルでも成立することが分かり、制約なし最適化で済むことが分かりました。少し計算してみれば、まったく明らかです。 R-code を仕上げました。計算には数日かかりそうです。

1norm-SVM だと、結局のところ条件付き確率は推定できないので、L2-loss で推定することにしました。2norm-SVMでもいいのですが、2norm-SVMが R は kernlab and e1071 にはなく、プログラムしやすい L2-loss で実装しました。 Li and Lin らによる C の実装 …

すでに boosting は関係ありませんが、ordinal regression について、R で coding しています。大方できました。 計算速度は相当に速いです。 Li and Lin の論文('07) では 5-fold cv で 1時間弱かかっているが、提案手法は cv なしで試して 1分以下で計算が…

条件数の計算や本執筆などで、ずっと ranking をほっていましたが再開します。2週間ほどで仕上げて投稿したいと思います。 ranking で binary reduction をしてから確率を推定するのですが、これに対して Platt's posteriori probability を適用しようと思い…