すでに boosting は関係ありませんが、ordinal regression について、R で coding しています。大方できました。 計算速度は相当に速いです。 Li and Lin の論文('07) では 5-fold cv で 1時間弱かかっているが、提案手法は cv なしで試して 1分以下で計算が…

条件数の計算や本執筆などで、ずっと ranking をほっていましたが再開します。2週間ほどで仕上げて投稿したいと思います。 ranking で binary reduction をしてから確率を推定するのですが、これに対して Platt's posteriori probability を適用しようと思い…

論文校正。Partial order に関する考察を追加。順序関係を課す場合の必要十分条件のみ入れました。順序関係はないという制約まで入れると、数値的判定法は (簡単に解けないケースの) parametric LP で表現される。かなりネバりましたが、そのあたりはまだ攻…

Local version of partial order realizability problem had been cracked under the non-degenerate condition.

partial order realizability problem. 手計算だけでは様子が分からず、 R で coding して数値例を見て、ある conjecture を得ました。 ある parametric LP (c) が解をもつような c が存在するか? これが c に依らずに、他の係数から決定されてしまう、とい…

partial order realizability problem について数日ひたすら考えていました。以下の方法について検討し、gamma-algorithm approach を採用しようという気になっています。理由は、dual cone を考えるのが、現在の問題においては必要にして十分と判断したから…

Partial order の細かい証明のアイデアを練る。X(K-1,1) の外から x_0 を選べばうまくいきそうな気がしています。

少し見落しがあったようで、完全に必要十分とう訳ではないようです。

Partial orders induced by restricted LS-models have been completely characterized. 半順序関係を示したグラフの極小元と極大元の両方に着目することで、証明を得ました。ただし scale function σ(x) should be bounded. transformation of f_1,...,f_K …

restricted LS model を定義し、関数の大小と集合の包含関係が consistent になるように定めることで、その model から induce される partial order を理解できたと思います。厳密な証明はまだです。 Partial order を与えたとき、それが LS model で表現可…

location-scale model から induce される partial order のクラスについて考えています。昨日１日考えて、部分的な解答は得ましたが、まだ完全には理解していません。

原稿を共著者に送りました。 uniform convergence の証明をさらに追加する予定です。簡単な数値実験も加えたい。

full paper 書き。introduction を書きました。まだやるべきことはありますが、少し校正してそろそろ共著者に送ります。

hinge loss を ranking に関して多重に使うときの consistency は、モデルを制約すると一般に成立しない。L2-svm での loss でなら言えるので、そのあたりを例に出しつつ証明を書くことができる。結局は conditional prob 推定の能力に関わる(cf. Bartlett a…

発表スライド準備

スライド作成。発表準備

スライド書き。

Full paper 書き。Koenker流のアプローチを紹介。 推定量の uniform convergence について、正則化項なしの場合に証明を考えました。単なる ULLN の応用です。Surrogation loss と合わせて、error rate 最小に収束することが分かります。Order はまだ分かり…

Full paper 書き。model 拡張と partial order について。

Full paper 書き。可能な限り平易に、conventional notation を使うように心掛けています。 quant set の uniform convergence について考えましょう。

non-cross quantile の論文読み。 rankingとの関連。ranking に対して location-scale model はそのままでは適用不可。その意味では、rank-svm は RRQ では置き換えられません。このあたり、もうすこし詰める必要あり。

full paper 版を書いています。

明日のセミナのための準備

quantile regression との関連をまとめています。

数値実験のやりなおし。p-value を確認しました。意図した結果になっています。 cross validation で learning algorithm を評価するとき、benchmark data や real world data だと train と test に若干の相関が生じます。なぜなら "cross" しているからで…

細かい修正など

ver. 0 を投稿しました。いろいろ修正すべき個所はありそうです。

数値実験の結果が出ました。Scale function が定数にまあまあ近いときには、absolute loss on test data で LS model は cumulative model と比較して、若干悪い。しかし、quantile subsets の推定だと、 LS のほうが quantile に match した結果を返す。 論…

数値実験。 survival data を ordinal regression と考える、というタケサンの suggestion を受け、R で coding。明日には結果が出ていると思うので、ひととおり原稿をまとめて送ります。 理論はまあまあ出来たと思う。数値実験はまだ足りない。他の方法と比…

数値実験の結果を書きました。Toy problems ですが、予想した通りの結果です。2dim input ですが、non-convex quadratic + small cubic term なので結構複雑な形状の領域を推定する問題になっています。 Real world data を使う必要もあると思います。〆切が…