主に勉強です。 Shimodaira, Approximately Unbiased Tests of Regions Using Multistep-Multiscale Bootstrap Resampling をザッと読みました。 Three steps の話は知りませんでした。漸近論の定理の内容は理解しようと思いますが、細かい計算は必要になっ…

-分布の自由度の求め方を補足にまとめました。厳密な仮定や証明などは全くせず、手続きだけを解説します。 Y_i 〜 N(m_i, sigma^2) 自由度 df =データ数ー(期待値 m_i の中にある)パラメータ数 df で割れば不偏分散 S^2 m_i - est{m}_i の線形和を W T=(W/sq…

講義準備：統計学 multi-bag 研究再開 勉強：特異モデルの漸近論まとめ

離散確率の最尤推定量について説明する予定です。幾何分布の最尤推定量の計算は手頃です。 幾何分布でよく説明できそうな具体的なデータを探して、講義で紹介したい。データとして、イベントが生じる間隔が観測されている例が良いでしょう。

講義準備：統計学 multi-bag 研究再開 勉強：特異モデルの漸近論まとめ 離散幾何のVC次元関連をのんびり読む

特異モデルの漸近論：近似錐を復習しました。 科研費を使うため、離散幾何学講義という本を購入しました。VC次元に関する話題や Concentration inquarity などが、機械学習とは違った文脈で出てくるので、読んでみたくなりました。凸体の体積評価の話は研究…

LSIF-uLSIFの差に関する不等式評価を数値的に示す実験をして、論文に載せました。 どうやら誤差のほとんどは LSIF vs. qLSIF が持っているらしく、qLSIF vs. uLSIF の誤差は相対的に大きくはない。 結果的に、ある制約下での L1-regularization と L2-regula…

cov-shift 研究：論文書き 特異モデルの漸近論を勉強 講義準備：統計学 来年度の講義について考える

LSIF-uLSIF のバウンドを論文に加えています。

回帰分析。最小２乗法の定義、計算法、不偏性について解説。

講義 cov-shift 研究 すぎポンからの催促メールに回答 CVaR learning 研究 特異モデルの漸近論まとめ

会議

まずは最尤推定量のレポート課題について解説します。パラメータが制約されているときの最尤推定量など。 今回の内容は回帰分析です。 最小２乗法の説明、統計的性質、最尤推定量との関連、射影との関連、回帰係数の検定など ２回程度に分けて講義します。

LSIF と uLSIF の差のノルムの上界を数値的に見ました。Hölder's inequality に関連している上界は、数値的にもなかなか良いです。LSIF を gLSIF と関連付けるところで近似を入れていますが、これがかなり tight であることを確認できました。 Hölder's ineq…

講義準備：数理統計 会議 cov-shift 研究 CVaR learning 研究 特異モデルの漸近論まとめ LSIFの漸近論の厳密化についてまとめる

LSIF を path-following algorithm (Lemke法) で解くのではなく、いくつかの ごとに、単純に QP で解くプログラムを実装しました。R library の quadprog に行列などを代入するだけです。簡単な例を論文に図示するだけなら十分です。 バグがあり、しばらくう…

M2: 昨年度のデータをラベル付き、今年度のデータをラベルなし、と思って合格確率の予測がで出来そうです。そうすると、期せずして、data set shift を使えるかもしれません。実際の推定量は若干複雑で、naive に dataset shift と思えるかどうかは、考える…

次回は、回帰分析について講義する予定です。 レポートの解答を作成しました。

回帰係数の傾きの検定を説明。その手前の仮説検定の解説で時間終了でした。 次回、今日の残りを解説して、その後予定を変更して最尤推定量をやろうと思います。最初に講義を準備したときには、分割表で独立性の検定をやろうと思っていましたが、時間がなくな…

cov-shift 研究 CVaR learning 研究 特異モデルの漸近論まとめ LSIFの漸近論の厳密化についてまとめる 講義準備：数理統計

１ヶ月振りの講義なので、最初に線形回帰の復習をします。

論文の証明を修正。LSIF の Learning curve に関する仮定を緩めることができる点をまとめました。Strong complementarity。 uLSIFにおいて strong complementarity に相当する条件を書き加えました。Any element of the solution is non-zero. LSIF を Quadr…

線形回帰モデルの傾きの検定について、講義メモをまとめました。 扱うデータは R の nhtemp：The mean annual temperature in degrees Fahrenheit in New Haven, Connecticut, from 1912 to 1971.

論文の校正。数年前の IBIS でポスター発表した内容の extended version です。論文を読んでいろいろ思い出す必要があります。久し振りに読んだら、ちょっと読みにくく感じました。 Reviewer のコメントは positive でした。論文をもっとコンパクトにするこ…

資料作成

臨時のショート・ゼミ。模試の得点(その他の情報)から合格確率の推定をしたい。合格定員の情報をどう推定に入れるか、ということでした。尤度に対するペナルティとして、いままでは個々人の合格確率の総計が定員に合うようにしていた。これだと、受験者の質…

推定量の差について、いろいろな上限を導出しました。正則化項が強く効いてくる状況では、推定量が原点付近にあるので、下手に誤差をバウンドしても、単純なノルムのバウンドよりタイトにならないこともあります。KKT条件から、正則化項の強さがほどほどの状…

LSIF, gLSIF, uLSIF の関係を示す証明を簡略化しました。誤差のバウンドをいくつか導出しましたが、明解なものだけ清書しました。 推定量の差のバウンドの評価で、平滑化パラメータが大きいところでは緩いようなので、そこを補正しました。式が若干繁雑にな…

CVaR learning 研究 特異モデルの漸近論まとめ LSIFの漸近論の厳密化についてまとめる 授業準備

会議