■

• 昨日と今日計算。KL-est の場合に、training data の randomness だけから条件数の分布の確率不等式を導出しました。ようやく squared loss 以外で計算できました。重要な例で、相関がある場合のバウンドを出せたので、不等式評価は少し緩いが良しとしよう。
• ２階微分に単調性がないので、一般への拡張はそのままではできません。
• 数値実験で、推定値における Hessian で cond num を計算しています。真を入れて独立性が成り立つ場合と、数値的にみて大きな差はない。
• メモ：上界については期待値の存在を仮定しなくてもよい。
• 確率的上界について以下を理解しました：
  • 相関ありで確率１で有界 → squared-loss is opt.
  • 相関なしという"近似"のもとで bounded でも unbounded でも → squared-loss is opt.
  • 残るは、相関ありで unbounded case. ある性質を満たす数列の存在に帰着される。これ以上は一般の f-div での推定量の収束性に関わり、手持ちの結果だけからは分からないであろう。