論文校正。

微分不可関数に対する quasi-Newton method。いくつか論文があるようですが、まだまだ研究すべき課題は多い。

論文を執筆。計算量に関する若干の補足を加えます。１変数newton法の分だけ overhead がありますが、実用上は negligible でしょう。

f(x) が２次とのきと一般の凸のときで、著しく性質が異なることを確認しました。数値実験の結果がヒントになり、理論的な確認に至りました。 全く簡単なことですが、外部からの情報なしには、考えようとは思わなかったことでしょう。 matlab で coding しま…

Popular self-scaling がブレグマンから導出されないことを証明しました。おそらくこれが、inefficiency の理由と考えています。

執筆中。

論文の執筆を始めました。

本格的に論文の執筆を始めます。過去のメモを読み返しました。計算の背後にある幾何構造が明確になるように、式を書き直そうと考えています。

V-BFGS-B を normalized scale-free criterion で評価。これだと、おそらく gross error sensitivity は発散します。

sparse V-BFGS-H の計算量を から に出来たと思います。 あと残っている問題は em-type extension の収束先の特徴付けです。

年末年始に集中的に研究にとりくみ、いろいろと分かりました。 BFGS の数値的安定性はいろいろな数値実験によって確認されています。これを自分なりの視点から理論的に示すことができました。 そのあたりについて、サーベイをする必要もあります。 em-type b…

メモにまとめました。 update formula が、一般には SL(n)-invariance だが beta-div の場合のみ GL(n)-invariance になるのはなぜか? PD(n)上に定義可能な幾何学と関連していますが、まだ見えません。 収束性について KL-base でなく Bregman-base で評価す…

beta-divergence leads GL(n)-invariance in PD(n), though others have only SL(n) invariance.

quasi-newton alg. is derived based on a variational view. I've done; description of algorithm, convergence, exploiting sparseness of Hessian matrix, effect of numerical outliers, robust update based on statistical devices. How should the e…

doubly flatness leads a unified geometrical structure. The nice view will be broken under the V-extension.

１月末にある information geometry 関連の ws での発表を依頼され、それに向けて以前から気になっていた事柄について、昨日から考えはじめています。 PD(n) 上の幾何学と quasi-newton。V関数から導出される Hessian update formula を計算しました。V関数…