■

• 準備：em-algorithm の大域的な収束性について。
  • min_{p,q} KL(p,q) において 、 を制約とする。E, M がともに m-flat なら KL の凸性から m-coordinate に関して convex opt となる。一方、em-alg の通常の設定では E が e-flat (or curved exp. family) です。
  • marginal しなければ linear で出てきて convexity には効かない。一方 marginal をとると非線型項が出てきて likelihood が concave + convex になる。marginalとったときの分布の曲率が問題になります。
  • という、極めて初等的で自明なところまで考察してそのあとは一般的なことは言えないらしいことを認識しました。Indeed, the opt. prob. has local min in some simple examples.