■

• 数値実験のやりなおし。p-value を確認しました。意図した結果になっています。
• cross validation で learning algorithm を評価するとき、benchmark data や real world data だと train と test に若干の相関が生じます。なぜなら "cross" しているからです。このとき実は false positive に傾く傾向があり、危険です。その状況での conservative test もあることはあります。