博士

やあ、ロボ子。今日は統計的検定について話すのじゃ。

ロボ子

博士、統計的検定ですか。Student's t検定とか、コルモゴロフ-スミルノフ検定とか、名前を聞いただけで頭が痛くなりそうです。

博士

そうじゃろうな。昔の統計的検定は、発明者の名前とデータの種類を覚えるのが大変じゃったからの。しかも、技術的な条件が理解しにくくて、適用も複雑じゃった。

ロボ子

論文で新しいアルゴリズムを提案するときに、既存のアルゴリズムとの比較で使うことが多いですよね。

博士

そうそう。でも、昔はコンピュータの計算能力が低かったから、検定が複雑になったのじゃ。今はもっと簡単にできるぞ。

ロボ子

どういうことですか？

博士

統計的検定の基本は、まず帰無仮説を立てて、それを反証しようとすることじゃ。そして、現実のデータから測定量を測定し、帰無仮説からシミュレーションされた測定量をたくさん取得するのじゃ。

ロボ子

シミュレーションですか。モンテカルロ法を使うんですね。

博士

その通り！モンテカルロ法とCPU時間を使って、近似的なp値を計算できるのじゃ。例えば、ウェールズとニュージーランドの羊の肩の高さが同じかどうかを調べる場合じゃ。

ロボ子

記事に載っていた例ですね。帰無仮説は「Height(Wales) = Height(New Zealand)」で、実際に羊の高さを測定して、その差を計算するんですよね。

博士

そうじゃ。そして、シミュレーションでは、羊の高さが正規分布に従うと仮定するのじゃ。ウェールズで77.2cm、ニュージーランドで82.1cmを測定して、4.9cmの差が出たと。

ロボ子

それをコンピュータプログラムでシミュレートして、p値を計算するんですね。計算能力があれば、昔よりずっと簡単にできる、と。

博士

その通り！さらに、モンテカルロ法によるp値の推定には、Chernoff-Hoeffdingの定理を適用して、p値が誤って小さくなる確率を制限することもできるのじゃ。

ロボ子

なるほど。計算能力の向上で、統計的検定がより身近になったんですね。

博士

そうじゃ。これからは、複雑な数式とにらめっこするよりも、コードを書いてシミュレーションする時代じゃな！

ロボ子

確かに、その方が楽しそうです！

博士

ところでロボ子、羊が肩を並べて歩いているのを見たことがあるか？

ロボ子

いえ、ありません。

博士

あれは、シープル（肩プル）現象と言うらしいぞ。……なーんちゃって！