前回の記事の最後で触れていますが
F検定は分散を分析するものです。
で、F検定で何をみるかといいますと、
ABテスト場合では、
「日ごとのCV数の揺れの大きさ」と
「誤差の揺れの大きさ」を比較します。
「日ごとのCV数の揺れの大きさ」 ＜ 「誤差の揺れの大きさ」
と検出されたときは、【ABテストの結果に違いはなし】という結果に。
一方、
「日ごとのCV数の揺れの大きさ」 ＞ 「誤差の揺れの大きさ」
と検出されたときは、【ABテストの結果に違いがあり】という結果になります。
これがF検定をやって分かることです。
なお、後者の場合が、統計学の教科書によく乗っている
「帰無仮説が棄却されて、対立仮説を採用する。」という話です。
※数学的な話（結果だけ知りたいという方は読み飛ばしてください）
この大きさをどうやって判断するのかというと、
F分布の値を使って出します。
「日ごとのCV数の揺れの大きさ（分散）」 ÷ 「誤差の揺れの大きさ（分散）」
がF値です。
この値が大きいければ、大きいほど
「日ごとのCV数の揺れの大きさ」が大きいということなので、
【ABテストの結果に違いがあり】という結果が導かれます。
その基準となるのが、F分布になります。
それで、検定をやって注意しなければならないのは、
AとBの優劣はまだわかっていないという点です。
優劣を判断するには「推定」という分析でみます。
まとめると
・F検定は、【違いがある】か【違いを無いか】をみる。
・Aが優れているか？Bが優れているか？を見るには推定をおこなう。
という点です。
次回は推定について触れます。
エクセルのシートはまだ先になりそうです。。
