ワンランク上のABテストの検証〜統計を使ってLPを評価する〜 その２

前回の記事の最後で触れていますが F検定は分散を分析するものです。 

で、F検定で何をみるかといいますと、 ABテスト場合では、
 「日ごとのCV数の揺れの大きさ」と 「誤差の揺れの大きさ」を比較します。

 「日ごとのCV数の揺れの大きさ」　＜　「誤差の揺れの大きさ」 と検出されたときは、【ABテストの結果に違いはなし】という結果に。 

一方、 「日ごとのCV数の揺れの大きさ」　＞　「誤差の揺れの大きさ」 と検出されたときは、【ABテストの結果に違いがあり】という結果になります。

 これがF検定をやって分かることです。
なお、後者の場合が、統計学の教科書によく乗っている 「帰無仮説が棄却されて、対立仮説を採用する。」という話です。 

※数学的な話（結果だけ知りたいという方は読み飛ばしてください）

この大きさをどうやって判断するのかというと、 F分布の値を使って出します。 「日ごとのCV数の揺れの大きさ（分散）」　÷　「誤差の揺れの大きさ（分散）」　 がF値です。

この値が大きいければ、大きいほど 「日ごとのCV数の揺れの大きさ」が大きいということなので、 【ABテストの結果に違いがあり】という結果が導かれます。

その基準となるのが、F分布になります。 それで、検定をやって注意しなければならないのは、 AとBの優劣はまだわかっていないという点です。

 優劣を判断するには「推定」という分析でみます。 

まとめると 　
・F検定は、【違いがある】か【違いを無いか】をみる。 　
・Aが優れているか？Bが優れているか？を見るには推定をおこなう。 

という点です。

次回は推定について触れます。 エクセルのシートはまだ先になりそうです。。

ワンランク上のABテストの検証〜統計を使ってLPを評価する〜

ABテストでLPを評価するときに、CV数やCVRなどの指標をもとに
大小関係で比較するのが一般的です。

たとえば、流入数がサイトAもサイトBも同じという条件のもとで、
一週間のCVの合計がサイトAで５０、サイトBで５3だった時

------------
サイトAのCV数：５０　　＜　　サイトBのCV数：５３
なので
サイトBの方が効率的！
-------------

と、するレポートを見る機会が多いと思いますが
本当にサイトBが効率的なサイトと言えるのでしょうか？

そんな時は検定をつかって、
統計的にBが効率的かどうかを検証しましょう。

カイ２乗検定で、比較する方法はたくさん記事があるみたいなので、
今回は、F検定で比較する方法について考えてみたいと思います。

で、F検定とは分散を比較する検定です！

#補足1#
分散て？→データの散らばり具合を表す指標です。
分散が０の分布はひとつの値に集中している分布です。
それに対して、分散が大きくなると、大きくなだらかな
分布を形成します。

#補足2#
分布って？→ヒストグラムのことです。
データを集めて、集計をすると、
山なりのヒストグラムができます。
これを分布といいます。

で、

F検定をすると何がわかるかというと、

２つの分布に分散の違いが有るか無いかをはっきりさせられます。

もっというと

分散の違いをはっきりさせられると何がいいかというと、

誤差以外の”何らかの変動要因がある”ということがわかります。

なので、今回の場合、

サイトAとサイトBのCV数をもとにF検定を行うと、

どちらかにCV数を向上させる（減少させる）要因が存在しているかどうかが分かります。

具体的にエクセルでやる方法については、また後日記載します！

#

実は、F検定では分散の違いしかみれません。

どっちが優れているか（＝CV数を多く獲得できているか）を見るには

区間推定という分析が必要となります。

これも後日記載します！