2013年10月21日月曜日

ワンランク上のABテストの検証〜統計を使ってLPを評価する〜

ABテストでLPを評価するときに、CV数やCVRなどの指標をもとに
大小関係で比較するのが一般的です。

たとえば、流入数がサイトAもサイトBも同じという条件のもとで、
一週間のCVの合計がサイトAで50、サイトBで53だった時

------------
サイトAのCV数:50  <  サイトBのCV数:53
なので
サイトBの方が効率的!
-------------

と、するレポートを見る機会が多いと思いますが
本当にサイトBが効率的なサイトと言えるのでしょうか?

そんな時は検定をつかって、
統計的にBが効率的かどうかを検証しましょう。

カイ2乗検定で、比較する方法はたくさん記事があるみたいなので、
今回は、F検定で比較する方法について考えてみたいと思います

で、F検定とは分散を比較する検定です!

#補足1#
分散て?→データの散らばり具合を表す指標です。
分散が0の分布はひとつの値に集中している分布です。
それに対して、分散が大きくなると、大きくなだらかな
分布を形成します。

#補足2#
分布って?→ヒストグラムのことです。
データを集めて、集計をすると、
山なりのヒストグラムができます。
これを分布といいます。

で、

F検定をすると何がわかるかというと、
2つの分布に分散の違いが有るか無いかをはっきりさせられます

もっというと

分散の違いをはっきりさせられると何がいいかというと、
誤差以外の”何らかの変動要因がある”ということがわかります

なので、今回の場合、
サイトAとサイトBのCV数をもとにF検定を行うと、
どちらかにCV数を向上させる(減少させる)要因が存在しているかどうかが分かります。

具体的にエクセルでやる方法については、また後日記載します!

#
実は、F検定では分散の違いしかみれません。
どっちが優れているか(=CV数を多く獲得できているか)を見るには
区間推定という分析が必要となります。

これも後日記載します!