大小関係で比較するのが一般的です。
たとえば、流入数がサイトAもサイトBも同じという条件のもとで、
一週間のCVの合計がサイトAで50、サイトBで53だった時
------------
サイトAのCV数:50 < サイトBのCV数:53
なので
サイトBの方が効率的!
-------------
と、するレポートを見る機会が多いと思いますが
本当にサイトBが効率的なサイトと言えるのでしょうか?
そんな時は検定をつかって、
統計的にBが効率的かどうかを検証しましょう。
カイ2乗検定で、比較する方法はたくさん記事があるみたいなので、
今回は、F検定で比較する方法について考えてみたいと思います。
で、F検定とは分散を比較する検定です!
#補足1#
分散て?→データの散らばり具合を表す指標です。
分散が0の分布はひとつの値に集中している分布です。
それに対して、分散が大きくなると、大きくなだらかな
分布を形成します。
#補足2#
分布って?→ヒストグラムのことです。
データを集めて、集計をすると、
山なりのヒストグラムができます。
これを分布といいます。
で、
F検定をすると何がわかるかというと、
2つの分布に分散の違いが有るか無いかをはっきりさせられます。
もっというと
分散の違いをはっきりさせられると何がいいかというと、
誤差以外の”何らかの変動要因がある”ということがわかります。
なので、今回の場合、
サイトAとサイトBのCV数をもとにF検定を行うと、
どちらかにCV数を向上させる(減少させる)要因が存在しているかどうかが分かります。
具体的にエクセルでやる方法については、また後日記載します!
#
実は、F検定では分散の違いしかみれません。
どっちが優れているか(=CV数を多く獲得できているか)を見るには
区間推定という分析が必要となります。
これも後日記載します!