ABテストについて徹底解説！カイ二乗検定による有意差判定！

こんにちは！

消費財メーカーでデータサイエンティストをやっているウマたん(@statistics1012)です！

ビジネスをデータの力でグロースさせていく上で非常に重要なのがABテスト！

様々なところでABテストという言葉が飛び交っているのでほとんどの方が聞いたことはあるでしょう。

しかし

など、なかなかABテストを知っているだけでは難しい部分が多いのも事実です。

昨今では、簡単にABテストを行うことが出来るようになったため厳密な理解をせずとも使えてしまいますが、厳密な理解をしているのとしていないのとでは大違い！

ぜひこの記事でABテストについて理解してABテストを使いこなしましょう！

最後に僕が作ったABテストにおける有意差判定ツールを紹介しているので使ってみてください！

以下の動画でも分かりやすく解説していますよ！

ABテストとは

まずはじめにABテストとは何でしょうか？

簡単に言うと、その名の通り、「AパターンとBパターンでどちらが効果があるかテストすること」です。

など、Webマーケティングの領域で非常に頻繁に使われます。

例えばコーラを作っているメーカーの広告であれば、

コーラを飲んでいる人を見せるクリエイティブを出したほうがよいのかそれともキンキンに冷えたコーラそのものにフォーカスしたクリエイティブを出したほうがよいのか。

今までなんとなくの感覚で行っていた施策がデータを取得できるようになったことで厳密に勝ちパターンを見つけることができるようになったのです。

多くの企業が日々ABテストを繰り返しグロースし続けています。

そして僕自身本業でももちろんABテストを実施しながら個人でもABテストをおこなっています。

以前はGoogleの提供するGoogle Optimizeというツールを使えば、個人でも無料でWebサイトデザインのABテストを行うことができました（2023年9月30日に提供終了）。今も後ほど紹介するようなツールを使えば、ABテストを手軽に行うことができます。

もうABテストは企業だけのものではないのです。

個人でもABテストを簡単に行える環境は整っているんです！

ABテストにおける有意差を測るカイ二乗検定

さて、続いてABテストにおける有意差とカイ二乗検定について見ておきましょう！

ABテストで学ぶ有意差

なんとなくABテストとはAパターンとBパターンの違いを見るものだということが分かったと思います。

それでは、以下の例ではAパターンとBパターンに違いはあるでしょうか？

メールABの効果を確かめるためにランダムに振り分けたセグメントに配信を行いました。

※クリック数はメールからURLをクリックしてWebサイトへ遷移した数と定義します。

この時メールAとメールBでどちらの方が良いと言えるでしょうか？それとも、違いがあるとは言えないのでしょうか？

ここで統計学の考え方が登場します。

統計学の世界では、ある事象に前提と違う差が生じていることを有意差があると言います。

すなわちここでは、AとBで差がないという前提に立った時、その前提が覆るほどの差（すなわち有意差）が生まれているかを検定します。

それを統計的検定と呼びます。

ABテストで学ぶカイ二乗検定

そしてABテストにおいてはカイ二乗検定という手法を使って有意差を測っていきます。

カイ二乗検定は、簡単に言うと「分布に差が生まれているか否かを測るもの」です。

先ほどの例の場合、どのような計算を行ってカイ二乗検定の計算を行っていくのでしょうか？

簡単に見ていきます。

そもそもABのメールに違いがなかったとしたらどうなるでしょう？

合計で1500通送ったうち100通がクリックされているわけですから、AもBも15分の1がクリックされることになるはず。

計算してみると・・・

Aは1060×(1/15)=70.7
Bは440×(1/15)=29.3

でも実際のところはAが60通で、Bが40通となっています。

これがたまたま誤差の範囲なのかそれとも決定的な違いがあるのかをカイ二乗検定により見ていくことになるわけです。

この差を以下の式で計算します。

$$\sum\frac{(期待値-実測値)^2}{期待値}$$

すなわちこの場合は、クロス集計表の4セル全ての期待値を算出してそれぞれの実測値との値のズレの2乗を期待値で割ったものを全て足しあわせていきます。

$$\frac{(70.7-60)^2}{70.7}+・・・$$

結果は・・・5.88となりました。

この結果がカイ二乗値となり、カイ二乗値をもとにカイ二乗分布と照らしあわせてこの値が何％ほどで起こりうる値なのかを見てみます。

カイ二乗分布において自由度という指標が必要になるのですが、自由度は

$$自由度=(行数-1)×(列数-1)$$

で求めます。

今回は1になりますね！

自由度1でカイ二乗値が5.88の場合はどのくらいの確率で起きうるものなのでしょうか？

自由度1の時のカイ二乗分布の値は5％で3.84、1％で6.63、0.5％で7.88となっています。

通常は5％有意もしくは1％有意を用いますが、この場合5.88は3.84を上回っていますが6.63より小さいので5％有意となります。

つまりAとBが同じ前提の時、この事象は5%以下の確率でしか起きないということになるのです。

以下のカイ二乗検定の記事ではRによるカイ二乗検定実装も行っていますのでぜひチェックしてみてください！

カイ二乗検定についてわかりやすく解説！Pyhonでの実装を一緒に見ていこう！当サイト【スタビジ】の本記事では、統計的検定の1つであるカイ二乗検定についてまとめていきます！カイ二乗検定はビジネスシーンで使用することが多く分かっていると非常に役立ちます。RでもPythonでも簡単に使うことができるのでぜひマスターしてくださいね！

ABテストで注意すること

ABテストについて見てきましたが、ABテストを行う上で注意してほしいことについてまとめておきます！

母集団はランダムに振り分けられているか

ABテストは母集団がランダムサンプリングされていることを前提として行われます。

一般的なABテストツールでは自動的にユーザーをランダムで振り分けてくれるので問題ありませんが、手動でサンプルを振り分けた時に意図せず恣意的な振り分けになってしまっていないかについてしっかり確認しておいてください。

ABテストはRCTというランダム化比較実験という手法と同じで、そちらをふまえた因果関係の考え方については以下の書籍で解説されていますのでぜひ読んでみてください！

Youtubeでも解説していますよ！

ランダムサンプリングになっていないと他の要因が邪魔をして、せっかくのABテストの意味がなくなってしまいます。

テストパターンを細かくしすぎると有意差が出るまで時間がかかるor有意差が出ない

先ほど、カイ二乗検定によって有意差があるかどうかと検定しましたが、検定においてはサンプル数の多さが重要になってきます。

サンプル数が多ければ多いほど少しの差で有意差を出しやすくなります。

例えば、先ほどの例でシンプルに全ての数値を約10％にシュリンクさせてみましょう！

この場合、カイ二乗値を計算すると0.588になります。

先ほどの5%点が3.84であり、それを下回っているので有意差があるとは言えません。

同じ比率であるので直感的には有意差がありそうだと思えるかもしれませんが、サンプル数が少ない時は信頼性が低く有意差ありと判定されないのです。

あるLPに対して集客するユーザーは一定数なので、その中で何個もテストパターンを作ってしまうと、その分サンプルがばらけて十分なサンプルが得られるまで有意差ありと判定されにくくなってしまいます。

視野を広く持たないといけない

ABテストは往々にして局所的な改善になりがちで、細かい改善に没頭してしまいがちです。

ただ振り返らなくてはいけないのは、その改善は果たして工数に見合う改善なのかということです。

ABテストをやってみて検証することは非常に大事ですが、細かいボタンの色や文言にこだわりすぎて局所最適を追求しては本末転倒です。

Webサイトであれば、ボタンカラーのABテストの前手にそもそもまずそのページに人を連れてくることが出来ているのか。

根本的に集客が足りないなら、タイトルのクリック率を上げるためのABテストを行うべきかもしれません。

広告であれば、そもそも費用をかけて広告を打つこと自体は手段として適切なのか？

木を見て森を見ずになってしまってはいけません。

より視野を広く持って、全体感をおさえた上で最もインパクトの大きい部分のチューニングを行いましょう！

ABテストを簡単に行えるツール

さて、ここまででABテストについて見てきましたが、ここでABテストのツールについて簡単に紹介しておきましょう！

以前はGoogleの無料ツール「Google Optimize」が定番でしたが、2023年9月30日に提供が終わりました。Googleはその代わりに、Googleアナリティクス4（GA4）と連携できるABテストツールとしてOptimizely・AB Tasty・VWOなどを案内しています。

VWO

VWO（Visual Website Optimize）は世界で利用される、こちらも有名なツールです。

VWOツール上でヒートマップ分析を行うこともできるので、ヒートマップからの仮説立て→ABテストという流れが1つのツールで一気通貫で行うことが出来ます。

無料版はなく、月額15万〜という料金体系。

個人で使うのは少し厳しいです。

Optimizely

OpmizelyはVWOと同じく世界的に有名なABテストツールで世界規模で見るとVWOよりも導入企業が多いです。

同じく有料版のみの提供となってしまうので、個人で使うのは難しいです。

ABテスト　まとめ

本記事では、ABテストについて見てきました！

ABテストは面倒でやらない人も多いのですが（僕も結構面倒くさくてサボりがち・・・）、しっかりデータを使ってビジネスを着実にグロースさせていくためには必ず必要です。

また、ABテストを適切に行わないと誤った判断をしかねません。

また、ABテストをしてみて結局良い結果が得られなかったとしてもそれも一種の学びになります。

データに基づく改善活動を行うことが、ビジネスを大きくする上で必要になってくるのです。

ぜひABテストをマスターしてくださいね！

統計学の用語やその他のAI用語を一挙にまとめた以下の記事も合わせて要チェックです！

【これだけはおさえておきたい！】ビジネスで役立つAI用語45選まとめ！当サイト【スタビジ】の本記事では、ディープラーニング系/機械学習系/統計学系の3つのカテゴリに分けて重要な用語を説明していきます！

当メディアではデータサイエンティストになるための分野を体系的に学ぶスクールを運営しておりますので是非チェックしてみてください！

カイ二乗検定について詳しく学べます！ご受講お待ちしております！

カイ二乗検定を含めた統計学全般の勉強には以下の記事を参考にしてみてください！

【初心者必見】統計学入門に必要な知識と独学勉強方法を簡単に学ぼう！当ブログ【スタビジ】の本記事では、統計学入門に必要な知識をカンタンにまとめ、それらをどのように効率的に独学で勉強していけばよいかをお話ししていきます。統計学は難しいイメージが少しありますが、学び方をしっかり考えれば大丈夫！

またデータサイエンティストになりたいという方には以下の記事がオススメです！

【5分で分かる】データサイエンティストに必要なスキルと独学勉強ロードマップ！当サイト【スタビジ】の本記事では、データサイエンティストに求められるスキルとそれを身に付けるための勉強法について徹底的にまとめていきます！入門者でも、しっかりデータサイエンティストについて理解しある程度独学で駆け出しの状態までいけることを目指します。