# ABテストについて徹底解説！カイ二乗検定による有意差判定！ > 当サイト【スタビジ】の本記事では、ビジネスシーンで頻出のABテストについてカイ二乗検定による有意差判定など統計的観点も取り入れながら詳しく解説していきますよ！ABテストを使いこなせればあなたのビジネスがグロースすること間違いなし！ぜひAbテストを理解しましょう！ - URL: https://toukei-lab.com/ab-test - 公開: 2022.11.29 / 更新: 2026.10.28 - サイト: スタビジ（https://toukei-lab.com） :::talk{who="umatan"} 当サイト【スタビジ】の本記事では、ビジネスシーンで頻出のABテストについてカイ二乗検定による有意差判定など統計的観点も取り入れながら詳しく解説していきますよ！ABテストを使いこなせればあなたのビジネスがグロースすること間違いなし！ぜひABテストを理解しましょう！ ::: こんにちは！ 消費財メーカーでデータサイエンティストをやっているウマたん([@statistics1012](https://twitter.com/statistics1012?lang=ja))です！ ビジネスをデータの力でグロースさせていく上で非常に重要なのが**ABテスト**！ 様々なところでABテストという言葉が飛び交っているのでほとんどの方が聞いたことはあるでしょう。 しかし :::box **・ABテストはどのように行えばよいのか？**\ **・ABテストで登場する有意差とは何なのか？** ::: など、なかなかABテストを知っているだけでは難しい部分が多いのも事実です。 :::talk{who="robotan"} なんとなくABテストのことは分かっているつもりだけど、ちゃんと理解できていないかもしれない・・・ ::: :::talk{who="umatan"} そうなんだよねーこの記事で分かりやすくかつ詳しく解説していくよ！ ::: 昨今では、簡単にABテストを行うことが出来るようになったため厳密な理解をせずとも使えてしまいますが、厳密な理解をしているのとしていないのとでは大違い！ ぜひこの記事でABテストについて理解してABテストを使いこなしましょう！ 最後に僕が作ったABテストにおける有意差判定ツールを紹介しているので使ってみてください！ 以下の動画でも分かりやすく解説していますよ！ ::youtube{#D-leDiVDiqU} ## ABテストとは ![Stories glasses](/wp-content/uploads/2020/08/Specs-amico-min.png) まずはじめにABテストとは何でしょうか？ 簡単に言うと、その名の通り、「**AパターンとBパターンでどちらが効果があるかテストすること**」です。 :::box **・Webサイトのデザイン**\ **・広告バナーのクリエイティブ**\ **・メール配信のセグメント** ::: など、Webマーケティングの領域で非常に頻繁に使われます。 例えばコーラを作っているメーカーの広告であれば、 **コーラを飲んでいる人を見せるクリエイティブ**を出したほうがよいのかそれとも**キンキンに冷えたコーラそのものにフォーカスしたクリエイティブ**を出したほうがよいのか。 今までなんとなくの感覚で行っていた施策がデータを取得できるようになったことで厳密に勝ちパターンを見つけることができるようになったのです。 多くの企業が日々ABテストを繰り返しグロースし続けています。 :::box **オバマ大統領の選挙LP**においてABテストが行われ、最適な投票クリエイティブが採用されたのは非常に有名な話ですね。 **フェイスブック**にはABテスト専用の部隊がいて毎日のようにABテストを繰り返しているようです。 **Google**で検索した時に、いつもと検索結果（SERP）が違うと思ったことはないでしょうか？ Googleもスモールに検索結果のABテストをおこなっています ::: そして僕自身本業でももちろんABテストを実施しながら個人でもABテストをおこなっています。 以前はGoogleの提供するGoogle Optimizeというツールを使えば、個人でも無料でWebサイトデザインのABテストを行うことができました（2023年9月30日に提供終了）。今も後ほど紹介するようなツールを使えば、ABテストを手軽に行うことができます。 もうABテストは企業だけのものではないのです。 個人でもABテストを簡単に行える環境は整っているんです！ ## ABテストにおける有意差を測るカイ二乗検定 ![studies science](/wp-content/uploads/2020/06/Science-amico-min.png) さて、続いてABテストにおける[有意差](/significant-difference)と[カイ二乗検定](/chisq-test)について見ておきましょう！ ### ABテストで学ぶ有意差 なんとなくABテストとはAパターンとBパターンの違いを見るものだということが分かったと思います。 それでは、以下の例ではAパターンとBパターンに違いはあるでしょうか？ メールABの効果を確かめるためにランダムに振り分けたセグメントに配信を行いました。
クリックしなかった数 クリックした数 配信数
メールA 1000 60 1060
メールB 400 40 440
合計 1400 100 1500
※クリック数はメールからURLをクリックしてWebサイトへ遷移した数と定義します。 この時メールAとメールBでどちらの方が良いと言えるでしょうか？それとも、違いがあるとは言えないのでしょうか？ :::talk{who="robotan"} うーん、なんとなく違いがあるような気がするけど、明確に違いがある！とは断言できないなー・・・ ::: :::talk{who="umatan"} そうなんだよーどうしてもそれだと主観的な判断になってしまうもんねー！ ::: ここで統計学の考え方が登場します。 統計学の世界では、ある事象に前提と違う差が生じていることを**[有意差](/significant-difference)がある**と言います。 すなわちここでは、AとBで差がないという前提に立った時、**その前提が覆るほどの差（すなわち有意差）が生まれているか**を検定します。 それを[統計的検定](/%e6%a4%9c%e5%ae%9a)と呼びます。 ### ABテストで学ぶカイ二乗検定 そしてABテストにおいては[カイ二乗検定](/chisq-test)という手法を使って有意差を測っていきます。 カイ二乗検定は、簡単に言うと「**分布に差が生まれているか否かを測るもの**」です。 先ほどの例の場合、どのような計算を行ってカイ二乗検定の計算を行っていくのでしょうか？ 簡単に見ていきます。 **そもそもABのメールに違いがなかったとしたらどうなるでしょう？** 合計で1500通送ったうち100通がクリックされているわけですから、AもBも15分の1がクリックされることになるはず。 計算してみると・・・ Aは1060×(1/15)=**70.7**\ Bは440×(1/15)=**29.3** でも実際のところは**Aが60通**で、**Bが40通**となっています。 これがたまたま誤差の範囲なのかそれとも決定的な違いがあるのかをカイ二乗検定により見ていくことになるわけです。 この差を以下の式で計算します。 $$ \sum\frac{(期待値-実測値)^2}{期待値} $$ すなわちこの場合は、クロス集計表の4セル全ての期待値を算出してそれぞれの実測値との値のズレの2乗を期待値で割ったものを全て足しあわせていきます。 $$ \frac{(70.7-60)^2}{70.7}+・・・ $$ 結果は・・・5.88となりました。 この結果がカイ二乗値となり、カイ二乗値をもとにカイ二乗分布と照らしあわせてこの値が何％ほどで起こりうる値なのかを見てみます。 カイ二乗分布において自由度という指標が必要になるのですが、自由度は $$ 自由度=(行数-1)×(列数-1) $$ で求めます。 今回は1になりますね！ **自由度1でカイ二乗値が5.88の場合はどのくらいの確率で起きうるものなのでしょうか？** 自由度1の時のカイ二乗分布の値は5％で3.84、1％で6.63、0.5％で7.88となっています。 通常は5％有意もしくは1％有意を用いますが、この場合5.88は3.84を上回っていますが6.63より小さいので5％有意となります。 つまりAとBが同じ前提の時、この事象は5%以下の確率でしか起きないということになるのです。 :::talk{who="robotan"} なるほど！そういうことなのか！カイ二乗検定の中身が理解できたよ！ ::: :::talk{who="umatan"} 実際にツールを使って検定を行うと意識しない部分にはなってしまうんだけど、知っておくと幅が広がるよ！ ::: 以下のカイ二乗検定の記事ではRによるカイ二乗検定実装も行っていますのでぜひチェックしてみてください！ ## ABテストで注意すること ![Bankruptcy](/wp-content/uploads/2017/11/Bankruptcy-amico.png) ABテストについて見てきましたが、ABテストを行う上で注意してほしいことについてまとめておきます！ ### 母集団はランダムに振り分けられているか ABテストは母集団がランダムサンプリングされていることを前提として行われます。 一般的なABテストツールでは自動的にユーザーをランダムで振り分けてくれるので問題ありませんが、手動でサンプルを振り分けた時に意図せず恣意的な振り分けになってしまっていないかについてしっかり確認しておいてください。 ABテストはRCTというランダム化比較実験という手法と同じで、そちらをふまえた因果関係の考え方については以下の書籍で解説されていますのでぜひ読んでみてください！ ::product[データ分析の力 因果関係に迫る思考法 (光文社新書)]{url="https://www.amazon.co.jp/dp/B071CD9CMP?tag=statistic08-22&linkCode=ogi&th=1&psc=1" image="https://m.media-amazon.com/images/I/51JS3eu6rqL._SL160_.jpg" amazon="https://www.amazon.co.jp/dp/B071CD9CMP?tag=statistic08-22&linkCode=ogi&th=1&psc=1" kindle="https://www.amazon.co.jp/dp/B071CD9CMP?tag=statistic08-22&linkCode=ogi&th=1&psc=1" rakuten="https://af.moshimo.com/af/c/click?a_id=858168&p_id=54&pc_id=54&pl_id=616&url=https%3A%2F%2Fsearch.rakuten.co.jp%2Fsearch%2Fmall%2F%25E3%2583%2587%25E3%2583%25BC%25E3%2582%25BF%25E5%2588%2586%25E6%259E%2590%25E3%2581%25AE%25E5%258A%259B%25E3%2580%2580%25E5%259B%25A0%25E6%259E%259C%25E6%258E%25A8%25E8%25AB%2596%25E3%2581%25AB%25E8%25BF%25AB%25E3%2582%258B%25E6%2580%259D%25E8%2580%2583%25E6%25B3%2595%2F%3Ff%3D1%26grp%3Dproduct"} Youtubeでも解説していますよ！ ::youtube{#lKvhvowD8vg} ランダムサンプリングになっていないと他の要因が邪魔をして、せっかくのABテストの意味がなくなってしまいます。 :::talk{who="umatan"} サンプルにバイアスが生じてしまうのはアンケートなどでもよくある話だから要注意だ！ ::: ### テストパターンを細かくしすぎると有意差が出るまで時間がかかるor有意差が出ない 先ほど、カイ二乗検定によって有意差があるかどうかと検定しましたが、検定においてはサンプル数の多さが重要になってきます。 サンプル数が多ければ多いほど少しの差で有意差を出しやすくなります。 例えば、先ほどの例でシンプルに全ての数値を約10％にシュリンクさせてみましょう！
クリックしなかった数 クリックした数 配信数
メールA 100 6 106
メールB 40 4 44
合計 140 10 150
この場合、カイ二乗値を計算すると0.588になります。 先ほどの5%点が3.84であり、それを下回っているので有意差があるとは言えません。 同じ比率であるので直感的には有意差がありそうだと思えるかもしれませんが、サンプル数が少ない時は信頼性が低く有意差ありと判定されないのです。 :::talk{who="robotan"} え！？サンプル数が違うだけでこんなに違うものなの！？ ::: あるLPに対して集客するユーザーは一定数なので、その中で何個もテストパターンを作ってしまうと、その分サンプルがばらけて十分なサンプルが得られるまで有意差ありと判定されにくくなってしまいます。 ### 視野を広く持たないといけない ABテストは往々にして局所的な改善になりがちで、細かい改善に没頭してしまいがちです。 ただ振り返らなくてはいけないのは、**その改善は果たして工数に見合う改善なのか**ということです。 :::talk{who="robotan"} う・・・心が痛いよ・・・ ::: ABテストをやってみて検証することは非常に大事ですが、細かいボタンの色や文言にこだわりすぎて局所最適を追求しては本末転倒です。 Webサイトであれば、ボタンカラーのABテストの前手にそもそもまずそのページに人を連れてくることが出来ているのか。 根本的に集客が足りないなら、**タイトルのクリック率を上げるためのABテストを行うべき**かもしれません。 広告であれば、そもそも費用をかけて広告を打つこと自体は手段として適切なのか？ 木を見て森を見ずになってしまってはいけません。 より視野を広く持って、全体感をおさえた上で最もインパクトの大きい部分のチューニングを行いましょう！ ## ABテストを簡単に行えるツール ![About me](/wp-content/uploads/2020/12/About-me-amico-min.png) さて、ここまででABテストについて見てきましたが、ここでABテストのツールについて簡単に紹介しておきましょう！ 以前はGoogleの無料ツール「Google Optimize」が定番でしたが、2023年9月30日に提供が終わりました。Googleはその代わりに、Googleアナリティクス4（GA4）と連携できるABテストツールとしてOptimizely・AB Tasty・VWOなどを案内しています。 ### [VWO](https://www.assion.co.jp/lp/05b/) [VWO（Visual Website Optimize）](https://www.assion.co.jp/lp/05b/)は世界で利用される、こちらも有名なツールです。 VWOツール上でヒートマップ分析を行うこともできるので、ヒートマップからの仮説立て→ABテストという流れが1つのツールで一気通貫で行うことが出来ます。 無料版はなく、月額15万〜という料金体系。 個人で使うのは少し厳しいです。 ### [Optimizely](https://optimizely.gaprise.jp/) [Opmizely](https://optimizely.gaprise.jp/)はVWOと同じく世界的に有名なABテストツールで世界規模で見るとVWOよりも導入企業が多いです。 同じく有料版のみの提供となってしまうので、個人で使うのは難しいです。 ## ABテスト　まとめ 本記事では、ABテストについて見てきました！ ABテストは面倒でやらない人も多いのですが（僕も結構面倒くさくてサボりがち・・・）、しっかり**データを使ってビジネスを着実にグロースさせていくためには必ず必要です。** また、ABテストを適切に行わないと誤った判断をしかねません。 また、ABテストをしてみて結局良い結果が得られなかったとしてもそれも一種の学びになります。 データに基づく改善活動を行うことが、ビジネスを大きくする上で必要になってくるのです。 :::talk{who="robotan"} ABテストに対してふんわりとした理解だったのが、だいぶ理解が進んだよ！ ::: :::talk{who="umatan"} ツールを使って検定するとしても理論を理解しておくのとしておかないのとでは全く違うからこの内容はぜひおさえておいてね！ ::: ぜひABテストをマスターしてくださいね！ 統計学の用語やその他のAI用語を一挙にまとめた以下の記事も合わせて要チェックです！ 当メディアではデータサイエンティストになるための分野を体系的に学ぶスクールを運営しておりますので是非チェックしてみてください！ :::box AI/データサイエンス特化スクール：[スタビジアカデミー（スタアカ）](https://toukei-lab.com/achademy/) ::: カイ二乗検定について詳しく学べます！ご受講お待ちしております！ カイ二乗検定を含めた統計学全般の勉強には以下の記事を参考にしてみてください！ またデータサイエンティストになりたいという方には以下の記事がオススメです！