A/Bテストとは？やり方や分析方法・活用事例を紹介

「施策の改善を行うにはA/Bテストを行うと良いと聞いたが、どうすればよいのだろうか」と疑問をお持ちの方もいるのではないでしょうか？A/Bテストとは、運営中のWebサイトやランディングページなどにおいて、複数の仮説を検証するためのテスト方法の一つです。

例えば「コンバージョン率を改善したいが、問い合わせボタン（購入ボタン）に記載するコピーはA案とB案のどちらがよいだろうか」と迷ったときや「こうすればコンバージョン率が上がるのではないか」といった仮説があるときなどに、A/Bテストを実施してその効果を検証します。

本記事では、A/Bテストの基礎知識や実施方法について解説していきます。具体的にどのようなツールを用いて、どんな手順で行うのかもお伝えするので、ぜひ参考にしてください。

A/Bテストとは、仮説を検証するために用いられるテストの手法

A/Bテストとは、立てた仮説を検証するために用いられるテスト方法です。ある要素に対し、条件を変えていくつかの仮説を出し分けて、それぞれの効果を比較します。

例えば、以下のようなケースを考えてみましょう。

• リスティング広告を運用しており、広告LPに設置している「問い合わせボタン」のクリック率が低いことが分かった
• 「問い合わせボタン」のテキストに問題があるのではないかと仮説を立て、いくつかのコピー案を考えた

以下のようにA/Bテストを行うことで、最も効果が高くなるのはどのテキストかを探ることができます。

A/Bテストによって、一つずつ仮説を検証しながら、どうすれば各指標を最大化できるのかを考えることができます。

例えば、以下のような仮説を検証する際に、A/Bテストがよく行われます。

• 「LPのファーストビューにおいて、このようなコピーであればCVR（コンバージョン率）が高くなるのではないか」
• 「問い合わせボタンにおいて、このような文言であればクリック率が高くなるのではないか」
• 「SNS広告のクリエイティブにおいて、このようなイラストを使用すればクリック率が高くなるのではないか」
• 「問い合わせフォームにおいて、特定の設問の内容（質問方法）を工夫することで、離脱率が下がるのではないか」

A/Bテストを行う目的や重要性

A/Bテストは、「その仮説が正しかったかどうか」を確かめるために行います。今行っていることに疑問を感じた時や、改善アイデアを考えた時などにA/Bテストを実施することで、データをもとに検証することができます。

得られた検証結果を一つずつ整理すれば、「できる限り最短で成果を最大化させるためには、どのように改善を加えていけばよいのか」を考えられるようになるでしょう。

反対に、A/Bテストで仮説を検証することなく、思いついた施策を闇雲に実行すると、「なぜうまくいったのか/ 失敗したのか」が分からず、次に活かすことができません。

A/Bテストによって一つずつ仮説を検証し、得られた結果を踏まえて施策を考えていくことが重要です。

A/Bテストの実施方法を4つのステップで解説

A/Bテストを実施する流れは、大きく以下の4ステップです。

1. 仮説を立てる
2. A/Bテストを実行する
3. テスト結果の検証を行い、最も効果が高かったパターンを採用する
4. 仮説の検証結果をもとに、施策を横展開する

各ステップについて詳しく解説していきます。

※以下、問い合わせボタンや購入ボタンなど、ユーザーをコンバージョンへと促すボタンを総称して「CTAボタン」と記載します。

ステップ1. 仮説を立てる

まずは、A/Bテストをすることでどのような仮説を検証したいのかを明確にします。A/Bテストで重要なのは、仮説を検証しそれを改善に活かしていくことなので、実施するだけで終わりにならないように注意が必要です。

※ただし、A/Bテストをするために仮説を立てるのではなく、何か目標や検証したいことがあるからA/Bテストを行う、という意識を持つようにしましょう。

例えば目標が「LPから問い合わせフォームへの遷移率を上げたい」であった場合は、「なぜ現在は遷移率が低いのか」「どうすれば遷移率を上げられるのか」を考えて仮説を立てていきます。

「とりあえず実施してみた」という仮説を欠いたデータ検証では、その施策が本当に数値改善に貢献しているのかが分かりにくく、また失敗の原因や成功の理由も見えません。詳細はステップ5で解説しますが、仮説をもとに効果検証を行えば、「なぜこのテストによって成果が出たのか」を理解しやすくなるため、さらに効果的な改善案を考えたり、他の施策に展開したりすることが可能になります。

仮説は主観や経験値に加え、アクセス解析データも参考にしながら立案することが重要です。

例えば、主観で「CTAボタンのコピーがよくないのではないか」と考えるのではなく、「CTAボタンのクリック率が低いというデータがあるから、コピーを変更すれば改善できるのではないか」と推測します。

具体的な解析の方法としては、Googleアナリティクスやヒートマップ、EFOツールなどの各種ツールを活用することがおすすめです。

ツール	できること（例）
アクセス解析ツール	・ページ遷移したユーザーの割合を計測できる ・トラッキングコードを埋め込んだ箇所のクリック数を計測できる
ヒートマップツール	・ページのどの箇所がよく読まれているのかが一目で分かる ・ページのどの箇所がよくクリックされているのか（何%か）が分かる ・ユーザーがどこで離脱したのかが分かる
EFOツール	・フォームのどの設問で何割のユーザーが離脱したのかが分かる ・入力中に離脱したユーザーの割合や、入力せずに離脱したユーザーの割合がそれぞれ分かる

▼ヒートマップのイメージ（ページ内でよくクリックされている箇所が可視化される）

ヒートマップ分析については下記記事で詳しく解説していますので、あわせてご覧ください。

▼EFOツールのイメージ（離脱箇所や設問ごとの滞在時間などが分かる）

FEOの詳しい説明や施策例、おすすめツールについては下記記事を参考にしてください。

ツールを使うと上記のようなことが分かります。例えば、「ファーストビューのCTAボタンのクリック率が著しく悪いから、ボタンのコピーや色・大きさなどを見直してみよう」といったことが判断できます。

ステップ2. A/Bテストを実行する

仮説を立てて改善案を決めたら、いよいよA/Bテストを実施します。

例えばステップ2で、「CTAボタンのクリック率が著しく悪く、コピーを改善すればクリック率を改善できるのではないか」という仮説を出したのであれば、そのコピーの改善案を反映させ、それぞれの効果（クリック率）を検証していきます。

なお、A/Bテストには「並行テスト」と「逐次テスト」があり、テストの実施方法や期間などが異なります。

	例
並行テスト	4/1～4/30の期間において： ・あるグループにはA案を表示させる ・別のグループにはB案を表示させる
逐次テスト	・4/1～4/15の期間はA案を表示させる ・4/16～4/30の期間はB案を表示させる

並行テストとは、同じ時期に並行してテストを実施する方法です。テストを同時進行することで、条件を揃えることができるため、より正確な結果が得られます。

一方で逐次テストとは、1つずつそれぞれの期間を設けて実施する方法です。比較的簡単に行えますが、「実施期間」という条件が異なるため、やや正確性に欠けるでしょう。

逐次テストよりも並行テストのほうが正確な結果を得やすいため、並行テストを実施することを強く推奨します。ただし並行テストを実施する場合は、基本的にはA/Bテストツールの利用が必須になるので、事前に用意しておく必要があります（ツールについては後述します）。

ツールを用意できないなどの理由により、並行テストができない場合は、逐次テストの実施を検討しましょう。逐次テストを行う場合は、各テスト期間の条件を極力揃えて数値を比較しましょう。例えば、「自然検索経由のみで比較する」「メルマガ配信やテレビCMの実施などの突発的なアクセス増加がある日は除いて集計する」「曜日や休日の日数を合わせる」といったことを考慮しながら、同一条件で比較していきます。

A/Bテストに決められた期間はありませんが、通常2週間以上行うのがおすすめです。それよりも短いとデータに偏りが出やすいからです。例えば、平日と週末で結果が変動することもあり、確実なデータを取りにくくなってしまいます。明確な差が出ない場合はテスト期間の延長も検討しましょう。

ステップ3. テスト結果の検証を行い、最も効果が高かったパターンを採用する

A/Bテストを実施して十分なデータが得られたら、その効果を検証します。

検証結果をもとに、最も効果が高かったパターンを採用しましょう。

どのような数値をもとに効果検証を行うのかを、予め決めておきましょう。

ステップ4. 仮説の検証結果をもとに、施策を横展開する

ステップ4の効果検証で、「なぜそのパターンの効果が最も高かったのか（低かったのか）」「なぜその結果になったのか」という示唆が得られたら、今後の施策として別の場所にも横展開が可能です。

例えば、ステップ4で行ったテストにて、

• 色を変えても効果は出なかった
• 文言変更を行ったところ効果があった

という結果が得られた場合は、「色については考えなくてよい」「文言の変更によってボタンのクリック率が上がる可能性がある」ことが分かった状態で、その他の施策を考えられます。無駄な施策に手を出さず、効果のあった対策を横展開することができるでしょう。

これは、ステップ2で仮説を立てているからこそできることです。仮説を立ててからA/Bテストを行い、その結果を横展開する流れ（例）を改めてまとめました。

このようにA/Bテストを行いながら、PDCAを回して各指標を最大化させていきましょう。

A/Bテストに活用できる定番ツールを紹介

本章ではA/Bテストを効率的に行うためのツールを紹介します。

1. KARTE Blocks
2. Sitest
3. その他ヒートマップツールやEFOツールなど

1.KARTE Blocks

KARTE Blocksは、主にA/BテストとLPO（ランディングページ最適化）を効率的に行うためのツールです。

タグを導入することでWebサイトを「ブロック」として操作でき、初心者でもA/Bテストのパターン作成や実装が簡単に行えます。テストの条件変更なども容易に行えるため、精度の高いA/Bテストをスピーディに実施できるでしょう。

また使いやすさ以外にも、

• 日本語での迅速かつ的確なサポート体制
• 高いセキュリティ
• 国内における活用実績

なども評価されているポイントです。国内企業向けとして評価の高かったA/Bテストツール「Googleオプティマイズ」の終了に伴って、KARTE Blocksがその代替ツールとして注目を集めています。

※参考：プレイド、オプティマイズ終了に伴う代替ソリューションの1つとしてKARTE Blocksを Google Cloud と提案する体制を構築 〜国内企業での豊富な活用実績とサポートを評価〜

初期費用	10万円
月額料金	12.5万円/月〜

2.Sitest

SiTestは「ヒートマップ解析」「EFO」などさまざまな機能を搭載しており、Webサイトの解析から改善までをワンストップで行えるA/Bテストツールです。

複数の箇所を変更しそれらの組み合わせを試す「多変量テスト」にも対応しており、さまざまなテストパターンを作成できます。

またテストだけではなく、サイト訪問者の属性や行動に合わせて、最適化されたページを表示させる「パーソナライズ機能」を活用すれば、CVRを向上させることもできるでしょう。

初期費用	要問い合わせ
月額料金	要問い合わせ

3.その他ヒートマップツールやEFOツールなど

前述の通り、ヒートマップツールやEFOツールなどを活用することで、ユーザー行動を細かく可視化できます。仮説を立てたり検証したりする際に役立つので、必要に応じて検討してみましょう。

ツール	できること（例）
Googleアナリティクス	・ページ遷移したユーザーの割合を計測できる ・トラッキングコードを埋め込んだCTAボタンのクリック率を計測できる
ヒートマップツール	・ページのどの箇所がよく読まれているのかが分かる ・ページのどの箇所がよくクリックされているのか（何%か）が分かる ・ユーザーがどこで離脱したのかが分かる
EFOツール	・問い合わせフォームのどの設問で何割のユーザーが離脱したのかが分かる ・そもそも問い合わせフォームの入力を開始せずに離脱したユーザーの割合が分かる

Googleアナリティクスについて下記記事で詳しく紹介していますので、あわせてご覧ください。

ヒートマップ分析やツールについては下記記事で詳しく解説しているので参考にしてください。

下記記事でそれぞれのツールについて詳しく解説していますので、あわせてご覧ください。

A/Bテストの実施で成果が得られた参考事例を紹介

A/Bテストの実施イメージをより深めていただくために、「コンタクトフォームの改善に関するA/Bテストを行い、CVRを改善させた事例」を紹介します。

課題	フォームでの離脱率が高く、CVRが低かった（コンバージョン数が少ない）
実施内容	1.EFOツールを使用して、離脱率が高い設問を抽出した 2.その設問がなぜ離脱率が高いのか、仮説を立てた 3.それに対して設問の文言を変更し、A/Bテストを実施した
検証結果	設問内容を最適化することができ、離脱率が下がった（CVRが上がった）

ある企業では、「フォームの離脱率が高い」という課題があったため、EFOツールを活用してフォーム内のどこでユーザーが離脱しているのかを調査しました。

その結果、専門的な言葉が多く使われている記述式の設問で離脱率が著しく高いことが判明。そこで、以下のような仮説を立てました。

• 設問を入力するのに専門的な知識が必要で、ユーザーからすると正確な内容を記入するのが困難なのではないか？
• その設問の回答形式を、記述式から選択式に変えて、ユーザーの入力負担を軽減すれば、その部分での離脱率を下げられるのではないか？

改善案として、入力欄を「この中で一番近いものはどれですか？」といった選択式に変更し、いくつかのイラストからユーザーが直感的に選べるようにして、離脱率などを再度測定します。

また、その他の項目についても同様に、質問の仕方や表現を工夫して一つずつテストを行っていきました。

これらの改善案を実施した結果、フォームにおける離脱率が減少し、CVRを改善することに成功しました。

A/Bテストを実施する際の注意点

紹介した成功例のようにスムーズにA/Bテストを効果的に行うには、限りなく条件を揃えることが重要です。

※本来であれば、統計学的な観点から「有意差があるデータ」を取得することが大切ですが、難易度が高いため、まずは以下のポイントに注意しながらA/Bテストを実施することをおすすめします。

1. 実施する時期を考慮する
2. 一度に複数の変更を加えてテストしない
3. 十分なサンプル数がある状態で行う

それぞれ詳しくみてみましょう。

注意点1. A/Bテストを実施する時期を考慮する

A/Bテストを実施する時期やタイミングが、テスト結果に影響を与えてしまうことがあります。

例えば、ECサイトにて同じ商品を販売するにしても、「前日にテレビでその商品に関する特集が組まれ話題になった」といった場合は、それより前と後で数値が大きく変わってしまう可能性があります。すると、本来テストしたかった「CTAボタンの文言変更の効果」を、正しく測定することができません。

そのためA/Bテストを行う際は、できるだけ同じタイミング（逐次テストではなく並行テスト）で実施することが重要です。

注意点2. 一度に複数の変更を加えてテストしない

例えば「CTAボタンの位置・色・文言などの要素を変更するとクリック率を改善できるのではないか」と仮説を立てた場合に、それら全てを同時にテストするのではなく、一つずつ試していくことが重要です。

全てを同時に行うと、どれが数値の改善に貢献していたのかが分からず、正しい検証結果を得られません。

注意点1とも関連しますが、A/Bテストではできる限り条件を揃えて、テストする項目のみが結果に影響する状態を作れるようにしましょう。

注意点3.十分なサンプル数がある状態で行う

「年間セッション数が500しかない」「フォームの入力数が年間3件しかない」など、サンプル数があまりに少ないと、正しく効果検証が行えません。

また改善のインパクトも小さいでしょう。例えば、WebサイトのCVR改善を目的としてA/Bテストを実施した際に、もし元々のアクセス数が1日に100程度しかない状態で、コンバージョン数が月間1件程度しかなかったケースを考えてみましょう。A/Bテストを行いCVRを2倍にすることができたとしても、コンバージョン数は月に2件程度にしかなりません。

このような場合はまず、サンプル数を増やす（ページのセッション数を増やす・フォームへの到達率を増やすなど）ことを優先するのがおすすめです。またはテスト期間を通常よりも長く取り、正しく計測できる状態にするのも良いでしょう。

アクセスを増やすことが難しい場合は、A/Bテストは不向きです。このような場合は、ユーザー調査などを行い、仮説の精度を高めて、ページに反映していくことで効果が得られることがあります。

まとめ｜仮説をもとにA/Bテストを行い、各指標の改善を行う

本記事では、A/Bテストについて解説してきました。

A/Bテストは何となく行うのではなく、目標や仮説をしっかり立てたうえで実施する必要があります。「とりあえず実施してみた」という仮説を欠いたデータ検証では、その施策が本当に数値改善に貢献しているのかわかりにくく、また失敗の原因や成功の理由も見えてこないからです。

以下の手順を参考に、ぜひA/Bテストを実施してみてください。

よくある質問とその回答