仮説の立て方、テスト設計、統計的有意性、結果の解釈を含め、コンバージョン改善につながるA/Bテストの進め方を紹介します。
A/Bテストは、マーケティングに科学的な検証方法を取り入れる手法です。Webサイトの成果を高める方法を推測するのではなく、2つのバージョンを比較し、データから優れた方を判断します。Webサイトを継続的にA/Bテストする企業は、意見や思い込みに頼る企業を一貫して上回ります。このガイドでは、成果を測定できるA/Bテストの設計、実施、分析方法を説明します。
A/Bテスト（スプリットテストとも呼ばれます）は、Webページや要素の2つのバージョンを比較し、どちらの成果が高いかを判断する方法です。訪問者の半分にはバージョンA（対照版）、残りの半分にはバージョンB（変更版）を表示します。それぞれのグループの行動を測定すれば、統計的な確度をもって、どちらがコンバージョンを増やすか判断できます。
A/Bテストの強みは客観性です。マーケティングの判断は、個人の好み、社内で最も高給の人の意見（HiPPOと呼ばれます）、あるいは特定の顧客層には当てはまらない業界のベストプラクティスに左右されがちです。A/Bテストは意見を証拠に置き換え、訪問者に実際に効果があるものを明らかにします。
「年間の実験数を2倍にすれば、創造性も2倍になります。」— Jeff Bezos、Amazon創業者。Amazonは同時に数千件のA/Bテストを行っており、こうした実験への取り組みが成功を支える重要な要因です。
A/Bテストの効果は時間とともに積み重なります。コンバージョン率が5%改善しても小さく感じるかもしれません。しかし、月間10,000人が訪問し、平均注文額が$100のランディングページなら、年間売上がさらに$50,000増える計算です。複数のテストで成果を重ねると、事業全体に大きな変化をもたらします。
A/Bテストに適した要素の例：
無作為にテストしても、時間とトラフィックを無駄にします。すべてのA/Bテストは、データと観察に基づく明確な仮説から始めましょう。仮説は次の形式で立てます。「[具体的な要素]を[現在の状態]から[変更案]に変えると、[データや原則に基づく理由]により、[期待する成果]が改善する。」
例：「CTAボタンの文言を『送信』から『無料ガイドを受け取る』に変えると、フォーム完了率が15%上がる。行動を促し、メリットを示すボタン文言は、手間を減らし、訪問者に明確な価値を伝えるから。」
仮説のヒントを得る方法：
ICEフレームワークで仮説の優先順位を付けます。Impact（改善の大きさ）、Confidence（成功する確信度）、Ease（実装の容易さ）をそれぞれ1-10で評価し、平均点からテストの順番を決めます。まず影響、確信度、実装のしやすさが高いテストから始めると、早く成果を得られます。
信頼できる結果を得るには、適切なテスト設計が欠かせません。設計が不適切だと、成果を損なう誤った結論に至ることがあります。次の原則を守り、テストの妥当性を保ちましょう。
一度に変更する変数は1つ
標準的なA/Bテストでは、対照版と変更版の間で変える要素を1つにします。見出し、CTAボタン、メイン画像を同時に変更すると、成果の差を生んだ要因が分かりません。要素を分けて検証すれば、結果を特定の変更と結び付け、知見を着実に蓄積できます。
例外は、複数の変数を高度な統計手法で同時に検証する多変量テストです。統計的有意性に達するには大幅に多くのトラフィックが必要です。要素同士の相互作用を調べたい、トラフィックの多いページで行うのが適しています。
必要なサンプル数を計算する
テストを始める前に、統計的有意性に達するために必要な訪問者数を計算します。必要数は、現在のコンバージョン率、検出したい最小効果、目標とする統計的信頼水準（通常95%）によって異なります。
オンラインのサンプルサイズ計算ツールを利用してください。目安として、週に1,000人が訪問し、現在のコンバージョン率が3%のページでは、有意な差を検出するまで約2-4週間テストする必要があります。短すぎるテストでは、偶然の変動に左右され、信頼できる結果が得られません。
技術的な設定を行う
ニーズと技術的な要件に合うA/Bテストツールを選びます。
設定時には、トラフィックが各バージョンに無作為かつ均等に分割されること、平日と週末の行動差を考慮してすべての曜日を含むこと、キャンペーンや季節変動などの外的要因が結果をゆがめないこと、主要指標と関連する副次指標を適切に追跡していることを確認します。
テスト公開後は、忍耐と規律が大切です。結果を早く見すぎたり、途中でテストを終えたりすることが、実施中のよくある失敗です。
テスト中に守るべき重要なルール：
「目標は勝つことだけでなく、学ぶことです。成果が出なかった適切なテストからも、重要でないものについて価値ある知見が得られ、本当に重要なことに集中できます。」
事前に定めたサンプル数と期間に達したら、結果を分析します。適切な分析には、いくつかの統計概念を理解する必要があります。
統計的有意性
統計的有意性は、バージョン間に見られた差が偶然ではなく実際の差だと、どの程度確信できるかを示します。標準的なしきい値は信頼度95%で、結果が偽陽性である可能性が5%にすぎないことを意味します。少なくとも95%の有意性に達するまで勝者を決めないでください。
多くのA/Bテストツールは有意性を計算しますが、その意味を理解しておきましょう。95%の有意性は、変更版が95%優れているという意味ではありません。変更版の成果が対照版と実際に異なることを95%の確度で示しており、よい場合も悪い場合もあります。
実用上の有意性と統計的有意性
統計的には有意でも、実務上は意味がない結果もあります。信頼度99%で0.1%の改善が示されても、技術的には有意ですが、変更によって複雑さや保守コストが増えるなら、実装する価値はないかもしれません。変更を採用する前に、改善幅が事業にとって十分大きいかを考えます。
結果を解釈する
A/Bテストの最大の価値は個々のテストではなく、体系的で継続的な検証プログラムを作ることにあります。成熟した検証プログラムを持つ企業は年間に数十〜数百件を実施し、最適化を一度限りのプロジェクトではなく継続的な取り組みと考えています。
テスト文化を育てる方法：
A/Bテストの目標は学習だと覚えておきましょう。勝者が出ても、敗者になっても、結論が出なくても、すべてのテストから顧客について学べます。知見を積み重ねることで、Webサイトでの行動を深く理解でき、今後のマーケティング判断をより確かなものにできます。
A/Bテストでは、比較したいバージョンをすばやく作る必要があります。We.Incなら、チャットで作りたいページを説明するだけで、AIがブラウザー上にサイトを生成します。ビジュアル編集や組み込みコードエディターを使えば、別途デザイナーや開発者を確保しなくても、ランディングページ、フォーム、主要なコンバージョン要素の別バージョンを数分で作れます。
変更版はwe.incのサブドメインまたは独自ドメインですぐに公開できます。We.Incは実際のReactとTypeScriptコードを生成するため、チームが利用している分析・実験ツールを簡単に接続し、トラフィックを分けて結果を測定できます。すべてGitHubにエクスポートでき、ロックインもありません。今日からテストを始め、推測をデータに基づく判断に置き換えて、Webサイトの成果を継続的に高めましょう。
必要なトラフィックは、現在のコンバージョン率と検出したい改善幅によって異なります。目安として、コンバージョン率5%で相対的に20%の改善を信頼度95%で検出するには、各バージョンに少なくとも1,000人の訪問者が必要です。トラフィックが少ないサイトでも、影響の大きい要素に絞り、テスト期間を長めに取れば検証できます。
主要なコンバージョン目標に大きな影響を与える要素から始めます。多くのサイトでは、メインの見出しと価値提案、主なCTA（文言、色、配置）、見込み客情報を集めるフォームが候補です。多くの訪問者が目にし、コンバージョンに直接影響するため、改善時の効果が大きくなります。
できますが、注意が必要です。別々のページで同時に行う場合は問題ありません。同じページで複数のテストを走らせると、テスト同士が影響し、各変更の効果を切り分けにくくなります。1つのページで複数要素を検証する場合は、並行したA/Bテストではなく多変量テストを検討してください。
無料で始める · クレジットカード不要