こんにちは、ジーニアスウェブの横山です。
私はABテストが嫌いです。
なぜか？
自分が考えた施策が数字の裏付けによっていとも簡単に覆されるからです。
今回は、5つの失敗例を晒します。
その失敗から得ることも多々有りました。
敢えて守らずに、「守らないことで攻める」記事になれば幸いです。
目次／このページでわかること
ケース1 動画のポジション
業種：物販・店舗ビジネス
とある地域密着の墓石店の話。
2015年ごろに弊社でサイトをリニューアル。
2017年の春頃、PR用の動画を制作させていただきました。
動画の出来は手前味噌ですが非常に良く出来ていて、その動画をちゃんと見れば、
その会社がどんなことをしているか、どんな人がいるか、どんな思いでやっているか、どんなことがエンドクライアントに喜ばれているのかが、わかる動画です。
動画の主な用途は、
サイトに埋め込む
youtube広告に使用する
です。
なかなかの動画が出来たものだから、動画ができると、すぐに、サイトのメインビジュアルのすぐ下にこれ見よがしにでっかく入れました。
これでさらに良くなるぞーっと思っていたのですが、
動画を入れてから広告の反応を見ると、ちょうど動画を入れたあたりからコンバージョン率が下がっていたのです。
季節要因か？それとも競合か？最初はそう思っていましたが、いままでにない落ち方をしていたので、
まさかと思い、たまたま動画をいれたタイミングと落ちたタイミングが合致していたので、
念のためと思い、動画のポジションのテストをしてみました。
結果は、
B 動画ポジション トップページ最下部：CVR 1.6%
とまさかの結果。
これはなかなかのショックです。
いまだになぜここまで違うのか解明できていませんが、事実、数値として上がってしまっているので、
動画のポジションを下げることで落ち着きました。
ここからは仮説ですが、動画をメイン下にいれることで、「見せすぎてしまっていた」「動画を見ることで完結してしまいサイトを回遊しなかった」「長めの動画なので情報を探しに来ている人には不適切だった」などが考えられます。
昨今、動画が流行っていますが、なんでもかんでも動画がいいということでもありません。
他にも動画を全面につかったサイトを手がけることも増えてきましたが、
正直、反応重視のサイトには、マイナスになることが多いのも事実です。使い方を注意しなければいけません。
フォームをステップ方式に
業種：不動産、買取
不動産系の見積もりサイトです。
一括見積サイトなど、ご存じの方も多いと思います。
見積りの依頼を即座に受け付けるサイトです。
なので、フォームでの見積りを、いかに「簡単に」「早く」できるかが一つのポイントとなります。
できるだけ、ユーザーストレスのないよう、フォームをステップ方式にしたテストを行いました。
B フォーム 1〜3のステップ方式：CVR 0.8%
これもまさかの結果に。
フォームをステップ方式にするのに、プログラム等、そこそこ手間をかけました。
これで行けるぜー！と思ってテストしたので、まさかのやる前のほうが良かったという結果に。
ステップ方式にすることで、確かに一気に入力しなくてもよくなったので、一見ユーザーストレスが排除できたと思いきや、おそらくですが、ステップ後に、いきなり個人情報を入力しないといけないので、そこで離脱してしまっていることが考えられます。
一方で、Aの通常タイプは、フォームは確かに長いのですが、何を入力すれば見積りができるかが、ひとめでわかるので、
ほんとに見積もりしたい人は、頑張って入力していたのではないでしょうか。
少しでも簡単に入力できるようにと思いやってみたが、逆の結果が出てしまいました。
インターネットでEFOなどと検索すると、フォームの対策がたくさん出てきます。
その中の施策のひとつに、フォームをステップ方式にすることが出で来ることも多いです。
結局はケースバイケースでそのままやればいいってもんでもありません。
キレイなMV VS ガツガツしたMV
業種：冠婚葬祭ビジネス
ある種、永遠のテーマかもしれません。
最近の主流である、キレイな画像にシンプルなコピー と いわゆるTHE LP というようなガツガツしたメインビジュアルで対決させて見ました。
AのキレイなMVには、プロのカメラマンを使い、めちゃくちゃキレイな画像で、ぱっと見は、すごく洗練された印象です。
さて、結果は。
B フォーム いわゆるTHE LPというようなガツガツしたメインビジュアル：CVR 2.4%
デザイナー泣かせの結果です。
確かにAはキレイなのですが、広告の着地ページであるランディングページにおいては、
キレイがどうというよりも、ファーストビューで、しっかり訴求したメインビジュアルのほうが反応が出ることが多いです。
しっかり訴求するために、
どんな人におすすめか、どんなメリットがある、どんな悩みを解決できる、ほかとどう違うのか、
をひとめでわかってもらう必要があります。そうなってくると、文字数も増え、デザイン的にはどうしてもごちゃつきます。
ごちゃつきますが、反応は出ます。
ケース4 ページ遷移
業種：投資
とある投資のLPです。
LPのセオリーに乗っ取り、元々あったヘッダーやナビゲーション、フッターからリンクをはずし、
ページに遷移できないようにしました。
少し期間を置くと、CVRが下がっていました。
クライアント「ページ遷移できないようにしたのが影響しているんじゃない？」
私「変えたタイミングと合致していますね、その可能性もあります。一度しらべます」
ヒートマップでしらべたところ、以前あった共通部分のクリックが思った以上に多かったので、
私「共通部分のクリックがおもったより多いですね。CVしている人は意欲が高いのでいろんなページを見ている可能性があります」
さぁ、テスト、レッツスタート。
B 共通部分あり：CVR 0.59%
なんだよ、結局共通部分なしのほうがいいのか！
じゃぁなんで、ページに遷移できないようにしてからCVRが下がってたのか。
なんのことはない、いろいろ調べて言った結果、
ページの問題ではなく、競合や時期要因などの外部要因であることがわかりました。
たまたまタイミングが合致してたからと言って、それが原因とは限らない。
今回は、LPはページ遷移させないほうがいいというセオリーが正しかったといっていいと思います。
ケース5 部分最適
業種：スポーツジム
とあるスポーツジムの新規会員向けLPです。
元々、コンバージョン率の高いLPであったため、部分最適をいくつか施したものと、既存のLPをテストしました。
今回の部分最適とは、
文字を見直したり、部分的にデザインを見えやすくしたりと細々したものを複数箇所、最適化するというような内容です。
これは施策が間違ってたのではなく、判断するタイミングを危うく間違うところだったという話です。
クリックが集まるのにそれなりの期間を要するため、
ひとまず500クリックを目安にしました。大体2週間ほどです。
A 既存：CVR 1.76%
B 部分最適：CVR 1.72%
あれ、最適化しないほうがいいじゃん。あまり変わらない、むしろ悪くなるくらいなら、やめたほうが。。。
でも、部分最適だから悪くなるはずがない！もう少し期間をみよう。ひとまず1000クリックだ！
A 既存：CVR 1.62%
B 部分最適：CVR 2.49%
なんのことはない。統計学的にも、1000が一つの目安らしい。
なげたサイコロの回数が少ないうちは、出る目の平均値はばらつく。
1000超えた当たりで収束する。
案の定の結果である。
トータル500クリック時で見た時に、やめようという意見もあったが、もう少し見ましょうと言っていなかったら、全くの無駄になりかねないという話であります。
5つの失敗例から見るABテストの意義とは？
いかがでしたでしょうか？
実際に5つの失敗例を元にお話させていただきました。
ネット上に上がっているセオリーが裏目に出たり、これだ！と思ったものが裏目に出たりします。
そのような経験をお持ちの方も少なからずいらっしゃるのではないでしょうか。
ABテストをやれば、右肩上がりで良くなるわけではありません。
おそらく、反応率は一定のところでストップすると思います。
私が考える、ABテストの重要なポイントはこのようなことです。
部分最適が必要な時に一番効果を発揮する
母数が少ないときは1000を目安にする
セオリーに乗っ取るだけだと失敗する
思い込みが一番の悪
だいぶ主観が入っていますが、いろんなテストを実際にしてきて、
感じることを上げさせていただきました。
もちろん、良いときも悪いときもありますが、
出てきた数値だけをみればいいってもんでもないですよね。
結局はケースバイケースで前提条件によると言ってしまえば終わりですが、
もっとも重要なのは、結果はどうであれ、いろいろ試してみるということなのかもしれません。