【検証】STUDIO上野のコンバージョンは上がるのか。アクセス解析をKOBITと江尻俊章さんに依頼した結果（後編）

みなさんこんにちは！ デジタルハリウッドSTUDIO by LIGのまりなです！

Webサイトの解析レポートを自動生成してくれるツール「KOBIT」のレポートをもとに、LIGブログのコンバージョン（以下、CV）の改善に取り組んでいる本連載。

前回の記事では、「デジタルハリウッドSTUDIO上野 by LIG（以下、STUDIO上野）」の申し込み数を増やすために、「KOBIT」のレポートを参考にしながら、キーヴィジュアルの改善施策を話し合いました。

【検証】STUDIO上野のコンバージョンは上がるのか。アクセス解析をKOBITと江尻俊章さんに依頼した結果（前編）

2018.04.20

	人物紹介：窪田 望さん株式会社Creator’s NEXTのCEO & Founder。米国NY州生まれ。慶應義塾大学総合政策学部卒業。15歳の時に初めてプログラミング開発を行い、ユーザージェネレーテッドメディアを構築。スペイン・香港・シンガポール・ルクセンブルク・ニューヨークでデジタルマーケティング登壇、ハッカソン優勝等実績多数。グッドデザイン賞受賞。ウェブ解析士会議2019にて受講者3万人の中から日本一のウェブ解析士を決めるBest of the Best 2018に選出。

「KOBIT」とは？

GoogleAnalytics（以下、GA）と連動して指定したサイトを解析し、さらに改善の提案まで行なうツール。以下11項目を自動でレポートにまとめてくれる。

＜「KOBIT」からレポートされる11の項目＞

1. ユーザーの属性
2. 日別、曜日別、時間別
3. アクセス分析参照元ランキング（アクセス数トップ10）
4. ユーザーの閲覧地域
5. 新規訪問と再訪問の比率
6. ユーザーの利用しているデバイス
7. 流入元分析
8. ファネル分析「申し込み【STUDIO上野】の場合」
9. 売上計算シート
10. 流入キーワード分析
11. サイトの改善提案

複数のクリエイティブを用意してA/Bテストを実施

前回のアドバイスをもとに、ターゲットユーザーに刺さりそうな3種類のクリエイティブを用意し、A/Bテストを実施しました！

 
▲オリジナルキーヴィジュアル

これがA/Bテスト前のオリジナルのキーヴィジュアルです。よーこさんを主役にして、ウェブクリエイターに憧れる人に将来を指し示すコピーになっています。このキービジュアルに対してターゲットごとに違う３パターンのクリエイティブを用意してテストしました。さっそく今回の結果を伺いたいと思います！

窪田さん！ 前回はありがとうございました。窪田さんと江尻さんのアドバイスのおかげで、A/Bテストに必要なキーヴィジュアルを作れました。さっそくですが、今回のテスト結果を教えてください。

結果から言いますと、「いいねシーターキーヴィジュアル」でコンバージョンレート（以下、CVR）が1.4倍向上しているので、改善できています！

なんと……！ そのテスト結果を解説してもらえますか？

もちろんです。一緒に、A/Bテストの結果を確認していきましょう。

CVRが1.4倍になった3種類のA/Bテストの結果と振り返り

今回、各キーヴィジュアルのテスト結果は、無料のA/Bテストツール「Google Optimize」で管理しています。まず、いいねシーターキーヴィジュアルは、「キーヴィジュアルによって明らかに結果が改善している」といえるでしょう。そう判断したのは、テスト結果のCVRに明らかな差があったからです。

いいねシーターキーヴィジュアルの振り返り

■パターン1：いいねシーターキーヴィジュアル

これは、漫画やアニメが好きな人向けに制作した、ネタ系のキーヴィジュアルです。ターゲットは、20代後半～40代の男性で漫画やアニメが好き。週一回は秋葉原に遊びに行くような人です。その人たちが「こういうクリエイティブを作れるのか」と想像できるように、「いいねシーター」を登場させて、映画のポスター風に仕上げました。オリジナルと比べてどういった差があったのでしょうか？

 
▲「いいねシーターキーヴィジュアル」についてのA/Bテスト結果

そもそもA/Bテストをしたとき、世の中すべての対象ユーザーを集められるとは限りません。そうなると、全体の平均を求めることが難しいので、「この数値からこの数値までの範囲内に平均がある」と範囲をくぎり平均を表していくんです。

なるほど。

それがどれくらい正しいのかは、「信頼区間」という確率で示します。「95%信頼区間」といわれたら、「全体平均が95％の確率で、その範囲内にある」という意味です。今回のそれぞれのキービジュアルのCVRについて、50%信頼区間と、95%信頼区間を表しているのが、１のグラフです。

キャンディのような形をしていますが、50%信頼区間を表す太い部分が「箱」、95%信頼区間を表す細い部分が「ひげ」に似ているので、「箱ひげ図」と呼ばれます。

箱ひげ図の見方を詳しく教えてください！

ではまず、「ひげ」の先端に注目しましょう。オリジナルキーヴィジュアルが1.6%～3.0%、いいねシーターキーヴィジュアルが2.4%～3.9%という数値がついてますよね。つまり、「いいねシーターキーヴィジュアルCVRの全体平均は、95%の確率で2.4%～3.9%の範囲内にある」ことがわかります。

さらに、１のグラフを縦にして、時系列を取った１′のグラフを見てみましょう。簡単に言えば、１′の２つのグラフ間に開きができるほど、有意差が出ていることになります。今回は、明らかに開きがあるように見えますね。より明確に、信頼区間が「どれくらい」離れているかを確認したいときは、次の図の2「ベースラインを上回る確率」を確認しましょう。

この値は信頼区間をもとに考えたとき、キーヴィジュアルによって結果が改善したといえる確率を表します。今回は95%という結果なので、「いいねシーターキーヴィジュアル」は、キーヴィジュアルによって明らかに結果が改善した」と判断しました。

ありがとうございます！ では、次のいざキーヴィジュアルについてはどうでしょうか？

いざキーヴィジュアルの振り返り

■パターン2：いざキーヴィジュアル

こちらは男性クリエイター向けのキーヴィジュアルです。ターゲットは20代後半～40代の男性で保守的なタイプ。人と仲良く学び合うよりも、何かしたくてくすぶっている人です。その人に「学ぶことはかっこいい」と思ってもらえるようなキーヴィジュアルを制作しました。それを職人のような姿勢で学びに打ち込むモデルと、短く端的な力強いコピーで表現しています。

正直なところ、この結果だけを見ても何とも言えません。

 
▲「いざキーヴィジュアル」についてのA/Bテスト結果

ただ、期間中の男女比率を見ると、「女性ユーザーが多い」ということがわかりました。今後のA/Bテストでは、女性向けのキーヴィジュアルを意識したほうがいいでしょう。

テスト期間中の男女比率

男性45.8%：女性54.2%

次に、ラーメンキーヴィジュアルを見ていきましょう。

ラーメンキーヴィジュアルの振り返り

■パターン3：ラーメンキーヴィジュアル

最後は、転職や新しい人生をテーマにしたクリエイティブです。ターゲットは20代前半～30代前半の女性で、Web系と関係のない仕事に就きつつも、未経験のWebデザイナーになる夢を持ち、Web業界に転職を考えている人です。そのような人でもクリエイターになれると訴求するために、「女性が惹かれるようなキャッチコピー」と「ネタっぽく笑えるキャッチーなクリエイティブ」を使って表現しています。

このクリエイティブはおもしろいと思いますし、0から制作した努力の大変さもわかります。ただ、どうしてラーメンにしたのか気になるところですね。STUDIO上野にラーメンは関係ないですし、ユーザーからの共感性が低そうなので、結果を見る前から「CVRは上がらないだろう」と直感しました。

めちゃめちゃはっきり言ってくださって、逆に気持ちがいいっ！

とは言っても、こういうのを試してみると、効果が意外と高いときもあります。だからこそ、A/Bテストでこれをチャレンジするのは価値があるんです。

A/Bテストの本質を理解しよう

すぐに「成功する施策」は見つからない

今回の結果を見てわかるように、A/Bテストはすべてがうまくいくわけではありません。「いざキーヴィジュアル」や「ラーメンキーヴィジュアル」のように、なだらかになるケースや、うまくいかないケースは存在します。むしろ、今回は有意差が大きく出たほうです。

そうなんですね！ ちなみに、こういったテストすれば簡単に正解にたどりつける方法はありますか？

ロバート・L・パトリックが著した「銀の弾などない」のように、A/Bテストにも簡単にわかるような特効薬はない、と考えた方が無難です。たとえば、ワードを選ぶとき、名詞（例：登録）と動詞（例：登録する）であれば、動詞のほうがCVしやすいといわれていますが、結果が真逆になることがあります。

そんなこともあるんですね！

なぜかというと、結果は自社サイトとユーザーの関係性によって変化するからです。A/Bテストで大事なのは、「自社サイトにとってベストなクリエイティブ」を探すことなんです。そのためにテストを積み重ねたサイトが、最後はCVを伸ばせます。

CVRが1.4倍改善するパターンの抽出に成功

ほとんどの人は、「1回で有意差が大きく出るはずだ」と思ってA/Bテストにチャレンジするでしょう。ただ、そのとき有意差があまり出ず、諦めてしまう人が大勢いるんですよね。でも大事なのは、そこで諦めないことです。

根気がいりますよね。

サイトに掲載するクリエイティブは、クリエイターが魂を込めて制作しています。だからこそ、それを超えるクリエイティブを生み出すのは容易ではありません。でも、成果の出るクリエイティブを一度見つければ、それがCVRをずっと改善し続けてくれるわけです。

そう考えれば、投資対効果は高くなりますね！

そうなんです。たとえば、「サイトを訪問する新規の人が70%」のECサイトでは、新規の人が新しいクリエイティブを常に見ることになります。このとき、「新規の人にとってのCVRを上げておく」ことが重要な改善となるし、それは今後のサイトを活かし続ける資産です。

なるほど。

そもそも、A/Bテストでの失敗を恐れる必要なんてありません。たとえば、1回目のテストで失敗してNGだったら、試したクリエイティブを辞めれば、理論上CVRは元に戻ります。2回目、3回目……とNGでも、同じようにすればいいだけです。その結果、見つかった成功パターンが成果を出し続けてくれます。

どんどん成功パターンを見つけていきたいです！

今回は、最後に行なった「いいねシーターキーヴィジュアル」のテストで、成功パターンが見つかりました。結果は、CVRの中央値が「オリジナル：いいねシーター＝2.2%：3.1%」です。これを「3.1÷2.2＝1,409……」と計算して、140％改善できたとわかるんです。つまり、「140%改善できるパターンを見つけた」という意味です。

A/Bテストで「黒字拡大サイト」を作り出す

その140%の改善は、どれだけの価値を持っているのでしょうか？

たとえば、広告費が1,000万円で、クリック単価を100円と仮定します。そうするとそこから得られるクリック数は10万になります。

計算式

＜広告費1,000万円×クリック単価100円＝10万クリック＞

CVRが1%だったときは、1,000件売れる計算で、それが商材単価5万円であれば、5,000万円の売上です。仮に利益率が20%だとすると、利益は1,000万円になります。

計算式

＜10万クリック×CVR1％=1,000件＞
＜商材単価5万円×1,000件=売上5,000万円＞
＜売上5,000万円×利益率20%=利益1,000万円＞

ただ、1,000万円の利益を上げていても、もともと1,000万円の広告費を使っている仮定なので、利益はプラスマイナスゼロです。一方、そのCVRを1.4倍にしたとき、売上は7,000万円になり、利益は1,400万円になります。そこから広告費1,000万円を引くと、利益は400万円になりますよね。

計算式

＜10万クリック×CVR1.4％=1,400件＞
＜商材単価5万円×1,400件=売上7,000万円＞
＜売上7,000万円×利益率20%-広告費1,000万円=利益400万円＞

※わかりやすくお伝えするための便宜上、売上や利益という言葉を使用しております。

そもそも、Webサイトには、2つのパターンしかありません。「赤字拡大サイト」と「黒字拡大サイト」です。前者は利益と広告費がプラスマイナスゼロで、人件費を含めると赤字です。その一方、後者だったら、たとえば毎月400万円ずつの利益を出すことで、黒字がどんどん拡大していきます。こんなふうに長期的な黒字拡大サイトへと変身させるためには、CVRを高めることが重要なんです。

そのためにA/Bテストを回し続けるんですね！

おっしゃる通りです。そして、それは専門家に頼らなくてもできると思います。ただ、あらゆるパターンのA/Bテストを経験している専門家は、「これを改善すれば、CVRは上がりやすい」という勘所を持っているんです。すべてのサイトで必ずうまくいく方法はありませんが、うまくいきやすいパターンは存在します。

そのパターンが見つけやすくなる方法はないんですか？ あったらめちゃくちゃ助かります！

実は、その勘所を見つける方法は2つあります。ひとつは「KOBIT」のレポートを活用する方法です。「KOBIT」のレポートには、改善したほうがいいページが記載されています。

 
▲参考：前編の「KOBIT」レポート サイトの改善提案ページ

そして2つ目は、CVRが上がりやすいポイントを押さえることです。ここから、それをご説明していきますね。

CVRを上げるためのポイント

シンプルなフォームにして離脱を防ぐ

まず、CVRの改善に繋がりやすいのが、フォームの最適化です。エントリーフォームを最適にすれば、CVRは上がりやすくなります。とくに結果が出やすいのは、フォームが長すぎるサイトです。このとき、「Keep It Simple, Stupid（要約：物事はシンプルな方がいい）」という意味の「KISSの法則」を使っていきます。

可愛い名前ですね！

たとえば、5個以上のフォーム項目を3個にする、シングルサインオン（1つのIDとパスワードで認証を行ない、複数のWebサービスやクラウドサービスにアクセスする仕組み）だけにして、フォームを1つのボタンだけにします。そうやって入力する手間を省くほど、CVRは上がりやすくなるんですよ。

行動喚起のためのページを改善する

次に、フォームに移動するための「Call To Action（以下、CTA）」の改善です。これは成果が出やすいと思います。CTAの改善には、「CTA全体のクリエイティブの改善」と「CTAの文脈の改善」の2つがあります。

CTAの文脈を改善するとき、よくやってしまいがちなミスが、CTAに書かれている言葉と、遷移先のフォームに書かれている言葉を違うものにすることです。たとえば、CTAには「お問い合わせをする」と書いてあるのに、その先に行ったら「お見積もりを取る」と書いてあれば、ユーザーはどう思うでしょうか？ 「想像とは違う遷移先だ」と感じて、離脱しやすくなるので注意しましょう。

異なるキャッチコピーでテストすれば、伝えるべきメッセージがわかる

CVRが上がるクリエイティブを見つけるために、今後はどのようなA/Bテストをすればいいのでしょうか？

今回のテストでは、オリジナルキーヴィジュアルを根本から変えた３つのキーヴィジュアルを用意しました。ただ、そうするのではなく、たとえば画像はそのままにして、キャッチコピーだけを変えるんです。そうすれば、A/Bテストが成立しやすいからです。

キャッチコピーって、どんなものにすればいいんですか……？

たとえば、訴求したいものの強みを入れれば、ユーザーに刺さるはずです。STUDIO上野には、どんな強みがあります？

うーん……。「働きながら学べる」ことや、「LIGでWeb制作に携わるメンバーが講師となって特別授業を開催」などですね！

なるほど。では、その2つのキャッチコピーで、オリジナルとA/Bテストするんです。その結果、発見した成果の出るキャッチコピーは、LPの改善以外にも効果を発揮します。どのキャッチコピーがユーザーに価値を訴求できるのか、カスタマージャーニーマップに落とせるからです。

たとえば、価値訴求すべきなのは「働きながら学べる」だとわかれば、それをLPだけではなく、Facebook広告やパンフレットに記載します。そのキャッチコピーを見て問い合わせしてきたユーザーに営業したいときには、また同じキャッチコピーでアプローチすればいいんです。つまり、サイト改善後も永遠に使えそうな価値が手に入ります。以上のようなポイントを意識して、今後もA/Bテストに挑戦してみてくださいね。

まとめ

今回、窪田さん、江尻さんのアドバイスのおかげで、CVRを1.4倍にすることができました。また、1回ではなかなか効果の出ないA/Bテストは、何回も諦めずにチャレンジする必要があることをあらためて再認識できました。

A/Bテストを効率的に行なうためには、現状のA/Bテストのどの部分を変更するか考え、またインパクトが最も強い箇所の抽出をした上での仮説立案が必要です。その作業は、GAと連動して指定したサイトを解析し、さらに改善の提案まで自動でおこなうKOBITを使うことで効率化できるんです。

「KOBIT」は月5000円でレポート生成できるツールなのですが、フリートライアルも可能ですので、ぜひチェックしてみてください。LIGでも導入していますが、1分程度で必要な情報をレポートにしてくれるので重宝しています！

「KOBIT」をもっと知りたい方はこちら