常識と考えられていることについて、実はそうではないと提言していく本連載。今回のテーマは「ABテスト」。一見すると改善を繰り返すのはよいことのように思えるが、ABテストで陥りがちな失敗を著者が解説する。

常識9 ABテストを繰り返して改善！

▷ABテストは成功率が低く、負のスパイラルに陥りがち

▷結果が発生した理由を説明できるか

▷施策はユーザー理解に基づいて立案すべき

当たり前に受け入れられている常識を、一歩下がって疑うことで本質を炙り出す連載「その常識を疑おう」、第9回目のテーマは「ABテストを繰り返して改善！」です。デジタルプロモーションの進展に伴って生じた変化のひとつに、「修正のしやすさ」があります。入稿してしまったテレビCMやチラシを修正するのは一苦労ですが、デジタルプロモーションにおいてはデータを修正するだけで差し替えることができます。なんて便利な世の中になったのでしょう。

データの差し替えが容易になったことに伴って登場したのが、ABテストや多変量テスト（MVT）と呼ばれる、部分的な改善を繰り返していく技法です。デジタルプロモーションは、コンバージョン率などの結果指標を数値化しやすいため、改善結果の白黒がはっきりします。結果判断の容易さもあって、Webサイトを運営している方でABテストを実施している方も多いのではないかと思います。

なぜABテストで疲弊するのか

広く用いられているABテストによる改善ですが、生産性において大きな課題を抱える組織の話もよく耳にします。ABテストツールを提供しているVWOのレポートによると、ABテストを通して明確な改善が達成されるのは、7-8回に1回程度だそうです（VWO,“Appsumo Reveals its A／B Testing Secret：Only 1 Out of 8 Tests Produce Results”、“CRO Industry Insights from Our In-App Survey Results”）。

8割以上の施策が効果が出ないとなると、とにかく改善するにはたくさんの施策を打ち出していく必要に迫られますが、それはそれで多大な労力を要し、次第に組織が疲弊していきます。

ではなぜ、こんなにも期待に沿わないABテストが実施されるのでしょうか。ひとつの理由として、Webサイトユーザー（以下、ユーザー）の理解に基づかない改善提案が多すぎることが挙げられます。本来...