A/Bテスティングによる仮説検証

Digital Product Managementがとにかく実践的で面白い。

TVストリーミングプラットフォーム「ROKU」の改善案立案実習を通して、新サービスの仮説検証をまさに自分の手を動かして学べている。今週はA/Bテスティングを終え、製品改善プランのまとめに入っている。

今回の製品テストでは、usertesting.comというサービスを使用した。こちらが指定したテストユーザの条件（年齢、年収、居住地域、使用言語、サービス利用状況等）に基づきテストユーザを選定し、実際にそのユーザにこちらが設定した質問に答えながら製品を触ってもらい、何を考え何を感じたかを喋り続けているところをビデオに撮ってくれるサービスだ。

Lab to Marketで学んでいるカスタマージャーニーマップが実ユーザによるビデオの形で手に入るため、ユーザが何を考えながらサービスを触っているのか、また、操作中にどこに引っかかってしまうかなど、サービスのプロトタイプを作った自分たちからは盲点になっているような点まで具体的に見ることができる。

今回はA/Bテスティングという形で、AパターンとBパターンの２種類のプロトタイプをBalsamiqによって作成し、実際にROKUを使っており、かつBalsamiqによるプロトタイプにも慣れている12人のユーザを対象としてテストを行った。

 ポイントはプロトタイプの仕様とテスト質問の組み立てだと思っており、今回もそこで反省点がいくつか見つかった。

プロトタイプの仕様については、検証したいポイントについての仕様をしっかり作り込めていなかった点でユーザに混乱を与えてしまったり、検証が深まらなかったりした点が反省であった。

例えば今回の検証ポイントの１つとして、映画と親和性のあるものとしてピザの出前を画面上でできるようにしようというものがあったのだが、ピザの注文についての画面をしっかり作り込まなかったため、「ワンクリックで注文ができてしまうのは危険だ」「もっと店とのコミュニケーションを取りたいので電話を使った方がいい」という声が多く上がった。これはこれで有益なフィードバックではあるのだが、ユーザ情報を入力する画面や店側とのコミュニケーションを取るために電話との差別化を図るような仕様などを予めテストに盛り込んでおけば、より具体的で詳細なフィードバックが得られただろうと思う。

テスト質問は教授とのディスカッションも踏まえて組み立てたため自分たちの仮説を明確に検証できるようなものであったと思う。これまでLab to Marketの授業などで難しさを痛感してきたユーザインタビューの質問設計だったが、ようやく勘所を掴みつつある感覚。反省点としては、まだ抽象的な質問や選択肢があり、定量的にユーザの感触を問う質問であってもユーザによって基準値が違ったりしてブレが大きいという点がある。

今回はビデオで選択肢を選ぶ際も考えていることを喋り続けている一部始終を撮っていたのでそれを見ながら補正が出来たが、ユーザ数の多い調査ではそうはいかないだろう。Lab to Marketの授業で学んだ通り、ユーザがその質問を前にした時に何を考えるかを想定しながら質問を精査することが必要だと考えている。

今回は12人のユーザに対してテストを行い、それらを元に主に定性的な面からディスカッション・分析を行い、次のプロトタイプについての改善点を洗い出した。来週は以下の要素を盛り込んで最終プレゼンテーションを行う予定だ。このプレゼンテーションの内容こそ、自分たちが新サービス立ち上げ時に踏むべきと考えるステップになっている。

・現在のサービスについて改善できる点として考えた仮設

・仮設を検証するために作ったプロトタイプ（A/Bの２パターン）

・プロトタイプに基づき行ったユーザテスティングの内容について

・ユーザテスティングの結果分析、仮説検証の結果について

・検証結果を踏まえたさらなる仮説と次のプロトタイプの仕様について

今回はこのプロセスを約１カ月かけて組み立てたが、実際には数日でこのサイクルを回していけるのが理想的な立ち上げスピードだろう。

日本にもユーザテスティングを運営するサービスやプロトタイプを組み立てるサービスは無数にあるので、実務においてはそうしたツールをうまく活用しながら新たなサービスを机上だけでなくユーザに触ってもらいながら魅力あるものに育てていくようにしたい。