アンケート回答の精度をあげるには

アンケート回答の精度をあげるには

私が所属しているグループの今クォーター(2017年4~6月)の目標は、ショーケース・ティービーのサービス『仲介名人』をもっと社内外に知ってもらい、ファンを作っていこうというミッションを掲げ、グループ一丸となって取り組んできました。

ショーケース・ティービーでは主に開発に携わるメンバーを対象とした「IT本部会」というミーティングを実施しています。
「IT本部会」は週1回(1時間)ペースで開催され、希望者が自由に発表できる場を設けています。ここで『仲介名人』に関するプレゼンテーションを行い、発表後にはアンケートをとって、『仲介名人』に関わっていないメンバーの興味の度合いや理解度を計測してみました。

今回は、そのアンケートの回答の精度を上げていくために工夫した点や次回以降の課題などをまとめていきたいと思います。

アンケートの構成

アンケートは「選択式」と「自由記述式」を設けており、「選択式」の方は必須回答に、そして「自由記述式」は任意回答としました。
「選択式」は必須であるため強制力はあるものの、予め決められた選択肢の中から回答を誘導するものでしかありません。
そこで回答者の興味の度合いや理解度といった “本心” を聞きたい項目に関しては「自由記述式」が最適と考えました。アンケートを取る人数も限られていることから、なおさら少人数であっても確実に有効な情報が得られるのではないでしょうか。

プレゼン、およびプレゼン後のアンケートは3回に渡って実施しており、毎回アンケート結果をもとに、次回のアンケートに改良を加え、より質の高い回答を得られるように工夫を凝らしました。
それではアンケートの実例をご紹介いたしましょう。

アンケート構成の例(1回目)

質問1:今回の内容は理解できましたか 【必須/選択式】
回答結果に関して → 理解度を可視化する上では有効的だった
質問2:今回の発表で気になる内容はありましたか 【必須/選択式】
回答結果に関して → 次の設問の「自由記述」に回答しているか否かで、その興味の度合いは計れると判断できた
質問3:気になった内容を教えてください 【任意/自由記述式】
回答結果に関して → プレゼンの仕方に関する指摘など、こちらの意図する回答(『仲介名人』に関する意見)とはズレが生じていた
質問4:今回の内容を聞いて仲介名人をもっと知りたくなりましたか 【必須/選択式】
質問5:具体的にどんなことを知りたいですか 【任意/自由記述式】
回答結果に関して → 興味の度合いを可視化するために聞いた質問だったが、注釈をつけていたり、次の質問と合わせて回答を確認すると、『仲介名人』というサービスではなく、不動産業界に関して興味を持ったという回答が多く得られたため、この質問では意図する回答は得られにくいと分かった
質問6:もしよろしかったら、仲介名人をより良くするためのアイデアをください 【任意/自由記述式】
回答結果に関して → 予想を上回る回答率の良さだったため、興味・関心の度合いを計るのには十分だった

アンケート構成の例(3回目)

質問1:○○○○の内容は理解できましたか 【必須/選択式】(※○○○○は新サービスのモック名)
回答結果に関して → 理解度を可視化する上では有効的だった
質問2:Line Botの内容は理解できましたか 【必須/選択式】
回答結果に関して → 理解度を可視化する上では有効的だった
質問3:仲介名人への導入イメージについて理解できましたか 【必須/選択式】
回答結果に関して → 理解度を可視化する上では有効的だった
質問4:仲介名人への導入についてもっと知りたくなりましたか 【必須/選択式】
質問5:具体的にどんなことが知りたいですか 【任意/自由記述式】
回答結果に関して → 「質問4」で知りたいと選択されていたにも関わらず、「質問5」で具体的な内容が無記載だったケースもあった。興味の度合いを計る上ではセットでの質問は有効的だと確認できた
質問6:仲介名人の導入に際し、どんな機能があるといいですか。ご意見を教えてください 【任意/自由記述式】
回答結果に関して → 予想を上回る回答率の良さだったため、興味・関心の度合いを計るのには十分だった
質問7:今回の発表内容について気になることはありましたか 【必須/選択式】
質問8:気になった内容を教えてください 【任意/自由記述式】
回答結果に関して → 第1回のアンケート時の反省を踏まえ、設問文を「発表内容」と変更してみたものの、相変わらずプレゼンの仕方に関する指摘が見られた。この質問の仕方では有効的な回答は得られないことが確認できた
質問9:その他、ご意見やご感想などありましたら以下に記入お願いします 【任意/自由記述式】
回答結果に関して → 意見は出ず、記入数も少なかったため、細かな質問をする必要がある確認できた

アンケート用紙の盲点

勘の鋭い方であれば「アンケート構成の例(2回目)」がないことにお気づきかもしれませんね。
実は2回目は大きな失敗をしてしまった回でした。

そもそもなぜ紙媒体?
全3回のアンケートはすべてペーパーで実施しました。
アンケート回答者は必ずしもPC持参でミーティングに臨んでいるわけではなく、オンライン回答の場合はプレゼン後の即時回答は期待できません。ミーティング終了後に回答してもらうとなると、時間の経過とともに「アンケートに答える」という行為の優先度が下がり、アンケート回収率も下がると想定していたためです。回収率を高める施策として、即時回答が見込めるペーパーは効果的という見解ですね。

1回目と3回目は回答率はほぼ100%(必須項目に限る)となっており、そして出席していたメンバー全員から回収できています。つまりペーパー実施は正解だったと言えます。

紙媒体ならではの盲点
2回目でのミスというのは「裏に続く」という明示を怠ったことです。。。
1回目では2枚綴りのアンケート用紙でしたが、2回目では両面印刷された1枚のアンケート用紙を配布。1回目のアンケートをベースに2回目を作成していたため、両面印刷を行う場合の必須文言「裏に続く」は抜け落ちてしまったのです。

その結果、裏面に記載されていた最も聞きたかった質問の回答率がなんとゼロ!!
もうこれは悲劇でしかありません。。。

対策
同じ轍を踏まぬよう、3回目ではある工夫を施しました。
それはアンケート用紙を配布する時に、裏面を見せた状態で配布するといういたってシンプルな解決法でした。
これのおかげで3回目は1枚のアンケート用紙で回答率100%(必須項目に限る)に戻りました。

トライ&エラーで分かるアンケートの勘所

アンケートでより有益な回答を得るためには、「自由記述式」なのに設問がていねいで分かりやすく、いかに求めているものに近い回答を出してもらいやすいかがキモになってくるというのが分かりました。

特に「どのような」という言葉を使った設問に対しての回答が、求めている回答にもっとも近い内容が多かったように見受けられました。
逆に「気になった内容を教えてください」といったザックリとした質問を投げかけた場合、そもそもの回答率が低く、答えてもらっても意図しない回答も散見されました。ボンヤリとした質問は回答自体も散らかってしまうものなんですね。結果的に必要のない質問であったとと反省しました。

なお、今後は以下のような回答者が回答を引き出しやすい、少し深掘りした質問に改良していこうと思います。
【改良前】気になった内容を教えてください
     ↓
【改良前】○○という内容について、最も分かりにくいところや、役に立つと感じた点を教えてください

今回、改めてアンケートの難しさを実感しました。
こんなにも難しいアンケートが文化としてなくならないのは、得られる回答が何者にも変え難い財産であるということでしょう。

今回のアンケート結果においても、私は貴重な “財産” を得ることができ、今後の開発にもとても役に立ちそうなものばかりでした。
改良を加えつつもアンケートを実施し続けていくことにより、より精度の高まった回答からサービス開発の方向性やヒントが得られそうです。これらの “財産” を無駄にしないよう心がけて邁進していきたいと思います。

そしてアンケートは一人でできるものではありません。当たり前ですが、回答者のみなさんのご協力あっての結果です。
この場を借りてご協力の御礼とさせていただきます。
まだまだアンケート引き続き取る予定ですので、今後ともご協力よろしくお願いします!
それでは、また!

コメント