• クリティカルチェーン TOCによるプロジェクト・マネジメント

冨永 宏志

ロシア連邦外務省本館ビル
ロシア連邦外務省本館ビル
(出張時宿泊のホテル真正面 モスクワ)

アンケート結果の評価点は重視できるか

皆さんはアンケート結果で示される評価点を重視していますか?実は私はあまり重視していません。
例えば「評価点は、4.8と高得点でした!」と伝えられても「そうですか、ありがとうございます。」と挨拶に返す程度です。セミナー、講演、催し物などさまざま場面で利用者のご意見や顧客満足度を収集する目的でアンケートが使われています。
その中に数値化する手段として「5段階評価で何点ですか?」は、皆さんもよく見かけると思います。
私も担当したセミナー、講演、開発したシステムの評価、主催イベント行事等でもアンケートを実施していました。
高い評価となるのは、“ありがたいモノ”ですし、実際にアンケートで頂いたご意見や評価、批判の一部は、次回のセミナーテキストに反映させるなどに活かしています。
でも評価点は、“何らかのバイアス(偏り)が掛かった結果”との思いがあり、そのまま受け入れられず重視していませんでした。 
しかしながら、回答結果が正しく評価された意味のある数値であれば貴重な情報でセミナーの改善・高度化に活かせるはずです。ではどのようにすれば意味のあるモノにできるでしょうか?私の経験を含めて紹介します。

バイアスの解消策

アンケートに掛かっているバイアスの解消策とは、具体的にどのようなことでしょうか?
次に説明します。

1.少人数の場合、目の前にいる講師に低い評価はつけない 
2.主催者等開催側に近い立場の部門(さくらも含めて)は、高い評価をつける 
3.回答者が大人数の場合、中庸の美徳意識があるためか 中:普通とすることが多い

などがあると思います。
しかし逆に言えば、“このようなバイアスが発生しないような仕組み”がアンケートにあれば、その結果は、正しく評価した数値になるとも言えます。
バイアス発生の解消策として実施したものをいくつか紹介します。

解消策1 異常値を減らす

全ての回答を評価点で降順に並べ上から一定数の回答を除く。

理由:スキージャンプのジャッジ(飛型点)と同様身近な人に甘い評価を付けてしまう可能性を低くする目的です。なお一定数の考え方は予め決めておくと回答の多少によるブレが生じないのでお勧めです。

解消策2 異常値を除く

複数のアンケート項目が全て「高い:5」や逆に全て「低い:1」の回答を除く

理由:全体主義国家の選挙のような投票率100%やテストが全員100点は、何らかの要請や指示、組織の恣意的な雰囲気があるとしか思えません、そんな回答を減らす目的です。

解消策3 組織票を減らす

組織を特定できる仕組み(組織名、IPアドレス、ドメイン名などを使う)を使い組織別の回答数が突出している組織の回答をランダムに抜粋し除き回答数を減らす。

理由:特定組織の回答率だけが100%(近くも同様)の場合も、やはり要請等のバイアスのある回答を削減する目的です。

解消策4 アンケート評価点から「普通:3」をやめる

アンケートの回答から「普通」をやめる。

理由:不特定多数からのアンケート回答で「普通」を選択することがかなりの割合で発生します、普通をやめることで「やや高い」「やや低い」のいずれかを選択させることで高低をより明確にすることができます。

最大の原因“偏り(かたより)”

解消策を実施した後のアンケート評価点と何も解消策していない評価点を比較します。もし大差があれば、おそらく何らかのバイアスがあったと思われるので低い評価点を信用すべきです。でもあまり差が無いのであればバイアスがあまり掛かっていないことになるのでアンケート評価点は、そのまま信用できるでしょう。

図は二峰性グラフと言いますが、この例は一つの問い(評価)に対してそのまま回答しているグループ1と、高得点にしているバイアスが掛かったと思われるグループ2、これら二つの異なる回答グループがあることを示しています。このアンケートの評価点が仮に4.8点だったとしたら、「何らかの意思により、結果に“バイアス”があると見なされる情報」で信用できないでしょう。

図 二峰性グラフ 大きなバイアス(グループ2)を含む一例
図 二峰性グラフ
大きなバイアス(グループ2)を含む一例

バイアス(bias)とは確率論の数学用語で“偏り”を指すものですが、皆さんの行うアンケートでは、ご自身が置かれた環境に応じた“偏りが少ない仕組み”となることを是非考えてみてください。

最後に皆さんにバイアス解消後のアドバイスです。

アンケート回答の自由記述欄を中心に“もう一度見てください”。
「特になし」や「なし(空白)」であれば、無視して問題ありませんが、意見、評価、批判がしっかり記述されている場合、貴重な情報を無視するのはもったいないことです、評価点の高低に関わらず“もう一度念入りにチェックする値打ちがあります。
“偏りを生まない仕組みで行うアンケート”は、皆さんの改善活動に必ず役立つとともに、従来無かった視点や価値を生み出すことになるでしょう。