アンケートの回答時間と不正回答の関連性を検証
PR TIMES2024年3月27日(水)17時16分
自由回答は5秒、SAマトリクスは1.7秒以下だと不正回答が多くなる
生活者を中心にしたマーケティング支援事業を提供する株式会社ネオマーケティング(所在地:東京都渋谷区)は、「不正回答の自動排除を促進し、アンケートの精度を高める」取り組みを開始しました。
インターネットリサーチによる、自由回答とマトリクス設問(表形式の設問)で検証を行いました。
<調査背景>
ネオマーケティングでは、意味のある価値のあるデータを提供することがマーケティングリサーチ会社としての使命であると考えています。
そのため、ポイント目的による不正回答を可能な限り排除する取り組みを開始します。
今回はその第一弾として、回答時間による不正回答の基準を定める試みです。
第二弾、第三弾も予定しており、ネオマーケティングは意味のある・本質的なデータのご提供に取り組んで参ります。
主な結果
自由回答:5秒以内回答者が、不正回答全体の25%占める
マトリクス形式(複数回答):1項目あたり3.5秒回答者が、不正回答全体の半数を占める
マトリクス形式(単一回答):1項目あたり2秒以内回答者が、不正回答全体の半数を占める
マトリクス形式(5段階SA):1項目あたり1.7秒以内回答者が、不正回答者全体の半数を占める
※自由回答の不正回答定義:意味のなさない文字列、悪口、設問の回答になっていない文字列
※マトリクス形式の不正回答定義:ストレート回答(オール1.オール5等)
【調査概要】
調査の方法:株式会社ネオマーケティングが運営するアンケートシステムを利用したWEBアンケート方式で実施
調査の対象:全国の20歳以上69歳以下の男女
有効回答数:1,000名
調査実施日:2024年1月30日(火)~2024年2月1日(木)
自由回答
意味のなさない文字列、悪口、設問の回答になっていない文字列を不正回答としてカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、不正回答全体の90%が19秒以内の回答に集約される。さらに、50%だと7.25秒以内、25%だと5秒以内の回答に集中している。
結果、不正回答は5秒以内の回答に多くみられ、19秒で回答精度は安定してくることがわかる。
[画像1: https://prtimes.jp/i/3149/446/resize/d3149-446-0e95b4723ff057d44c5e-11.png ]
マトリクス形式の複数回答
[画像2: https://prtimes.jp/i/3149/446/resize/d3149-446-dbfac9f9af26e87e5671-1.png ]
ストレートの回答(全て1、全て5等)を不正回答と定義。回答個数をカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、不正回答全体の90%が47秒以内の回答に集約、50%だと14秒以内の回答に集中している。
結果、不正回答は14秒以内の回答に多くみられ、47秒で回答精度は安定してくることがわかる。
当設問は、表側4項目、表頭10項目のヨコ回答マトリクスのため、選択肢10項目の複数回答が4問分の設問であると解釈できる。
これを踏まえると、14秒÷4で、1項目あたり3.5秒以内の回答は不正回答の可能性が高いと考えることができる。
[画像3: https://prtimes.jp/i/3149/446/resize/d3149-446-848f67fefa0b3f9ae04a-12.png ]
マトリクス形式の単一回答
[画像4: https://prtimes.jp/i/3149/446/resize/d3149-446-b562e456947b95914ed6-3.png ]
ストレートの回答(全て1、全て5等)を不正回答と定義。回答個数をカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、不正回答全体の90%が20秒以内の回答に集約、50%だと8秒以内の回答に集中している。
結果、不正回答は8秒以内の回答に多くみられ、20秒で回答精度は安定してくることがわかる。
当設問は、表側4項目、表頭10項目のヨコ回答単一回答マトリクスのため、選択肢10項目の単一回答が4問分の設問であると解釈できる。
これを踏まえると、8秒÷4で、1項目あたり2秒以内の回答は不正回答の可能性が高いと考えることができる。
[画像5: https://prtimes.jp/i/3149/446/resize/d3149-446-5334ae4897a0729f46bd-13.png ]
マトリクス形式の5段階単一回答
[画像6: https://prtimes.jp/i/3149/446/resize/d3149-446-c366a02b1a49f436bf7c-5.png ]
ストレートの回答(全て1、全て5等)を不正回答と定義。回答個数をカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、不正回答全体の90%が27秒以内の回答に集約、50%だと17秒以内の回答に集中している。
結果、不正回答は17秒以内の回答に多くみられ、27秒で回答精度は安定してくることがわかる。
当設問は、表側10項目、表頭5項目のヨコ回答単一回答マトリクスのため、選択肢5項目の単一回答が10問分の設問であると解釈できる。
これを踏まえると、17秒÷10で、1項目あたり1.7秒以内の回答は不正回答の可能性が高いと考えることができる。
[画像7: https://prtimes.jp/i/3149/446/resize/d3149-446-dcb6bbbe7081d199d950-14.png ]
マトリクス形式の3択単一回答
[画像8: https://prtimes.jp/i/3149/446/resize/d3149-446-2cd6ce9967444240058c-7.png ]
ストレートの回答(全て1、全て5等)を不正回答と定義。回答個数をカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、不正回答全体の90%が29秒以内の回答に集約、50%だと18秒以内の回答に集中している。
結果、不正回答は18秒以内の回答に多くみられ、29秒で回答精度は安定してくることがわかる。
当設問は、表側10項目、表頭3項目のヨコ回答単一回答マトリクスのため、選択肢3項目の単一回答が10問分の設問であると解釈できる。
これを踏まえると、18秒÷10で、1項目あたり1.8秒以内の回答は不正回答の可能性が高いと考えることができる。
[画像9: https://prtimes.jp/i/3149/446/resize/d3149-446-af67c4d217a49db82007-16.png ]
マトリクス形式の5段階単一回答
[画像10: https://prtimes.jp/i/3149/446/resize/d3149-446-e9e35ba9c6bda3710ecf-9.png ]
ストレートの回答(全て1、全て5等)を不正回答と定義。回答個数をカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、不正回答全体の90%が51秒以内の回答に集約、50%だと25秒以内の回答に集中している。
結果、不正回答は25秒以内の回答に多くみられ、51秒で回答精度は安定してくることがわかる。
当設問は、表側15項目、表頭5項目のヨコ回答単一回答マトリクスのため、選択肢5項目の単一回答が15問分の設問であると解釈できる。
これを踏まえると、25秒÷15で、1項目あたり1.7秒以内の回答は不正回答の可能性が高いと考えることができる。
[画像11: https://prtimes.jp/i/3149/446/resize/d3149-446-e2bae6187943faf8a4ba-15.png ]
総括
今回の検証は結論を出すことを目的としているわけではないため、明確な基準値を定めることはしないが、回答時間が早すぎると、不正回答である可能性が高まることは分かった。
設問形式によって判断基準となる時間も異なることも確認できた。
「早すぎる回答」の参考基準
自由回答なら5秒以内
マトリクス形式(複数回答)だと1項目あたり3.5秒
マトリクス形式(単一回答)だと1項目あたり2秒
マトリクス形式(5段階SA)だと1項目あたり1.7秒
今後、年代による検証、選択肢の数による検証、視線等の生態データによる検証も行い
不正と思われるデータを、恣意的ではなく根拠を持って一律に排除できる仕組みを構築していきます。
■この調査で使用した調査サービスはコチラ
ネットリサーチ:https://neo-m.jp/research-service/netresearch/
■引用・転載時のクレジット表記のお願い
※本リリースの引用・転載は、必ずクレジットを明記していただきますようお願い申し上げます。
<例>「生活者を中心にしたマーケティング支援事業を提供する株式会社ネオマーケティングが実施した調査結果によると……」
■「ネオマーケティング」
URL :https://neo-m.jp/
生活者を中心にしたマーケティング支援事業を提供する株式会社ネオマーケティング(所在地:東京都渋谷区)は、「不正回答の自動排除を促進し、アンケートの精度を高める」取り組みを開始しました。
インターネットリサーチによる、自由回答とマトリクス設問(表形式の設問)で検証を行いました。
<調査背景>
ネオマーケティングでは、意味のある価値のあるデータを提供することがマーケティングリサーチ会社としての使命であると考えています。
そのため、ポイント目的による不正回答を可能な限り排除する取り組みを開始します。
今回はその第一弾として、回答時間による不正回答の基準を定める試みです。
第二弾、第三弾も予定しており、ネオマーケティングは意味のある・本質的なデータのご提供に取り組んで参ります。
主な結果
自由回答:5秒以内回答者が、不正回答全体の25%占める
マトリクス形式(複数回答):1項目あたり3.5秒回答者が、不正回答全体の半数を占める
マトリクス形式(単一回答):1項目あたり2秒以内回答者が、不正回答全体の半数を占める
マトリクス形式(5段階SA):1項目あたり1.7秒以内回答者が、不正回答者全体の半数を占める
※自由回答の不正回答定義:意味のなさない文字列、悪口、設問の回答になっていない文字列
※マトリクス形式の不正回答定義:ストレート回答(オール1.オール5等)
【調査概要】
調査の方法:株式会社ネオマーケティングが運営するアンケートシステムを利用したWEBアンケート方式で実施
調査の対象:全国の20歳以上69歳以下の男女
有効回答数:1,000名
調査実施日:2024年1月30日(火)~2024年2月1日(木)
自由回答
意味のなさない文字列、悪口、設問の回答になっていない文字列を不正回答としてカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、不正回答全体の90%が19秒以内の回答に集約される。さらに、50%だと7.25秒以内、25%だと5秒以内の回答に集中している。
結果、不正回答は5秒以内の回答に多くみられ、19秒で回答精度は安定してくることがわかる。
[画像1: https://prtimes.jp/i/3149/446/resize/d3149-446-0e95b4723ff057d44c5e-11.png ]
マトリクス形式の複数回答
[画像2: https://prtimes.jp/i/3149/446/resize/d3149-446-dbfac9f9af26e87e5671-1.png ]
ストレートの回答(全て1、全て5等)を不正回答と定義。回答個数をカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、不正回答全体の90%が47秒以内の回答に集約、50%だと14秒以内の回答に集中している。
結果、不正回答は14秒以内の回答に多くみられ、47秒で回答精度は安定してくることがわかる。
当設問は、表側4項目、表頭10項目のヨコ回答マトリクスのため、選択肢10項目の複数回答が4問分の設問であると解釈できる。
これを踏まえると、14秒÷4で、1項目あたり3.5秒以内の回答は不正回答の可能性が高いと考えることができる。
[画像3: https://prtimes.jp/i/3149/446/resize/d3149-446-848f67fefa0b3f9ae04a-12.png ]
マトリクス形式の単一回答
[画像4: https://prtimes.jp/i/3149/446/resize/d3149-446-b562e456947b95914ed6-3.png ]
ストレートの回答(全て1、全て5等)を不正回答と定義。回答個数をカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、不正回答全体の90%が20秒以内の回答に集約、50%だと8秒以内の回答に集中している。
結果、不正回答は8秒以内の回答に多くみられ、20秒で回答精度は安定してくることがわかる。
当設問は、表側4項目、表頭10項目のヨコ回答単一回答マトリクスのため、選択肢10項目の単一回答が4問分の設問であると解釈できる。
これを踏まえると、8秒÷4で、1項目あたり2秒以内の回答は不正回答の可能性が高いと考えることができる。
[画像5: https://prtimes.jp/i/3149/446/resize/d3149-446-5334ae4897a0729f46bd-13.png ]
マトリクス形式の5段階単一回答
[画像6: https://prtimes.jp/i/3149/446/resize/d3149-446-c366a02b1a49f436bf7c-5.png ]
ストレートの回答(全て1、全て5等)を不正回答と定義。回答個数をカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、不正回答全体の90%が27秒以内の回答に集約、50%だと17秒以内の回答に集中している。
結果、不正回答は17秒以内の回答に多くみられ、27秒で回答精度は安定してくることがわかる。
当設問は、表側10項目、表頭5項目のヨコ回答単一回答マトリクスのため、選択肢5項目の単一回答が10問分の設問であると解釈できる。
これを踏まえると、17秒÷10で、1項目あたり1.7秒以内の回答は不正回答の可能性が高いと考えることができる。
[画像7: https://prtimes.jp/i/3149/446/resize/d3149-446-dcb6bbbe7081d199d950-14.png ]
マトリクス形式の3択単一回答
[画像8: https://prtimes.jp/i/3149/446/resize/d3149-446-2cd6ce9967444240058c-7.png ]
ストレートの回答(全て1、全て5等)を不正回答と定義。回答個数をカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、不正回答全体の90%が29秒以内の回答に集約、50%だと18秒以内の回答に集中している。
結果、不正回答は18秒以内の回答に多くみられ、29秒で回答精度は安定してくることがわかる。
当設問は、表側10項目、表頭3項目のヨコ回答単一回答マトリクスのため、選択肢3項目の単一回答が10問分の設問であると解釈できる。
これを踏まえると、18秒÷10で、1項目あたり1.8秒以内の回答は不正回答の可能性が高いと考えることができる。
[画像9: https://prtimes.jp/i/3149/446/resize/d3149-446-af67c4d217a49db82007-16.png ]
マトリクス形式の5段階単一回答
[画像10: https://prtimes.jp/i/3149/446/resize/d3149-446-e9e35ba9c6bda3710ecf-9.png ]
ストレートの回答(全て1、全て5等)を不正回答と定義。回答個数をカウントし、その回答時間をまとめた。全不正回答の合計を100とした時に、不正回答全体の90%が51秒以内の回答に集約、50%だと25秒以内の回答に集中している。
結果、不正回答は25秒以内の回答に多くみられ、51秒で回答精度は安定してくることがわかる。
当設問は、表側15項目、表頭5項目のヨコ回答単一回答マトリクスのため、選択肢5項目の単一回答が15問分の設問であると解釈できる。
これを踏まえると、25秒÷15で、1項目あたり1.7秒以内の回答は不正回答の可能性が高いと考えることができる。
[画像11: https://prtimes.jp/i/3149/446/resize/d3149-446-e2bae6187943faf8a4ba-15.png ]
総括
今回の検証は結論を出すことを目的としているわけではないため、明確な基準値を定めることはしないが、回答時間が早すぎると、不正回答である可能性が高まることは分かった。
設問形式によって判断基準となる時間も異なることも確認できた。
「早すぎる回答」の参考基準
自由回答なら5秒以内
マトリクス形式(複数回答)だと1項目あたり3.5秒
マトリクス形式(単一回答)だと1項目あたり2秒
マトリクス形式(5段階SA)だと1項目あたり1.7秒
今後、年代による検証、選択肢の数による検証、視線等の生態データによる検証も行い
不正と思われるデータを、恣意的ではなく根拠を持って一律に排除できる仕組みを構築していきます。
■この調査で使用した調査サービスはコチラ
ネットリサーチ:https://neo-m.jp/research-service/netresearch/
■引用・転載時のクレジット表記のお願い
※本リリースの引用・転載は、必ずクレジットを明記していただきますようお願い申し上げます。
<例>「生活者を中心にしたマーケティング支援事業を提供する株式会社ネオマーケティングが実施した調査結果によると……」
■「ネオマーケティング」
URL :https://neo-m.jp/
「不正」をもっと詳しく
BIGLOBE旅行 都道府県民限定プランのご紹介♪
「不正」のニュース
-
『委託先からの情報漏えいと内部不正』というテーマのウェビナーを開催5月8日11時16分
-
大統領妻の不正疑惑、捜査本格化 韓国、尹氏の求心力低下も5月7日17時27分
-
B787、翼と胴体の結合検査で不正か…ボーイング「安全性に緊急の問題が生じるものではない」5月7日10時55分
-
ダイハツ、全工場で生産再開 認証不正で停止から4カ月半ぶり5月7日9時24分
-
SixTONES京本大我、田中樹との“10万円以上”かけた年間対決でさっそく不正?「後ろめたくて」5月5日12時43分
-
介護支援施設が面談記録に不備 給付費363万円を不正受給 姫路市が報酬減額処分5月3日20時40分
-
大谷翔平の“資金”で豪遊三昧 水原容疑者から送金を得た胴元の行動に愕然「ミズハラが隠蔽しようとしたカネもギャンブルに消えた」5月3日6時0分
-
姫路城、外国人の入城者数は不正確? 配ったパンフでざっくり計算 他の観光地も把握に苦慮5月1日20時0分
-
4月の新車販売、11.2%減 ダイハツ不正の影響尾を引く5月1日17時15分
-
ダイハツ、取引先600社補償へ 認証不正問題で生産停止影響4月26日17時10分