Через складні питання в анкеті ви втрачаєте придатні відповіді, адже питання працює лише тоді, коли всі респонденти розуміють його однаково і так, як ви задумали. Цьому заважають три речі: надто складне формулювання (жаргон, абревіатури, подвійне заперечення), нечітке питання (розмита тема, слова на кшталт «часто», невказаний період) і задовге питання (з поясненням усередині або матриця з багатьма рядками). Той, хто не зрозумів питання, може вгадати відповідь, пропустити його або перервати заповнення, а відповідь на неправильно зрозуміле питання в результатах нічим не відрізняється від інших. Нижче — приклад виправлення для кожної проблеми і дві прості перевірки, які виявляють багато з того, чого ви не бачите у власній чернетці: прочитати питання вголос і дати на них відповісти кільком людям, схожим на ваших респондентів.
Коротко
- Пишіть словами, якими говорять ваші респонденти: без жаргону, нерозшифрованих абревіатур і подвійних заперечень.
- Назвіть тему, період і те, що саме рахувати; коли потрібна цифра, замініть «часто» чи «регулярно» кількістю за вказаний період.
- Ставте питання одним реченням, а визначення — перед ним або в описі питання. Матриця — теж питання, тож залиште в ній лише кілька коротких рядків.
- Прочитайте кожне питання вголос, а потім попросіть кількох людей, схожих на респондентів, міркувати вголос, поки вони відповідають.
Складні формулювання: жаргон, абревіатури й подвійні заперечення
Питання надто складне, коли в ньому є слова, яких респонденти не вживають, або конструкція, яку їм треба розплутати, перш ніж відповісти. Pew Research Center і Американська асоціація дослідників громадської думки (AAPOR) радять одне: короткі питання з простих і конкретних слів, зрозумілих тим, кого ви опитуєте.
Замість: «Чи вважаєте ви дистрибуцію слабоалкогольних напоїв зі смаком, що нагадує фруктовий, достатньою?»
Запитайте: «Наскільки легко чи важко вам знайти пиво з фруктовим смаком у магазинах поблизу?» (від «Дуже легко» до «Дуже важко», а також «Я такого не шукаю»)
Достатньою для кого? Постачальник і покупець оцінюють дистрибуцію по-різному, тож питайте про власний досвід респондента. Останній варіант потрібен, щоб тим, хто такого пива не шукає, не довелося вгадувати.
Статистичне управління Канади (Statistics Canada) радить писати кожну абревіатуру повністю («навчання з охорони праці», а не «навчання з ОП») і замінювати спеціальні терміни звичайними словами. Жаргон — це й слова, які вживають лише у вашій команді: кодові назви продуктів, скорочені назви відділів.
Подвійне заперечення може заплутати респондентів, попереджає Pew Research Center. В анкетах воно найчастіше з’являється тоді, коли заперечне твердження оцінюють за шкалою «згоден — не згоден»: відповідь «не згоден» стає запереченням заперечення.
Замість: «Чи згодні ви з твердженням: „Їдальня не повинна припиняти подавати гарячі страви“?»
Запитайте: «Їдальні варто й далі подавати гарячі страви чи припинити?» («Подавати й далі», «Припинити»)
Нечіткі питання: розмита тема, слова на кшталт «часто», невказаний період
Питання нечітке, коли двоє респондентів можуть із повним правом зрозуміти його як два різні питання; тоді їхні відповіді не можна зводити докупи. Статистичне управління Канади радить переписувати таке питання так, щоб воно називало всі подробиці: про що, де і за який період ідеться.
Перша причина — розмита тема. «Що ви думаєте про паркування?» може стосуватися вільних місць у центрі, вартості паркування або автомобілів, припаркованих на тротуарах. Таке неоднозначне питання треба прив’язати до конкретної ситуації:
Запитайте: «Наскільки легко чи важко вам у звичайний будній день знайти місце для паркування в центрі міста?» (від «Дуже легко» до «Дуже важко», а також «Я не паркуюся в центрі»)
Друга — не сказано, що рахувати і за який період. Власник нового автосервісу питає: «Як часто ви ремонтували свій автомобіль протягом минулого року?» Одні порахують поїздки до автосервісу, інші — й ремонти, які робили самі, а «минулий рік» може означати попередній календарний рік або останні 12 місяців. Власникові сервісу потрібні лише ремонти у фахівців.
Запитайте: «Скільки разів за останні 12 місяців ви віддавали автомобіль на ремонт в автосервіс? Не враховуйте планове технічне обслуговування і ремонти, які робили самі.»
Третя — слова на кшталт «часто» і «регулярно», які не означають певної кількості (у методології їх називають нечіткими квантифікаторами). В одному дослідженні серед студентів значення «часто» як варіанта відповіді змінювалося залежно від того, про що питали (Rocconi і колеги, 2020). У самому питанні таке слово змушує кожного самого вирішувати, скільки це — «часто». Коли вам потрібна цифра, яку ви покажете у звіті, питайте про кількість за вказаний період. Це одне з основних правил формулювання питань: завжди кажіть, про який період ідеться.
Замість: «Чи регулярно ви займаєтеся спортом?»
Запитайте: «Скільки з останніх 7 днів ви приділяли щонайменше 30 хвилин спорту, швидкій ходьбі чи їзді на велосипеді?» (від 0 до 7)
Довгі питання: коли пояснення стоїть у самому питанні
Довге питання змушує людей читати більше, а що саме враховувати, їм однаково доводиться вирішувати самим. AAPOR радить робити окремі питання короткими, щоб не перевантажувати респондентів. Ставте питання одним реченням, а визначення — перед ним або в описі питання: eSurvey.ua показує опис під назвою питання (у редакторі це поле «Введіть додатковий опис (необов'язково)»).
Замість: «Наступне питання стосується хатніх справ, які потребують фізичних зусиль. Під справами, які потребують фізичних зусиль, ми розуміємо, наприклад, скопування городу, заготівлю дров, перенесення меблів тощо. Як часто протягом тижня ви виконуєте справи, які потребують фізичних зусиль?»
Запитайте: «Згадайте фізичну роботу вдома, на городі чи в саду, від якої ви починаєте важко дихати, як-от копання, рубання дров, вибивання килимів чи перенесення меблів. Скільки з останніх 7 днів ви виконували таку роботу щонайменше 10 хвилин без перерви?»
Перше речення — це визначення, яке кожен може застосувати до себе.
Приклади змінюють те, що люди рахують. У дослідженні, де питали про харчування, люди, яким показували приклади, частіше згадували перелічені продукти, а незвичні приклади діяли найсильніше. Схоже, приклади робили відповіді точнішими, коли нагадували про те, що люди інакше пропустили б (Tourangeau і колеги, 2014). Тож добирайте приклади свідомо: випадки, про які люди зазвичай забувають, після слів «як-от» чи «наприклад», а не перелік, що схиляє відповідь в один бік. Формулювання, яке підштовхує до певної відповіді, — це вже інша проблема: навідні питання.
Довга матриця — теж довге питання
Матриця з багатьма рядками й довгими твердженнями — це довге питання в іншій формі. У довгій матриці дехто дає однакову відповідь у кожному рядку (англійською це називають straightlining) — ознака, що людина перестала читати твердження. Залишайте в кожному рядку одну думку (дві думки в одному рядку — це вже подвійне питання), пишіть короткі твердження, обмежтеся кількома рядками й кількома стовпцями з короткими підписами. Довгу матрицю розділіть за темами, а найважливіші твердження поставте окремими питаннями. І пам’ятайте про телефон: на ньому широка матриця прокручується вбік, і останніх стовпців не видно, доки людина не прогорне таблицю. Відкрийте «Попередній перегляд» на телефоні й перевірте свою матрицю.
Як знайти складні й незрозумілі питання, перш ніж надіслати опитування
Нечіткості у власних питаннях ви не бачите, бо знаєте, що мали на увазі. Дві перевірки виявляють багато таких проблем.
Спершу прочитайте кожне питання вголос: довгі речення, слова, на яких ви спотикаєтеся, і подвійні заперечення на слух помітні одразу. Потім про кожне питання спитайте себе: кого я питаю, про що, за який період і що людина має порахувати? Чи можуть двоє зрозуміти його по-різному?
Далі — пробне заповнення. AAPOR радить перевіряти анкету на людях, схожих на ваших респондентів, і називає когнітивні інтерв’ю одним зі способів це зробити. Такі інтерв’ю показують, як респонденти розуміють питання, обмірковують їх і відповідають, пояснює Національний центр статистики охорони здоров’я США (NCHS). Попросіть кількох таких людей відповідати й водночас міркувати вголос. Після кожної відповіді, а не перед нею, запитайте:
- «Що для вас тут означає „регулярно“?»
- «Що ви рахували?»
- «Про який період ви думали?»
- «Чи траплялося слово, у значенні якого ви сумнівалися?»
Питання, яке двоє людей зрозуміли по-різному, перепишіть.
В eSurvey.ua «Попередній перегляд» показує опитування очима респондентів і не приймає відповідей; відкрийте його й на телефоні. Як перевірити опитування на кількох людях, перш ніж його надіслати, зі справжніми відповідями й виміряним часом, пояснює стаття про підготовку до опитування.
| Перевірка | Що виявляє | Як виправити |
|---|---|---|
| Прочитайте питання вголос | Довгі речення, слова, на яких ви спотикаєтеся, подвійні заперечення | Скоротіть, розділіть, сформулюйте ствердно |
| Пошукайте абревіатури й слова, зрозумілі лише вашій команді | Жаргон | Напишіть абревіатуру повністю, вживайте слова респондентів |
| Спитайте себе: «Про що, де, за який період?» | Розмита тема, невказаний період | Назвіть ситуацію і період |
| Підкресліть «часто», «регулярно», «останнім часом» | Слова без певної кількості | Кількість за вказаний період |
| Порахуйте речення в самому питанні | Довге питання | Одне речення, визначення перед ним або в описі |
| Порахуйте рядки кожної матриці й прочитайте твердження | Довга матриця | Менше рядків, коротші твердження, поділ за темами |
| Попросіть кількох людей міркувати вголос, поки вони відповідають | Те, чого ви самі не бачите | Перепишіть і знову перевірте змінені питання |
Підсумок
Складне питання виправляють слова респондентів і ствердна форма, нечітке — названі тема, період і кількість, довге — одне речення з визначенням перед ним або в описі, а матрицю — кілька коротких рядків. Прочитайте питання вголос і перевірте їх на кількох людях, схожих на ваших респондентів, перш ніж надсилати опитування. Для початку відкрийте готовий шаблон на свою тему й перевірте його питання так само.
Приклади анкет і готові шаблони за темами
Відкрийте шаблон на свою тему й перевірте кожне питання так само: одна тема, прості слова, чітко названий період.
Дивитися шаблони