Навідне питання — це питання, формулювання якого підштовхує респондента до певної відповіді, як-от «Ви ж погоджуєтеся, що…?». Провокаційне питання йде ще далі: у ньому є приховане припущення або емоційно забарвлені слова, яких не оминути, хоч би що людина відповіла. Хто ніколи не користувався послугою, не має правдивої відповіді на питання «Чому ви перестали нею користуватися?» В обох випадках результати здаються цілком правдоподібними, але вони хибні, і в самих даних ніщо про це не попереджає. Стаття для всіх, хто сам складає анкету: як помітити обидва види у формулюванні та у варіантах відповіді, чому «Чи погоджуєтеся ви, що…?» схиляє до «так», як переписати такі питання і що перевірити перед розсиланням.
Коротко
- Навідне питання підказує бажану відповідь, а провокаційне нав’язує припущення кожному, хто відповідає.
- Формулювання може зсунути результати на багато відсоткових пунктів, і самі результати цього не покажуть.
- Перевіряйте й варіанти відповіді: обидва боки шкали, порівну поділок з кожного боку, вихід для тих, кого питання не стосується.
- Замість «Чи погоджуєтеся ви, що…?» поставте пряме питання або запропонуйте вибір між двома твердженнями.
- Перед питанням із припущенням поставте питання-фільтр, а чернетку спершу випробуйте на кількох людях.
Що таке навідні та провокаційні питання
За визначенням Австралійського бюро статистики, навідне питання спрямовує респондента до певної відповіді або робить одні відповіді бажанішими за інші. Провокаційне питання містить те, чого респондент не казав. Це або припущення, яке підтверджує будь-яка відповідь, або емоційно забарвлені слова, на які люди реагують сильніше, ніж на саму тему. Слово «провокаційне» тут не означає, що автор когось навмисно провокує: найчастіше такі питання пишуть, самі того не помічаючи.
Класичний приклад — «Ви вже перестали красти автомобілі?» «Так» означає, що людина крала раніше, «ні» — що краде й досі. Автори анкет ставлять питання такого самого типу. «Ви перестали користуватися бритвою з одним лезом через ціну?» припускає, що людина голиться, користувалася такою бритвою і відмовилася від неї. Чоловік із бородою правдивої відповіді не має. Ідеться саме про анкети, а не про навідні питання на допиті.
| Вид | Що робить | Приклад |
|---|---|---|
| Навідне: підказка у формулюванні | Показує, якої відповіді від вас чекають | «Нове меню ж краще за старе, чи не так?» |
| Провокаційне: приховане припущення | Видає за факт те, що може бути неправдою | «Чому ви перестали користуватися нашим застосунком?» |
| Провокаційне: емоційно забарвлені слова | Викликає реакцію на слово, а не на суть | «Скільки часу ви щотижня марнуєте на наради?» |
| Навідне: посилання на авторитет | Робить незгоду схожою на необізнаність | «Експерти вважають новий дизайн зручнішим. Наскільки він зручний для вас?» |
Чому це важливо: відповіді зсуваються, а результати цього не показують
Інші слова в питанні на ту саму тему дають інші цифри. Статистичне управління Канади наводить два формулювання одного питання з опитування Toronto Area Survey 1991 року. Коли людей спитали, чи слід дозволити магазинам, які цього хочуть, працювати в неділю, 73 % відповіли «за», а 25 % — «проти». У другому варіанті неділю подали як загальний вихідний, коли більшості людей не треба працювати: такий день підтримали 44 %, а 50 % були проти, тобто за відкриті магазини. Більшість за відкриті магазини збереглася, але зменшилася з 73 % до 50 %, а прихильників зачинених магазинів стало 44 % замість 25 %.
В опитуванні з одним формулюванням цього ефекту не видно: гранична похибка вибірки його не охоплює, а більше відповідей його не зменшить, бо це упередженість (систематична похибка), а не випадкова похибка. Виміряти ефект можна, лише порівнявши два формулювання на схожих групах, а запобігти йому — лише кращим питанням. Обов’язкове провокаційне питання ще й змушує відповісти неправдиво кожного, кому воно не підходить.
Перевірити гіпотезу — часто саме мета опитування. Помилка — формулювати питання з позиції, яку підтримуєте ви чи ваш замовник. Американська асоціація дослідників громадської думки (AAPOR) радить уникати формулювань, які подають лише один бік питання.
Ознаки у формулюванні: що шукати в чернетці
Перевірте кожне питання чернетки на п’ять ознак.
- Прохання підтвердити. «Чи правда, що…», «Ви ж не заперечуватимете, що…», «…, чи не так?», а також «все-таки», «нарешті», «досі» показують, якої відповіді ви чекаєте. «Замість «Ви все-таки задоволені новим графіком роботи, чи не так?» спитайте: «Наскільки ви задоволені чи незадоволені новим графіком роботи?»»
- Авторитет або більшість. «Експерти стверджують…», «Науково доведено…», «Більшість клієнтів вважає…» перед питанням роблять незгоду схожою на необізнаність. Приберіть такий вступ і залиште саме питання.
- Соціальний тиск. «Як і більшість відповідальних батьків, ви перевіряєте домашні завдання дитини?» підштовхує до соціально бажаної відповіді. Приберіть підказку.
- Емоційно забарвлені слова. «Марнувати», «бюрократи», «сумнівні партії», «наш чудовий сервіс» викликають реакцію на слово, а не на суть. Беріть нейтральні слова й називайте обидва боки: «Ви підтримуєте чи не підтримуєте…?»
- Приховане припущення. «Чому ви перестали…», «Що вам найбільше подобається в…» припускають, що щось змінилося або подобається. Спершу поставте питання-фільтр або залиште місце для «нічого»: «Що саме вам подобається в…, якщо таке є?»
Довгі й заплутані формулювання та два питання в одному — інші помилки формулювання питань, і ознаки в них свої.
Переписане як «Ви коли-небудь крали автомобіль?», класичне питання позбувається пастки, але не небажання відповідати: про поведінку, якої соромляться, люди повідомляють менше, ніж є насправді, зазначає Pew Research Center. Таке питання вже чутливе. Як ставити чутливі питання і чому щодо «поблажливого» вступу на кшталт «Багатьом людям важко…» докази суперечливі, пояснює стаття про чутливі питання в опитуванні.
Незбалансовані варіанти відповіді: шкала теж підказує
Навіть нейтральне питання підштовхує до відповіді, якщо варіанти перекошені. У збалансованій шкалі підписи з обох боків — точні протилежності однакової сили («Дуже складно» … «Дуже легко»), і поділок з обох боків порівну. Шкала «Дуже задоволений / Задоволений / Нейтрально / Не дуже задоволений / Незадоволений» не така: «Не дуже задоволений» не є протилежністю «Задоволений», тож негативний бік слабший. Якщо ви навмисно робите шкалу з більшою кількістю позитивних поділок, не подавайте результат так, ніби шкала збалансована («80 % оцінили нас на „добре“ або вище»).
Список варіантів має підходити кожному: додайте «Інше» з полем для власної відповіді та «Мене це не стосується» там, де частина людей не знайде себе в списку. В eSurvey.ua питання необов’язкове, доки ви не позначите «Обов'язкова відповідь»; позначайте її, лише якщо кожен справді може відповісти.
Підписи шкали пишете ви: в елементі з пронумерованими поділками підписані лише перша й остання, тож зробіть ці два підписи точними протилежностями, а в матриці ви підписуєте кожен стовпець. Скільки поділок брати і чи потрібна середня поділка, пояснює стаття як вибрати тип питання в анкеті.
«Чи погоджуєтеся ви, що…?»: твердження схиляють до згоди
Багато респондентів погоджуються з твердженням, хоч би що в ньому було сказано. Pew Research Center називає це схильністю погоджуватися, а Австралійське бюро статистики зауважує, що дехто просто відповідає «так» на всі питання. Допомагає пряме питання з варіантами, які називають саму властивість, про яку ви питаєте: замість «Чи погоджуєтеся ви, що доставка в нас швидка?» спитайте «Наскільки швидкою чи повільною була доставка?» (від «Дуже швидкою» до «Дуже повільною»). Інший спосіб — вибір між двома твердженнями: «Що ближче до вашої думки: А… чи Б…?»
До і після: як переписати навідне чи провокаційне питання
Беріть із цих прикладів схему, а не теми.
| До | Що не так | Після |
|---|---|---|
| «Чи слід витрачати гроші платників податків на рекламу сумнівних політичних партій?» | Емоційно забарвлені слова, лише один бік | «Ви підтримуєте чи не підтримуєте фінансування реклами політичних партій із державного бюджету?» |
| «Ви перестали користуватися бритвою з одним лезом через ціну?» | Припускає, що людина голиться, користувалася такою бритвою і відмовилася від неї | Фільтр: «Ви коли-небудь користувалися бритвою з одним лезом?» («Так, і досі користуюся» / «Так, але вже ні» / «Ні, ніколи» / «Я не голюся»). Потім лише для «Так, але вже ні»: «Яка головна причина того, що ви перестали?» (ціна серед варіантів, а також «Інше») |
| «Чи впливає неповага учнів до вчителів на викладання у вашій школі?» | Припускає, що учні не поважають учителів | «Як би ви описали ставлення учнів до вчителів у вашій школі?» (від «Дуже поважне» до «Дуже неповажне»), а вже потім питайте про наслідки |
| «Експерти кажуть, що купувати варто лише після зваженого вибору. Ви погоджуєтеся?» | Посилання на авторитет і формат згоди | «Що ближче до вашої думки? А) Перш ніж купувати побутову техніку, варто уважно порівняти моделі. Б) Порівняння моделей зазвичай не варте витраченого часу.» |
| «Чи погоджуєтеся ви, що в ЦНАП обслуговують швидко?» | Формат згоди, лише один бік | «Наскільки швидко чи повільно вас обслужили в ЦНАП?» (від «Дуже швидко» до «Дуже повільно») |
| «Наскільки ви задоволені нашим чудовим тренінгом?» («Надзвичайно задоволений / Дуже задоволений / Задоволений / Незадоволений») | Оцінне слово, незбалансовані варіанти | «Як ви оцінюєте тренінг?» («Дуже добре / Добре / Ні добре, ні погано / Погано / Дуже погано») |
Рядок про бритву показує загальний спосіб позбутися прихованого припущення: спершу питання-фільтр, а уточнювальне питання бачать лише ті, кого воно стосується. В eSurvey.ua додайте до питання-фільтра правило на вкладці «Логіка опитування»: «Показати питання» для відповіді, після якої уточнення потрібне (воно з’явиться лише цим людям), або «Приховати питання» для решти відповідей. Одне правило показує чи приховує одне питання, тож кожному уточнювальному питанню потрібне власне правило. Питання, приховане правилом, не зупиняє респондента, навіть якщо воно обов’язкове. Як налаштовувати правила, докладно пояснює стаття про логіку опитування.
Перевірте чернетку, перш ніж надсилати
Для кожного питання про думку чи поведінку спитайте себе: чи зрозуміє респондент, якої відповіді ви чекаєте? Якщо так, перепишіть питання. Питання про факти й знання — інша річ: у них правильна відповідь є.
Потім проведіть пробне опитування: AAPOR радить випробувати анкету заздалегідь, а Pew Research Center називає це необхідним кроком. Надішліть посилання кільком людям із групи, яку опитуватимете, серед них хоча б одному, хто не поділяє вашої гіпотези. Спитайте, яка відповідь здавалася їм очікуваною, і попросіть переказати кожне питання своїми словами. Їхні анкети потраплять у результати як справжні відповіді: потім видаліть їх або випробуйте копію опитування. Насамкінець перевірте кожне питання й кожен список варіантів за розділами «Ознаки у формулюванні: що шукати в чернетці» та «Незбалансовані варіанти відповіді: шкала теж підказує».
Підсумок
Навідні й провокаційні питання легко написати, а в результатах їх не видно. Більшості з них запобігають три звички: нейтральні слова, що називають обидва боки, збалансовані варіанти відповіді з виходом для тих, кого питання не стосується, і питання-фільтр перед кожним питанням із припущенням. А перед розсиланням дайте чернетку кільком людям, які не поділяють ваших сподівань. Питання-фільтр у готовій анкеті можна побачити в шаблоні опитування про продукт: його перше питання з’ясовує, чи клієнт узагалі користувався продуктом.
Готовий шаблон: опитування про продукт або послугу
Перше питання шаблону — фільтр: чи користувався клієнт продуктом. Для шкали питання 7 сторінка шаблону радить додати ще один варіант, щоб вона стала симетричною, а решту питань перевірте за ознаками з цієї статті.
Дивитися шаблон