Чому різняться рейтинги різних соціологічних центрів або Ступінь продажності соціологів
Четвер, 16 вересня 2004, 13:31
Під час передвиборчих кампаній в ЗМІ поширюються розмови про продажність соціологів і спроби скомпрометувати ті чи інші центри, підставити під сумнів одержані ними дані. Наскільки ці звинувачення є справедливими, наскільки імовірно, що рейтинги, які оприлюднюються, є сфальсифікованими?
Таке явище цілком імовірне, коли мова йде про центри, що працюють практично лише під час передвиборчих кампаній. Професійні ж центри, що працюють постійно, дбають про свою репутацію.
Критерії для розпізнавання тих і тих – скільки років на ринку той чи інший центр, чи працює він, коли не відбувається передвиборчих перегонів, (чи, навпаки, електоральні дослідження є єдиним джерелом його доходів), чи є він членом професійних асоціацій і національної, і міжнародних (зокрема, ЄСОМАР, яка має ефективний механізм для впровадження стандартів проведення досліджень: порушник стандартів буде виключений з довідника, за яким замовники знаходять виконавців, і дуже сильно постраждає фінансово), а також чи акредитований центр у Соціологічній асоціації України.
Але професійні, постійно працюючі центри, теж час від часу одержують різні результати. Виникає питання - з чим це пов’язано?
По-перше, дані опитувань завжди можуть відрізнятися у межах похибки вибірки, оскільки вибіркові вимірювання у будь-якій галузі – чи технічній, чи економічній, чи соціальній – завжди дають лише приблизний результат, зі статистичною похибкою, яку при математично обґрунтованій побудові вибірки, можна розрахувати з необхідною імовірністю.
При цьому треба взяти до уваги, що, як правило, соціологічні центри повідомляють величину похибки вибірки без врахування так званого дизайн-ефекту, а саме - без врахування особливостей конкретної вибірки, тобто те, якою була імовірна похибка, якщо б вибірка була повністю випадковою.
Реальні ж, які застосовуються соціологічними центрам, тою чи тою мірою не є такими, і тому навіть для добротної випадкової вибірки реальна похибка щонайменше у півтора рази більше, ніж та, що розрахована без врахування дизайн-ефекту.
По-друге, різниця у рейтингах залежить від списку кандидатів, які використовувалися в опитуванні. Тільки коли списки, з яких опитуваним пропонувалося зробити вибір, були однаковими і за складом, і за порядком переліку кандидатів, порівняння отриманих даних є достатньо коректним.
По-третє, різниця у рейтингах може залежить від часу проведення опитування. Так, дані наших восьми опитувань за останні шість місяців (див. мал.1) показують, що співвідношення рейтингів двох провідних кандидатів декілька разів зазнавало помітних коливань через деякі політичні та інші події .
Останній раз – з середини серпня до початку вересня через кінець серпня, коли структура доступного для опитування міського населення суттєво змінилася через повернення з відпочинку до місць проживання деяких категорій населення, зокрема - студентів та батьків з дітьми шкільного віку .
Нарешті, різниця у рейтингах може бути удаваною, оскільки у публікаціях нерідко наводяться відсотки, розраховані від неоднакових базових величин - чи по відношенню до всіх, хто відповів на запитання, чи до всіх, хто визначився, за кого голосувати, чи до всіх тих, хто має намір прийти на вибори.
Наприклад, порівняння даних нашого інституту з даними двох інших соціологічних центрів за той самий період часу (див. таблицю) показує, що різниця між ними не перевищує похибку вибірки, за винятком більш високого рейтингу Януковича за даними "Соціального Моніторингу".
Але суми відсотків у різних центрів різні, бо не всюди до суми, яка береться за 100% включені дані щодо тих, хто не визначився, хто не прийде, і дані щодо інших кандидатів. Якщо перерахувати дані тільки для тих даних, що оприлюднені, і порівняти співвідношення рейтингів зазначених кандидатів у першому і другому турі, то одержимо результати, що наведені у другій половині таблиці (дані округлені до цілих, бо точність представлення даних не може бути вищою за точність їх отримання).
Ми бачимо, що за результатами досліджень щодо другого туру (а з приводу якраз цих даних точаться найбільші суперечки) співвідношення відсотків Ющенка і Януковича в усіх центрів повністю співпадають, а максимальна різниця даних – між Соцісом і СМ – 4%. Така різниця може бути пояснена і похибкою вибірки (плюс-минус 2.2% навіть без врахування дизайн-ефекту) , але є ще й інші фактори, що впливають на результати.
До таких факторів належить формулювання запитань в анкеті. Іноді ставлять два запитання – чи прийде респондент на вибори, а потім у тих, хто не виключає, що прийде, питають про їх вибір. Розрізняються також запитання “Якщо б вибори відбувалися зараз..” та “Якщо б вибори відбувалися у найближчу неділю…” чи “Як збираєтесь голосувати на виборах 31 жовтня”.
Деякий вплив має місце запитання в опитувальнику і контекст, у якому ставиться запитання. Так декілька місяців тому один з професійних соціологічних центрів несподівано і для себе, і для інших одержав рейтинг Л.Кучми у 13%, у той час, як всі інші заміри показували не більше 8%. Виявилося, що перед запитанням про рейтинг ставилося декілька інших запитань щодо цього політика, які підвищили його рейтинг.
Нарешті слід сказати, що в більшості досліджень використовується дуже практична і економна квотна вибірка, яка не є науково обґрунтованою (на відміну від стохастичної вибірки), і нечутлива до деяких характеристик населення, що досліджується.
Останнє запитання – чи може замовник вплинути на результати досліджень постійно працюючих професійних центрів? Безпосередній вплив – тобто зміна результатів за бажанням замовника – неможлива. Є однак деякі засоби маніпулювання результатами, з якими важко чи неможливо боротися, бо вони не порушують стандарти міжнародних організацій.
Перший, – це замовчування невигідних даних і вибіркове оприлюднення вигідних даних. За будь-якими міжнародними стандартами замовник є власником одержаних даних, і ми можемо заперечувати тільки у випадку, коли одержані нами дані підмінюються іншими чи перекручуються.
Прикладом є оприлюднення даних, що більшість населення думає, що Янукович стане президентом України (які частиною населення сприймається як його рейтинг) і не оприлюднення даних про те, що говорять люди, коли їх запитують, хто на їх думку отримає найбільше голосів, якщо всі кандидати матимуть однаковий доступ до електронних ЗМІ.
Другий – включення до опитувальника не нейтральних запитань, а таких формулювань, що підштовхують респондента до тієї чи іншої відповіді. У нашій практиці ми дуже часто зустрічаємось з першим засобом маніпулювання і практично не зустрічалися з другим. У будь-якому випадку один з засобів боротьби з маніпулюванням соціологічними даними – проведення і оприлюднення досліджень за власний кошт, з власною інтерпретацією даних, що КМІС час від часу і робить.
Підсумовуючи, можна сказати, що різниця в соціологічних рейтингах залежить від таких чинників:
-відмінності у рівнях кваліфікації та незалежності центрів (показники – скільки років на ринку, належність до професійних асоціацій, зокрема САУ та ЕСОМАР, чи проводить не лише електоральні дослідження);
-похибка вибірок (плюс дизайн-ефект вибірки);
-відмінності у списках кандидатів, що пред'являється респондентам;
-різні періоди опитування;
-показники, що порівнюються (відсоток до всіх, хто відповів, чи до всіх, хто визначився, чи до тих, хто має намір прийти на вибори);
-відмінності у формулюванні запитання;
-контекст запитання;
-тип вибірки (квотна чи стохастична).
Тому звинувачення у продажності щодо постійно працюючих професійних соціологічних центрів (як от КМІС, СОЦІС, Соціальний моніторинг, GFK тощо) свідчать, як правило, або про недостатній рівень кваліфікації тих, хто висуває такі звинувачення, або про намагання дискредитувати дані, що не подобаються, хоча іноді – це просто спроби деяких аутсайдерів ринку соціальної інформації підвищити шанси конкуренції з лідерами шляхом безпідставних звинувачень їх у продажності.
Поради журналістам:
-при одержанні для публікації даних незнайомого центру одержати додаткову інформацію (подивитися, чи є він членом ЄСОМАР, звернутися до САУ тощо);
-при одержанні незвичних даних відомого центру уважно подивитися, про який показник йде мова і перерахувати до однакових показників;
-якщо питання залишаються, то звернутися з коментарями до керівника проекту.
Автор: Володимир Паніотто, професор Національного університету Києво-Могилянська академія, генеральний директор КМІС, національний представник ЄСОМАР в Україні
Валерій Хмелько, професор Національного університету Києво-Могилянська академія, президент КМІС, член Правління Соціологічної асоціації України
Таке явище цілком імовірне, коли мова йде про центри, що працюють практично лише під час передвиборчих кампаній. Професійні ж центри, що працюють постійно, дбають про свою репутацію.
Критерії для розпізнавання тих і тих – скільки років на ринку той чи інший центр, чи працює він, коли не відбувається передвиборчих перегонів, (чи, навпаки, електоральні дослідження є єдиним джерелом його доходів), чи є він членом професійних асоціацій і національної, і міжнародних (зокрема, ЄСОМАР, яка має ефективний механізм для впровадження стандартів проведення досліджень: порушник стандартів буде виключений з довідника, за яким замовники знаходять виконавців, і дуже сильно постраждає фінансово), а також чи акредитований центр у Соціологічній асоціації України.
Але професійні, постійно працюючі центри, теж час від часу одержують різні результати. Виникає питання - з чим це пов’язано?
По-перше, дані опитувань завжди можуть відрізнятися у межах похибки вибірки, оскільки вибіркові вимірювання у будь-якій галузі – чи технічній, чи економічній, чи соціальній – завжди дають лише приблизний результат, зі статистичною похибкою, яку при математично обґрунтованій побудові вибірки, можна розрахувати з необхідною імовірністю.
При цьому треба взяти до уваги, що, як правило, соціологічні центри повідомляють величину похибки вибірки без врахування так званого дизайн-ефекту, а саме - без врахування особливостей конкретної вибірки, тобто те, якою була імовірна похибка, якщо б вибірка була повністю випадковою.
Реальні ж, які застосовуються соціологічними центрам, тою чи тою мірою не є такими, і тому навіть для добротної випадкової вибірки реальна похибка щонайменше у півтора рази більше, ніж та, що розрахована без врахування дизайн-ефекту.
 |
По-третє, різниця у рейтингах може залежить від часу проведення опитування. Так, дані наших восьми опитувань за останні шість місяців (див. мал.1) показують, що співвідношення рейтингів двох провідних кандидатів декілька разів зазнавало помітних коливань через деякі політичні та інші події .
Останній раз – з середини серпня до початку вересня через кінець серпня, коли структура доступного для опитування міського населення суттєво змінилася через повернення з відпочинку до місць проживання деяких категорій населення, зокрема - студентів та батьків з дітьми шкільного віку .
Нарешті, різниця у рейтингах може бути удаваною, оскільки у публікаціях нерідко наводяться відсотки, розраховані від неоднакових базових величин - чи по відношенню до всіх, хто відповів на запитання, чи до всіх, хто визначився, за кого голосувати, чи до всіх тих, хто має намір прийти на вибори.
Наприклад, порівняння даних нашого інституту з даними двох інших соціологічних центрів за той самий період часу (див. таблицю) показує, що різниця між ними не перевищує похибку вибірки, за винятком більш високого рейтингу Януковича за даними "Соціального Моніторингу".
Але суми відсотків у різних центрів різні, бо не всюди до суми, яка береться за 100% включені дані щодо тих, хто не визначився, хто не прийде, і дані щодо інших кандидатів. Якщо перерахувати дані тільки для тих даних, що оприлюднені, і порівняти співвідношення рейтингів зазначених кандидатів у першому і другому турі, то одержимо результати, що наведені у другій половині таблиці (дані округлені до цілих, бо точність представлення даних не може бути вищою за точність їх отримання).
Ми бачимо, що за результатами досліджень щодо другого туру (а з приводу якраз цих даних точаться найбільші суперечки) співвідношення відсотків Ющенка і Януковича в усіх центрів повністю співпадають, а максимальна різниця даних – між Соцісом і СМ – 4%. Така різниця може бути пояснена і похибкою вибірки (плюс-минус 2.2% навіть без врахування дизайн-ефекту) , але є ще й інші фактори, що впливають на результати.
 |
Деякий вплив має місце запитання в опитувальнику і контекст, у якому ставиться запитання. Так декілька місяців тому один з професійних соціологічних центрів несподівано і для себе, і для інших одержав рейтинг Л.Кучми у 13%, у той час, як всі інші заміри показували не більше 8%. Виявилося, що перед запитанням про рейтинг ставилося декілька інших запитань щодо цього політика, які підвищили його рейтинг.
Нарешті слід сказати, що в більшості досліджень використовується дуже практична і економна квотна вибірка, яка не є науково обґрунтованою (на відміну від стохастичної вибірки), і нечутлива до деяких характеристик населення, що досліджується.
Останнє запитання – чи може замовник вплинути на результати досліджень постійно працюючих професійних центрів? Безпосередній вплив – тобто зміна результатів за бажанням замовника – неможлива. Є однак деякі засоби маніпулювання результатами, з якими важко чи неможливо боротися, бо вони не порушують стандарти міжнародних організацій.
Перший, – це замовчування невигідних даних і вибіркове оприлюднення вигідних даних. За будь-якими міжнародними стандартами замовник є власником одержаних даних, і ми можемо заперечувати тільки у випадку, коли одержані нами дані підмінюються іншими чи перекручуються.
Прикладом є оприлюднення даних, що більшість населення думає, що Янукович стане президентом України (які частиною населення сприймається як його рейтинг) і не оприлюднення даних про те, що говорять люди, коли їх запитують, хто на їх думку отримає найбільше голосів, якщо всі кандидати матимуть однаковий доступ до електронних ЗМІ.
Другий – включення до опитувальника не нейтральних запитань, а таких формулювань, що підштовхують респондента до тієї чи іншої відповіді. У нашій практиці ми дуже часто зустрічаємось з першим засобом маніпулювання і практично не зустрічалися з другим. У будь-якому випадку один з засобів боротьби з маніпулюванням соціологічними даними – проведення і оприлюднення досліджень за власний кошт, з власною інтерпретацією даних, що КМІС час від часу і робить.
Підсумовуючи, можна сказати, що різниця в соціологічних рейтингах залежить від таких чинників:
-відмінності у рівнях кваліфікації та незалежності центрів (показники – скільки років на ринку, належність до професійних асоціацій, зокрема САУ та ЕСОМАР, чи проводить не лише електоральні дослідження);
-похибка вибірок (плюс дизайн-ефект вибірки);
-відмінності у списках кандидатів, що пред'являється респондентам;
-різні періоди опитування;
-показники, що порівнюються (відсоток до всіх, хто відповів, чи до всіх, хто визначився, чи до тих, хто має намір прийти на вибори);
-відмінності у формулюванні запитання;
-контекст запитання;
-тип вибірки (квотна чи стохастична).
Тому звинувачення у продажності щодо постійно працюючих професійних соціологічних центрів (як от КМІС, СОЦІС, Соціальний моніторинг, GFK тощо) свідчать, як правило, або про недостатній рівень кваліфікації тих, хто висуває такі звинувачення, або про намагання дискредитувати дані, що не подобаються, хоча іноді – це просто спроби деяких аутсайдерів ринку соціальної інформації підвищити шанси конкуренції з лідерами шляхом безпідставних звинувачень їх у продажності.
Поради журналістам:
-при одержанні для публікації даних незнайомого центру одержати додаткову інформацію (подивитися, чи є він членом ЄСОМАР, звернутися до САУ тощо);
-при одержанні незвичних даних відомого центру уважно подивитися, про який показник йде мова і перерахувати до однакових показників;
-якщо питання залишаються, то звернутися з коментарями до керівника проекту.
Автор: Володимир Паніотто, професор Національного університету Києво-Могилянська академія, генеральний директор КМІС, національний представник ЄСОМАР в Україні
Валерій Хмелько, професор Національного університету Києво-Могилянська академія, президент КМІС, член Правління Соціологічної асоціації України
