Обережно, дуже багато тексту.
- Спойлер для тих, хто в темі!
- Передісторія
- Коротка історія українського компасу
- Онлайн Компас є. Що далі?
- З чого почати? З літератури!
- Тепер у нас є онлайн компас. А що далі?
- Що показали дані 2015 (онлайн) та 2018 (офлайн)?
- Репрезентативне опитування 2019
- Як назвати осі компасу?
- Як назвати квадрати компасу?
- Формула для компасів
- Трошки описових статистик
- Чи є якісь альтернативні способи аналізувати ці дані?
- Фінале
—————————————————————————————————————————————
Спойлер для тих, хто в темі!
- Чи є дані компасу в онлайн доступі? Так! SPSS та csv.
- Де скачати? Мій гугл драйв. Там є список всіх файлів, тека з даними та скриптами, огляд літератури
- Чи є нормальний codebook та технічний звіт по полях? Ще ні!
- Чи є хоч щось? Анкета та скріпти в R
- Коли буде все-все? Не знаю. Складно знайти час, але до вересня 2019 буде
- Чому не гітхаб? Не всі в нашій спільноті працюють з гітхабом
- Чи підтверджує факторний аналіз, що в головах українців є якісь узгоджені ідеології? Ні
- Чи були якісь технічні помилки під час аналізу? Одна шкала була неправильно закодована
Подяки
Дякую всім, хто витратив купу свого часу на те, щоб шукати баги, робили симуляції, пропонували альтернативні методики. В першу чергу це Олексій Крименюк, Олексій Шестаковський, Кирило Захаров, Андрій Гладун.
—————————————————————————————————————————————
Це коротке резюме. Далі багато слів про компас та його філософію.
Що компас дозволяє та не дозволяє?:
—————————————————————————————————————————————
Передісторія
Наша стаття про “Політичний компас України” розійшлася мережею та мейнстримними медіа.
Реакцій стало стільки, що ми почали губитись в усіх можливих комбінаціях. Іноді компасу приписували, щось, чим він бути не може. Його або несправедливо восхваляли, або так само несправедливо нищили. Іноді йому вказували на те, чим він міг би бути, але не був. Це справедливо, але до певної міри.
Не дивно, що у багатьох читачів була купа різних (емоційних), але не завжди обгрунтованих висновків. Сама типова – “всі українці погані, один я молодець”.
Тому дуже важливо розібратись:
- Що компас може, а чого не може
- Що у компаса “під капотом”
- Знаючи 1 і 2, як читати компас
- Що можна (треба?) було б зробити інакше
- Якщо компас робити інакше – чи будуть інші результати?
Ось декілька прикладів, які питання обговорювали колеги:
- Формула, яка обраховує місце кожного респондента на точці. Чому саме така? А якби була інакша? А яка формула краще?
- Статистичні артефакти. Сама методика компасу (формулювання питань, їх кількість, класифікація, обрахунки) підштовхують до того результату, який вийшов. Була б інша методика – були б інші результати?
- Узгодженість шкал. Компас це малюнок простору на двох осях. Він підштовхує читача думати, що ці осі щось означають (“всі українці ліві”). Але якщо цього узгодженого значення немає? Це добре чи погано? Чудо-спойлер – залежить від обставин.
Всі ці питання важливі на трьох рівнях. Академічний – чи ми правда щось дізнались? Практичний – чи ми можемо подолати якусь проблему, коли маємо таку інформацію? Суспільний – є ризик, що чергове дослідження вплине на творення міфу про “поганих українців”, який буде заважати людям вирішувати колективні проблеми.
Тож всі ці технічні питання мають доволі серйозні нетехнічні наслідки і в них треба розбиратись. Варто сказати, що ми відразу були відкриті до таких розмов і заохочували інших:
- Ми давно відкрили свій майданчик для критичних публікацій щодо політичного компасу (приклад 1 і приклад 2).
- У статті ми прямо говоримо про “тенденції” та умовність квадратів. І запрошували читачів долучатись до роздумів та аналізу. Ось приклад цитати зі статті
- Пару тижнів назад ми зробили презентацію в “Інверія”, куди ми запрошували всіх зацікавлених прийти та поговорити.
- В цьому блозі я вже зробив посилання на наші дані, які всі зможуть завантажити та аналізувати (гугл драйв).
—————————————————————————————————————————————
Коротка історія українського компасу
Політичний компас це дуже популярний в англомовному інтернеті інструмент для того, щоб окрема людина могла співвіденсти себе з певною ідеологією. Історія цього інструменту доволі таємнича. Але він існує так давно, що всі суперечки та дебати відшліфували його до доволі пристойного рівня і він давно став стандартом медійних навколополітичних продуктів.
— —
— —
На сайті ви можете відповісти на декілька десятків питань і (за магічною та невідомою формулою) вам скажуть, чи ви більше-менше ліва та більше-менше ліберальна особа. Розуміння “лівого” та “лібералізму” там відповідає західній традиції політичної філософії. Тобто лівий – це не за Кастро чи Сталіна, як часто думає колективний український Фейсбук. В США, наприклад, виборця Обами легко назовуть лівим.
В 2015 році Вокс Україна зробив власну версію цього компасу для української аудиторії. Окремі питання були змінені, щоб відповідати українським реаліям. Наприклад, з’явились питання про вимушених переселнців та АТО.
Цей компас був більш медійним/освітнім проектом, було важливо створити простий та цікавий онлайн інструмент, щоб читачі могли побачити себе на просторі політичних ідеологій. Місія Воксу – розвивати економічну дискусію в Україні, підіймати її на більш високий рівень. Тож тоді в далекому вже 2015 році дуже важливо було показати, що в світі є така умовна шкала “ліво-право”. І “їх” умовна шкала не зовсім те саме, що “наша” умовна шкала. Все це важливо знати, щоб розуміти світовий контекст політики та економіки, а також наше місце в ньому.
Крім того, було важливо, щоб люди замислились над складними питаннями, над якими, можливо, вони ніколи раніше не думали. Також була важлива певна провокація – дати людині подивитись на себе на просторі ідеологій. Дуже часто люди думали про себе щось одне, а компас показував інше. Це не означає, що людина чи компас помиляються. Просто вони використовують різні критерії.
В цьому плані відмінність між власною оцінкою та оцінкою за компасом – це сильна , а не слабка сторона інструменту. Бо вона підштовхувала людей рефлексувати про себе, про ідеології, про навколишніх.
Пізніше Вокс Україна неодноразово робив Компас на різних офлайн подіях, і він завжди користувався популярністю серед людей. Саме через цей поштовх до рефлексії.
Подібні тести є доволі популярним та успішним форматом у нас та в світі (так звані voting advice application). Не всі з них стають “компасами”. Тобто не завжди усереднені відповіді малюють на двох осях. Іноді просто виводять відсотки чи рейтинги.
- Проект Гардіан How populist are you?
- Непростой выбор. Фокус.
- Provybir
—————————————————————————————————————————————
Онлайн Компас є. Що далі?
Як я писав вище, спочатку компас був більш медійним продуктом. Але потроху почала визрівати ідея зробити з компасу щось більше – чи може він сказати про українців щось таке, чого ми не знали до цього?
Дізнатись щось нове – це головна мета всіх дослідників. Але не єдина. Дослідження може бути корисним в різних випадках. Наприклад:
- Ми не знали, тепер знаємо
- Ми здогадувались, але наші інструменти були погані – тепер вони кращі і наше знання більш обгрунтоване
- Ми знали багато речей окремо, але тепер все це знання ми зібрали до купи і систематизували
- Ми знали, але не розуміли, що з цим знанням робити
Власне, якби компас-як-нове-дослідження могло б зробити хоча б щось одне з цього списку – я був би щасливий. Так я думав, коли ідея компасу тільки з’явилась і зараз я задоволений результатами (хоча внутрішній перфекціоніст завжди хоче більшого).
—————————————————————————————————————————————
З чого почати? З літератури!
Якщо бізнесмен має дослідити ринок, щоб знати, на що є попит, то дослідник має дослідити літературу, щоб дізнатись, яке саме знання треба покращувати – чого нам бракує?
Власне ми обробили доволі великий обсяг літератури, щоб вивчити тему ідеологій та політичного вибору.
- Література (західна, і українська) – весь список з посиланнями (і оглядом) тут.
Мене дуже тішить, коли на обговореннях нашого Компасу інколи говорять “ну ви б щось почитали”, “чи зверніться до соціологів”. Насправді, як і в багатьох інших темах, це непахане поле. Українські дослідження, звісно, є. Але вони дуже обмежені, сильно відстають від західних, дуже рідко спираються на емпірику. Якщо і спираються, то мають декілька одномірок. Це якесь наше одвічне соціологічне лото. У когось відстала теорія, у когось відстала емпірика. У когось – і те, і інше. В цьому плані будь-яке дослідження, яке пропонує хоч трохи мало-мальский новий погляд, буде мати суттєвий внесок. ***Лайфхак для молодих соціологів! Непахане поле зараз майже всюди. Незначні зусилля на вході (банальна двомірка замість одномірки, або одна регресія там, де всі роблять описові статистики) може дати вам набагато більший вихід***.
Наш проект вже зробив суттєвий крок вперед, якщо порівняти з попередніми соціологічними дослідженнями в цій літературі:
- Зібрали дані, яких вистачить на багато гіпотез. В одній анкеті є декілька вимірів соціального капіталу, політична залученість, медіа споживання, соціальна позиція – все це важливі параметри в міжнародній літературі, яка вивчає ідеології та політичний вибір. Contribution
- До нас ідеології в Україні вимірювали прямими питаннями на самооцінку. Ми також маємо таке питання, але ще маємо декілька десятків шкал, щоб оцінити погляди людей на важливі питання в економіці та політиці. Всі ці питання є важливими для гіпотез в міжнародній літературі. Contribution
- Більшість попередніх даних не дозволяли нічого окрім описових статистик. Ми наперед збирали такі дані, з якими можна гратись і робити різні моделі. Contribution
- Викладаємо дані онлайн. Contribution
- Від спекуляцій до тестів. Ми не ставили собі таку задачу спочатку, але наші колеги, які робили критичні зауваження, підштовхнули – варто перевірити, чи теоретичний конструкт західних ідеологій взагалі релевантний для України? Дані показують, що ні. Це вже вагомий емпіричний аргумент, якого наразі бракує в літературі. Спекуляцій багато – даних мало. Contribution
—————————————————————————————————————————————
Отже, що таке онлайн компас? Це 40 зовсім різних питань, які тематично торкаються економіки та політики.
Економіка. Питання про регулювання. В якій мірі або держава, або ринки впливають на зростання економіки та перерозподіл. Політика. Питання про регуляцію особистих свобод. Ці питання трохи ширші. Там не завжди є згадки держави (хто саме регулює особисті свободи?). Інколи питання сформулювані доволі абстрактно .
Окремі питання незрозумілі чи викликають подив? Це була доволі популярна критика серед тих, хто цікавився компасом . “Це питання мені не подобається!” або “Що ви тут дізнаєтесь?”.
Але справа в тому, що питання не обов’язково мають бути очевидними для кожного респондента.
Ми багато спілкувались з людьми та робили декілька претестів. Зрозуміло, що було багато індивідуальних реакцій. “Ну як я можу відповісти про зброю?”, – каже один. “Про зброю елементарне питання, а ось про графіті?”, – каже інша. “Очевидно, що можна”, “ну це ніхто не може сказати”, і т.д. Скільки людей, стільки і думок. Ваша думка може бути в мейнстрімі – ви і більшість людей (не) змогли відповісти. Або ви опинились в меншості. Про це ми дізнаємось, коли ви вже дасте свою відповідь.
Перша ліпша реакція респондента – це не критерій залишати чи викидати питання. Критеріїв може бути декілька. (1) Операціоналізація – чи відповідають питання поставленим цілям, гіпотезам, поняттям, які ви тестуєте (2) Претести та реакції респондентів (3) Пост-аналіз відповідей (4) Здоровий глузд, досвід, інтуіція (5) фокус-групи чи глибинні інтерв’ю (6) аналіз літератури.
Власне, ми зробили всього потроху, окрім фокус-груп.
—————————————————————————————————————————————
То як відповідали люди?
- В базі 2015 року 31458 респондентів – це онлайн опитування
- В базі 2018 року 1588 респондентів – це мікс офлайн та онлайн опитувань, які ми робили під час різних публічних подій. База змішана, неможливо сказати, хто і коли відповідав. Просто цікаво подивитись, чи на такій змішаній вибірці компас спрацює, що буде не так.
- Посилання на 40 одномірок для 2015 (ура, нарешті одномірочки – улюблена штука українських соціологів).
- Посилання на 40 одномірок для 2018
- Опис проміжних результатів онлайн компасу була на сайті Воксу (тільки онлайн верифіковані акаунти)
Перед нами стояла доволі складна задача. Треба було перекласти цей компас в анкету для репрезентативного опитування. Але 40 питань це дуже багато – такої анкети ми потягнути не могли. Як зменшити кількість питань для анкети і не втратити важливу інформацію? Як обрати критерій для відбору питань?
Щоб відповісти на це питання для початку треба розібратись з більш філософськими та методологічними питаннями.
Що таке політичний компас? Це певний аналітичний інструмент – ми зводимо реальність, яку досліджуємо до дуже простих вимірів. Спеціально відсікаємо зайве і за власним бажанням зводимо всі можливі сторони наших респондентів до двох тем. Економіка і політика. При чому обидві крутяться навколо регулювання. Ми не питаємо про зовнішню політику, мистецтво, цінності, смаки та звички. Тобто ми самі вирішуємо, з якого боку та через яку оптику дивитись на респондента. Наше рішення не зовсім волюнтаристське, але спирається на літературу (лінки вище) та дослідницьку задачу – порівняти з онлайн компасом.
Це класика соціологічного дослідження. Соціальні психологи (і деякі соціологи, особливо з табору якісних методів) так би не робили. Є протилежний підхід, який би сказав, що варто орієнтуватись на власну думку респондента. Адже якщо компас не описує реальність респондента – навіщо він нам? Відповідь дуже проста. Ми не досліджуємо реальність респондента спеціально. Коли 100 людей приходять на виборчу дільницю – у них може бути 100 причин та 100 думок, чому вони голосують за кандидата Х. Але вони всі голосують за Х. Ми хочемо дослідити ту сторону соціальних процесів, які лежать “поза”, а не “внутрішньої мотивації”. В соціології це є частиною літератури з дослідження соціальних структур.
Звідки ж беруться тоді питання? Як дослідники набираються нахабності вирішити, що питання Х треба задавати, а Y ні? Відповідь – література, операціоналізація. Але це складна тема для цього блогу.
Відразу варто сказати, що є більш серйозна розмова. Чи всі ці питання, які ми обрали самостійно, мають бути узгоджені? Ось тут все складніше. Чому це важливо?
Гарний приклад виник в розмові з Олексієм Шестаковським. Ми говорили про компас і в розмові виникла метафора “внутрішніх демонів”. Уявіть, що перед вами є багато-багато питань. Про економіку, про державу, про ваші права. І іноді ви хочете сказати “так! звісно, держава має регулювати це питання”. А на інше питання ви вже кажете “ні! тут держава не має лізти”. І так 40 разів. Іноді ви рухаєтесь в одному напрямку, а іноді в іншому. Якісь “внутрішні демони” тягнуть вас в різні боки. І в результаті ви будете десь на одній шкалі. Хтось зліва, хтось справа, хтось посередині, хтось на три чверті і тд. Ваше місце буде визначатись, як часто один з двох демонів перемагав. Але ж може бути і інша ситуація! Може бути, що у вас на 40 питань є 40 демонів. Вони ніяк не пов’язані і кожен тягне в свою сторону.
Чому це важливо? Уявіть, що демонів два чи чотири. І їх поле битви це 40 шкал. Тоді не біда, якщо 1 чи 2 шкали випадуть. Результат битви не зміниться. Бо суть демонів залишиться та сама, просто вони розіграють 38 битв, а не 40. В середньому ваше місце залишиться там само на шкалі.
Але якщо це 40 різних демонів? Якщо ви викинете 1 чи 2 шкали, тоді і ваше місце може кардинально змінитись. Бо зникне 2 важливих поля бою за вашу душу на компасі. —
Ця метафора про демонів має більш формалізовану форму в літературі з вимірювання – а саме рефлективні та формативні теоретичні конструкти.
Jarvis, C. B., MacKenzie, S. B., & Podsakoff, P. M. (2003). A critical review of construct indicators and measurement model misspecification in marketing and consumer research. Journal of consumer research, 30(2), 199-218.
- Література та попередні дослідження ідеологій підказує, що компас це скоріш формативна модель. Тобто дослідники мають наперед сформоване уявленя, що саме є важливою складовою ідеології. (1) Ми досліджуємо позицію по регулюванню економіки та особистих свобод. У інших дослідників може бути інша операціоналізація. (2) Окремі питання можуть бути неузгоджені. Людина може мати одну думку про роль держави на ринку праці, роль держави на ринку землі та роль держави в освіті. З точки зору одного демону “роль держави” – тут все погано. Цього демону немає. Державницької ідеології немає. Але є конкретні питання, які цікавлять людину і ці питання можуть впливати на її бажання голосувати за партію Х. Тож нам варто знати відповіді на ці питання.
- Компас та його осі – це просто зручна візуалізація 40 (24) відповідей. Але не теоретичний конструкт “ідеології”
- Саме тому ще на початку підготовки анкети ми не ставили перед собою задачу спиратись на факторний аналіз.
- Хоча маю зізнатись. Якби я відібрав питання на свій розсуд (не зовсім свій – література та операціоналізація це жорстка штука), а вони виявились би ще й узгодженими – я б не був проти.
- Тим не менш, це не означає, що ми зовсім не дивились узгодженості чи факторний. Ми просто застосовували його кроки як один (не вирішальний) критерій.
- Ми все ж таки дивились на матриці кореляцій та альфа-кронбаха. Чому ні. Треба дивитись з різних сторін на дані. Ми, навіть, SNA застосували.
Ще на декілька критеріїв.
- Як багато людей відповіли “як погоджуюсь, так і не погоджуюсь”. Справа в тому, що в онлайн тесті немає пропущених значень. Тож цей “середній” пункт шкали можна з натяжкою аналізувати як “погані відповіді” – питання не спрацювало.
- Наповненість відповідей. Чи бувають такі випадки, що якись один пункт шкали набрав мізер відповідей. Чому це важливо? (1) Це сигнал, що питання може бути якимось дивним – ловить радикальні настрої (2) Хоч ми і не ставили все на факторний аналіз, але ми звертали на нього увагу. Тож треба було задовольнити і його вимоги.
- Є велика суперечка між людьми, які займаються вибірками, та людьми, які ганяють факторний аналіз на будь-яких даних. Як сказав мені один колега з Амстердаму, який давав свої поради до цього компасу “Do not trust the probability police”. Грубо кажучи, його теза полягає в тому, що репрезентативність вибірки неважлива. Якщо ми побачимо, що якісь шкали узгоджені в головах людей в поганій вибірці – це вже мінімальний доказ, що це явище існує (хоча б для цих людей). Але не обов’язково, що явище репрезентативне. Логіка нагадує яісні методи.
- Але є одне але! В нашому конкретному випадку є дуже специфічна задача. Ми хочемо з онлайн опитування потім вийти на офлайн. Для цього треба з 40 питань відібрати якусь меншу кількість (бо анкета має бути маленькою). Ми вже написали вище, що ми більше орієнтувалис на літературу та операціоналізацію, ніж узгодженість шкал. Але на узгодженість теж треба дивитись як один з багатьох критеріїв. І тут проблемка. Ми ж не знаємо наперед, наскільки ця онлайн вибірка особлива. Ця вибірка має специфічний досвід, мову, мотивацію заповнювати питання. Якщо вони будуть систематично відповідати “1”, “2” на якісь шкали. Ці шкали будуть корелювати. І ми їх залишимо. А потім виявиться, що для всієї України ці питання не релевантні. Що робити в такому випадку? Простороу для маневру тут дуже мало. Варто хоча б переконатись, щоб на кожен пункт шкали були відповіді.
- Респонс рейт – у мене не має таких даних. Хотілося б знати, як багато почало, але кинуло тест. Але ніт.
—————————————————————————————————————————————
Що показали дані 2015 (онлайн) та 2018 (офлайн)?
За посиланнями на мій гугл драйв можна знайти і дані, і R скрипти для аналізу онлайн опитування 2015 року. І опитувань з офлайн подій 2018 року.
Ось приклад з R скрипту. Він показує відсоток “умовно пропущених значень”. Тобто відсоток людей, які відповідали “і так, і ні”.
Топ “погані” питання були такі самі і вонлайн 2015, і в офлайн 2018.
Деякі з питань отримали майже чверть “невпевнених” відповідей.
Ці питання не були включені в фінальну анкету (окрім про переселенців, хоч там і було багато невпевнених відповідей).
- Підтримка національної валюти важливіша за боротьбу з безробіттям.
- Діти з особливостями розвитку/здоров’я повинні навчатись окремо.
- Податок на розкіш треба регулярно підвищувати.
- Будь-які дії Збройних сил України у зоні АТО є виправданими.
- Фемінізм – це вигадка нещасливих жінок, адже чоловік і жінка вже давно мають рівні права.
- Держава повинна фінансово допомагати вимушеним переселенцям.
- Людей з тяжкими генетичними хворобами треба позбавити права на продовження роду.
А ось ще скріншот зі скриптів. Коли хоча б на якись пункт шкали відповідало менше 5 відсотків респондентів.
Проблемні питання?
- Будь-який авторитет підлягає сумніву.
- Діти мають право на секрети від батьків.
- Тільки релігійна людина може бути моральною.
- До Кримінального кодексу України треба повернути статтю за одностатеві стосунки.
Узгодженість шкал
Замість класичних кореляційних матриць ми дивились на “ті самі матриці, але в профіль”. Кожну шкалу можна розглядати як вершину графу, а ребро графу – це наявність спільного респондента.
На графіку приклад пункту “1” – повністю погоджуюсь (2015 онлайн опитування).
Окрім декількох сильно віддалених шкал є багато таких, які кучкуються разом (багато спільних респондентів). Чим це важливо для нас? Нам треба було приймати складне рішення. Викидати окремі шкали – бо вони віддалені (не узгоджені), чи подібні (зайві).
Відповідь така, що кожну шкалу ми розглядали окремо та співвідносили з нашою операціоналізацією (тематична розбивка на економіку та політику) та іншими критеріями (описані вище). В результаті, ми викинули більше зайвих шкал, щоб мати більш-менш зважену кількість тематичних питань, які б не дублювались і працювали більш-менш ок.
Альфа-кронбаха
Скріншот з R скрипту
Альфа-кронбаха по чотирьом квадратам компасу (онлайн 2015 та офлайн 2018) доволі низькі. Як і з силою ефекту в літературі немає чіткого критерію, який показник альфа-кронбаха є добрим, а який поганим. Тим не менш, можна сміливо казати про крайнощі – набагато легше сказкати, що є неприйнятно, а що супер-пупер.
Скріншот з вікі:
Як бачите, онлайн опитування та офлайн події 2018 року показали щось на рівні “такоє” і “більш-менш”. Але жодного разу “добре”.
Це щось на грані. З одного боку є натяк, що це не зовсім питання з космосу і вони тематично в одному напрямку. З іншого – там немає чотирьох демонів, які тягнуть українців в різні сторони.
Якщо коротко – це достатньо, щоб робити компас як візуалізацію 40 питань. І це достатньо, щоб аналізувати всі пиатння окремо. Але цього недостатньо, щоб сказати, що за компасом є якась ідеологія (що люди дійсно ліві чи праві, ліберальні чи авторитарні). Скоріш, це дуже різні люди, які ситуативно опинились поруч. Наше наступне питання – а як пояснити цю ситуативність?
Якщо підсумувати. Тут немає однозначного формального критерію. Ми точно не знаємо, чи всі невпевнені відповіді це пропущені. Чи всі випадки слабої наповненості країніх шкал це погано? Неузгодженість не була великою проблемою для нашої теорії. Але ігнорувати її – неправильно.
Тобто нам треба було все – і їхати, і шашечки, і труси, і хрестик, і всі стільці навколо. Це в анекдотах складний вибір. В житті ми часто (справедливо) хочемо все. (або нічого) Тому ми не брали якись один критерій, але дивились на них всі, як на “червоні прапірці”.
Таким чином після довгих “за і проти” ми прийшли до 24 питань в фінальній анкеті (можна почитати тут). Ці 24 питання ми потім проганяли на невеликій вибірці із оточуючих (різного віку та статі, до 30 людей). Після цього ще узгоджували з Вокс Популі, які робили поля та зробили пару претестів.
—————————————————————————————————————————————
Репрезентативне опитування 2019
Тут мені поки сказати немає чого. Ми провели опитування до першого туру президентських виборів 2019. Вибірка 1200. Питань в анкеті багато. Про це написано вище. В гугл драйві можна глянути анкету (гугл драйв).
На жаль, поки якогось нормального технічного звіту по полях у мене немає. Як доберусь – закину кудись сюди.
Якогось опису вибірки теж немає – тільки те, що є в нашій статті. Рейтинги кандидатів ми вгадали на рівні з іншими конторами, тож якість поля має бути ок. ***Зрозуміло, що варто все перевіряти. Тож як тільки буде звіт – я його завантажу. Сирі дані можна дивитись вже***
—————————————————————————————————————————————
Як назвати осі компасу?
Вище ми описали, що шкали є тематично задані та сформовані дослідниками. Вони не виникли в результаті факторного аналізу. Тож назва має відповідати тематичному напрямку питань та загальній філософії політичного компасу.
- Шкала Х – шкала про економіку (регулювання ринків, переросподілу)
- Шкала Y – про питання моралі та політики (регулювання людської поведінки, свобод)
Назв може бути дуже багато. Ми тримали в голові декілька думок:
- Це не саманазва респондентів
- Це не про людей (“ліві люди” , “праві”, “соціалісти”, “чегеваристи”, “нацисти”), а про ідеології. Тому “ліва економіка” краще ніж “ліві люди”.
- Ми спеціально уникали термінів, які мають одне значення в західній традиції, але можуть мати іншу традицію у нас. Наприклад, ми не хотіли казати “це ліберали” чи “це лібералізм”. Замість цього ми шукали еквіваленти “свобода” чи “демократичність”. Ми виходили з того, що це буде для широкої аудиторії і ми не хотіли плутати людей складними термінами (ми це робили раніше – виходило так собі).
- Ми уникали слів, які в Україні асоціюються з політичними режимами. Тоталітарний режим, авторитарний режим. Краще без цього, щоб не плутати.
- Ми уникали “-ізмів”. Типу нацизм чи соціалізм. Нам важливіше було показати, що є напрям – вліво, вправо, вгору, вниз. А як назвати конкретний піксель – це вже справа постаналізу. Крім того, люди з різних напрямків (історики, філософи, соціологи) можуть самі наповнити компас своїми смислами. Тобто він має бути доволі широкий, щоб різні аналітики мали простір в ньому працювати. Але не зовсім без обмежень.
- Ми уникали “пояснювальних” слів. Тут треба дати контекст. Дуже часто хтось дивився на компас і казав: “А! То насправді спадок Радянського Союзу”. “Це насправді традиційність”, “це насправді консерватизм”, “це насправді брак освіти”. Все, що має статус “насправді” – це незалежна змінна. Ви хочете чимось (традиціоналізм) пояснити, чому людина опинилась в певному пікселі компасу (залежна змінна). Називати осі залежної змінної такими самими словами, як і незалежну змінну було б неправильно в довгій перспективі.
- В результаті ми зупинились на певних компромісах. Вісь Х економіки ми назвали “ліво-право” і пояснили, що ліво це більше регулювання, а право – більше ринку. Вісь Y моралі-політики ми назвали “авторитарний контроль та демократичний контроль”. Авторитарний контроль – це бажання регулювати та контролювати. Авторитарний не як авторитаризм, а як авторитарний тип особистості. Демократичний контроль (чи демократична свобода) – це визнання, що в демократичних суспільствах у людей є більше прав та особистих свобод, які не залежать від прямого впливу оточуючих.
- Можливо, не ідеальні назви, але ми розглянули багато альтернатив. Ми також почули багато побажань після публікації Компасу – але практично всі ці думки вже були нами розглянути в пунктах вище. Якби ми почули нові аргументи, які б могли відреагувати на всі пункти вище – ми б змінили назви. Але поки вони залишаються.
Особисто для мене ідеальною назвою було б просто залишити X[-1;1] та Y[-1;1]. Але для медіа та комунікації це було б неправильно.
—————————————————————————————————————————————
Як назвати квадрати компасу?
А тут все набагато цікавіше. Власне, якби спрацював факторний аналіз, то можна було б дати більш ідеологічно-забарвлені назви. Оскільки це був формативний компас, і шкали там без “демонів”, то краще називати формально.
- Верхній-лівий, нижній-лівий, верхній-правий, нижній-правий
- Ліво-авторитарний, ліво-демократичний, право-авторитарний, право-демократичний
Також можна почати вигадувати гіпотези та шукати незалежні змінні. Якщо ви думаєте, що це “консевартизм” чи “патерналізм”, то це доволі робочі гіпотези. Варто придумати, як їх перевірити.
—————————————————————————————————————————————
Формула для компасів
Як само розраховувати кожну точку на компасі?
Відповідь дуже проста
- Для початку переконайтесь, що всі шкали дивляться в одну сторону! Що там немає оберненої логіки.
- “Я погоджуюсь, що біле це біле”
- “Я не погоджуюсь, що чорне це біле”
- Два різних формулювання, але дивляться в одну сторону.
- Якщо ви точно знаєте, що у всіх шкал є один напрямок “за”, один напрямок “проти” і у ни всіх є один центр – після цього ви можете присвоїти шкалам значення [-1; -0.5; 0; 0.5, 1] і рахувати середнє. Одне середнє для осі X, інше середнє для осі Y. Як визначати осі? Ми задали їх наперед (дивіться частину про формативні моделі)
- Альтретнативно ви можете кодувати шкалу як [0; 0; 0; 0.5, 1]. І рахувати суму всіх “за”. Потім рахувати суму всіх “проти”. Різниця між всіма “за” та всіма “проти” дасть вам такий самий результат.
- Крім цього ми робили зважування – ми ділили отримане значення на суму відповідей. Навіщо?
- Саме так ми робили компас для політиків. Хотіли порівняти
- Ми хотіли швидко побачити – чи немає аномалій (побачили, що є)
- Якщо ми вже точно знаємо, що немає 1-2 демонів, а є 40 демонів. І у кожної окремої людини є свої причини, чому вона опинилась десь на компасі. То нам хотілося для кожної окремої людини мати свій унікальний зважений результат.
- В результаті наші колеги вказали, що це була не дуже добра ідея. (1) Неестетично (2) Не вписується в попередні публікації. Онлайн компас 2015 року публікувався без зважування – слкадно для візуальних порівнянь (3) Як помітив Кирило Захаров, краще думати про не-відповіді як про третю вісь.
Приклад 1. Зліва – репрезентативне опитування 2019. Справа – онлайн 2015. Неестетичні точки зліва
Приклад 2. Зліва – репрезентативне опитування 2019 (зважування). Справа – те саме репрезентативне опитування 2019 (без зважування). Історія зберігається.
- В цілому після перерахунків історія збігається
- Якщо раніше ми казали, що в верхньому-лівому квадраті 73% респондентів, то тепер 70%. Причина не формули компасів – одна шкала в оригінальній статті була закодована неправильно.
- Кирило Захаров звернув увагу – якби ми просто зробили симуляцію і мали випадкові відповіді (наприклад, якби кожен респондент просто підкидав кубік та відповідав випадково), то в верхньому-лівому квадраті б опинилось десь 40% респондентів. Це багато. Головне – більше, ніж в інших квадратах. Але 70%, які побачили ми – це точно тенденція, яка відрізняється від випадковості. Тож це статистично значимі результати. Але говорити про точну кількісну оцінку було б не дуже коректним. Краще залишатись в “квадратах”. Один квадрат більший за інший. А чи 70 там, чи 60 – це не так важливо.
—————————————————————————————————————————————
Трошки описових статистик
- В репрезентативному опитуванні 2019 вже є можливість кидати питання чи казати “Важко відповісти”. Тож розподіли є більш цікавими. Є питання, які спрацювали гірше.
- На графіках всі шкали вже дивляться в одну сторону (від “проти” до “за”)
- Багато людей вважають:
- що держава має забезпечити їх старість (№3)
- що марихуана може переслідуватись (№4)
- проти одностатевих шлюбів (№18)
- за бескоштовні медичні послуги (№17)
- що держава має піклуватись про добробут громадян (№19)
- великі підприємства мають платити податки за забруднення довкілля (№21)
- Всі Альфа-кронбаха виявились ще гіршими.
Тож говорити, що українці є “ліваками” чи “соціалістами” точно не можна. Тут наші ФБ-читачі помились. Немає якоїсь однієї ідеології, яка б спричиняла подібність в місцях на компасі. Скоріш, мова йде про ситуативність. Люди з зовсім різним бекграундом по різних причинах опинились на одному полі, яке ми самі намалювали.
Нам було цікаво дізнатись, чи всі-такі-різні-українці будуть поруч чи далеко по питанням регулювання. І виявилось, що вони поруч. Але чому? Попередні відповіді на це давав Віталій Проценко в своїх статтях:
- Проценко. Прокляття сильної руки: чому українці не люблять капіталізм.
- Проценко. Економіка страждань і несправедливості: як українці перетворились на “ліву” націю.
Ось ще трощки доказів, що ці люди доволі подібні.
Компас-2019. Зліва – голосуватимуть за Порошенка. Справа – за Зеленського. Квадрат такий самий
Компас-2019. Зліва – до 35 років. Справа – 35+. Квадрат такий самий
Чи є якісь альтернативні способи аналізувати ці дані?
Звісно! Запрошуємо вас всіх завантажити дані і спробувати прогнати кластерний аналіз чи якісь дерева.
На графіку перша-ліпша наївна кластеризація по цим 24 шкалам. Але глибоко я не копав (скріпти в R є теці).
Фінале
- Якщо коротко все підсумувати, то можна сказати наступне.
Репрезентативний політичний компас Україні – це цікавий інструмент, який пішов набагато далі, ніж більшість українських досліджень до цього (і деяких західних). - Він не може сказати нічого про справжню приховану ідеологію українців. Це не “ліваки”, “консерватори”, “державники” чи хтось іще. Це різні люди, які опинились на компасі сусідами з різних обставин.
- Це цікавий і гарний результат – відкинути гіпотезу, що за компасом є теоретичний конструкт ідеології, це важливий (можливо, перший) емпіричний тест політичного компасу, який пішов далі описових статистик.
- Результати у великій мірі залежали від обраної методики – але обирали її обережно.
- Описові статистики теж важливі. Як би це наївно не звучало, але 40 питань, краще за 1. А візуалізація усереднених відповідей на просторі – краща, ніж 40 одномірок.
- Осі вводять в оману. Так і хочеться сказати, що за ними є щось більше. Але ні. Це просто умовно обрані осі для того, щоб зручно намалювати відповіді на 24 питання, які є тематично (а не теоретично) груповані.
- Компас говорить, що багато українців мають різні думки про те, як влаштований світ. Але в середньому вони за регуляцію. Регуляцію різних сторін життя – у кожного свої сторони і свої причини.
- Наша задача надалі – моніторити цю ситуацію і намагатися її пояснити.
- Для цього ми і відкриваємо дані, бо сподіваємось, що ви теж доєднаєетесь до пошуку.
Tymofii Brik 