Проблема неустойчивости ответов (стр. 6 из 7)
Таблица 4
Влияние суждений второго интервью на повторяемость ответов
| Показатели | ТГ | ЗГВ | ПЧ |
| Ретроспективный тест | |||
| Установка по отношению к политике в момент времени 1 | 0,51* | 0,40* | 0,55* |
| Суждение в момент времени 1 | -0,04 | 0,05 | 0,04 |
| Суждение в момент времени 2 | 0,38*(107) | 0,36* (108) | 0,35*(117) |
| Тест “остановись-и-подумай” | |||
| Установка по отношению к политике в момент времени 1 | 0,36* | 0,41* | 0,48* |
| Суждение в момент времени 1 | 0,12 | 0,03 | 0,15** |
| Суждение в момент времени 2 | 0,16* (177) | 0,24* (168) | 0,15 (165) |
Примечания: ТГ — трудовые гарантии; ЗГВ — затраты на государственные службы; ПЧ — поддержка чернокожих.
В таблице представлены стандартизированные коэффициенты. Зависимой переменной является вопрос о политике правительства во втором обследовании. В скобках указано число респондентов.
* p<0,05.
** p<0,10.
Источник: Пилотажное исследование NES 1987 г.
Данные, посредством которых проверяется это предположение, приведены в табл. 5. По пяти тестам из шести показатель внутренней консистентности статистически значимо связан с увеличением повторяемости ответов; в одном случае отношение достигает предельно допустимой статистической значимости (p=0,07). Эти результаты, однако, далеки от ожидаемых, и прежде всего по тесту "отстановись-и-подумай", где стабильность ответов не варьируется, как ожидалось, между максимальным — 0,50 и минимальным — 1,0 значениями. Почему мы наблюдаем такое отклонение от ожидаемых значений и почему оно выше, когда используется формат вопросов "остановись-и-подумай"? Наиболее вероятным объяснением здесь является обычная ошибка измерения. Как сообщалось, результаты работы кодировщиков комментариев по открытым вопросам расходились на 10-15%. Эта ошибка, очевидно, уменьшает возможность определить, ответы каких респондентов должны (ожидаемо) быть стабильными и каких нет. Доказательство вывода D13 было бы более сильным, если бы мы могли продемонстрировать, что вопросы, где выше уровень ошибки кодирования, в максимальной степени отклоняются от теоретически ожидаемых значений (табл. 5).
Таблица 5
Влияние консистентности суждений на повторяемость ответов
| Консистентность суждений | ТГ | ЗГВ | ПЧ |
| Ретроспективный тест | |||
| 0 | 0,50 (7) | 0,59 (11) | 0,57 (7) |
| 0,01- 0,50 | 0,80 (20) | 0,70 (25) | 0,71 (19) |
| 0,51- 0,99 | 0,77 (15) | 0,78 (16) | 0,80 (15) |
| 1,00 | 0,90 (63) p<0,01 | 0,87 (54) p<0,02 | 0,96 (71) p<0,01 |
| Тест "остановись-и-подумай" | |||
| 0 | 0,63 (16) | 0,54 (14) | 0,57 (14) |
| 0,01- 0,50 | 0,68 (74) | 0,77 (63) | 0,83 (66) |
| 0,51- 0,99 | 0,73 (37) | 0,80 (50) | 0,84 (44) |
| 1,00 | 0,88 (45) p<0,02 | 0,73 (37) p<0,07 | 0,88 (41) p<0,01 |
Примечания: ТГ — трудовые гарантии; ЗГВ — затраты на государственные службы; ПЧ — поддержка чернокожих.
Показатель внутренней консистентности изменяется от значения полной сбалансированности суждений (0) до полной консистентности (1,00). В скобках указано число респондентов, давших одни и те же ответы на закрытые вопросы на обоих этапах исследования.
Источник: Пилотажное исследование NES 1987 г.
Хотя данные об ошибках кодирования не представлены на уровне индивидуальных переменных, существует косвенный способ оценки уровня ошибок. Когда кодировщики не могли определить направленность замечания респондента, даже если она и подразумевалась, они характеризовали ее как некодируемую. В каждом вопросе было от 2% (самое меньшее) до 16% (самое большее) некодируемых замечаний. Такой локальный уровень оценки может использоваться как индикатор сложности точного кодирования комментариев, связанных с каждым вопросом.
Отклонение от ожидаемых значений (табл. 5.), очевидно, выше для тех вопросов, где большее количество некодируемых замечаний (рис. 2). Здесь независимая переменная — процент некодируемых замечаний, а зависимая — угловой коэффициент в регрессионной модели зависимости стабильности ответов от консистентности суждений респондентов. Коэффициент этот использовался для того, чтобы обобщить отношения между стабильностью и консистентностью, представленные в таблице 5. Упомянутые отношения значительно сильнее в вопросах, в которых ниже процент некодируемых замечаний (r2=0,93, p<0,05)26. Тем самым подтверждается предположение, что ошибка кодирования заметно снижает значение связи по сравнению с ожидаемым.
Рис. 2. Снижение связи между консистентностью и стабильностью в зависимости от величины ошибки измерения: А — вопросы из ретроспективного теста; В — вопросы из теста "остановись-и-подумай"
Источник: Пилотажное исследование NES 1987 г.
На рис. 2. представлена некоторая дополнительная информация. По тесту "остановись-и-подумай" (правая нижняя часть графика) гораздо больше некодируемых замечаний, нежели по ретроспективному тесту27. Это, как представляется, наиболее вероятное объяснение того, почему в табл. 5 по тесту "остановись-и-подумай" гораздо более слабая зависимость (по сравнению с ретроспективным)28. Наверное, результаты анализа данных, содержащихся в табл. 5, столь же значимы, сколь и ожидалось — по крайней мере, в пределах, допустимых для такого рода данных. Они показывают на статистически значимом уровне существенное влияние консистентности суждений в пяти из шести случаев и влияние, близкое к значимому, в шестом случае, и это несмотря на множество ошибок измерения, небольшую выборку, необычно низкий уровень нестабильности вследствие короткого промежутка времени между повторными интервью.
Показатель консистентности ответов на открытые вопросы в табл. 5 подсчитывался по обоим этапам опроса, чтобы зафиксировать и внутреннюю консистентность, и консистентность между первым и вторым интервью. Этот показатель, однако, может определяться для одного интервью и использоваться для предсказания стабильности ответов на закрытые вопросы во втором интервью. Если мы так сделаем, то придем к ясному и недвусмысленному выводу: показатель по одному из этапов практически не обладает предсказательной силой по отношению к устойчивости ответов на других этапах опроса. Сказанное предполагает, что внутренний конфликт, приводящий к неустойчивости ответов, является конфликтом, который не осознается респондентами, поскольку имеет место противоречие между разными интервью, а не на протяжении одного и того же. К примеру, если некогда сомневавшийся учитель (см. выше) начинает видеть государственные службы сквозь призму образа "расточительного правительства", он может поставить себя в такое положение, которое не позволит думать о кризисе образования, столь волновавшем его во время первого интервью29. Это предположение соответствует аксиоме реакции A4, в которой утверждается, что респонденты склонны отвечать на вопросы интервью поспешно, не завершая поиск релевантной информации в памяти.
Благодаря важности феномена, на объяснение которого направлены первые девять выводов (D1-D9), касающиеся существования и природы нестабильности ответов, они (эти выводы) являются наиболее значительными в настоящей книге. Бoльшая часть эмпирических результатов, которые приведены в данной главе, хорошо известны и заслуживают доверия, новым же здесь является только их объяснение. Сегодня наиболее признанным является объяснение нестабильности ответов, предложенное Эйкеном [8]. Он утверждает, что нестабильность возникает вследствие ошибки измерения. Повседневный язык, используемый при построении вопросов интервью, неизбежно отличается нечеткостью, и это приводит к тому, что респондентам сложно соотнести свои установки с приемлемыми вариантами ответов, предложенными в закрытых вопросах.
Следует подчеркнуть, что ВПФ-модель ни в чем строго не противоречит этой точке зрения. Как утверждает модель, респонденты, отвечая на один и тот же вопрос, возможно, часто высказывают разные суждения, потому что большинство вопросов открыто для разнообразных интерпретаций. Об этом же заявляет и Эйкен. Другими словами, и объяснение Эйкена с точки зрения измерительной ошибки, и ВПФ-модель сходятся в следующем: ответы отличаются неустойчивостью, поскольку обыденный язык редко бывает достаточно точным, чтобы заставить респондентов каждый раз, когда им задают один и тот же вопрос, думать об одном и том же.
Приведем два примера для акцентирования и одновременно пояснения этого утверждения. Человек сомневается, следует ли правительству "гарантировать работу и уровень жизни каждому гражданину". Легко представить (так подсказывает ВПФ-модель), что подобная неуверенность зависит от того, думает ли он о данной проблеме в терминах ответственности правительства за поддержку полной занятости (ее одобряет большинство людей) или основывает свое мнение на сравнении с государством благосостояния в духе шведского (что большинством отвергается). Но было бы корректно объяснить сомнение этого человека и неясностью вопроса, его двусмысленностью.
Другой пример: индивид сомневается, следует ли увеличивать или снижать затраты на оборону. Можно (опять же в духе ВПФ-модели) представить себе, что у этого респондента амбивалентная позиция. Он, с одной стороны, опасается усиления внешних врагов, а с другой — возмущается расточительностью Пентагона. С точки зрения ошибки измерения можно говорить о неясности стимула (что конкретно значат затраты на оборону?).
Как видим, оба теоретических подхода способны — по крайней мере, в техническом плане — объяснить совершенно разные случаи неустойчивости ответов. Но есть одно фундаментальное различие. Из-за традиции объяснять нестабильность с точки зрения ошибки измерения, ошибка распределения ответов является просто шумом. У нее нет оснований и значения, и она неинтересна, если исходить из сущности общественного мнения. Здесь мы можем объяснить скорее нечеткость естественного языка, а не природу общественного мнения.