Есть несколько обстоятельств, не позволяющих дать однозначное заключение о недостаточной валидности метода "запечатанного буклета". Во-первых, в 22 из 28 проанализированных случаев знаки процентных различий соответствуют предсказанному направлению, что свидетельствует о преимуществах альтернативной опросной техники. Эта тенденция, по сути дела, носит однонаправленный характер, поскольку персональное интервью несколько улучшило результат лишь по пяти вопросам (17,9%), да и то это улучшение не вышло за пределы 1%. Еще в одном случае наблюдалось абсолютное равенство методов.
Во-вторых, кажущаяся равнозначность применявшихся нами методик, демонстрируемая данными по выборке в целом, скорее всего, является артефактом. Приведенные выше показатели свидетельствуют, на наш взгляд, не о низкой эффективности техники "запечатанного буклета", а об искусственно завышенном уровне искренности ответов респондентов в персональном интервью. Это завышение обусловлено, в частности, тем, что некоторые испытуемые, особенно из молодежной среды, отвечая на вопросы интервьюеров в обычном устном режиме ("глаза в глаза"), бравировали своей девиантностью. Юношеская бравада — очень серьезный фактор, сильно искажающий объективные возможности метода "запечатанного буклета" и затрудняющий его сравнение с другими опросными процедурами. О существовании этого источника искажений в опросах по сенситивной проблематике свидетельствуют как проведенные нами претесты, так и исследования других авторов [16, p. 53; 17, с. 82].
В-третьих, полученные нами данные свидетельствуют, что обобщенная картина скрывает дифференцированное воздействие методов на степень искренности респондентов, принадлежащих к разным социально-демографическим группам. Разнонаправленный характер методологических предпочтений в разных стратах в конечном счете приводит к взаимопогашению различий в ответах испытуемых на уровне массива в целом. Мужчины, например, честнее сообщают о попытках совершения самоубийства в персональных интервью, в то время как женщины — при использовании метода "запечатанного буклета" (табл. 4). Сказанное относится и к другим социально-демографическим группам опрошенных. В результате при фактически различном отношении разных социальных сегментов выборочной совокупности к указанным методам сбора данных разность в удельном весе положительных ответов на данный вопрос по всей выборке минимальна (0,5%).
Таблица 4
Соотношение утвердительных ответов на вопрос: "Предпринимали ли вы попытки самоубийства?" в различных социально-демографических группах респондентов в зависимости от метода сбора данных, % ответивших
| Социально-демографические группы | Персональное интервью | Метод "запечатанного буклета" | Разность показателей |
| Пол: | |||
| Мужчины | 39,6 | 31,5 | –8,1 |
| Женщины | 28,2 | 34,6 | +6,4 |
| Возраст: | |||
| 16–19 лет | 35,0 | 30,0 | –5,0 |
| 20–29 лет | 32,7 | 37,5 | +4,8 |
| 30–39 лет | 32,3 | 30,6 | –2,3 |
| 40 лет и старше | 29,6 | 30,4 | +0,8 |
| Место жительства: | |||
| г. Иваново | 36,9 | 37,9 | +1,0 |
| Ивановская область | 16,7 | 18,8 | +2,1 |
| Род занятий: | |||
| Рабочие | 29,2 | 37,0 | +7,8 |
| Торговые работники | 41,9 | 41,4 | –0,5 |
| Интеллигенция | 26,1 | 29,2 | +3,1 |
| Безработные | 34,6 | 38,5 | +3,9 |
| Студенты | 25,0 | 20,7 | –4,3 |
Отмеченная закономерность просматривается не только по отдельным вопросам, но и по всему вопроснику в целом. Женщины действительно воспринимают новый метод с большим доверием: в 20 из 28 задававшихся вопросов удельный вес признаний в социально неодобряемых видах поведения у них оказался выше, чем в персональном интервью. И хотя мужчины также ответили искреннее на 20 вопросов в том случае, когда анкета извлекалась ими из заклеенного конверта, однако средняя мера сдвига, свидетельствующая в пользу этого метода, у них почти в 2 раза ниже, чем у женщин (соответственно 3,3% и 6,4%).
Анализ данных также показывает, что жители провинциальных городов более откровенны при использовании SB-метода. Это не удивительно, поскольку они представляют собой специфическую социальную общность — более стеснительны, имеют несколько иные нравственные ценности и поведенческие стандарты. По данным нашего исследования, проведенного в феврале 2001 г. (N=701), они испытывают большее смущение при обсуждении деликатных тем, если опрос проводится "глаза в глаза" с интервьюером в устном режиме (p=0,000), имеют более актуализированную потребность в сохранении анонимности и конфиденциальности беседы (p=0,000). Неслучайно поэтому, что респонденты, проживающие в малых городах и особенно в сельской местности, на 18 из 28 задававшихся вопросов (64,3%) дали более искренние ответы, когда использовалась техника "запечатанного буклета", и лишь в трех случаях — когда применялся метод персонального интервью. При этом средняя величина смещения в пользу альтернативной методологии составила 3,8% при максимальном значении 7%. Для жителей областного центра эти показатели значительно ниже: 1,0% и 2,5%, соответственно (табл. 5).
Таблица 5
Показатели эффективности метода персонального интервью и интервью с использованием "запечатанного буклета" (SB) в различных социально-демографических группах респондентов (абс. числа и %)
| Социально-демографические группы респондентов | Количество вопросов с различиями в пользу SB-метода, абс. числа | Количество вопросов с различиями в пользу персональ-ного интервью, абс. числа | Количество вопросов, свидетель-ствующих о равенстве методов, абс. числа | Средняя величина смещения в пользу SB-метода, % | Средняя величина смещения в пользу персонального интервью, % |
| Пол: | |||||
| Мужчины | 20 | 7 | 1 | 3,3 | 2,0 |
| Женщины | 20 | 3 | 5 | 6,4 | 0,9 |
| Возраст: | |||||
| 16–19 лет | 18 | 6 | 4 | 2,2 | 3,3 |
| 20–29 лет | 19 | 7 | 2 | 2,2 | 1,0 |
| 30–39 лет | 13 | 9 | 6 | 2,6 | 1,5 |
| 40 лет и старше | 17 | 6 | 5 | 1,3 | 1,3 |
| Место жительства: | |||||
| г. Иваново | 3 | 8 | 17 | 1,0 | 1,4 |
| Ивановская область | 18 | 3 | 7 | 3,8 | 1,3 |
| Род занятий: | |||||
| Рабочие | 13 | 3 | 12 | 2,8 | 1,5 |
| Торговые работники | 15 | 8 | 5 | 1,9 | 1,7 |
| Интеллигенция | 15 | 7 | 6 | 1,9 | 1,1 |
| Безработные | 17 | 4 | 7 | 3,4 | 1,5 |
| Студенты | 15 | 8 | 5 | 2,6 | 2,4 |
В-четвертых, эффективность применения SB-метода зависит, по-видимому, от тематического содержания и степени сенситивности задаваемых вопросов. Весьма показательным в этом отношении можно считать распределение ответов респондентов, принадлежащих к разным социально-демографическим группам, на вопросы о гомосексуальных практиках (табл. 6).
Таблица 6
Распределение положительных ответов на вопрос: "Приходилось ли Вам вступать в сексуальные отношения с представителями Вашего пола?" в различных социально-демографических группах респондентов в зависимости от метода сбора данных, абс. числа и %
| Социально-демографические группы | Персональное интервью | Метод "запечатанного буклета" | Увеличение числа признаний при использовании SB-метода | ||
| абс. | % | абс. | % | ||
| Пол: | |||||
| Мужчины | 7 | 4,5 | 6 | 4,0 | - |
| Женщины | 8 | 4,2 | 18 | 9,3 | 2,2 раза |
| Возраст: | |||||
| 16–19 лет | 1 | 1,8 | 2 | 3,6 | 2 раза |
| 20–29 лет | 10 | 7,7 | 15 | 11,5 | 1,5 раза |
| 30–39 лет | 3 | 4,0 | 4 | 5,2 | 1,3 раза |
| 40 лет и старше | 1 | 1,2 | 3 | 3,7 | 3 раза |
| Место жительства: | |||||
| г. Иваново | 12 | 5,0 | 18 | 7,5 | 1,5 раза |
| Ивановская область | 3 | 2,9 | 6 | 5,8 | 2 раза |
| Род занятий: | |||||
| Рабочие | 1 | 1,4 | 3 | 4,0 | 3 раза |
| Торговые работники | 9 | 13,2 | 10 | 14,9 | 1,1 раза |
| Интеллигенция | 1 | 1,5 | 2 | 2,9 | 2 раза |
| Безработные | 3 | 4,4 | 6 | 8,8 | 2 раза |
| Студенты | 1 | 1,5 | 3 | 4,5 | 3 раза |
Как следует из таблицы, в отдельных группах респондентов применение "запечатанного буклета" способствует увеличению абсолютного числа искренних ответов в среднем в 1,6 раза при общей вариации значений от 1,1 до 3. Аналогичные зависимости просматриваются и по целому ряду других вопросов, задававшихся в исследовании (о потенциальном и фактическом употреблении некоторых видов наркотических веществ, занятии проституцией, эротических фантазиях и воспоминаниях и др.).
Выводы
Эксперимент не выявил явного превосходства тестируемого метода над традиционным персональным интервью. Применение "запечатанного буклета" не привело к устойчивому и повсеместному росту числа искренних признаний респондентов в социально неодобряемых видах поведения. Тест на статистическую значимость различий в ответах, полученных посредством разных опросных процедур, не дал положительных результатов. Вместе с тем детальный анализ результатов на межгрупповом уровне дает основания для более оптимистических выводов и оценок. В частности, данные по выборке в целом, скрывают заметные различия в восприятии методов разными социально-демографическими категориями респондентов. Обнаруженные нами систематические смещения в ответах, связанные с фоновыми характеристиками опрошенных, позволяют говорить о значительных потенциальных возможностях альтернативной методологии. Кроме того, позитивное влияние метода "запечатанного буклета" варьирует в зависимости от степени деликатности обсуждаемых проблем. Следовательно, чем выше стигматизация тех или иных видов девиантного поведения, тем больше шансов у данного метода продемонстрировать свою эффективность. С другой стороны, как верно замечают Т. Маккай и Я. Макаллистер, оценивать метод сбора данных по принципу "чем больше, тем лучше", не всегда уместно и правомерно [14, p. 183]. Когда исследователь интересуется видами контрнормативного или нелегального поведения, не имеющими широкого распространения в обществе, даже небольшое увеличение числа искренних признаний можно считать заметным достижением. Применение "запечатанного буклета", как мы могли убедиться, в отдельных группах респондентов и по некоторым типам вопросов способствовало улучшению результатов в 1,5–3 раза, что также позволяет говорить о значительных скрытых резервах данного метода.