Формулировка задач, которые поставил перед собой исследователь, тесно увязывается в самом исследовании с теми способами получения социологической информации, которые мыслятся самим автором как наиболее адекватные. Образно говоря, социологический инструментарий - это та узда, которой сдерживается воображение социолога. Ставя перед собой определенную задачу, он должен примерить ее на способы решения.
Далее в рассуждениях автора должен появиться сам объект исследования: исследователь описывает этот объект - информационный источник в определенных границах его деятельности, обосновывая отбор единиц наблюдения. Описание выборки мы осуществили в предыдущем параграфе этого раздела, но не исключено, что на реальном исследовании стоит прибегнуть к консультации математика-специалиста по теории выборки. Следующий шаг - составление кода и инструкции к нему. Эти документы разрабатываются в тесном взаимодействии со специалистом, который будет осуществлять обработку полученной информации на ЭВМ. Чем в большей степени построение документа, на котором будет фиксироваться исходная информация, будет соответствовать правилам ввода информации в компьютер, а также правилам ее дальнейшей агрегации, тем меньше затрат вам потребуется на этой стадии.
После составления кода требуется специальная стадия - проверка кода на соотносимость результатов ( reliability ). Как правило, эта стадия состоит в том, что исследователь предлагает для анализа по данному коду один и тот же текст нескольким кодировщикам и проверяет, однообразно ли они используют код и насколько сходятся их результаты [19]. Другой вариант проверки - повторно дать закодировать этот же текст нескольким кодировщикам по истечении определенного промежутка времени. Цель в данном случае та же: посмотреть на идентичность анализа, так сказать, «во времени и в пространстве».
Все необходимые поправки и изменения, которые еще можно будет предусмотреть в коде и в инструкции к нему, следует делать имено на этой стадии. Как только начнется само исследование, то есть работа большого коллектива кодировщиков над текстами, вошедшими в выборку, поправки будут означать сбой в работе. Инструкции уже напечатаны, кодировщики проинструктированы - работу эту придется начинать заново.
Пока же «снимаются» все вопросы кодировщиков, происходит коллективное обсуждение реальной кодировки, оттачиваются примеры, которые должна содержать инструкция [20]. Так, в исследовании российской прессы на предмет ее отношения к лидерам и фракциям Госдумы, на которое мы уже ссылались, инструкция содержала примеры конкретных текстов из реальных газет, содержащих разные оценки: «Пока же преимущество в искусстве ведения судебного спора явно на стороне президентско-правительственной команды. Во-первых, она хорошо подобрана и в ней четко распределены роли. Впереди официальные представители - Сергей Шахрай, Юрий Батурин и Олег Кутафин. Все трое - юристы со степенями, хорошо освоившие приемы публичного спора. И психологическая уравновешенность у них тоже на высоте». («Авторов Чеченской республики пока не нашли» // Известия, 13.07.95) - позитивная оценка С. Шахрая, как лидера определенной фракции ;
«Кроме Егора Гайдара, предстоящие выборы могут принести большое разочарование и Жириновскому и его ЛДПР. Некогда мощнейшей партии сегодня симпатизирует лишь 6,6 процента голосов. Очевидно, имиджу Жириновского не помог пролитый в сражении с Б. Немцовым апельсиновый сок. Да и в целом скандальностью наших людей теперь удивить крайне трудно, хотя тяга к ярким личностям остается». («Аркадий Вольский встретился...» // Комсомольская правда, 01.07.95) - негативная оценка Жириновского и его фракции;
«Иван Петрович Рыбкин символизирует интересную тенденцию в российской политике. Его опыт, предшествовавший посту председателя Госдумы, оказался уникальным. Он хорошо знал законы аппарата, обрел незаурядные качества публичного политика в оппозционном состоянии. Наконец, это человек природного ума. Рыбкин внешне открыт и опрощен, но внутренне у него есть та российская хитринка, когда "сказка ложь, да в ней намек". Полтора года в логове Госдумы Иван Петрович осуществлял психотерапевтические функции и занял уникальную позицию. Сегодня он представляет интересы многих социальных групп в кремлевско-президентском властном режиме. Но надо же было такому случиться, чтобы Президент Ельцин двумя словами всю эту изнурительную работу опрокинул». (Интервью Г. Бурбулиса «Какофония новой власти» //Аргументы и факты. 1995. № 28) - сбалансированная оценка И. Рыбкина и негативная -Госдумы.
Мы специально привели эти примеры - установки руководителя исследования здесь недостаточно и некоторые кодировщики оценили второй пример как сбалансированную оценку В. Жириновского, а третий пример как позитивную оценку И. Рыбкина. Недаром в итоге оказалось, что степень совпадения мнений кодировщиков в той части иследования, которая касалась фиксации оценок, равнялась 88% (76%, когда речь шла о сбалансированных оценках, 89%, когда речь шла о позитивных оценках, 91% - нейтральная подача, 92% - негативные оценки).
Чтобы представить себе детализацию проблем в тексте инструкции, приведем начало инструкции к этому исследованию: «Кодировщик читает всю газету целиком, чтобы не пропустить упоминания интересующих исследование Субъектов/Объектов анализа, которые перечислены на карточке для кодировки. Кодировка начинается с того, что выписывается дата и номер газетного выпуска и число материалов с упоминаниями. После того как на отдельном листке выписаны заголовки всех материалов, где встретились эти упоминания, - чтобы не упустить ни одного из них, - приступаем к анализу каждого из этих материалов. Для этого требуется более скрупулезное, внимательное, чем на первой стадии, чтение каждого из этих материалов». И далее подробно объясняется каждая характеристика, даются примеры, объясняются способы фиксации результатов (если обработка результатов ручная) и т.д.
Если пробный анализ показывает недостаточную степень совпадения (американские авторы допускают в некоторых случаях степень совпадения в 60%), следует выяснить причины - это могут быть как механические ошибки (пропустил, не отметил и т.д.), так и содержательные расхождения - закодировано неправильно. Поэтому пилотный анализ должен предусмотреть проверку каждого материала - кто из кодировщиков допустил ошибки.
Более сложная процедура оценки работы с кодом - это проверка результатов на их обоснованность ( validity ) [21]. Общая идеология, связанная с проблемой обоснованности в социологических методах (в специальной литературе можно встретить и языковую кальку «валидность»), выражается в том, что исследователь предоставляет проверяемые доказательства, что именно, какую характеристику он измеряет.
Хрестоматийным примером в таких случаях является ссылка на такой измерительный прибор, как часы, измеряющие хронологическое время. Исправные, не останавливающиеся часы - надежный инструмент регистрации времени. Если же мы не знаем, по какому часовому поясу выверены эти часы, то их точные показания для нас бесполезны: мы не знаем, какое время, что именно они измеряют. Часы как инструмент не обоснованы [22].
Результаты анализа будут считаться обоснованными, если методика анализа замеряет в массиве текста то, что предполагалось замерять. Американский специалист в области контент-анализа У. Даниельсон приводит на этот счет такой пример. Допустим, вы фиксируете заметки, которые вы определяете как информацию о преступлениях, но действительно ли эта информация помещается для того, чтобы повествовать о преступлениях? Исследователь, отвечая на вопрос, должен обосновать свое определение преступления и такой заметки. Ему придется сказать, что в эту группу он относит происшествия, которые расцениваются юридическими властями, или общественностью, или, наконец, прессой как криминалистические по природе, а не как шалости подростков или результат паники. Иногда приходится прибегать к соображениям здравого смысла по принципу «широко известно...». Главный принцип - чтобы не было большого разрыва между категориальной сеткой и эмпирической действительностью.
Так, в ходе многочисленных исследований прессы мы убеждались, что при определении оценок, отношения автора текста к описываемым им событиям недостаточно оперирования только качественными прилагательными «хороший», «плохой». Про одного героя он напишет, что тот вытащил ребенка из проруби, или помог старушке перейти улицу (был у нас в отдаленные времена такой стереотип «хорошего» пионера - он обязательно поможет старушке перейти улицу), а про другого (скажем, депутата В. Жириновского), что тот в политической дискуссии облил своего коллегу апельсиновым соком или просто покажет это. А потом еще раз покажет... Средство не из слабых.
Нельзя было игнорировать эту мощную оценочную палитру. Поэтому в ходе многочисленных исследований, которые я цитирую и в которых выступаю как автор методики и интерпретации результатов, используется в инструкции кодировщикам такое требование-объяснение: «Оценка формируется как с помощью "сильных" оценочных эпитетов, обнаруженных в тексте, так и самим содержанием ситуаций, в связи с которыми появляется в тексте интересующий нас субъект или группа: это могут быть как положительные ситуации, с которыми традиционно, в массовом сознании ассоциируется "благо ", так и ситуации, с которыми ассоциируется "зло "».
Именно здесь мы должны упомянуть характеристику нашего метода, которая нами еще не привлекалась для его описания. В наборе характеристик метода мы находим такое ограничение, что анализ работает только с «открытым» ( manifest ) содержанием [23].
Обычно в качестве примера этой характеристики используют как объяснение на уровне здравого смысла, так и в сугубо научной парадигме. Начнем с первого. Фраза, произнесенная женщиной в адрес своей соперницы: «Какая чудная шляпка на вас!» - может быть расцеена мужчиной так, как будто о шляпе говорилось, что она выше всяческих похвал, красивая и элегантная. Женщина же скорее заподозрит, что при этом в шляпе хотели подчеркнуть, что она «дешевая, немодная, аляповатая, и скорее бы подошла юной девушке». И хотя аргументация черпается тут из области психологии, контент-анализ не может работать на значениях и смыслах второго, скрытого плана, он будет оперировать содержанием, что называется, «на поверхности».