В последнем случае мы полагаемся на компетентность судей, которым предлагается определить, измеряем ли мы нужное нам свойство или что-то иное.
Конструированная типология заключается в использовании контрольных вопросов, которые в совокупности с основными дают большее приближение к содержанию изучаемого свойства, раскрывая различные его стороны.
Например, можно определять удовлетворенность используемой моделью автомобиля лобовым вопросом: «Устраивает ли вас ваша нынешняя модель автомобиля?” Комбинация его с двумя другими косвенными: «Хотите ли вы перейти на другую модель?» и «Рекомендуете ли вы своему другу купить данную модель автомобиля?» позволяет произвести более надежную дифференциацию респондентов. Далее проводится типология по пяти упорядоченным группам от наиболее удовлетворенных автомобилем до наименее удовлетворенных.
Использование параллельных данных заключается в разработке двух равноправных приемов измерения заданного признака. Это позволяет установить обоснованность методов относительно друг друга, т. е. повысить общую обоснованность путем сопоставления двух независимых результатов.
Рассмотрим различные способы использования этого подхода и прежде всего – эквивалентные шкалы. Возможны равнозначные выборки признаков для описания измерения поведения, отношения, ценностной ориентации, т.е. какой-то установки. Эти выборки и образуют параллельные шкалы, обеспечивая параллельную надежность.
Каждую шкалу рассматриваем как способ измерения некоторого свойства и в зависимости от числа параллельных шкал имеем ряд способов измерении. Респондент дает ответы одновременно по всем параллельным шкалам.
При обработке такого рода данных следует выяснить два момента: 1) непротиворечивость пунктов отдельной шкалы; 2) согласованность оценок по разным шкалам.
Первая проблема возникает в связи с тем, что модели ответов не представляют идеальной картины; ответы нередко противоречат друг другу. Поэтому встает вопрос, что принимать за истинное значение оценки респондента на данной шкале.
Вторая проблема непосредственно касается сопоставления параллельных данных.
Рассмотрим пример неудавшейся попытки повысить надежность измерения признака «удовлетворенность автомобилем» с помощью трех параллельных порядковых шкал. Приведем две из них:
Шкала А
| 11. Данная модель мне очень нравится | 5 |
| 1. Данная модель скорее нравится, чем не нравится | 4 |
| 8. Трудно сказать, нравится ли мне данная модель | 3 |
| 14. Данная модель мне скорее не проявится, чем нравится | 2 |
| 3. Данная модель мне совершенно не нравится | 1 |
Шкала В
| 2. Данная модель – одна из лучших | 5 |
| 13. Считаю, что данная модель не хуже многих других | 4 |
| 5. Данная модель не хуже и не лучше других | 3 |
| 12. Считаю, что есть много моделей, которые лучше моей | 2 |
| 4. Моя модель автомобиля хуже, чем многие другие | 1 |
Пятнадцать суждений (в порядке, обозначенном слева, в начале каждой строки) предъявляются респонденту общим списком, и он должен выразить свое согласие или несогласие с каждым из них. Каждому суждению присваивается оценка, соответствующая его рангу в указанной пятибалльной шкале (справа). (Например, согласие с суждением 4 дает оценку «1», согласие с суждением 11 – оценку «5» и т. д.)
Рассматриваемый здесь способ предъявления суждений списком дает возможность проанализировать пункты шкалы на непротиворечивость. При использовании упорядоченных шкал наименований обычно считается, что пункты, образующие шкалу, взаимно исключают друг друга и респондент легко найдет тот из них, который ему подходит.
Изучение распределений ответов показывает, что респонденты выражают согласие с противоречивыми (с точки зрения исходной гипотезы) суждениями. Например, по шкале «В» 42 человека из 100 одновременно согласились с суждениями 13 и 12, т. е. с двумя противоположными суждениями.
Наличие в ответах по шкале В противоречивых суждений приводит к необходимости считаль шкалу неприемлемой.
Данный подход повышения надежности шкалы является весьма сложным. Поэтому его можно рекомендовать лишь при разработке ответственных тестов или методик, предназначенных для массового употребления или панельных исследований.
Возможна проверка одного метода на нескольких респондентах. Если метод надежен, то разные респонденты дадут совпадающую информацию, но если их результаты плохо согласуются, то либо измерения ненадежны, либо результаты отдельных респондентов нельзя считать равноценными. В последнем случае надо установить, нельзя ли рассматривать какую-либо группу результатов заслуживающей больщего доверия. Решение этой задачи тем более важно, если предполагается, что одинаково допустимо получение информации любым из рассматриваемых методов.
Использование параллельных методов измерения одного и того же свойства сталкивается с целым рядом трудностей.
Во-первых, неясно, в какой мере оба метода измеряют одно и то же качество объекта, причем, как правило, формальных критериев для проверки такой гипотезы не существует. Следовательно, необходимо прибегнуть к содержательному (логико-теоретическому) обоснованию того или иного метода.
Во-вторых, если обнаруживается, что параллельные процедуры измеряют общее свойство (данные существенно не различаются), остается вопрос о теоретическом обосновании применения этих процедур.
Нельзя не признать, что сам принцип использования параллельных процедур оказывается не формальным, а скорее содержательным принципом, применение которого теоретически обосновать весьма трудно.
Один из широко распространенных подходов к установлению обоснованности – это использование так называемых судей, экспертов. Исследователи обращаются к определенной группе людей с просьбой выступить в качестве компетентных лиц. Им предлагают набор признаков, предназначенный для измерения изучаемого объекта, и просят оценить правильность отнесения каждого из признаков к этому объекту. Совместная обработка мнений судей позволит присвоить признакам веса или, что то же самое, шкальные оценки в измерении изучаемого объекта. В качестве набора признаков может выступить список отдельных суждений, характеристики объекта и т. д.
Процедуры судейства многообразны. В основе их могут лежать методы парных сравнений, ранжирования, последовательных интервалов и т. д.
Вопрос о том, кого следует считать судьями, достаточно дискуссионен. Судьи, выбираемые в качестве представителей изучаемой совокупности, так или иначе должны представлять ее микромодель: по оценкам судей исследователь определяет, насколько адекватно будут истолкованы респондентами те или иные пункты опросной процедуры.
Однако при отборе судей возникает трудноразрешимый вопрос, каково влияние собственных установок судей на их оценки, ведь эти установки могут существенно отличаться от установок обследуемых в отношении того же самого объекта.
В общем виде решение проблемы состоит в том, чтобы: а) внимательно проанализировать состав судей с точки зрения адекватности их жизненного опыта и признаков социального статуса соответствующим показателям обследуемой генеральной совокупности; б) выявить эффект индивидуальных отклонений в оценках судей относительно общего распределения оценок. Наконец, следует оценить не только качество, но и объем выборочной совокупности судей.
С одной стороны, это количество определяется согласованностью: если согласованность мнений судей достаточно высокая и, соответственно, ошибка измерения мала, численность судей может быть небольшой. Нужно задать значение допустимой ошибки и на основании ее рассчитать требуемый объем выборки.
При обнаружении полной неопределенности объекта, т. е. в случае, когда мнения судей распределятся равномерно по всем категориям оценки, никакое увеличение объема выборки судей не спасет ситуацию и не выведет объект из состояния неопределенности.
Если объект достаточно неопределенен, то большое число градаций только внесет дополнительные помехи в работу судей и не принесет более точной информации. Нужно выявить устойчивость судейских мнений с помощью повторной пробы и, соответственно, сузить число градаций.
Выбор того или иного конкретного способа, метода или техники проверки на обоснованность зависит от многих обстоятельств.
Прежде всего следует четко установить, возможны ли какие-то существенные отклонения от запланированной программы измерения. Если программа исследования ставит жесткие рамки, следует использовать не один, а несколько приемов проверки данных на обоснованность.
Во-вторых, нужно иметь в виду, что уровни устойчивости и обоснованности данных тесно взаимосвязаны. Неустойчивая информация уже в силу недостаточной надежности по этому критерию не требует слишком строгой проверки на обоснованность. Следует обеспечить достаточную устойчивость и уже затем принять соответствующие меры для уточнения границ интерпретации данных (т. е. выявить уровень обоснованности).
Многочисленные эксперименты по выявлению уровня надежности позволяют заключить, что в процессе отработки инструментов измерений со стороны их надежности целесообразна следующая последовательность основных этапов работы:
а) Предварительный контроль обоснованности методов измерения первичных данных на стадии отработки методики. Здесь проверяется, насколько информация отвечает своему назначению по существу и каковы пределы последующей интерпретации данных. Для этой цели достаточны небольшие выборки в 10 – 20 наблюдений с последующей корректировкой структуры методики.
б) Второй этап – пилотаж методики и тщательная проверка устойчивости исходных данных, в особенности выбранных показателей и шкал. На этом этапе нужна выборка, представляющая микромодель реальной совокупности обследуемых.