3. План интерпретаций (понимания), как увиденного, так и своих собственных оценок относительно увиденного: например, того, что и почему делал учитель на уроке, руководитель в школе и почему именно таким образом эту деятельность оценивает сам эксперт.
Особенно важно, чтобы сам эксперт не смешивал эти три плана в своем сознании и умел отличать свои теоретические представления от реальности своего видения и его интерпретации.
Основным содержанием этого этапа является реализация на практике процедуры опроса экспертов и получение от них исходной информации в виде экспертных заключений.
Опрос может проводиться как в индивидуальной, так и в коллективной форме.
Индивидуальная форма сбора информации означает, что каждый эксперт работает самостоятельно, формирует свою частную позицию и фиксирует ее на бланке ответов или в форме текста экспертного заключения. Это наиболее часто используемая форма опроса, поскольку она позволяет обеспечить независимость мнений экспертов от влияния авторитетов в данной области, сократить время сбора информации. При такой форме опроса экспертам не обязательно находиться одновременно в одном помещении, достаточно лишь обеспечить получение ими одинаковой информации. Необходимо обеспечить усвоение всеми экспертами задачи оценивания, критериев оценки, алгоритма процедуры опроса, а также благоприятный психологический и эмоциональный фон для работы. В этих целях участникам сообщаются сущность изучаемой проблемы и мотивы обращения именно к данным лицам в качестве специалистов; сведения, убеждающие в компетентности экспертов; информацию о содержании вопросов; формулировки вопросов; объясняется процедура оценки. Если у экспертов возникают какие-либо вопросы по процедуре оценивания, то необходимо ответить на них до начала работы. Важным моментом при индивидуальной форме работы экспертов становится заранее оговоренный срок ее окончания и возврата оценочных листов организатору. В противном случае экспертиза может затянуться на неопределенный срок.
При коллективной форме работы, эксперты вырабатывают единую согласованную оценку предмета по каждому из критериев.
Успех коллективной работы экспертов зависит от умения организатора создать необходимые условия для обмена мнениями. Обычно коллективная форма работы экспертов разворачивается в виде группового обсуждения. Остановимся на методике проведения групповых дискуссий как наиболее часто используемом методе организации опроса экспертов в системе образования. Преимущества группового обсуждения состоят в том, что в его ходе легко прояснить собственную позицию, выявить многообразие подходов, точек зрения по определенному вопросу, получить аргументацию позиции, подвести к всестороннему видению предмета. Оно позволяет преодолевать приверженность старым образцам, страх перед ошибкой, недоверие к себе. В то же время, если не отслеживать ход группового обсуждения и своевременно не вносить в него коррективы, некоторые эксперты могут попасть под влияние авторитетов и их мнение может быть утеряно. Поэтому роль организатора при коллективной работе экспертов чрезвычайно важна.
Организация группового обсуждения предполагает обеспечение некоторых внешних условий-предпосылок: численность группы участников (их не должно быть более 15 человек); регламент дискуссии (а именно определение заранее времени ее окончания); пространственная организация участников (лучше, если они образуют круг или "подкову" для того, чтобы видеть и слышать друг друга); удобное помещение (должно исключать помехи, иметь удобные посадочные места и необходимое техническое оснащение).
Успех группового обсуждения обеспечивается строгим соблюдением содержания и последовательности фаз его протекания:
определение целей и темы работы (ориентировка, уяснение проблемы);
сбор информации (суждений, мнений, оценок всех участников, выявление позиций);
упорядочение, обоснование и совместная оценка полученной в ходе работы информации (выбор общей оценки по каждому критерию);
подведение итогов обсуждения - сопоставление его целей с полученными результатами (завершение).
Для того, чтобы обсуждение протекало эффективно, организатору экспертизы нужно взять на себя роль ведущего и строго придерживаться следующей схемы:
1. Изложить цель обсуждения; заинтересовать участников; ясно изложить, что должно стать результатом обсуждения; убедиться в том, что все участники понимают цель одинаково.
2. Собрать исходную информацию: задать участникам обсуждения вопросы (узнать, что каждый думает по этому поводу); выявить мнения всех участников.
3. Резюмировать полученную информацию.
Если имеются далекие друг от друга оценки, необходимо попросить экспертов аргументировать свои позиции. Главная задача организаторов при обосновании крайних оценок состоит в создании условий для наименьшего влияния личностных особенностей и авторитета конкретных экспертов на суждения остальных членов группы. Акцент следует сделать на ценности мнения каждого эксперта и необходимости обоснования оценок для повышения достоверности результатов экспертизы. Далее называется одна наиболее крайняя оценка и предлагается аргументировать ее тому, кто ее предложил. При этом внимание группы следует обратить на объективные стороны выступления, а не на личность выступающего. В случаях, когда приведенные аргументы вызывают живой отклик у остальных членов группы, допускается провести короткое обсуждение, неукоснительно соблюдая правила: не высказывать оценочных суждений, пользоваться только объективными контраргументами. После того, как мнения высказаны, переходят к следующей крайней оценке и процедура повторяется. Иногда в ходе таких обсуждений удается достичь согласованного решения группы по конкретной оценке. В противном случае по окончании обоснования оценок следует предложить экспертам оценить предлагаемые объекты повторно.
4. Зафиксировать в оценочном листе единую оценку, данную экспертами, по каждому из критериев.
5. Сформулировать выводы кратко и ясно: достигнута ли цель обсуждения.
6. Обозначить вклад, который внес каждый из участников.
Основные усилия ведущего в процессе обсуждения концентрируются на создании и поддержании общей атмосферы доверия, открытости, включенности в групповой процесс. Если в роли организатора групповой дискуссии выступает руководитель, то ему необходимо освободиться от отношений принуждения с участниками, принять равенство психологических позиций взаимодействующих сторон, признать активную роль всех задействованных лиц.
Важное значение для успеха группового обсуждения имеет следование всеми участниками определенным правилам поведения, которые объявляются перед началом работы. Самые основные правила состоят в следующем:
не говори больше, чем нужно;
не говори меньше, чем нужно;
не говори неправды;
обсуждай содержание позиции, а не личности партнеров;
не перебивай выступающего;
внимательно слушай указания ведущего по процедуре ведения обсуждения.
При необходимости этот список можно дополнить, уточнить в соответствии с конкретной ситуацией.
Организатор должен следить за соблюдением правил ведения обсуждения: останавливать многословных, активизировать молчунов, пресекать выпады против личностей, не разрешать мешать выступлениям, не допускать перескакивания через фазы дискуссии.
Этап 1. Анализ и обработка информации, полученной от экспертов.
Главная задача этапа анализа и обработки информации - выделить итоговое мнение группы экспертов и тем самым получить результат экспертизы. В этих целях необходимо свести воедино суждения всех респондентов.
Мнения участников экспертизы часто имеют между собой расхождения. Это может быть обусловлено рядом причин, наиболее важными из них являются сложность и многоплановость исследуемых объектов, различная степень приобщенности экспертов к проблеме, различия в базовом образовании, а также в социальных и профессиональных установках участников или индивидуальные особенности респондентов.
В результате проведения процедуры опроса формируется некий спектр ответов экспертов, из которого требуется выбрать "единое" решение. Обычно групповая оценка определяется методами голосования или усреднения.
Метод "голосования" основывается на мнении, с которым согласно большинство экспертов в группе. Он может быть применен как в отношении общего результата оценивания, так и в отношении мнений экспертов по каждой из рассматриваемых позиций. Особенностью данного метода является игнорирование нетипичных или крайних оценок. Применение метода "голосования" не требует больших затрат на обработку и может быть использовано для оценок, произведенных по качественным шкалам.
Однако применение метода "голосования" может привести к искажению результатов в случаях, когда оценки меньшинства экспертов оказываются более точными по сравнению с оценками большинства. Игнорирование крайних суждений в этом случае отдаляет итоговый результат оценивания от истинного.
Метод усреднения. Выбор группового результата экспертизы методом усреднения основывается на вычислении среднего значения оценки, которое представляет собой абстрактную типическую характеристику всей совокупности, уничтожающую, погашающую, сглаживающую случайные и неслучайные колебания, влияния индивидуальных особенностей и позволяющую представить в одной величине некую общую характеристику реальной совокупности оценок. Главное условие использования средних величин состоит в том, что совокупность должна быть в отношении усредняемых признаков качественно однородной. Применение метода усреднения дает существенные преимущества при обработке результатов экспертизы, если получена количественная информация, поскольку лежит в основе математических способов выявления группового мнения.