Первый достаточно распространенный тип ошибок связан с неполным использованием оценочной шкалы. В результате этого возникают такие ошибки как строгость, мягкость или центризм, т.е. наличие единой усредненной оценки.
Второй тип ошибок состоит в том, что сравнение реального положения дел с нормой осуществляется некорректно. В результате возникают такие ошибки, как эффект "ореола", недавности, контраста.
Эффект "ореола" - тенденция оценивать всех специалистов или их разработки на одинаковом уровне по всем характеристикам. Как правило, это связано с тем, что предмет оценки имеет ярко выраженные положительные или отрицательные качества, "заслоняющие" другие характеристики. Отрицательными последствиями этой ошибки являются необъективность, не выявление как сильных, так и слабых сторон экспертируемого объекта.
Эффект не давности (свежести) - оценка производится на основе недавних фактов, событий и результатов, связанных с другими видами деятельности оцениваемого. В результате этого при оценке эксперт пользуется не наиболее значимой информацией, а той, которая была извлечена на момент экспертизы из кратковременной памяти, как правило, это бывает последняя информация. Так, на оценку эксперта может повлиять недавнее посещение занятий, неприятное воспоминание о недавней встрече с оцениваемым и др. Негативным последствием этого эффекта служит необъективность экспертной оценки.
Эффект контраста - влияние на оценку результатов оценок тех специалистов или их разработок, которые были оценены ранее. Этот эффект появляется из-за сравнения качеств не со стандартом, а с ранее оцениваемыми объектами. В результате при оценивании используется "гибкий" стандарт: как правило, после высокой оценки следующая оценка занижается, и наоборот, после низкой следующая оценка несколько завышается.
Атрибуция - использование в качестве объяснения оценки не характеристик оцениваемой деятельности, а качеств личности оцениваемого. Причинами возникновения этой ошибки служит, с одной стороны, придание чрезмерного значения личностным характеристикам, с другой - отсутствие необходимой для объективной оценки информации о самом предмете оценки. Предупреждение атрибуционной ошибки обеспечивается за счет накопления информации о самой экспертируемой деятельности, а не только об ее субъекте.
Как добиться повышения качества экспертизы и снижения вероятности возникновения ошибок? Универсальным средством является выработка четких, всем известных, согласованных и принимаемых всеми критериев проведения оценки:
формулировка и доведение до каждого эксперта четких определений того, что закладывается в каждое значение оценочных уровней шкалы;
участие в оценке нескольких экспертов и сопоставление их оценок, что обеспечивает обоснованность и объективность оценок;
проведение оценки самими авторами по тем же критериям, что и эксперты, что повышает доверие к оценивающим, служит появлению положительного восприятия оценки и рекомендаций по ее совершенствованию:
знакомство разработчиков с критериями еще на этапе их создания, что повышает качество деятельности и формирует психологическую готовность к восприятию внешней оценки.
Если за время экспертизы произошли изменения в смыслах критериев оценки, то, естественно, об этом должны узнать эксперты и оцениваемые.
Таким образом, во избежание ошибок, необходимо разрабатывать надежную методику для оценивания и готовить экспертов к ее использованию при проведении экспертизы.
Иными словами, проанализировать действующие системы и выявить их недостатки в состоянии только широко образованный компетентный в области передовых педагогических систем специалист, владеющий методом их системного анализа.
Чтобы облегчить анализ причин недостатков в результатах функционирования образовательных систем, B. C. Лазарев рекомендует воспользоваться алгоритмом, который можно применить к любым видам образовательных систем.
Согласно алгоритму, первый вопрос, которым следует задаться при поиске причин выявленного недостатка в результатах функционирования системы: "Позволяет ли содержание основного процесса получить желаемый результат?". Если "да" или если недостатки содержания существенно не влияют на результаты, то далее следует перейти к анализу технологии, используемой при реализации процесса. Если же "нет", то нужно перечислить основные недостатки содержания, которые существенно отражаются на анализируемых неудовлетворительных результатах.
Второй вопрос: "Позволяет ли используемая технология и принципы получить желаемый результат?". Ответ на него должен даваться, исходя из предположения, что есть все, что нужно для максимально эффективной реализации используемой технологии осуществления основного процесса: и материально-техническая база, и квалификация кадров, и их мотивация и время, необходимое для решения проблемы и др. Оценивается, возможно ли, при идеальных условиях, используя данную технологию, достичь желаемого результата. Если "да", то осуществляется переход к третьему вопросу. Если "нет", то нужно составить перечень основных недостатков реализуемой технологии, существенно ограничивающих возможности получения желаемого результата.
Если недостатки содержания и технологии основного процесса настолько существенны, что при них в принципе результаты не могут быть положительными, то на этом анализ заканчивается. Если недостатки основного процесса связаны с его реализацией или являются не очень существенными, то следует перейти к третьему вопросу.
Третий вопрос: "Есть ли недостатки в том, как работники реализуют основной процесс (технологию), существенно влияющие на результаты?". Если технология существенно на результаты не влияет, что означает, что она в принципе не позволяет их получить даже в случае ее хорошей реализации, то, повторим, ресурсы анализировать не нужно. Если "да", то нужно понять, почему они возникают: то ли сотрудники не умеют делать что-то, что требуется по технологии, то ли не хотят это делать. Если "нет", то следует переход к анализу условий осуществления учебного процесса.
В том случае, если на предыдущий вопрос дан положительный ответ, следует перейти к четвертому вопросу: "Существенно ли недостатки в работе сотрудников системы образования связаны с их квалификацией?"
Иначе говоря, достаточно ли хорошо они владеют используемыми методами работы. Очевидно, что одни могут быть высоко квалифицированными, а другие менее. Ответ на данный вопрос должен быть обобщенным. Если недостатки квалификации какой-то части работников влияют на общие результаты, но не очень сильно, то это малозначимая проблема, ее можно проигнорировать. Коли же недостатки квалификации существенно негативным образом сказываются на результатах работы, то составляется перечень тex умений, которыми сотрудники не обладают. При отрицательном ответе на данный вопрос признается, что проблем с владением используемой технологии нет, и следует переход к оценке других условий.
Продолжая анализ причин недостатков в основном процессе, следует задать пятый вопрос: "Достаточно ли заинтересованы кадры в достижении высоких результатов функционирования анализируемой системы?". Если дается положительный ответ, то проблем с мотивацией нет. Если ответ отрицательный, то составляется перечень недостатков мотивационной среды, обусловливающих неудовлетворительную мотивация кадров на достижение высоких результатов. Фиксируются причины низкой мотивации.
После этого оценивается достаточности других ресурсов, например, времени. Задается шестой вопрос: "Сильно ли влияет на результаты работы системы нехватка времени?". Если ответ "да", то следует оценить, какова разница между тем, какое время требуется, и тем, какое отводится на работу реально. Если ответ "нет", то значимых проблем с объемом времени нет.
На следующем шаге поиска причин анализируемых результатов оценивается влияние на них уровня материально-технической обеспеченности основного процесса. Ставится седьмой вопрос: "Сильно ли влияют на анализируемый результат недостатки в обеспечении основного процесса материально-техническими средствами?" Если дается отрицательный ответ, то значимых проблем с материально-техническим обеспечением нет. Если ответ положительный, то нужно перечислить чего и в каком объеме не хватает, чтобы была возможность достигнуть более высоких результатов.
Если анализируются результаты образования, то нужно иметь в виду, что они зависят не только от того, что и как делают учителя, мо и от того, что и как делают учащиеся. Хотя действия педагогов и учащихся не независимы, однако то, что делают последние, во многом определяется ими самими, а не их наставниками. Поэтому, анализируя дефекты результатов обучения нужно задаться восьмым вопросом: "Все ли делают учащиеся, что от них требуется по технологии?". Если "да" или если недостатки в действиях учащихся существенно не влияют на результаты, анализ причин неудовлетворительности результатов обучения заканчивается, а если "нет" и это существенно сказывается на результатах, то анализ причин должен быть продолжен.
Здесь, как и в случае анализа действий учителей, нужно оценить, умеют ли учащиеся делать то, что от них требуется, и хотят ли это делать. При отрицательных ответах нужно составить перечень того, что не умеют, и определить причины, почему не хотят изучать содержание учебной программы.
Тот факт, что учащиеся не могут и (или) не хотят учиться, означает, что на предыдущих этапах обучения не были достигнуты соответствующие важные результаты. Поэтому сама констатация проблем, связанных с действиями учащихся, означает задание на поиск их причин в более ранних периодах обучения и воспитания.