Этап 5. Обобщение полученной информации и принятие решения
Основным содержанием данного этапа является оформление результатов экспертной оценки, сопоставление их с поставленной задачей, формулирование решения проблемы.
Полученные в процессе обработки результатов экспертизы данные представляют собой обобщенные по заданным логическим и математическим правилам числовые величины, которым еще предстоит приобрести определенное смысловое содержание, т.е. стать показателями. Любой показатель несет на себе определенную смысловую нагрузку, а также указывает на направленность последующих выводов и рекомендаций.
Любая числовая величина может интерпретироваться с разных точек зрения и, следовательно, многозначна. Если организаторы наполняют числовые данные неким содержанием, соотносят их с изучаемой проблемой, с наиболее важными сторонами объекта и предмета исследования, то они превращаются в показатели. Интерпретация результатов фактически предопределяется на этапе формулирования цели и разработки процедуры опроса, когда выделяется контекст, в котором будет рассматриваться изучаемая проблема.
По форме экспертное заключение может свободно варьироваться. Что же касается содержания, оно должно включать, в качестве обязательных, следующие пункты:
установление факта непротиворечивости программы и деятельности школы законодательству РФ и правам ребенка;
обоснованную оценку и аргументированное выражение экспертной позиции по всем основным концептуальным аспектам инновационной программы и ее реализации;
ответы на вопросы, поставленные перед экспертами авторами эксперимента;
рекомендации по возможным направлениям дальнейшего движения и развития эксперимента с учетом его обеспечения (научного, кадрового, методического, организационного, материального);
выявление значимых результатов, определение важности данной инновации, ее общественной значимости для реализации федеральных, региональных, местных программ развития образования.
Заключение о целесообразности, размерах и направлениях дополнительного финансирования и иной поддержке инновационных проектов может осуществляться органами управления образованием на основании рассмотрения ими заключения экспертной комиссии и принятия соответствующих управленческих решений в случае согласия органов управления с экспертными рекомендациями.
После того как эксперты ознакомились с текстом окончательного решения и завизировали его, решение передается в органы управления образованием.
Для проведения аттестации образовательное учреждение представляет следующие документы:
а) заявление с приложением информационной карты (паспорта) образовательного учреждения;
б) копию устава образовательного учреждения;
в) копию лицензии на образовательную деятельность;
г) учебный план образовательного учреждения;
д) гарантийное письмо об оплате затрат, связанных с проведением аттестации;
е) данные о результатах итоговых аттестаций выпускников в течение 3 последних лет;
ж) материалы, отражающие специфику образовательной деятельности, представляются дополнительно по желанию образовательного учреждения.
Основные методы сбора информации и экспертизы - это наблюдение, исследовательское интервью, групповая дискуссия, различные игровые методы, системный анализ, а также методы экспертизы различных документов, в которых отражается будущее или настоящее образовательного и управленческого процессов: проектов, планов, программ и др. Заметим, что аналитическая работа начинает осуществляться экспертом уже на этапе сбора информации. Однако, для того, чтобы не путать описание деятельности с ее интерпретацией и не подменять интерпретацию описанием событий, процессов, явлений, характеристикой объекта, эксперту следует, как уже отмечалось выше, разделять эти два плана и, соответственно, задачи сбора и интерпретации полученной информации.
Наблюдение (прямая регистрация событий очевидцем) предназначено для описания феноменального плана, подчинено четко сформулированной цели и планируется по заранее обдуманной процедуре. Все данные наблюдения фиксируются в протоколе по определенной системе, а полученная информация должна поддаваться контролю на обоснованность.
Суть наблюдения состоит в том, что эксперт, находясь на занятиях, присутствуя на совещаниях, педагогических советах, обсуждениях педагогами своей работы и т.д., фиксирует наблюдаемые события: их ход, содержание и методы деятельности субъектов (например, то, какие задания дает учитель ученикам, что и каким образом объясняет, как подводит итоги занятия, что оценивает положительно и отрицательно и т.д.).
Затем, переходя из феноменального плана в план интерпретации деятельности, эксперт дает свою трактовку наблюдаемого (увиденного, услышанного, прохронометрированного) и обосновывает эту точку зрения, опираясь на знание предмета экспертизы.
Исследовательское интервью (проводимая по определенному плану беседа, предполагающая прямой контакт интервьюера с опрашиваемым) направлено на выявление профессиональных ценностей интервьюируемого, его целей, представлений о результатах выполняемой деятельности, а также, возможно, и внутренних, не до конца осознанных мотивах.
Интервью позволяет эксперту разобраться с идеальными представлениями субъекта о своей деятельности и ее целях.
Групповая дискуссия представляет собой организованное обсуждение под руководством ведущего тех или иных вопросов, связанных с осуществляемой инновационной деятельностью.
Этот метод может использоваться как в целях диагностики ситуации и социально-психологических особенностей участников дискуссии, так и в целях обучения участников дискуссии коммуникативным умениям, необходимым в групповой работе, умениям анализировать и оценивать свою профессиональную деятельность и т.п. Однако, используя этот метод, следует учитывать, что главной проблемой, снижающей эффективность групповой работы, является отсутствие у ее участников знания правил и владения техникой проведения совместного обсуждения.
Для диагностики (анализа) ситуации можно использовать метод фокус-групп как разновидность групповой дискуссии. Фокус-группа позволяет получить "субъективную" информацию от нескольких (до 10-12) человек одновременно, а также за счет столкновения нескольких точек зрения более глубоко и разносторонне увидеть обсуждаемые проблемы.
Игровые методы (имитационные игры) - это воспроизведение (моделирование) в игровой форме конкретных или воображаемых ситуаций и процессов, в которых участникам предлагается выполнение определенных игровых функций (ролей). Применяется как метод исследования ситуации. Например, может быть проигран процесс разработки программы проведения эксперимента, обсуждение его направлений, целей и задач. Это позволяет не только реально продвинуться в создании конкретного проекта, но и увидеть, как в такой сложной деятельности проявляются разные люди, какие позиции они занимают. Игровая ситуация также помогает ее участникам определить свое место в планируемых изменениях (инновации).
Существует несколько разновидностей подобных игр: деловые, ролевые, организационно - деятельностные и т.д. Игра позволяет не только исследовать, понять особенности сознания и деятельности ее участников, но и обучить их различным приемам и методам в процессе реализуемой, хотя и игровой, но вполне конкретной деятельности.
Метод системного анализа позволяет рассматривать объект анализа не только и не столько с точки зрения его внутренней структуры (свойств элементов, характера их связи), но и как самостоятельный элемент в структуре (системе) более высокого порядка, в то же время зависимый от качества этой объемлющей системы. Например, таким объектом является образование.
Анализ образовательных проектов и программ. Желательно, чтобы эксперт, действующий в рамках методической службы, не только проводил оценку готовых проектов и программ, но и принимал участие в их разработке. В этом случае оп сможет не только влиять на процесс проектирования изменений, но и более полно разобраться в их сути и понимании их назначения людьми. Кроме того, ему придется иметь дело и с текстовым материалом проектов, программ, планов. Именно поэтому ему необходимо хорошо знать их формальную структуру, владеть требованиями, предъявляемыми к форме их разработки.
Ошибки оценивания при проведении экспертизы и способы их предотвращения.
Всякая оценка, и в том числе экспертная, предполагает измерение того, что есть, и его сравнение с тем, что должно быть. Никакой метод измерения не может обеспечить абсолютной его точности, в результате чего и возникают ошибки.
Обеспечение объективной и точной оценки - важная задача, трудность решения которой связана с тем, что совершаемые ошибки часто даже не осознаются теми, кто их допускает. Поэтому каждому принимающему участие в экспертизе необходимо четко представлять типы возможных ошибок и способы их устранения.
Анализ опыта оценки показывает, что существуют многочисленные источники ошибок: и недостаточная компетентность оценивающих, и их субъективные установки, и неполная информация о программах, и несовершенство используемых методов, и многое другое.
Прежде всего, рассмотрим те ошибки, которые возникают вследствие неверного использования уже специально разработанных для проведения экспертизы критериев и оценочных шкал.
Специальными исследованиями выделено несколько типов наиболее распространенных ошибок при оценивании.