автореферат и диссертация по педагогике 13.00.01 для написания научной статьи или работы на тему: Повышение объективности процедур педагогического диагностирования на основе квалиметрического анализа

Автореферат диссертации по теме "Повышение объективности процедур педагогического диагностирования на основе квалиметрического анализа"

□030В2040

ШАМИЛЬЯН Ольга Ивановна

ПОВЫШЕНИЕ ОБЪЕКТИВНОСТИ ПРОЦЕДУР ПЕДАГОГИЧЕСКОГО ДИАГНОСТИРОВАНИЯ НА ОСНОВЕ КВАЛИМЕТРИЧЕСКОГО АНАЛИЗА

Специальность 13 00 01 - «Общая педагогика, история педагогики и образования» (педагогические науки)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата педагогических наук

Ростов-на-Дону 2007

003062040

Работа выполнена на кафедре педагогики Ростовского областного института повышения квалификации и переподготовки работников

образования

Ведущая организация -

Научный руководитель -

Официальные оппоненты:

доктор педагогических наук, профессор Сафонцев Сергей Александрович доктор педагогических наук, профессор Михайлычев Евгений Аркадьевич кандидат педагогических наук, доцент Макарова Елена Александровна Кубанский государственный университет

Защита состоится 31 марта 2007 года в 15-00 на заседании диссертационного совета Д-212 208 04 по защите диссертаций на соискание ученой степени кандидата педагогических наук в Ростовском государственном университете по адресу 344038, г Ростов-на-Дону, пр М Нагибина, 13, факультет психологии, ауд 222

С диссертацией можно ознакомиться в библиотеке Южного федерального университета по адресу 344006, г Ростов-на-Дону, ул Пушкинская, 148

Автореферат разослан 26 февраля 2007 года

Ученый секретарь диссертационного совета кандидат психологических наук,

доцент

Тащева А.И.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность исследования. В современных условиях развития отечественного образования заметно возросла роль педагогического диагностирования как важнейшего фактора обеспечения эффективности процесса обучения Широкое внедрение в образовательную практику диагностических процедур объясняется использованием квалиметрических методов, позволяющих повысить точность педагогического анализа

Используя педагогические опросы, анкетирования и экспертизы, можно оценить степень доступности качественного образования, выявить отношение членов местного сообщества к данному образовательному учреждению, определить уровень обеспечения безопасности процесса обучения и эффективность использования здоровьесберегающих технологий Кроме того, процедуры педагогического диагностирования используются при осуществлении экспертной оценки образовательных программ, инновационных проектов, программ развития, а также результатов работы отдельных преподавателей и учреждения в целом Все эти диагностические процедуры должны быть подвергнуты квалимет-рическому анализу, позволяющему обеспечить их объективность и соответствие действующим образовательным стандартам

Диагностические процедуры способны охватить все составляющие образовательной среды, выявив степень выраженности критериальных показателей с помощью процентных соотношений или рейтинговых баллов Наиболее совершенные диагностические средства носят экспертный характер и нуждаются в отборе респондентов для организации процедуры оценивания состояния образовательного процесса Именно эта направленность современной педагогической диагностики определяет востребованность квалиметрических методов, позволяющих обеспечить отбор квалифицированных специалистов и согласовать их индивидуальные суждения по поводу предмета исследования

Проведение исследований в области совершенствования диагностических процедур потребовало использования широкой методологической базы Системам управления качеством процесса обучения посвящено множество научных исследований [Бабанский Ю К , 1977, Бермус А Г , 2003, Гороховатская Н В ,

1998, Ефремова Н Ф , 2003, Кошелева Е А , 1992, Монахов В М , 1995, Талызина Н Ф , 1975 и др ] При этом особое внимание всегда уделялось проблемам педагогической диагностики [Аванесов В С , 1994, Гершунский Б С , 1986, Ин-генкамп К, 1991, Майоров АН, 2005 и др ] Поскольку вопрос о критериях, индикаторах, показателях и способах измерения в педагогической науке всегда стоял достаточно остро, следует подчеркнуть высокую значимость целого ряда современных квалиметрических теорий [Акинфиева Н В , 1998, Нейман Ю М , 2000, Сафонцев С А , 2002, Субетто А И , 1999, Татур Ю Г , 1998, Челышкова МБ, 1995, Яковлев ЕВ, 1998 и др ] Методы образовательной квалиметрии, позволяющие количественно оценить степень соответствия исследуемого объекта требованиям существующих стандартов, активно проникают в содержательный анализ результатов диагностических процедур, обеспечивая эмпирическую составляющую педагогической науки

Актуальность исследования проблемы повышения объективности процедур педагогического диагностирования с помощью квалиметрического анализа основывается на существующих противоречиях между

- уровнем развития дидактической тестологии, который позволяет обеспечить объективную оценку качества обучения, и отсутствием технологий квалиметрического анализа диагностических процедур, оценивающих состояние образовательной среды,

- содержательной формулировкой педагогического диагноза и количественным представлением квалиметрических показателей,

- оснащением психологических опросников индикаторными методами выявления ситуативных ответов и отсутствием подобных методик в педагогических опросниках, анкетах и экспертных бланках

Прямым следствием перечисленных противоречий является более высокая точность оценивания результатов обучения в сравнении с эмпирически подтвержденной информацией о состоянии образовательной среды, включающей в себя качество воспитания, использование современных педагогических технологий, доступность качественного образования, стиль управленческой деятель-

ности, отношение местного сообщества к образовательному учреждению, сохранение здоровья и обеспечение безопасности учащихся С одной стороны, перечисленные составляющие образовательной среды являются факторами влияния на результативность процесса обучения, но, с другой стороны, они выполняют самостоятельные функции при формировании гармонично развитой личности Разработка технологии квалиметрического анкетирования позволит осуществить объективные педагогические измерения латентных переменных образовательной среды и интегрального показателя эффективности образовательного процесса в целом

Таким образом, мы попытались разрешить противоречие между отработанными методами дидактической тестологии и несовершенством соответствующих методов педагогической диагностики Основываясь на теории образовательной квалиметрии и используя аналогичные методологические принципы, а также способы осуществления стандартизации диагностические процедур, удалось получить качественные педагогические измерители для исследования состояния образовательной среды Эффективность применения квалиметриче-ских анкет была доказана в ходе педагогического эксперимента

Конструктивные истоки анализа процедур педагогического диагностирования заложены в противоречии между содержательной формой представления педагогического диагноза и количественным способом представления квали-метрических показателей Во-первых, диагностический и квалиметрический подходы взаимно дополняют друг друга, а, во-вторых, различные интерпретации эмпирических данных позволяют повысить точность результатов исследования Педагогический диагноз требует поэлементного анализа составляющих образовательного пространства, позволяющего сопоставить их содержательную значимость Именно для этой цели количественные показатели, полученные в результате опроса, анкетирования или экспертизы, превращаются в содержательные оценки В отличие от методологии педагогической диагностики, квалиметрический подход предполагает определение интегрального показателя, характеризующего эффективность образовательного процесса, обеспечивая этим необходимую точность педагогических измерений, поэтому для квали-

метрии характерен перевод содержательных оценок в количественные показатели

Количественные оценки как отдельных критериальных показателей, так и эффективности образовательного процесса ни в коей мере не отрицают возможность содержательного анализа процесса обучения и состояния образовательной среды Поэтому образовательная квалиметрия является лишь средством более точного выражения результатов педагогического диагностирования и предоставляет возможность сравнительной оценки деятельности образовательного учреждения или отдельного преподавателя Именно возможность ранжирования исследуемых объектов позволила нам разработать на основе квалимет-рического анкетирования методику конкурсного отбора школ и учителей для национальной программы «Образование»

Опыт использования психологических методик подтверждает правомерность исключения из рассмотрения ситуативных суждений респондентов, что позволяет получить объективный вывод о личностных характеристиках обследуемого Процедуры педагогического диагностирования, проводимые с целью получения объективной информации о состоянии образовательной среды, также используют суждения респондентов, поэтому применение индикаторных методов выявления ситуативных или некомпетентных суждений позволят существенно повысить объективность диагностических процедур Но при этом не следует забывать о квалиметрическом характере производимых измерений Диагностическая процедура должна позволять получить количественный интегральный показатель состояния предмета исследования

Создание встроенной индикаторной методики для квалиметрической анкеты позволило разрешить противоречие между психологическим и педагогическим диагностированием Оказалось возможным не только установить степень ситуативности суждений респондентов, но и определить их профессиональную квалификацию В результате наиболее компетентным из них присваивался статус экспертов, и осуществлялась процедура согласования суждений группы экспертов с помощью нормировки коэффициентов профессиональной квалификации

Таким образом, актуальность проведенного исследования определяется необходимостью разработки универсальной диагностической процедуры, позволяющей существенно повысить объективность педагогического эксперимента Для этой цели следует использовать методологическую и технологическую базу теории образовательной квалиметрии, позволяющей осуществить количественную оценку латентных характеристик предмета исследования путем сравнения с существующими эталонами

Целью исследования является выявление условий существенного увеличения точности и объективности информации, полученной в результате проведения диагностических процедур (опрос, анкетирование, экспертиза) на основе квалиметрического анализа

Объект исследования - педагогическое оценивание качества образования Предмет исследования - квалиметрический анализ процедур педагогического диагностирования

Гипотеза исследования заключается в том, что объективность процедур педагогического диагностирования существенно повышается в результате квалиметрического анализа, который включает в себя

- исследование современного состояния педагогической диагностики с целью выявления возможности применения эффективных количественных методов,

- сопоставление принципиальных особенностей педагогических опросов, анкетирований и экспертиз,

- создание квалиметрической модели универсальной диагностической процедуры, позволяющей оценивать состояние образовательного процесса,

- разработку технологии квалиметрического анкетирования, включающей в себя корреляционный метод определения коэффициентов профессиональной квалификации респондентов и их нормирование с целью оценивания конкорда-ции суждений экспертной группы

Задачи исследования:

1 Освоить источниковедческую базу применения квалиметрических методов в педагогической диагностике

2 Составить опросник, анкету, экспертный бланк на основе одних и тех же критериальных показателей, а также произвести сравнение данных репрезентации

3 Выявить ключевые особенности, которыми должна обладать универсальная диагностическая процедура, позволяющая оценить состояние образовательного процесса, используя методологию образовательной квалиметрии

4 Разработать на основе корреляционного метода квалиметрическую анкету, обеспечивающую формулировку объективного педагогического диагноза и определение интегрального показателя образовательного процесса

5 Осуществить экспериментальную апробацию технологии квалиметриче-ского анкетирования и сравнить полученные результаты с данными традиционного анкетирования

Теоретико-методологическую основу исследования составили ведущие идеи современной натуральной философии [М Борн, А Пуанкаре, Р Фейнман и др ), личностно - ориентированного и развивающего образования (Е В Бон-даревская, В В Сериков, В Т Фоменко и др ], структуры и качества образования [А А Аветисов, 10 К Бабанский, А И Субетто, Н Ф Талызина и др ], психологического тестирования [А Анастази, П Клайн и др], педагогической диагностики [В С Аванесов, К Ингенкамп, Е А Михайлычев, Дж Равен, В С Черепанов и др ], дидактической тестологии [А Н Майоров, Е А Михайлычев, В И Нардюжев, Ю М Нейман, М Б Челышкова и др ], образовательной квалиметрии [Л Б Ительсон, К Пирсон, Дж Раш, С А Сафонцев и др ]

Концепция исследования основана на принципах инвариантности и дискретности образовательной квалиметрии, а также модели универсальной диагностической процедуры, включающей в себя две теоремы 1) в процессе педагогического диагностирования независимым респондентом должен быть обретен статус эксперта на основе индикаторной методики, позволяющей определить его профессиональную квалификацию, а также оценить конкордацию су-

ждений группы экспертов, 2) содержательно значимые структурные элементы образовательной среды должны обладать максимально возможной степенью выраженности

Основные методы исследования: анализ и синтез основных принципов современной натуральной философии, квалиметрическое моделирование закономерностей образовательного процесса, статистическая обработка результатов диагностических процедур, выявление количественных показателей состояния образовательной среды Этапы исследования

На нервом этапе (2004-2005 гг) осуществлялось изучение методов педагогической диагностики и образовательной квалиметрии параллельно с преподавательской деятельностью на почасовой основе в Северо-Кавказской академии государственной службы

На втором этапе (2005-2006 гг) проводился проблемно-ориентированный анализ первоисточников с целью выявления особенностей различных диагностических процедур, а также экспериментальное сопоставление результатов опросов, анкетирований и экспертиз

На третьем этапе (2006 г) создана квалиметрическая модель универсальной диагностической процедуры и разработана технология квалиметрического анкетирования, проведена апробация результатов исследования на репрезентативной выборке слушателей курсов повышения квалификации и применение квалиметрического анкетирования для конкурсного отбора образовательных учреждений и учителей

Объектом эмпирического исследования является выборочная совокупность работников образования в количестве 200 человек, прошедших курсы повышения квалификации, руководители 163 образовательных учреждений, принимавших участие в Перспективном национальном проекте «Образование» -2006, 8 сотрудников кафедры информационных технологий Ростовского областного института повышения квалификации и переподготовки работников образования (РО ИПК и ПРО)

Научная новизна и теоретическая значимость исследования

Впервые проведен сравнительный анализ методологических основ педагогической диагностики и образовательной квалиметрии

Выявлены характерные особенности процедур педагогического диагностирования, с помощью факторного анализа

Создана квалиметрическая модель универсальной диагностической процедуры

Доказано, что в качестве универсальной процедуры педагогического диагностирования необходимо рассматривать квалиметрическое анкетирование

Практическую значимость исследования подтверждают данные экспериментальной апробации технологии квалиметрического анкетирования, в котором приняли участие работники образования в количестве 200 человек, прошедших курсы повышения квалификации, руководители 163 образовательных учреждений, принимавших участие в ПНГТО-2006, 8 сотрудников кафедры информационных технологий РО ИПК и ПРО, а также использование материалов диссертации для разработки методики конкурсного отбора образовательных учреждений и учителей в рамках национального проекта «Образование»

В процессе проведения констатирующего этапа педагогического эксперимента по сопоставлению характерных особенностей процедур педагогического диагностирования были использованы результаты стратификации показателей состояния образовательного процесса, проведенной с помощью группы экспертов На основе теории корреляции была определена степень согласованности результатов обследований, проведенных с использованием различных диагностических материалов Репрезентации опросника и анкеты для конкурсного отбора образовательных учреждений проводились на представительной выборке работников образования объемом 200 человек

В основу формирующего этапа педагогического эксперимента по обоснованию квалиметрической модели универсальной диагностической процедуры была положена методология образовательной квалиметрии, позволившая разработать технологию квалиметрического анкетирования В процессе форми-

рующего и по данным контрольного этапа педагогического эксперимента была доказана высокая точность и статистическая значимость результатов квалимет-рического анкетирования, а, следовательно, непротиворечивость теоретической модели и обоснованность выдвижения гипотезы данного исследования

Достоверность и обоснованность основных положений и выводов диссертации обеспечиваются четкой проработанностью методологических и теоретических основ проведенного исследования, внутренней непротиворечивостью и логической обоснованностью рассматриваемых проблем, комплексным характером используемых принципов и методов научного исследования, опорой на широкий круг первоисточников классиков педагогической диагностики и образовательной квалиметрии, совершенством проведенных эмпирических исследований, позволяющих оценить статистическую значимость полученных результатов

Положения, выносимые на защиту

1 Основным фактором влияния на объективность диагностических процедур является эффективность индикаторных методик, позволяющих отсеять ситуативные и некомпетентные суждения респондентов В качестве универсальной диагностической процедуры следует рассматривать квалиметрическое анкетирование, которое включает в себя определение профессиональной квалификации респондентов и конкордации суждений экспертной группы

2 В основу технологии квалиметрического анкетирования положена методология образовательной квалиметрии, которая применительно к процедурам педагогического диагностирования приводит к следующим выводам

- поскольку условия реализации образовательного процесса не должны зависеть от точки зрения эксперта, респонденту в процессе диагностирования следует приобрести статус эксперта,

- педагогическое действие содержит целое число структурных элементов образовательного процесса, обладающих максимально возможной степенью выраженности

3 Технология квалиметрического анкетирования качества образовательного процесса включает в себя

- отбор критериев и показателей на основе выборочного метода,

- начисление респондентами рейтинговых баллов по каждому критериальному показателю,

- определение профессиональной квалификации респондентов на основе корреляционного метода и присвоение статуса эксперта,

- формулировку педагогического диагноза на основе экспертных суждений,

- оценку конкордации суждений членов экспертной группы и вычисление интегрального показателя состояния образовательного процесса

Апробация и внедрение результатов исследования. Опытно-экспериментальной базой исследования является РО ИПК и ПРО с филиалами в городах Волгодонске, Каменске-Шахтинском, Таганроге и Шахтах, а также муниципальные органы управления образованием и методические центры Ростовской области Результаты исследования используются в работе сотрудников кафедр РО ИПК и ПРО, Филиала Морской государственной академии имени адмирала Ф Ф Ушакова в городе Ростове-на-Дону, Ростовского государственного экономического университета «РИНХ»

Обсуждение результатов диссертации было проведено на секционных заседаниях пятой научно-практической конференции «Информационные технологии в образовании» (Ростов-на-Дону, 2005), на шестой научно-практической конференции «Информационные технологи в образовании» (Ростов-на-Дону, 2006), проводившихся в рамках международного конгресса конференций (Москва, 2005, 2006)

Публикации. По теме диссертации опубликовано 6 работ общим объемом 4,84 п л В том числе 3 статьи в журналах, рекомендованных ВАК Российской Федерации, и монография

Структура и объем диссертации. Диссертация включает в себя введение, две главы, заключение, состоящее из основных теоретических и практических

выводов, практических рекомендаций и перспектив дальнейшего исследования проблемы, списка использованной литературы из 110 наименований, из них -10 на английском языке, и 6 приложений Объем основного текста составляет 142 страницы Диссертация иллюстрирована 24 таблицами

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ Во введении на основе существующих противоречий раскрывается актуальность темы, определены цель, объект, предмет, гипотеза, задачи исследования, характеризуются ее методологическая основа, научная новизна, теоретическая и практическая значимость, формулируются основные положения, выносимые на защиту, приведены основания, подтверждающие достоверность полученных результатов, структура работы

Первая глава «Теоретические основы применения квалиметрнческих методов в педагогической диагностике» посвящена теоретическим основам применения квалиметрнческих методов в педагогической диагностике

В первом параграфе «Современное состояние педагогической диагностики» указывается на то, что данная область научного знания является практической составляющей педагогической науки, позволяющей осуществить постановку диагноза ситуации, сложившейся в образовательном процессе, и определить необходимые коррекционные меры по устранению негативных последствий Процесс установления и изучения признаков, характеризующих состояние различных элементов педагогической системы и условий ее функционирования для прогнозирования возможных тенденций развития, отклонений, предотвращения мерами педагогической коррекции нежелательных тенденций и стимулирования позитивных элементов развития (личности, группы, педагогических явлений) Педагогическая диагностика - это относительно самостоятельная отрасль педагогического знания, отражающая теорию и практику педагогического диагностирования и выступающая в структуре педагогики как сервисная, вспомогательная дисциплина (аналогично педагогической прогностике, педагогикой этике)

Особая методологическая функция педагогической диагностики подтверждается согласованностью мониторинга с основными этапами научного исследования Реализуется она при условии сочетания классических диагностических подходов с квалиметрическими методами, обеспечивающими статистическую значимость количественных оценок инновационной деятельности На всех этапах развития педагогической диагностики предлагалось использовать не только диагностические процедуры, но и количественные способы представления информации о состоянии образовательной среды и качестве образования В полном соответствии с традициями педагогической диагностики на современном этапе развития в нее активно внедряются наиболее совершенные количественные методы исследования

Во втором параграфе «Основные процедуры педагогического диагностирования и возможности повышения их объективности» рассматривается целый ряд специфических методик сбора и обработки информации, специально разработанных или адаптированных для решения определенного типа диагностических задач Диагностические методики обычно включают в себя описание их возможностей, ограничений в использовании, процедуру сбора и обработки информации, инструкцию испытуемым, бланковый материал или компьютерную программу Простейшей процедурой педагогического диагностирования является опрос, построенный по образу и подобию классических психологических методик Он включает в себя

1) предъявление респондентам набора утверждений, прямо или косвенно относящихся к исследуемому объекту или явлению,

2) выставление оценок по принципу «согласия» или «несогласия» с предложенным утверждением («да»-«нет»),

3) определение степени ситуативности суждений отдельных респондентов с помощью индикаторных утверждений,

4) определение степени выраженности того или иного критерия по количеству позитивных оценок соответствующей группы утверждений (оценка «нет»

может рассматриваться как позитивная относительно заведомо негативного суждения),

5) формулировка педагогического диагноза

Принципиальной особенностью педагогического опроса является быстрый темп подачи и оценивания простых утверждений, позволяющий выявить ситуативные суждения респондентов На первом этапе констатирующего эксперимента нами был разработан опросник для конкурсного отбора образовательных учреждений

Наиболее распространенной процедурой педагогического диагностирования является анкетирование Анкета включает в себя серию тематически взаимосвязанных вопросов открытого или закрытого (полузакрытого) типа Профессионально составленные анкеты разрабатываются на основе заранее продуманного конструкта, то есть интегральной характеристики исследуемого объекта или явления При этом учитываются значимые для процедуры диагностирования признаки и формы поведения респондента Основными составляющими процедуры педагогического анкетирования являются

1) предъявление респондентам взаимосвязанных вопросов или критериальных показателей, прямо или косвенно относящихся к исследуемому объекту или явлению,

2) развернутые ответы на вопросы или начисление рейтинговых баллов, характеризующих степень выраженности критериальных показателей,

3) статистическая обработка результатов анкетирования, формулировка педагогического диагноза,

4) вычисление интегрального показателя предмета исследования

Принципиальная особенность педагогического анкетирования - это логическая обоснованность суждений респондентов, которые подвергаются статистической обработке На втором этапе констатирующего эксперимента была разработана анкета для конкурсного отбора образовательных учреждений, в процессе обработки результатов которой определялась не только усредненная степень выраженности критериев, но и соответствующий доверительный интервал

В рамках констатирующего этапа педагогического эксперимента было проведено сравнение данных опроса и анкетирования, позволяющее убедиться в возможности искажения результатов респондентами, подверженными контаминации критерия Была осуществлена стратификация генеральной совокупности работников образования и сформирована представительная выборка в количестве 200 человек, которой были предложены ранее разработанные опросник и анкета На основе индивидуальной индикаторной методики было отсеяно 31,5% опросников, а статистическая обработка результатов анкетирования позволила определить конкордацию суждений респондентов и отсеять 24% анкет В результате данные опроса были признаны объективными, а данные анкетирования - подверженными смещению в сторону более высоких рейтинговых баллов за счет контаминации критерия

В отличие от опроса и анкетирования, в которых основным препятствием получения объективного результата является ситуативность и некомпетентность суждений респондентов, при организации педагогической экспертизы осуществляется предварительный подбор специалистов и определение коэффициента конкордации экспертной группы Основными составляющими процедуры педагогической экспертизы являются

1) подбор специалистов, обладающих высокой профессиональной квалификацией и имеющих опыт экспертной работы,

2) предъявление экспертам критериальных показателей, прямо или косвенно относящихся к исследуемому объекту или явлению,

3) начисление рейтинговых баллов или весовых коэффициентов, характеризующих степень выраженности критериальных показателей,

4) формулировка педагогического диагноза

Принципиальной особенностью педагогической экспертизы следует считать опережающий характер отбора специалистов, приводящий к контаминации критерия и снижению объективности диагностической процедуры На четвертом этапе констатирующего эксперимента был разработан и апробирован на репрезентативной выборке экспертный бланк для конкурсного отбора образовательных учреждений

Наиболее весомым фактором влияния на результативность процедур педагогического диагностирования является эффективность индикаторных методик В идеале диагностическая процедура должна предполагать содержательную оценку предложенных критериальных показателей и включать в себя определение степени ситуативности или некомпетентности респондентов Поскольку полноценный педагогический эксперимент должен позволять количественно оценить доверительный интервал справедливости сформулированного педагогического диагноза при заданной доверительной вероятности, необходимо использовать квалиметрический подход, который гарантирует определенную точность результатов педагогического исследования Решение основной квалимет-рической задачи предполагает включение в процедуру анкетирования, которой следует отдать предпочтение, способа определения профессиональной квалификации респондентов и конкордации суждений экспертной группы

В третьем параграфе «Квалиметрическая модель универсальной диагностической процедуры» разработаны теоретические основы технологии квали-метрического анкетирования В качестве предмета исследования рассматривалась универсальная процедура педагогического диагностирования, что позволило подойти к педагогической диагностике с наиболее общих позиций, опираясь на минимальное количество основополагающих постулатов образовательной квалиметрии

Первым постулатом квалиметрической модели универсальной диагностической процедуры является принцип инвариантности, который может быть сформулирован так условия реализации образовательного процесса не должны зависеть от точки зрения эксперта В качестве следствия этого принципа можно рассматривать приобретение респондентом статуса эксперта в процессе диагностирования Таким образом, универсальная диагностическая процедура должна включать в себя эффективную индикаторную методику, позволяющую установить профессиональную квалификацию специалиста и оценить конкор-дацию суждений различных экспертов

Вторым постулатом квалиметрической модели универсальной диагностической процедуры является принцип дискретности, который можно сформули-

ровать следующим образом педагогическое действие содержит целое число структурных элементов образовательного процесса Следствием принципа дискретности является максимально возможная степень выраженности структурных элементов образовательной среды

В процессе констатирующего этапа педагогического эксперимента осуществлена стратификация критериальных показателей с помощью экспертной группы В качестве стратификационных показателей рассматриваются основные направления исследования образовательного процесса (состояние образовательной среды, эффективность процесса обучения, результативность инновационной деятельности), а также критерии успешности образовательного учреждения, которые использовались нами в констатирующем эксперименте По данным экспертизы, 15 страт должны быть представлены 20 критериальными показателями, обладающими наибольшей содержательной значимостью

На основе проведенного анализа современного состояния педагогической диагностики и основных процедур педагогического диагностирования нами была разработана квалиметрическая модель универсальной диагностической процедуры, позволяющая сформулировать основные элементы технологии ква-лиметрического анкетирования

1) выявление наиболее содержательно значимых критериев и подбор соответствующих показателей,

2) предъявление респондентам квалиметрической анкеты и начисление ими рейтинговых баллов по каждому критериальному показателю,

3) определение профессиональной квалификации респондентов и присвоение статуса эксперта,

4) формулировка педагогического диагноза на основе экспертных суждений,

5) оценка конкордации суждений членов экспертной группы и вычисление интегрального показателя состояния предмета исследования

Вторая глава «Технология квалиметрического анкетирования» посвящена разработке универсальной процедуры педагогического диагностирования, обладающей квалиметрическими свойствами Учитывая быстроту и по-

верхностность опроса, смещение статистических результатов традиционного анкетирования и предварительный характер отбора экспертов, в качестве универсальной диагностической процедуры предлагается использовать квалимет-рическое анкетирование

В первом параграфе «Разработка квалиметрической анкеты» рассматривается процедура создания диагностического материала, содержащего индикаторную методику выявления экспертного статуса респондента Понятие «ква-лиметрическое анкетирование» учитывает ориентированность диагностической процедуры на получение интегрального количественного показателя эффективности образовательного процесса, а значит предполагать возможность использования статистических методов Поскольку речь идет о квалиметрическом понятии, данная диагностическая процедура должна позволять производить сопоставления эмпирических результатов с эталонными показателями, а при отсутствии такового - предполагать сравнение результатов исследования с нормальным статистическим распределением Квалиметрическое анкетирование -это универсальная диагностическая процедура, включающая в себя индикаторную методику определения профессиональной квалификации респондентов и оценку конкордации суждений экспертной группы

Разработка квалиметрической анкеты начинается с обеспечения содержательной и конструктной валидности диагностического материала Подбор критериев и показателей определяется факторами влияния на предмет исследования, что позволяет гарантировать высокую содержательную валидность квалиметрической анкеты Конструктные свойства диагностического материала зависят от особенностей интегральной характеристики, которую предполагается измерять с помощью квалиметрической анкеты Экспертная оценка относительной весомости критериев, произведенная в ходе констатирующего эксперимента, гарантирует высокую конструктную валидность диагностического материала

Наиболее важным этапом разработки квалиметрической анкеты является подбор критериальных показателей Именно на этом этапе в диагностический материал встраивается индикаторная методика, которая приобретает гораздо

большие функциональные возможности, нежели в опросниках или традиционных анкетах Для этой цели необходимо подобрать две параллельные группы показателей, которые отражают одни и те же свойства исследуемого объекта или явления, образуя при этом корреляционные пары Согласованность суждений респондента по поводу концептуальных и прикладных утверждений, входящих в соответствующие пары критериальных показателей, является показателем его профессиональной квалификации

В начале формирующего этапа педагогического эксперимента нами разработана квалиметрическая анкета для экспертной оценки эффективности процесса обучения В качестве способа определения степени согласованности суждений респондента по поводу одного и того же свойства предмета исследования нами использовался корреляционный метод, предполагающий вычисление коэффициента Пирсона Однако, в качестве критерия минимально допустимого значения коэффициента корреляции, соответствующего экспертному уровню профессиональной квалификации респондента, был выбран экстремальный коэффициент конкордации суждений экспертной группы Подобная аналогия объясняется тем, что для определения профессиональной квалификации респондента использовалась количественная оценка внутренней согласованности суждений участника анкетирования Именно после определения уровня внутренней конкордации суждений респондента осуществляется присвоение ему статуса эксперта

По сравнению с результатами традиционного анкетирования универсальная диагностическая процедура, оснащенная квалиметрическими методами, позволила повысить точность педагогических измерений в несколько раз Следует учесть, что, ужесточая отбор экспертных суждений, можно добиться еще более высокой точности педагогического диагноза и интегрального показателя эффективности образовательного процесса

В рамках формирующего этапа педагогического эксперимента подготовлена квалиметрическая анкета для проведения конкурсного отбора образовательных учреждений, претендующих на государственную поддержку из федерального бюджета Обработка ее результатов осуществляется с помощью компью-

терной программы, которая работает по заранее разработанному алгоритму Эксперту остается контролировать действия компьютера по формированию педагогического диагноза, определения интегрального показателя успешности деятельности образовательного учреждения и ранжированию различных учебных заведений по результатам проведенного конкурсного отбора В этом случае мы добиваемся максимальной точности процедур педагогического диагностирования за счет использования информационных технологий, к которым следует отнести компьютерные и квалиметрические технологии

Во втором параграфе «Конкордация суждений экспертной группы» описывается технология разработки индикаторной методики для процедуры квали-метрического анкетирования В процессе педагогического диагностирования необходимо не просто осуществить отсев ситуативных и неквалифицированных суждений респондентов, а разработать специфическую субтехнологию определения профессиональной квалификации, позволяющую присваивать респондентам статус экспертов Это позволило повысить точность диагностической процедуры за счет сравнения эмпирических данных с нормальным статистическим распределением Однако существует иной методологический подход, основанный на сопоставлении реального образовательного процесса с эталонным образцом, который можно осуществить с помощью оценки конкордации суждений экспертной группы Фактически, это еще одна субтехнология, которая предполагает анализ индивидуальных эталонов образовательного процесса и использование их формализованной оценки для обеспечения объективности диагностической процедуры При этом коэффициенты профессиональной квалификации отдельных экспертов являются показателями степени приближения индивидуального эталона к идеальному, который обладает абсолютной квали-метрической значимостью

С помощью нормирования коэффициентов профессиональной квалификации экспертов удалось получить численные значения индивидуальных коэффициентов конкордации, которые характеризуют степень приближения идеального эталона специалиста к квапиметрически обоснованному образцу предмета

исследования Этим гарантируется технологическая состоятельность предложенной нами процедуры конкордации суждений экспертной группы

В третьем параграфе «Влияние состава экспертной группы на объективность результатов квалиметрического анкетирования» отмечается, что в результате контрольного эксперимента установлено, что любое преобразование экспертной группы приводит к изменению коэффициентов конкордации, отражающих не столько индивидуальные качества специалиста, сколько их согласованность с соответствующим показателем других экспертов Но даже в этих сложных, статистически вариативных условиях технология квалиметрического анкетирования, благодаря эффективным субтехнологиям корреляционного метода и оценки конкордации суждений экспертной группы, подтвердила высокую точность педагогического диагноза и интегрального показателя состояния предмета исследования

В заключении приводятся основные выводы исследования

1 Педагогическая диагностика обладает особой методологической функцией, которая подтверждается согласованностью составляющих мониторинга с основными этапами научного исследования Данная функция способна реализоваться только при условии сочетания классических диагностических подходов с квалиметрическими методами Универсальная диагностическая процедура должна не только обеспечивать формулировку содержательного педагогического диагноза, но и определение интегрального количественного показателя, характеризующего состояние предмета исследования

2 Традиционными процедурами педагогической диагностики являются тестирование, опрос, анкетирование, экспертиза Соответственно принципиальными особенностями диагностических процедур являются 1) в случае опроса -быстрый темп подачи и оценивания простых утверждений, позволяющий выявить ситуативные суждения респондентов, 2) в случае анкетирования - логическая обоснованность суждений респондентов, которые подвергаются статистической обработке, 3) в случае экспертизы - опережающий характер отбора специалистов, приводящий к контаминации критерия и снижению объективности диагностической процедуры В результате сравнительного эксперимента

было установлено, что данные традиционного анкетирования были подверженными смещению в результате контаминации критерия

3 Основным фактором влияния на объективность диагностических процедур является эффективность индикаторных методик, позволяющих отсеять ситуативные и некомпетентные суждения респондентов В качестве универсальной диагностической процедуры следует рассматривать квалиметрическое анкетирование, которое включает в себя определение профессиональной квалификации респондентов и конкордации суждений экспертной группы

4 В процессе создания технологии квалиметрического анкетирования использовалась методология теории образовательной квалиметрии, в основу которой положены принципы инвариантности и дискретности Поскольку условия реализации образовательного процесса не должны зависеть от точки зрения эксперта, респонденту следует приобрести в процессе диагностирования статус эксперта Педагогическое действие содержит целое число структурных элементов образовательного процесса, обладающих максимально возможной степенью выраженности

5 Технология квалиметрического анкетирования включает в себя 1) отбор критериев и показателей на основе выборочного метода, 2) начисление респондентами рейтинговых баллов по каждому критериальному показателю, 3) определение профессиональной квалификации респондентов на основе корреляционного метода и присвоение статуса эксперта, 4) формулировку педагогического диагноза на основе экспертных суждений, 5) оценку конкордации суждений членов экспертной группы и вычисление интегрального показателя состояния образовательного процесса

6 Подбор критериев определяется факторами влияния на предмет исследования, что позволяет гарантировать высокую содержательную валидность ква-лиметрической анкеты Конструктные свойства диагностического материала зависят от особенностей интегральной характеристики, которую предполагается измерять с помощью квалиметрической анкеты Экспертная оценка относительной весомости критериев, произведенная в ходе констатирующего экспе-

римента, гарантирует высокую конструктную валидность диагностического материала

7 В процессе подбора критериальных показателей в квалиметрическую анкету встраивается индикаторная методика, которая представляет собой две параллельные группы показателей, отражающих одни и те же свойства предмета исследования и образующих корреляционные пары Согласованность суждений респондента по поводу концептуальных и прикладных утверждений, входящих в соответствующие пары критериальных показателей, характеризует его профессиональную квалификацию

8 Поскольку в основу определения профессиональной квалификации респондента положена внутренняя конкордация его суждений, минимально допустимое значение коэффициента корреляции, соответствующее экспертному уровню профессиональной квалификации респондента, совпадает с экстремальным коэффициентом конкордации суждений экспертной группы

9 Каждый эксперт обладает индивидуальным эталоном предмета исследования, который характеризуется индивидуальный коэффициент конкордации, полученным в процессе нормирования коэффициентов профессиональной квалификации членов экспертной группы Трансформация экспертной группы приводит к изменению коэффициентов конкордации, отражающих не столько индивидуальные качества специалиста, сколько их согласованность с соответствующим показателем других экспертов

10 Повышение объективности процедур педагогического диагностирования обеспечивается базирующейся на методологии образовательной квалимет-рии технологии квалиметрического анкетирования, включающей в себя корреляционный метод определения коэффициентов профессиональной квалификации респондентов и их нормирование с целью оценивания конкордации суждений экспертной группы

Дальнейшая разработка технологии квалиметрического анкетирования предполагает совершенствование процедуры вычисления весовых коэффициентов, характеризующих профессиональную квалификацию респондентов и позволяющих определить средневзвешенный рейтинговый балл Это упростит

подбор критериев и показателей для квалиметрической анкеты, а также позволит добиться большей достоверности результатов обследования

Основное содержание диссертации отражено в следующих публикациях автора:

1 Шамильян, О И Как организовать педагогический эксперимент // Практические советы учителю 2006 № 4 - авторский вклад 0,35 п л (в соавторстве с С А Сафонцевым)

2 Шамильян О И Квалиметрический анализ процедур педагогического диагностирования // Гуманитарные и социально-экономические науки 2006 №4 - авторский вклад 0,57 п л (в соавторстве с С А Сафонцевым)

3 Шамильян, О И Компьютерное квалиметрическое анкетирование // Информационные технологии в образовании - 2006 Сборник научных трудов участников VI научно-практической конференции-выставки 17-19 октября 2006 - Ростов-на-Дону Ростиздат, 2006 - авторский вклад 0,29 п л (в соавторстве с С А Сафонцевым)

4 Шамильян О И Критерии и показатели конкурсного отбора образовательных учреждений // Стандарты и мониторинг в образовании 2006 № 2 - авторский вклад 0,34 п л (в соавторстве с С А Сафонцевым)

5 Шамильян, О И Методика конкурсного отбора образовательных учреждений // Гуманитарные и социально-экономические науки 2006 №5 - авторский вклад 0,30 п л (в соавторстве с С А Сафонцевым)

6 Шамильян, О И Повышение объективности процедур педагогического диагностирования на основе квалиметрического анализа Монография - Ростов-на-Дону Изд-во РО ИПК и ПРО, 2006 - авторский вклад 3,0 п л (в соавторстве с С А Сафонцевым)

Печать цифровая Бумага офсетная Гарнитура «Тайме» Формат 60x84/16 Объем 1,0 уч -изд -л Заказ № 46 Тираж 100 экз Отпечатано в КМЦ «КОПИЦЕНТР» 344006, г Ростов-на-Дону, ул Суворова, 19, тел 247-34-88

Содержание диссертации автор научной статьи: кандидата педагогических наук, Шамильян, Ольга Ивановна, 2007 год

ВВЕДЕНИЕ

ГЛАВА 1. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ПРИМЕНЕНИЯ КВАЛИ-МЕТРИЧЕСКИХ МЕТОДОВ В ПЕДАГОГИЧЕСКОЙ ДИАГНОСТИКЕ

1.1. Современное состояние педагогической диагностики

1.2. Основные процедуры педагогического диагностирования и 44 возможности повышения их объективности

1.3. Квалиметрическая модель универсальной диагностической процедуры

Выводы по первой главе

ГЛАВА 2. ТЕХНОЛОГИЯ КВАЛИМЕТРИЧЕСКОГО АНКЕТИРОВАНИЯ

2.1. Разработка квалиметрической анкеты

2.2. Конкордация суждений экспертной группы

2.3. Влияние состава экспертной группы на объективность результатов квалиметрического анкетирования

Выводы по второй главе

Введение диссертации по педагогике, на тему "Повышение объективности процедур педагогического диагностирования на основе квалиметрического анализа"

Актуальность исследования.

В современных условиях развития отечественного образования заметно возросла роль педагогического диагностирования как важнейшего фактора обеспечения эффективности процесса обучения. Широкое внедрение в образовательную практику диагностических процедур объясняется использованием квалиметрических методов, позволяющих повысить точность педагогического анализа. Недавно созданная общероссийская система оценки качества образования (ОСОКО), включающая в себя разветвленную сеть региональных моделей (РСОКО), предполагает продолжение эксперимента по внедрению технологии единого государственного экзамена на различных уровнях общего образования, систематическое участие в международных исследованиях гуманитарной, математической, естественнонаучной грамотности учащихся (PISA, TIMSS) [29, 30, 31], а также создание систем оценки качества образования в учреждениях различного профиля [66].

В контексте основных направлений модернизации отечественного образования востребованы квалиметрические методы педагогической диагностики. В рамках конкурсного отбора образовательных учреждений и учителей по национальному проекту «Образование» широко используется рейтинговая оценка критериальных показателей. Аналогическая процедура используется в процессе экспертного оценивания инновационных образовательных проектов. Квалимет-рический анализ диагностических процедур открывает широкие перспективы сопоставления качества отечественного образования с общепризнанными мировыми стандартами.

Используя современные диагностические методики, можно существенно увеличить объективность результатов мониторинговых исследований, что существенно скажется на качестве образования. Перспективы внедрения в педагогическую практику теории образовательной квалиметрии непосредственно связаны с совершенствованием методологической базы научно-педагогических исследований, так как объективная диагностика состояния образовательной среды позволяет проводить экспериментальные исследования, гарантирующие достоверность получаемых результатов. Современная школа остро нуждается в продуктивных образовательных технологиях, позволяющих достигать заранее запланированных результатов с необходимой степенью надежности.

Комплексное решение задач педагогического диагностирования требует совершенствования системы профессиональной переподготовки и повышения квалификации работников образования. В программы дополнительного профессионального педагогического образования активно включаются разделы, связанные с изучением теоретических основ дидактической тестологии и образовательной квалиметрии [81]. Руководители образовательных учреждений не только требуют от преподавателей оснащения рабочих программ дидактическими тестами, но и систематическое отслеживание состояния процесса обучения посредством мониторинговых исследований [38]. Кроме педагогических измерителей входного, рубежного и итогового контроля мониторинг процесса обучения предполагает активное использование критериально ориентированных тестов, а также средств диагностирования состояния образовательной среды (опросники, анкеты, экспертные бланки и т.п.).

Вопрос о соответствии уровня компетентности педагогических кадров требованиях квалификационных характеристик в современной школе стоит достаточно остро. Наибольшие затруднения в системе повышения квалификации работников образования вызывает именно диагностический и квалиметри-ческий компоненты педагогической науки. Необходимость оптимизации процесса обучения с помощью качественных педагогических измерителей затронула не только сферу предметного тестирования, но и состояния образовательной среды в целом. Для этой цели приходится применять наиболее тонкие диагностические процедуры, разработанные на стыке психологии и педагогики, которые вобрали в себя все наиболее ценные методы измерения латентных характеристик исследуемых объектов.

Используя педагогические опросы, анкетирования и экспертизы, можно оценить степень доступности качественного образования, выявить отношение членов местного сообщества к данному образовательному учреждению, определить уровень обеспечения безопасности процесса обучения и эффективность использования здоровьесберегающих технологий. Кроме того, процедуры педагогического диагностирования используются при осуществлении экспертной оценки образовательных программ, инновационных проектов, программ развития, а также результатов работы отдельных преподавателей и учреждения в целом. Все эти диагностические процедуры должны быть подвергнуты квалимет-рическому анализу, позволяющему обеспечить их объективность и соответствие действующим образовательным стандартам.

Диагностические процедуры способны охватить все составляющие образовательной среды, выявив степень выраженности критериальных показателей с помощью процентных соотношений или рейтинговых баллов. Наиболее совершенные диагностические средства носят экспертный характер и нуждаются в отборе респондентов для организации процедуры оценивания состояния образовательного процесса. Именно эта направленность современной педагогической диагностики определяет востребованность квалиметрических методов, позволяющих обеспечить отбор квалифицированных специалистов и согласовать их индивидуальные суждения по поводу предмета исследования.

Педагогическая диагностика оперирует преимущественно качественными оценками критериальных показателей исследуемого объекта. Даже количественные характеристики, полученные в результате применения педагогических измерителей, в рамках педагогической диагностики приобретают содержательную форму представления. Современное определение сущности педагогической диагностики можно сформулировать так: процесс установления и изучения признаков, характеризующих состояние различных элементов педагогической системы и условий ее функционирования для прогнозирования возможных тенденций развития, отклонений, предотвращения мерами педагогической коррекции нежелательных тенденций и стимулирования позитивных элементов развития (личности, группы, педагогических явлений) [45]. В качестве альтернативного определения педагогической диагностики можно рассматривать следующее утверждение: «Относительно самостоятельная отрасль педагогического знания, отражающая теорию и практику педагогического диагностирования и выступающая в структуре педагогики как сервисная, вспомогательная дисциплина (аналогично педагогической прогностике, педагогической этике)» [46].

Качественный характер педагогической диагностики определяет ее ценность в процессе содержательной характеристики состояния образовательного процесса. Формулируя заключения, сделанные по заранее определенным критериям, диагност способен охватить практически все аспекты исследуемого объекта. При этом возникает затруднение в количественной оценке целостного состояния образовательного процесса, а также оценке отдельных компонентов. Измерения латентных характеристик не могут быть осуществлены в рамках педагогической диагностики.

Первоосновой педагогической диагностики является психологическое тестирование [6]. До сих пор в мониторинговых исследованиях, связанных с совершенствованием структуры и содержания общего образования, широко используются опросники, построенные на основе классической методики Г.Айзенка [57], а также педагогические анкеты, результаты применения которых подвергаются статистической обработке. Это позволяет организовать солидный педагогический эксперимент, оперирующий такими понятиями, как «точность», «статистическая значимость», «ошибки измерений», «доверительная вероятность» и т.п.

Отличительной особенностью психологических опросников является использование индикаторных методик, позволяющих установить степень ситуа-тивности суждений респондентов. В рамках педагогической диагностики peaлизовать данные методики, основанные на сиюминутности ответов на провоцирующие вопросы, невозможно, так как диагностирование образовательного процесса предполагает обдумывание предмета исследования. Не решает эту проблему и статистическая обработка результатов анкетирования, основанная на необходимости получения совокупно суждения группы респондентов, а не личностных характеристик индивида как в случае психологического тестирования. Дело в том, что среднестатистический результат зависит от состава и внутренней установки опрашиваемой совокупности респондентов.

Методы математической статистики стали неотъемлемым элементов диагностики, начиная с пионерских работ Ф.Гальтона [104]. Справедливо и обратное утверждение: совершенствование статистических методов привело к возникновению наиболее эффективных способов содержательного анализа рассматриваемых объектов. Характерным примером столь продуктивного взаимодействия является факторный анализ Ч.Спирмена [110] созданный на основе теории корреляции К.Пирсона [107].

Совершенствуя корреляционный метод Ф.Гальтона, его ученик К.Пирсон сумел вывести математически корректную формулу подсчета степени соответствия двух множеств, представляющих собою индивидуальные отклонения от среднестатистических значений. В результате появилась возможность количественной оценки согласованности тех или иных факторов влияния на предмет исследования. Например, с помощью факторного анализа Ч.Спирмена было выявлено, что наиболее существенными факторами влияния на интеллект испытуемого являются логическое, вербальное, математической мышление, а также объемное представление рассматриваемых объектов.

Наиболее совершенной процедурой педагогического диагностирования является педагогическая экспертиза, органично использующая современные квалиметрические методики. Основоположником экспертного метода в нашей стране является В.С.Черепанов [95]. В применении к вопросам педагогической диагностики проблемы экспертизы образовательных программ, возникающие при разработке дидактических тестов, были проанализированы в докторской диссертации Е.А.Михайлычева [45]. Данное направление экспериментальных педагогических исследований получило развитие в работах Н.А.Кулемина по управлению общеобразовательным учреждением на основе квалиметрического подхода [34] и С.А.Сафонцева по технологии стандартизации дидактических тестов [67]. Наиболее интересные работы, связанные с организацией педагогической экспертизы в условиях автоматизации контроля знаний учащихся, опубликованы И.Д.Рудинским [63, 64, 65]. В них поднимаются актуальные вопросы согласованности суждений участников экспертной группы и их профессиональной компетентности.

Перечисленные направления развития экспертного метода были использования при разработке универсальной диагностической процедуры. С помощью метода корреляционных вопросов [72], фактически, осуществляется стандартизация педагогического измерителя, что позволяет с его помощью присваивать статус эксперта. Особую роль в квалиметрическом анкетировании играет конкордация суждений экспертной группы с целью согласования индивидуальных эталонов исследуемого объекта отдельных экспертов.

Проведение исследований в области совершенствования диагностических процедур потребовало использования широкой методологической базы. Системам управления качеством процесса обучения посвящено множество научных исследований [Бабанский Ю.К., 1977; Бермус А.Г., 2003; Гороховатская Н.В., 1998; Ефремова Н.Ф., 2003; Кошелева Е.А., 1992; Монахов В.М., 1995; Талызина Н.Ф., 1975 и др.]. При этом особое внимание всегда уделялось проблемам педагогической диагностики [Аванесов B.C., 1994; Гершунский Б.С., 1986; Ин-генкамп К., 1991; Майоров А.Н., 2000 и др.]. Поскольку вопрос о критериях, индикаторах, показателях и способах измерения в педагогической науке всегда стоял достаточно остро, следует подчеркнуть высокую значимость целого ряда современных квалиметрических теорий [Акинфиева Н.В., 1998; Нейман Ю.М., 2000; Сафонцев С.А., 2005; Субетто А.И., 1999; Татур Ю.Г., 1998; Челышкова

М.Б., 2001; Яковлев Е.В., 1998 и др.]. Методы образовательной квалиметрии, позволяющие количественно оценить степень соответствия исследуемого объекта требованиям существующих стандартов, активно проникают в содержательный анализ результатов диагностических процедур, обеспечивая эмпирическую составляющую педагогической науки.

Создание универсальной диагностической процедуры, позволяющей повысить объективность педагогического эксперимента, базировалось на теории образовательной квалиметрии С.А.Сафонцева, которая основывается на методологии современной натуральной философии, выраженной в принципах инвариантности и дискретности, утверждающих, что процесс обучения не зависит от точки зрения диагноста, а педагогическое действие включает в себя целое число структурных элементов [76]. Следствиями этих принципов является особая роль независимого диагноста, не являющегося специалистом в данной области знаний и владеющего основами образовательной квалиметрии, а также передача информации на всех этапах усвоения структурных элементов образовательной программы с наибольшей допустимой скоростью.

Поскольку квалиметрические теории уделяют особое внимание оценке качества результатов обучения, существует особое ответвление педагогической диагностики, предметом исследования которой является использование предметных тестов, а также способы обеспечения надежности и валидности педагогических измерителей. При этом дидактическую тестологию можно рассматривать как специфическую теорию среднего ранга [48]. В нашем исследовании данное направление педагогической науки было оставлено в стороне, так как дидактическим тестам посвящено множество работ как в области педагогической диагностики, так и образовательной квалиметрии. Нас, прежде всего, интересовало состояние образовательной среды как интегральное понятие, выражающее воспитательный аспект образовательного процесса, эффективность использования педагогических технологий, доступность качественного образования, а также методы управления образовательным учреждением и обеспечения безопасности учащихся.

Большим недостатком существующих теорий контроля качества образовательного процесса является отсутствие должного внимания к отдельным составляющим образовательной среды и ее совершенствованию в целом. Несмотря на то, что именно образовательная среда обеспечивает качественное обучения и воспитание подрастающего поколения. Большое значение для обеспечения эффективности образовательной среды имеет реализация демократических принципов управления образовательным учреждением, а также способы выявления мнений членов местного сообщества относительно деятельности педагогического коллектива. В условиях традиционалистского подхода к передаче учащимся знаний, умений и навыков принципиально невозможно осуществить оптимизацию процесса обучения и добиться высокого качества образования.

Рассматривая различные факторы влияния на состояние образовательной среды, каждому из них следует поставить в соответствие критериальные показатели и оценить степень их выраженности. Данная процедура предполагает сравнение исследуемого объекта с определенным эталоном. Поэтому весь спектр диагностических процедур, в том числе и дидактическое тестирование, следует отнести к сфере интересов образовательной квалиметрии.

Только с помощью теории образовательной квалиметрии можно добиться существенного повышения качества диагностических процедур, а значит и совершенствования процесса обучения в целом. Именно поэтому в качестве важнейшей задачи современной образовательной политики рассматривается овладение работниками образования современными диагностическими методиками, позволяющими осуществить всесторонний мониторинг процесса обучения и добиться высокого качества обучения и воспитания.

Актуальность исследования проблемы повышения объективности процедур педагогического диагностирования с помощью квалиметрического анализа основывается на существующих противоречиях между: и

• уровнем развития дидактической тестологии, который позволяет обеспечить объективную оценку качества обучения, и отсутствием технологий квали-метрического анализа диагностических процедур, оценивающих состояние образовательной среды;

• содержательной формулировкой педагогического диагноза и количественным представлением квалиметрических показателей;

• оснащением психологических опросников индикаторными методами выявления ситуативных ответов и отсутствием подобных методик в педагогических опросниках, анкетах и экспертных бланках.

Прямым следствием перечисленных противоречий является более высокая точность оценивания результатов обучения в сравнении с эмпирически подтвержденной информацией о состоянии образовательной среды, включающей в себя качество воспитания, использование современных педагогических технологий, доступность качественного образования, стиль управленческой деятельности, отношение местного сообщества к образовательному учреждению, сохранение здоровья и обеспечение безопасности учащихся [3]. С одной стороны, перечисленные составляющие образовательной среды являются факторами влияния на результативность процесса обучения, но, с другой стороны, они выполняют самостоятельные функции при формировании гармонично развитой личности. Разработка технологии квалиметрического анкетирования позволит осуществить объективные педагогические измерения латентных переменных образовательной среды и интегрального показателя эффективности образовательного процесса в целом.

Таким образом, мы попытались разрешить противоречие между отработанными методами дидактической тестологии и несовершенством соответствующих методов педагогической диагностики. Основываясь на теории образовательной квалиметрии и используя аналогичные методологические принципы, а также способы осуществления стандартизации диагностические процедур, удалось получить качественные педагогические измерители для исследования состояния образовательной среды. Эффективность применения квалиметриче-ских анкет была доказана в ходе полноценного педагогического эксперимента.

Конструктивные истоки анализа процедур педагогического диагностирования заложены в противоречии между содержательной формой представления педагогического диагноза и количественным способом представления квали-метрических показателей. Во-первых, диагностический и квалиметрический подходы взаимно дополняют друг друга, а во-вторых, различные интерпретации эмпирических данных позволяют повысить точность результатов исследования. Педагогический диагноз требует поэлементного анализа составляющих образовательного пространства, позволяющего сопоставить их содержательную значимость. Именно для этой цели количественные показатели, полученные в результате опроса, анкетирования или экспертизы, превращаются в содержательные оценки. В отличие от методологии педагогической диагностики, квалиметрический подход предполагает определение интегрального показателя, характеризующего эффективность образовательного процесса, обеспечивая этим необходимую точность педагогических измерений. Поэтому для квали-метрии характерен перевод содержательных оценок в количественные показатели.

Количественные оценки как отдельных критериальных показателей, так и эффективности образовательного процесса ни в коей мере не отрицают возможность содержательного анализа процесса обучения и состояния образовательной среды. Поэтому образовательная квалиметрия является лишь средством более точного выражения результатов педагогического диагностирования и предоставляет возможность сравнительной оценки деятельности образовательного учреждения или отдельного преподавателя. Именно возможность ранжирования исследуемых объектов позволила нам разработать на основе квалимет-рического анкетирования методику конкурсного отбора школ и учителей для национальной программы «Образование».

Опыт использования психологических методик подтверждает правомерность исключения из рассмотрения ситуативных суждений респондентов, что позволяет получить объективный вывод о личностных характеристиках обследуемого. Процедуры педагогического диагностирования, проводимые с целью получения объективной информации о состоянии образовательной среды, также используют суждения респондентов. Поэтому применение индикаторных методов выявления ситуативных или некомпетентных суждений позволят существенно повысить объективность диагностических процедур. Но при этом не следует забывать о квалиметрическом характере производимых измерений. Диагностическая процедура должна позволять получить количественный интегральный показатель состояния предмета исследования.

Создание встроенной индикаторной методики для квалиметрической анкеты позволило разрешить противоречие между психологическим и педагогическим диагностированием. Оказалось возможным не только установить степень ситуативности суждений респондентов, но и определение их профессиональной квалификации. В результате наиболее компетентным из них присваивался статус экспертов, и осуществлялась процедура согласования суждений группы экспертов с помощью нормировки коэффициентов профессиональной квалификации.

Таким образом, актуальность проведенного исследования определяется необходимостью разработки универсальной диагностической процедуры, позволяющей существенно повысить объективность педагогического эксперимента. Для этой цели следует использовать методологическую и технологическую базу теории образовательной квалиметрии, позволяющей осуществить количественную оценку латентных характеристик предмета исследования путем сравнения с существующими эталонами.

Целью данного исследования является выявление условий существенного увеличения точности и объективности информации, полученной в результате проведения диагностических процедур (опросов, анкетирований, экспертиз) на основе квалиметрического анализа.

Объектом исследования является педагогическое оценивание качества образования.

Предметом исследования является квалиметрический анализ процедур педагогического диагностирования.

В соответствии с поставленной целью, объектом и предметом исследования выдвигается гипотеза о том, что объективность процедур педагогического диагностирования существенно повышается в результате квалиметрического анализа, который включает в себя:

- исследование современного состояния педагогической диагностики с целью выявления возможности применения эффективных количественных методов;

- сопоставление принципиальных особенностей педагогических опросов, анкетирований и экспертиз;

- создание квалиметрической модели универсальной диагностической процедуры, позволяющей оценивать состояние образовательного процесса;

- разработку технологии квалиметрического анкетирования, включающей в себя корреляционный метод определения коэффициентов профессиональной квалификации респондентов и их нормирование с целью оценивания конкордации суждений экспертной группы.

Для реализации цели исследования и проверки гипотезы были поставлены следующие задачи:

- освоить источниковедческую базу применения квалиметрических методов в педагогической диагностике;

- составить опросник, анкету, экспертный бланк на основе одних и тех же критериальных показателей, а также произвести сравнение данных репрезентации;

- используя методологию образовательной квалиметрии, выявить ключевые особенности, которыми должна обладать универсальная диагностическая процедура, позволяющая оценить состояние образовательного процесса;

- разработать на основе корреляционного метода квалиметрическую анкету, обеспечивающую формулировку объективного педагогического диагноза и определение интегрального показателя образовательного процесса;

- осуществить экспериментальную апробацию технологии квалиметри-ческого анкетирования и сравнить полученные результаты с данными традиционного анкетирования.

Методологическими и теоретическими основами исследования стали следующие работы: современная натуральная философия М.Борна, А.Пуанкаре, Р.Фейнмана и др.; личностно-ориентированное и развивающее образование Е.В.Бондаревской, В.В.Серикова, В.Т.Фоменко и др.; теории структуры и качества образования А.А.Аветисова, Ю.К.Бабанского, А.И.Субетто, Н.Ф.Талызиной и др.; основы психологического тестирования А.Анастази, П.Клайна и др.; теории педагогической диагностики В.С.Аванесова, К.Ингенкампа, Е.А.Михайлычева, Дж.Равена, В.С.Черепанова и др.; теории дидактической тестологии А.Н.Майорова, Е.А.Михайлычева, В.И.Нардюжева, Ю.М.Неймана, М.Б.Челышковой и др.; теории образовательной квалиметрии Л.Б.Ительсона, К.Пирсона, Дж.Раша, С.А.Сафонцева и др.

Концепция исследования основана на принципах инвариантности и дискретности образовательной квалиметрии, а также модели универсальной диагностической процедуры, включающей в себя две теоремы: 1) в процессе педагогического диагностирования независимым респондентом должен быть обретен статус эксперта на основе индикаторной методики, позволяющей определить его профессиональную квалификацию, а также оценить конкордацию суждений группы экспертов; 2) содержательно значимые структурные элементы образовательной среды должны обладать максимально возможной степенью выраженности.

В процессе реализации поставленной цели и решения задач использовались общенаучные и специальные методы теоретического и эмпирического исследования: анализ и синтез основных принципов современной натуральной философии; квалиметрическое моделирование закономерностей образовательного процесса; статистическая обработка результатов диагностических процедур; выявление количественных показателей состояния образовательной среды.

Этапы исследования по разработке универсальной диагностической процедуры для оценивания состояния образовательной среды:

1. Изучение методов педагогической диагностики и образовательной ква-лиметрии параллельно с преподавательской деятельностью на почасовой основе в Северо-Кавказской академии государственной службы. (2004-2005 гг.)

2. Проблемно-ориентированный анализ первоисточников с целью выявления особенностей различных диагностических процедур, а также экспериментальное сопоставление результатов опросов, анкетирований и экспертиз. (2005-2006 гг.)

3. Создание квалиметрической модели универсальной диагностической процедуры и разработка технологии квалиметрического анкетирования. Апробация результатов исследования на репрезентативной выборке слушателей курсов повышения квалификации и применение квалиметрического анкетирования для конкурсного отбора образовательных учреждений и учителей. (2006 г.)

Достоверность и обоснованность основных положений и выводов диссертации обеспечиваются четкой проработанностью методологических и теоретических основ проведенного исследования; внутренней непротиворечивостью и логической обоснованностью рассматриваемых проблем; комплексным характером используемых принципов и методов научного исследования; опорой на широкий круг первоисточников классиков педагогической диагностики и образовательной квалиметрии; совершенством проведенных эмпирических исследований, позволяющих оценить статистическую значимость полученных результатов.

Научная новизна и теоретическая значимость.

Впервые проведен сравнительный анализ методологических основ педагогической диагностики и образовательной квалиметрии. Выявлены характерные особенности процедур педагогического диагностирования. Создана квали-метрическая модель универсальной диагностической процедуры. Доказано, что в качестве универсальной процедуры педагогического диагностирования необходимо рассматривать квалиметрическое анкетирование.

Практическую значимость исследования подтверждают данные экспериментальной апробации технологии квалиметрического анкетирования, в котором приняли участие сотрудники и слушатели курсов повышения квалификации Ростовского областного ИПК и ПРО, а также использование материалов диссертации для разработки методики конкурсного отбора образовательных учреждений и учителей в рамках национального проекта «Образование».

Основанием говорить о теоретической и практической значимости проведенного исследования является апробация результатов на репрезентативной выборке работников образования Ростовской области. В процессе проведения констатирующего эксперимента по сопоставлению характерных особенностей процедур педагогического диагностирования были использованы результаты стратификации показателей состояния образовательного процесса, проведенной с помощью группы экспертов. На основе теории корреляции была определена степень согласованности результатов обследований, проведенных с использованием различных диагностических материалов. Репрезентации опросника и анкеты для конкурсного отбора образовательных учреждений проводились на представительной выборке работников образования объемом 200 человек.

В основу формирующего эксперимента по обоснованию квалиметриче-ской модели универсальной диагностической процедуры была положена методология образовательной квалиметрии, позволившая разработать технологию квалиметрического анкетирования. В процессе формирующего и по данным контрольного экспериментов была доказана высокая точность и статистическая значимость результатов квалиметрического анкетирования, а, следовательно, непротиворечивость теоретической модели и обоснованность выдвижения гипотезы данного исследования.

Положения, выносимые на защиту:

1. Основным фактором влияния на объективность диагностических процедур является эффективность индикаторных методик, позволяющих отсеять ситуативные и некомпетентные суждения респондентов. В качестве универсальной диагностической процедуры следует рассматривать квалиметрическое анкетирование, которое включает в себя определение профессиональной квалификации респондентов и конкордации суждений экспертной группы.

2. В основу технологии квалиметрического анкетирования положена методология образовательной квалиметрии, которая применительно к процедурам педагогического диагностирования приводит к следующим выводам:

1) поскольку условия реализации образовательного процесса не должны зависеть от точки зрения эксперта, респонденту в процессе диагностирования следует приобрести статус эксперта;

2) педагогическое действие содержит целое число структурных элементов образовательного процесса, обладающих максимально возможной степенью выраженности.

3. Технология квалиметрического анкетирования качества образовательного процесса включает в себя:

1) отбор критериев и показателей на основе выборочного метода;

2) начисление респондентами рейтинговых баллов по каждому критериальному показателю;

3) определение профессиональной квалификации респондентов на основе корреляционного метода и присвоение статуса эксперта;

4) формулировку педагогического диагноза на основе экспертных суждений;

5) оценку конкордацин суждений членов экспертной группы и вычисление интегрального показателя состояния образовательного процесса.

Опытно-экспериментальной базой исследования является Ростовский областной институт повышения квалификации и переподготовки работников образования (РО ИПК и ПРО) с филиалами в городах Волгодонске, Каменске-Шахтинском, Таганроге и Шахтах, а также муниципальные органы управления образованием и методические центры Ростовской области. Результаты исследования используются в работе сотрудников кафедр РО ИПК и ПРО, а также кафедр общей педагогики Таганрогского государственного педагогического института, педагогики и педагогической психологии Ростовского государственного университета.

Обсуждение результатов диссертации было проведено на секционных заседаниях пятой научно-практической конференции «Информационные технологии в образовании» (Ростов-на-Дону, 2005), на шестой научно-практической конференции «Информационные технологи в образовании» (Ростов-на-Дону, 2006), проводившихся в рамках международного конгресса конференций (Москва, 2005, 2006), а также на страницах регионального научно-методического журнала «Практические советы учителю» №4 за 2006 год. По материалам диссертационного исследования опубликована статья в журнале «Стандарты и мониторинг в образовании» № 2 за 2006 год: «Критерии и показатели конкурсного отбора образовательных учреждений», и 2 статьи в журнале «Гуманитарные и социально-экономические науки» №4 и №5 за 2006 год: «Квалиметрический эксперимент в педагогических исследованиях» и «Критерии и показатели конкурсного отбора образовательных учреждений». Опубликована монография по теме диссертации, которая используется в системе дополнительного профессионального педагогического образования.

Структура и объем диссертации. Диссертация состоит из введения; 2-х глав; заключения, включающего основные теоретические и экспериментальные выводы, практические рекомендации и перспективы дальнейшего исследования

Заключение диссертации научная статья по теме "Общая педагогика, история педагогики и образования"

ЗАКЛЮЧЕНИЕ. ВЫВОДЫ. ПРАКТИЧЕСКИЕ РЕКОМЕНДАЦИИ. ПЕРСПЕКТИВЫ

1. Педагогическая диагностика обладает особой методологической функцией, которая подтверждается согласованностью составляющих мониторинга с основными этапами научного исследования. Данная функция способна реализоваться только при условии сочетания классических диагностических подходов с квалиметрическими методами. Универсальная диагностическая процедура должна не только обеспечивать формулировку содержательного педагогического диагноза, но и определение интегрального количественного показателя, характеризующего состояние предмета исследования.

2. Традиционными процедурами педагогической диагностики являются: тестирование, опрос, анкетирование, экспертиза. Соответственно принципиальными особенностями диагностических процедур являются: 1) в случае опроса -быстрый темп подачи и оценивания простых утверждений, позволяющий выявить ситуативные суждения респондентов; 2) в случае анкетирования - логическая обоснованность суждений респондентов, которые подвергаются статистической обработке; 3) в случае экспертизы - опережающий характер отбора специалистов, приводящий к контаминации критерия и снижению объективности диагностической процедуры. В результате сравнительного эксперимента было установлено, что данные традиционного анкетирования были подверженными смещению в результате контаминации критерия.

3. Основным фактором влияния на объективность диагностических процедур является эффективность индикаторных методик, позволяющих отсеять ситуативные и некомпетентные суждения респондентов. В качестве универсальной диагностической процедуры следует рассматривать квалиметрическое анкетирование, которое включает в себя определение профессиональной квалификации респондентов и конкордации суждений экспертной группы.

4. В процессе создания технологии квалиметрического анкетирования использовалась методология теории образовательной квалиметрии, в основу которой положены принципы инвариантности и дискретности. Поскольку условия реализации образовательного процесса не должны зависеть от точки зрения эксперта, респонденту следует приобрести в процессе диагностирования статус эксперта. Педагогическое действие содержит целое число структурных элементов образовательного процесса, обладающих максимально возможной степенью выраженности.

5. Технология квалиметрического анкетирования включает в себя: 1) отбор критериев и показателей на основе выборочного метода; 2) начисление респондентами рейтинговых баллов по каждому критериальному показателю; 3) определение профессиональной квалификации респондентов на основе корреляционного метода и присвоение статуса эксперта; 4) формулировку педагогического диагноза на основе экспертных суждений; 5) оценку конкордации суждений членов экспертной группы и вычисление интегрального показателя состояния образовательного процесса.

6. Подбор критериев определяется факторами влияния на предмет исследования, что позволяет гарантировать высокую содержательную валидность квалиметрической анкеты. Конструктные свойства диагностического материала зависят от особенностей интегральной характеристики, которую предполагается измерять с помощью квалиметрической анкеты. Экспертная оценка относительной весомости критериев, произведенная в ходе констатирующего эксперимента, гарантирует высокую конструктную валидность диагностического материала.

7. В процессе подбора критериальных показателей в квалиметрическую анкету встраивается индикаторная методика, которая представляет собой две параллельные группы показателей, отражающих одни и те же свойства предмета исследования и образующих корреляционные пары. Согласованность суждений респондента по поводу концептуальных и прикладных утверждений, входящих в соответствующие пары критериальных показателей, характеризует его профессиональную квалификацию.

8. Поскольку в основу определения профессиональной квалификации респондента положена внутренняя конкордация его суждений, минимально допустимое значение коэффициента корреляции, соответствующее экспертному уровню профессиональной квалификации респондента, совпадает с экстремальным коэффициентом конкордации суждений экспертной группы.

9. Каждый эксперт обладает индивидуальным эталоном предмета исследования, который характеризуется индивидуальный коэффициент конкордации, полученным в процессе нормирования коэффициентов профессиональной квалификации членов экспертной группы. Трансформация экспертной группы приводит к изменению коэффициентов конкордации, отражающих не столько индивидуальные качества специалиста, сколько их согласованность с соответствующим показателем других экспертов.

10. Повышение объективности процедур педагогического диагностирования обеспечивается базирующейся на методологии образовательной квалиметрии технологии квалиметрического анкетирования, включающей в себя корреляционный метод определения коэффициентов профессиональной квалификации респондентов и их нормирование с целью оценивания конкордации суждений экспертной группы.

Использование технологии квалиметрического анкетирования предполагает овладение основами образовательной квалиметрии, что позволяет добиться повышения объективности процедур педагогического диагностирования. Дальнейшие исследования в данной области предполагают разработку адекватной процедуры вычисления весовых коэффициентов, характеризующих профессиональную квалификацию респондентов и позволяющих вычислить средневзвешенный рейтинговый балл. Это позволит упростить подбор критериев и показателей для квалиметрической анкеты, а также добиться большей достоверности результатов обследования.

Список литературы диссертации автор научной работы: кандидата педагогических наук, Шамильян, Ольга Ивановна, Ростов-на-Дону

1. Аванесов B.C. Методологические и теоретические основы тестового педагогического контроля: Автореф. дисс. . д-ра пед. наук. СПб., 1994. 50 с.

2. Аванесов B.C. Композиция тестовых заданий. М.: Центр тестирования, 2002. 240 с.

3. Аветисов А.А. О системологическом подходе в теории оценки и управления качеством образования / Квалиметрия человека и образования: методология и практика. М.: Центр тестирования, 1996. 145 с.

4. Айзенк Г. Узнай свой собственный коэффициент интеллекта. М.: Наука, 1995. 125 с.

5. Акинфиева Н.В. Квалиметрический инструментарий педагогических исследований // Педагогика. 1998. № 4. С. 30-35.

6. Анастази А. Психологическое тестирование: В 2 т. М.: Педагогика, 1982. 613 с.

7. Анисимова Т.С., Маслак А.А., Осипов С.А., Пушечкин Н.П., Хлебников В.А. Исследование дифференцирующей способности модели Раша на основе имитационного эксперимента // Педагогическая диагностика. 2003. № 1. С. 103-117.

8. Бабанский Ю.К. Оптимизация процесса обучения. М.: Педагогика, 1977. 256 с.

9. Бермус А.Г. Управление качеством профессионально-педагогического образования: Автореф. дисс. . д-ра пед. наук. Ростов-на-Дону, 2003. 50 с.

10. Беспалько В.П. Слагаемые педагогической технологии. М.: Педагогика, 1989.192 с.

11. Боев Г.П. Теория вероятностей. М.; JL: Наука; 1950. 368 с.

12. Бондаревская Е.В. Теория и практика личностио-ориентированного образования. Ростов-на-Дону: Изд-во РГПУ, 2000. 352 с.

13. Борн М. Эйнштейновская теория относительности. М.: Мир, 1972. 368 с.

14. Вильман О. Дидактика как история образования в ее отношениях к социологии и истории образования. М.: Педагогика, 1904. 471 с.

15. Геллерштейн С.Г. Проблемы тестирования // Психология труда. 1969. 4.2. С.З.

16. Гербарт И.Ф. Избранные педагогические сочинения. М.: Педагогика, 1940. 142 с.

17. Гершунский Б.С. Педагогическая прогностика: методология, теория, практика. Киев: Думка, 1986. 200 с.

18. Гильбух Ю.З. Актуальные проблемы валидизации психологических тестов // Вопросы психологии. 1978. № 5. С. 108-118.

19. Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии. М.: Наука, 1978. 496 с.

20. Горбачева Е.И. Психологический анализ критериального задания // Вопросы психологии. 1991. № 2. С. 75-76.

21. Гороховатская Н.В. Оценка качества в образовании: цели и средство? // Контроль качества и оценка в образовании. СПб., 1998. С. 133-137.

22. Ефремова Н.Ф. Тестовый контроль качества учебных достижений в образовании: Автореф. дисс. . д-ра пед. наук. Ростов-на-Дону, 2003. 50 с.

23. Ермаков М.Е. Выборочный метод в научно-педагогических исследованиях и педагогической диагностике. Ростов-на-Дону: Изд-во РО ИПК и ПРО, 2004. 88 с.

24. Ингенкамп К. Педагогическая диагностика. М.: Наука, 1991. 240 с.

25. Ительсон Л.Б. Математические методы в педагогике: Автореф. дисс. . д-ра пед. наук. М., 1965. 50 с.

26. Кантор И.М. Понятийно-терминологическая система педагогики. М.: Педагогика, 1980. 245 с.

27. Каплан В.Е., Каплан М.В. К основам статистической обработки успеваемости в системе мониторинга качества образования // Стандарты и мониторинг в образовании. 1999. № 5. С. 32-39.

28. Клайн П. Справочное руководство по конструированию тестов. Введение в психометрическое проектирование. Киев: Думка, 1994. 283 с.

29. Ковалева Г.С., Красновская Э.А., Краснокутская Л.П., Краснянская К.А. Оценки знаний и умений. Международная программа PISA // Педагогическая диагностика. 2002. № 1. С. 119-140.

30. Ковалева Г.С. Состояние Российского образования (по результатам международных исследований) // Педагогическая диагностика. 2003. № 4. С. 128-142.

31. Ковалева Г.С. Международное исследование TIMSS // Педагогическая диагностика. 2005. № 6. С. 125-138.

32. Кошелева Е.А. Диагностика результатов обучения в условиях нового содержания образования. М.: Педагогика, 1992. С. 160-169.

33. Кувандиков O.K., Ким B.C. Методические указания по составлению тестовых заданий. Самарканд: Восток, 1992.

34. Кулемин Н.А. Управление общеобразовательными учреждениями на основе квалиметрического подхода: Теоретико-методологический аспект: Автореф. дисс. канд. пед. наук. Ижевск, 1997.24 с.

35. Куписевич Ч. Основы общей дидактики. М.: Педагогика, 1985. 318 с.

36. Левитес Д.Г. Школа для профессионалов, или Семь уроков для тех, кто учит. М.; Воронеж: Изд-во ВГУ, 2001. 256 с.

37. Майоров А.Н. Теория и практика создания тестов для системы образования. М.:Интеллект-центр, 2000. 352 с.

38. Майоров А.Н. Мониторинг в образовании. М.: Интеллект-центр, 2005. 424 с.

39. Марев И.В. Методологические основы дидактики. М.: Педагогика, 1987. 224 с.

40. Машбиц Е.И. Психолого-педагогические проблемы компьютеризации обучения. М.: Наука, 1988. 192 с.

41. Методика и техника статистической обработки первичной социологической информации. М.: Наука, 1968. 89 с.

42. Методология педагогического исследования / Под ред. М.Н. Скаткина. М.: Педагогика, 1986. 28 с.

43. Методы психологического исследования / Под ред. В.И. Журавлева. М.: Наука, 1972.159 с.

44. Михайлов С.А. Эмпирическое социологическое исследование. М.: Наука, 1975. 383 с.

45. Михайлычев Е.А. Теоретические основы педагогической диагностики: Автореф. дисс. д-ра пед. наук. Екатеринбург, 1991. 50 с.

46. Михайлычев Е.А. Терминология педагогической диагностики. Ростов-на-Дону: Изд-во РО ИПК и ПРО, 1997. 86 с.

47. Михайлычев Е.А. Конструирование дидактических тестов. Ростов-на-Дону: Изд-во РО ИПК и ПРО, 2000. 102 с.

48. Михайлычев Е.А. Дидактическая тестология. М.: Народное образование, 2001.432 с.

49. Михеев В.И. Моделирование и методы теории измерения в педагогике. М.: Педагогика, 1987. 128 с.

50. Монахов В.М. Технологические основы проектирования и конструирования учебного процесса. Волгоград: Изд-во ВГПУ, 1995. 432 с.

51. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Центр тестирования, 2000.168 с.

52. Нурминский И.И., Гладышев Н.К. Статистические закономерности формирования знаний и умений учащихся. М.: Наука, 1991. 224 с.

53. Общая психодиагностика. М.: Наука, 1987. 304 с.

54. Овакимян В.О. Опыт применения вероятностной модели обучения // Педагогика. 1993. № 2. С. 24-26.

55. Окунь В.И. Введение в общую дидактику. М.: Педагогика, 1990. 382 с.

56. Орлов А.И. Теория измерений и педагогическая диагностика // Педагогическая диагностика. 2004. № 2. С. 20-32.

57. Психология личности: тесты, опросники, методики. М.: Народное образование, 1995.220 с.

58. Пуанкаре А. О науке. М.: Наука, 1990. 736 с.

59. Равен Дж. Педагогическое тестирование. М.: Наука, 1999. 142 с.

60. Розенберг Н.М. Проблемы измерений в дидактике. Киев: Думка, 1979. 128 с.

61. Руденко В.А. Технология конструирования педагогической анкеты // Педагогическая диагностика. 2002. № 1. С. 81-88.

62. Руденко В.А. Интервью в педагогическом исследовании // Педагогическая диагностика. 2002. № 2. С. 87-95.

63. Рудинский И.Д. Принципы автоматизации педагогического контроля знаний // Педагогическая диагностика. 2003. № 1. С. 54-60.

64. Рудинский И.Д., Клеандрова И.А. Как оценить объективность контроля знаний? // Педагогическая диагностика. 2003. № 3. С. 107-116.

65. Рудинский И.Д. Основы формально-структурного моделирования систем обучения и автоматизации тестирования знаний. М.: Горячая линия-Телеком, 2004.204 с.

66. Сафонцев С.А. Система контроля качества образовательного процесса. Ростов-на-Дону: Изд-во РО ИПК и ПРО, 2002. 68 с.

67. Сафонцев С.А. Технология критериально ориентированного тестирования потенциальных возможностей учащихся: Автореф. дисс. . канд. пед. наук. Ростов-на-Дону, 2002. 24 с.

68. Сафонцев С.А. Контроль качества образовательного процесса на основе тестовой диагностики // Школьные технологии. 2002. № 5. С. 169-180.

69. Сафонцев С.А. Конструктная валидность теста потенциальных возможностей школьников // Педагогическая диагностика. 2002. № 2. С. 83-87.

70. Сафонцев С.А. Инвариантность образовательного процесса. Ростов-на-Дону: Изд-во РО ИПК и ПРО, 2002. 83 с.

71. Сафонцев С.А. Дискретность образовательного процесса. Ростов-на-Дону: Изд-во РО ИПК и ПРО, 2003. 102 с.

72. Сафонцев С.А. Обеспечение объективности результатов педагогического анкетирования // Педагогическая диагностика. 2003. № 1. С. 76-83.

73. Сафонцев С.А. Методология образовательной квалиметрии // Педагогическая диагностика. 2003. № 3. С. 86-101.

74. Сафонцев С.А. Образовательная квалиметрия // Педагогическая диагностика. 2003. № 4. С. 24-43.

75. Сафонцев С.А., Раскина Е.А., Попов С.В. К вопросу стандартизации критериально ориентированного теста // Стандарты и мониторинг в образовании. 2003. № 3. С. 27-37.

76. Сафонцев С.А. Образовательная квалиметрия в системе повышения квалификации. Ростов-на-Дону: Изд-во РО ИПК и ПРО, 2003.160 с.

77. Сафонцев С.А. Процедура стандартизации дидактического теста // Педагогическая диагностика. 2004. № 1. С. 114-129.

78. Сафонцев С.А. Образовательная квалиметрия как фактор повышения эффективности контроля качества процесса обучения: Автореф. дисс. . д-ра пед. наук. Ростов-на-Дону, 2005. 50 с.

79. Сафонцев С.А., Попов С.В., Сафонцева Н.Ю. Квалиметрические измерения в процессе мониторинга структуры и содержания образовательных программ // Стандарты и мониторинг в образовании. 2005. № 4. С. 20-23.

80. Сафонцев С.А., Стрюков М.Б., Кравченко В.Ф. Образовательная квалиметрия. Ростов-на-Дону: Изд-во РКСИ, 2006. 36 с.

81. Сафонцев С.А., Коновалова И.С. Технология разработки и оценивания программ дополнительного профессионального образования. Ростов-на-Дону: Изд-во РО ИПК и ПРО, 2006. 100 с.

82. Сафонцев С.А., Шамильян О.И. Как организовать педагогический эксперимент // Практические советы учителю. 2006. № 4. С. 3-11.

83. Селевко Т.К. Современные образовательные технологии. М.: Педагогика, 1998.256 с.

84. Сериков В.В. Образование и личность: Теория и практика проектирования подсистем. М.: Народное образование, 1999. 276 с.

85. Субетто А.И. Качество человека как объект квалиметрии образования // Квалиметрия человека и образования. Ч. I. М.: Наука, 1999.435 с.

86. Талызина Н.Ф. Управление процессом усвоения знаний. М.: Народное образование, 1975. 343 с.

87. Татур Ю.Г. О проблемах измеримости образовательных стандартов и мониторинга качества образования / Квалиметрия человека и образования: методология и практика. М.: Педагогика, 1998. 377 с.

88. Фарберман Б.Л. Составление дидактических тестов. Ташкент: Средняя Азия, 1993.80 с.

89. Фоменко В.Т. Исходные логические структуры процесса обучения. Ростов-на-Дону: Изд-во Рост, ун-та, 1985. 216 с.

90. Хрестоматия по истории зарубежной педагогики и школы / Под ред. А.И.Пискунова. М.: Народное образование, 1981. 520 с.

91. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей. М.: Центр тестирования, 1995. 32 с.

92. Челышкова М.Б. Теоретико-методологические и технологические основы адаптивного тестирования в образовании: Автореф. дисс. . д-ра пед. наук. СПб., 2001. 50 с.

93. Черепанов B.C. Экспертные оценки в педагогических исследованиях. М.: Педагогика, 1989. 152 с.

94. Черепанов B.C. Теоретические основы педагогической экспертизы: Авто-реф. дисс. д-ра пед. наук. Глазов, 1990. 50 с.

95. Черепанов B.C., Кулемин И.Н. Рейтинговые системы в образовании // Педагогическая диагностика. 2003. № 4. С. 79-84.

96. Шляпентох В.Э. Проблемы репрезентативности социологической информации. М.: Наука, 1976. 214 с.

97. Эльконин Д.Б. Избранные психологические труды. М.: Наука, 1989. 560 с.

98. Эльконин Д.Б. Психолого-педагогическая диагностика: проблемы и задачи / Психодиагностика и школа. Таллин, 1980. 142 с.

99. Яковлев Е.В. Квалиметрический подход в педагогическом исследовании: новое видение // Педагогика. 1998. № 3. С. 49-54.

100. Cattell J. McK. Mental tests and measurements. Mind, 1890,15 p.

101. Ebel R.L. Content standard test scores. Educational and Psychological Measurement. 1962, 22 p.

102. Ebel R.L. Measuring Educational Achievement. Englewood Cliffs, N. J. 1965. 204 p.

103. Galton F. Psychometric experiments. Brain. 1879, 2 p.

104. Glaser R. Instructional technology and the measurement of learning outcomes. American Psychologist. 1963,18 p.

105. Kuder G.F., Richardson M.W. The theory of the estimation of test reliability. Psychometric, v. 2, No 3, September, 1937, 36 p.

106. Pearson K. On lines and planes of closest fit to systems of points in space. Philosophical Magazine, Series 6.1901. 2 p.

107. Rasch G. Probabilistic Models for Some Intelligence and Attainment Test, 1960, Copenhagen, Denmark: Danish Institute for Educational Research. 45 p.

108. Rulon P.J. A simplified procedure for determining the reliability of a test of split-halves. Harvard Educational Review. 1939, 9. P. 25-35.

109. Spearman С. General intelligence objectively determined and measured. American Journal of Psychology, 1904,15 p.