Модель и технология комплексной экспертизы качества тестовых материалов для системы профессионального образования

Максимова, Оксана Александровна

Темы диссертаций по педагогике » Теория и методика профессионального образования

автореферат и диссертация по педагогике 13.00.08 для написания научной статьи или работы на тему: Модель и технология комплексной экспертизы качества тестовых материалов для системы профессионального образования

Автореферат

Автор научной работы: Максимова, Оксана Александровна
Ученая степень: кандидата педагогических наук
Место защиты: Москва
Год защиты: 2010
Специальность ВАК РФ: 13.00.08

Диссертация

Автореферат диссертации по теме "Модель и технология комплексной экспертизы качества тестовых материалов для системы профессионального образования"

004606019

МАКСИМОВА Оксана Александровна

МОДЕЛЬ II ТЕХНОЛОГИЯ КОМПЛЕКСНОЙ ЭКСПЕРТИЗЫ КАЧЕСТВА ТЕСТОВЫХ МАТЕРИАЛОВ ДЛЯ СИСТЕМЫ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

Специальность: 13.00.08 - теория и методика профессионального образования

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата педагогических наук

2 4 ИЮН

004606019

МАКСИМОВА Оксана Алсксацлрошт

Специальность: 13.00.08 - теория и методика профессионального образования

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата педагогических наук

Диссертация выполнена в отделе программ и технологий начального и среднего профессионального образования и подготовки Центра начального, среднего, высшего и дополнительного профессионального образования Федерального института развития образования Министерства образования и науки Российской Федерации

Научный руководитель:

кандидат технических наук, доцент

Пермяков Олег Евгеньевич

Научный консультант:

Официальные оппоненты:

доктор педагогических наук, доцент

Менькова Светлана Викторовна

доктор педагогических наук, профессор

Кравцов Сергей Сергеевич

Ведущая организация:

кандидат педагогических наук, доцент

Митрофанов Кирилл Германович

ГОУ ВПО «Российский государственный

профессионально-педагогический

университет»

Защита состоится _29 июня 2010 г., в 10.00 часов, на заседании

Диссертационного совета Д 212.342.02 по защите диссертаций на соискание ученой степени доктора (кандидата) педагогических наук при Федеральном институте развития образования по адресу: 125319 Москва, ул. Черняховского, 9.

С диссертацией можно ознакомиться в библиотеке Института.

Текст автореферата размещен на сайте Федерального института развития образования: www.firo.ru.

Автореферат разослан_2 8 мая_2010 г.

Ученый секретарь Диссертационного совета, кандидат педагогических наук, доцент л/- 1шЯ, В.Н. Манюкова

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. Современное социально-экономическое и политическое развитие России формирует новые требования к качеству подготовки специалистов. Согласно «Концепции модернизации российского образования на период до 2010 года» основной целью профессионального образования является «подготовка квалифицированного работника соответствующего уровня и профиля, конкурентоспособного на рынке труда, компетентного, ответственного, свободно владеющего профессией и ориентированного в смежных областях деятельности, способного к эффективной работе по специальной и профессиональной мобильности, удовлетворению потребностей личности в получении соответствующего образования» [79].

Процесс повышения качества профессионального образования затрагивает все уровни образовательной деятельности. В контексте мировых тенденций к обеспечению качества высшего профессионального образования особую значимость приобрела проблема разработки и внедрения внутривузовских систем оценки качества образования.

Как следствие преобразований в системе профессионального образования, возникает проблема формирования принципиально новых подходов к педагогическому контролю учебных достижений обучающихся. В новой парадигме педагогической науки акцент ставится, прежде всего, на многомерном и многоэтапном измерении качества учебных достижений обучающихся. Необходимость в достоверной оценке актуализировала проблему поиска эффективных научно обоснованных методов и средств контроля качества результатов профессионального образования. Одним из эффективных средств педагогического контроля качества обучения является педагогическое тестирование.

Современное педагогическое тестирование представляет собой комплекс стандартизованных методов измерения учебных достижений обучающихся. Эффективность применяемой системы контроля зависит не только от объективных и надежных технологий, но и от качества применяемых тестовых материалов. В этой связи проблема обеспечения систем контроля качества образования надежными и валидными тестами приобрела особую актуальность.

В научных исследованиях зарубежных (К. Ингеякамп, Б. Немерко, К. Денек, Ю: Кеттел, В. Оконь, Б. Блум и др.) и отечественных (В С. Аванесов, В.П. Беспалько, Н.Ф. Ефремова, М. В. Кларин, Г.С. Ковалева, А.Н. Майоров, А.О. Татур, B.C. Черепанов, М.Б. Челышкова и др.) ученых доказано, что педагогические тесты обладают рядом преимущественных свойств перед другими средствами педагогического контроля: технологичность, оперативность, объективность, систематичность, комплексность, полифункциональность, универсальность и т.д. В системе профессионального образования дидактические тесты являются основным средством оценки качества и мониторинга профессионального образования:

в процедурах оценки результатов образовательной деятельности, аккредитации образовательных учреждений и т.д.

Одной из важнейших задач применения тестовых технологий для контроля в учебном процессе является разработка и совершенствование педагогических тестов как максимально объективного и точного измерительного инструмента.

В настоящее время в практике применения тестовых технологий в системе профессионального образования существуют противоречия между: S потребностью в достоверной и оперативной информации о качестве учебных достижений обучающихся и невозможностью ее получения из-за отсутствия стандартизированных фондов оценочных средств; необходимостью в повышении качества тестов и используемыми методами экспертизы, которые не позволяют получить объективную оценку их качества; S целями экспертизы и невозможной их полной реализации из-за отсутствия комплексного подхода в применении релевантных методов оценивания качества тестовых материалов; S потребностью в технологии комплексной экспертизы качества тестовых материалов, применение которой позволит обеспечить контроль надежными и валидными тестами, и отсутствием соответствующей технологии.

Проблема исследования заключается в необходимости разработки и апробации технологии комплексной экспертизы качества тестовых материалов для системы профессионального образования.

Практика применения тестовых технологий выявила важнейшую проблему: использование некачественных тестов для педагогического контроля качества обучения. Как возможное решение этой проблемы Министерством образования России был подписан Приказ «О сертификации качества педагогических тестовых материалов» (Приказ от 17.04.2000 №1122). В это же время начались активные научные разработки моделей экспертизы качества тестовых материалов и процедур сертификации тестов с разных позиций: на основе формальных правил конструирования тестовых заданий (H.A. Гулюкина, В.Ю. Переверзев, C.B. Клишина), формально-содержательных правил (М.Б. Челышкова, B.C. Аванесов, Е.Л. Михайлычев, В.И. Васильев, A.B. Никитин) и методологических основ (Е.Д. Попова, Д.М. Узденов). Несмотря на накопленный научно-педагогический опыт в области дидактической тестологии, вопрос об оценивании качества тестовых материалов до сих пор остается актуальным.

Значимость данной проблемы определила тему исследования: «Модель и технология комплексной экспертизы качества тестовых материалов для системы профессионального образования».

В данном диссертационном исследовании термин «тестовый материал» используется применительно к педагогическим тестам, не прошедшим процедуру стандартизации и сертификации.

Объест исследования: качество тестовых материалов. Предмет исследования: модель и технология комплексной экспертизы качества тестов, используемых в системе профессионального образования.

Под технологией понимается «система условий, форм, методов, средств и критериев решения поставленной педагогической задачи» (A.M. Новиков, 2009).

Цель исследования: разработка модели оценки качества тестовых материалов и технологии комплексной экспертизы тестовых материалов как фактора обеспечения , достоверности оценки учебных достижений обучающихся в учреждениях профессионального образования. '

Гипотеза исследовали« состоит в предположении о том, что качество тестов может быть обеспечено, если:

- качество тестов рассматривать как интегральное свойство, проявляющееся через соответствие требованиям к качеству содержательных, формальных, функциональных и структурно-логических характеристик тестовых материалов;

- оценка качества тестов будет проводиться с использованием методов комплексного оценивания на основе критериев и показателей качества тестовых материалов;

- технология комплексной экспертизы качества тестов будет разработана на основе модели оценки тестовых материалов.

В соответствии с целью и гипотезой исследования были определены следующие задачи:

1. Провести теоретический обзор научной .литературы по проблемам разработки и применения тестовых материалов для контроля учебных достижений обучающихся в системе профессионального образования.

2. Проанализировать опыт применения существующих моделей оценки качества тестовых материалов.

3. Обосновать необходимость комплексного оценивания качества тестовых материалов.

4. Обосновать систему критериев и показателей качества тестовых материалов.

5. Разработать модель оценки качества тестовых материалов на основе комплексного оценивания.

6. Разработать технологию комплексной экспертизы качества тестовых материалов для системы профессионального образования.

7. Провести апробацию технологии комплексной экспертизы качества тестовых материалов.

Теоретико-методологическую основу исследования составили ведущие положения:

S теории и методологии профессионального образования (В.И. Байденко, В.И.Блинов, А.Т. Глазунов, А.Н. Лейбович, М.В. Никитин, A.M. Новиков, П.Н. Новиков, Е.А. Рыкова, Д.В. Чернилевский, и др.);

S методологии системного анализа (Ф.П. Тарасенко, Ф.И. Перегудов, И.В.

Прангишвили, Я. Такахара), S общей, образовательной и педагогической квалиметрии (Г.Г. Азгальдов, С.И. Архангельский, В.И. Байденко, К. Ингенкамп, А.Н. Майоров, Е.А. Михайлычев, В.И. Огорелков, С.А. Сафонцев, А.И. Субетто, и др.); S в области формирования систем оценки качества образовательных достижений обучающихся (В.П. Беспалько, В.И. Блинов, К. Ингенкамп, А.Н. Лейбович, А.Н. Майоров, A.M. Новиков, O.E. Пермяков, А.И. Субетто и др.).

S разработки технологий компьютерного тестирования (В.И. Васильев, Т.Н. Тягу нова и др.);

J таксономии уровней усвоения учебного материала (В.П. Беспалько, Г.К.

Селевко, Д. Толлингерова, К. Денек); S теории и технологии обучения (С.И. Архангельский, Ю.К. Бабанский, В.П. Беспалько и др.);

J дидактической тестологии (B.C. Аванесов, Т.М. Балыхина, H.A. Гулюкина, Н.Ф. Ефремова, C.B. Клишина, В.Ю. Переверзев, М.Б. Челышкова, и др.); работы в области экспертного оценивания (А.И. Орлов, Б.Г. Литвак, B.C. Черепанов).

Методы исследования: при решении поставленных задач были использованы теоретические методы (теоретико-информационный анализ научной литературы; понятийно-терминологический анализ философских и педагогических источников; проектирование и моделирование технологических процессов комплексной экспертизы с помощью программного обеспечения BP Win 4.1); эмпирические методы (анкетирование; тестирование, сбор и обработка данных с использованием программ Statistica, Exel, Winsteps, SPSS Statistics 17.0; методы экспертных оценок, примененные при апробации технологии комплексной экспертизы качества тестовых материалов); методы математической статистики и статистики качеств, примененные при обработке экспериментальных данных.

База исследования:

Опытно-экспериментальная работа проводилась на базе ГОУ ВПО «Томский политехнический университет» (ТПУ). В эксперименте приняли участие обучающиеся I и II курсов (было проведено свыше 30 тыс. человеко-экзаменов в период с 2003 по 2005 гг.), преподаватели общеобразовательных дисциплин, разработчики и эксперты тестовых материалов, организаторы тестирования, слушатели курсов повышения квалификации Томского областного института повышения квалификации и переподготовки работников образования.

Этапы диссертационного исследования. Исследование проводилось в три этапа.

На первом этапе (2002-2003 гг.) изучалось состояние проблемы в теории и практике контроля и мониторинга качества учебных достижений

студентов технического вуза, осуществлялся ее всесторонний анализ, разрабатывались и проверялись отдельные подходы и процедуры, впоследствии составившие основу модели комплексной экспертизы качества тестовых материалов, определялась гипотеза исследования.

На втором этапе (2003-2005 гг.) были уточнены предмет и задачи исследования, разработана модель оценки качества тестовых материалов с позиций комплексного оценивания, проведена опытно-экспериментальная работа по проведению апробации отдельных элементов технологии комплексной экспертизы качества тестовых материалов при проведении массового тестирования обучающихся ТПУ.

На третьем этапе (2005-2008 гг.) осуществлялась обработка и анализ эмпирических данных, полученных в ходе опытно-экспериментальных работ, проверка гипотезы диссертационного исследования, обобщение и систематизация результатов исследования.

Научная новизна дисссртационного исследования.

1. Обоснован комплексный подход к оцениванию качества тестовых материалов, выступающий методологическим регулятивом в процедурах экспертизы качества и обеспечивающий интегральную оценку качества тестовых материалов.

2. Разработана модель системы оценки качества тестовых материалов, состоящая из системной совокупности четырех основных подсистем (предварительной, формально-содержательной, тестологической и интегральной экспертизы), находящихся в вертикальной соподчиненной причинно-следственной связи, определенной логикой последовательности достижения целей экспертизы, позволяющая получить достоверную оценку качества тестовых материалов за счет:

^ того, что категория «качество тестовых материалов» рассматривается как интегральное свойство, проявляющееся через соответствие требованиям к качеству содержательных, формальных, функциональных и структурно-логических характеристик тестовых материалов;

реализации комплексного подхода к оцениванию качества тестовых материалов;

применения релевантных методов оценивания интегрального качества;

^ реализации последовательности этапов экспертизы;

^ использования системы критериев и показателей для оценки интегрального качества тестовых материалов.

3. Разработана и апробирована технология комплексной экспертизы через реализацию последовательности алгоритмов организации и оценивания интегрального качества тестовых материалов.

Теоретическая значимость заключается в том, что:

^ определена роль педагогических тестов как средства, обеспечивающего достоверную оценку учебных достижений обучающихся в учреждениях профессионального образования; ^ разработаны методологические подходы к формированию фондов стандартизированных оценочных средств для контроля и оценки учебных достижений обучающихся; V на основе анализа категории «качество тестовых материалов» определена специфика тестовых материалов для системы профессионального образования как педагогического измерительного инструментария оценки качества подготовки обучающихся; ^ обогащен понятийный аппарат тестовой квалиметрии путем уточнения понятия «качество тестовых материалов», дано определение «комплексная экспертиза качества тестовых материалов» и «интегральный показатель качества тестовых материалов»; научно обоснован комплексный подход в оценивании качества тестовых материалов и предложены релевантные методы оценивания интегрального качества тестовых материалов;

предложена модель оценки качества тестовых материалов и апробирована,. разработанная на ее основе, технология комплексной экспертизы.

^ предложена иерархическая система критериев и показателей качества тестов и тестовых заданий, основанная на теории важности критериев.

Предложенные подходы в рамках технологии комплексной экспертизы качества тестовых материалов обогащают теорию и практику тестовой _ квалиметрии релевантными методами оценивания интегрального качества тестовых материалов.

Практическая значимость определяется возможностью использования технологии комплексной экспертизы качества тестовых материалов в образовательных учреждениях и организациях, занимающихся независимой оценкой качества образования, при формировании фондов стандартизированных оценочных средств, обеспечивающих достоверную оценку учебных достижений обучающихся в учреждениях профессионального образования, в части:

1) использования разработанной иерархической системы критериев и показателей качества тестов и тестовых заданий;

2) применения комплекса мер по организации и проведению комплексной экспертизы качества тестовых материалов;

3) применения алгоритмов определения комплексного (интегрального) показателя качества тестовых материалов для формирования фонда стандартизированных педагогических тестов.

Применение технологии комплексной экспертизы качества тестовых материалов позволяет повысить качество тестовых материалов за счет реализации комплексного подхода.

По материалам диссертационного исследования разработана программа курсов повышения квалификации работников образования по теме: «Технология разработки и комплексной экспертизы качества тестовых материалов для мониторинга и оценки качества образования».

Технология комплексной экспертизы качества тестовых материалов применяется при разработке педагогических тестов для мониторинга качества образования в Томском политехническом университете.

Материалы диссертационного исследования реализованы в «Методических рекомендациях по конструированию педагогических тестов для мониторинга качества образования», учебно-методическом комплексе «Технология разработки и комплексной экспертизы тестовых материалов для мониторинга и оценки качества образования».

Апробация и внедрение результатов исследования. Основные результаты диссертационного исследования обсуждались на международных и всероссийских конференциях «Информационные технологии в повышении качества образования», г. Омск, 2006 г.; «Актуальные проблемы качества образования и пути их решения», г. Уфа, 2006 г.; «Наука. Технологии. Инновации», г. Новосибирск, 2006 г.; «Образование и наука без границ-2006», г. Днепропетровск, 2006 г.; «Новые информационные технологии в образовании», г. Екатеринбург, 2007 г., «Развитие тестовых технологий в России», г. Москва, 2007 г. и др.

Технология комплексной экспертизы качества тестовых материалов апробирована и применяется в Томском политехническом университете, что подтверждается актом использования результатов научных исследований. На базе Томского областного института повышения квалификации и переподготовки работников образования осуществляется повышение квалификации по теме «Технология разработки и комплексной экспертизы тестовых материалов для мониторинга и оценки качества образования».

Достоверность н обоснованность результатов исследования обеспечиваются комплексным рассмотрением изучаемой проблемы в рамках концепции построения общероссийской системы оценки качества образования; применением методов системного анализа, квалиметрии, математической статистики; положительными результатами опытно-экспериментальной работы, апробацией в условиях конкретных образовательных систем региона.

На защиту выносятся следующие положения:

1. Качество тестовых материалов - это интегральное свойство их содержательных, формальных, функциональных и структурно-логических характеристик, обусловливающих достоверность оценки учебных достижений обучающихся.

преемственности всех этапов экспертизы, и необходимости контроля за соблюдением процедур экспертизы.

3. Модель оценки качества тестовых материалов представлена системной совокупностью четырех основных подсистем - (предварительной, формально-содержательной, тестологической и интегральной экспертизы), находящихся в вертикальной соподчиненной причинно-следственной связи, определенной логикой последовательности достижения целей экспертизы.

4. Комплексное оценивание качества тестовых материалов реализуется посредством применения многокритериального иерархически взаимосвязанного оценивания качественных и количественных показателей качества тестовых материалов и выражается через значение интегрального показателя качества.

Структура диссертационного исследования определяется логикой исследования и поставленными задачами. Диссертация состоит из введения, трех глав, заключения, списка использованной литературы, включающего 169 наименований, 4 приложений. В диссертации 27 таблиц, 12 рисунков. Общий объем работы составляет 195 страниц.

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обосновывается актуальность проблемы исследования; определяются объект, предмет, гипотеза, цель, задачи и методы исследования; формулируются основные положения, выносимые на защиту; характеризуется достоверность и обоснованность полученных в исследовании результатов и выводов, сфера их апробации и внедрения; показана научная новизна исследования, теоретическая и практическая значимость, отражены основные этапы исследования.

В первой главе «Проблемы применения тестовых технологий для контроля учебных достижений обучающихся в системе профессионального образования» представлен обзор научных работ по проблемам применения тестовых технологий для системы профессионального образования, проведен анализ проблем обеспечения контроля надежными и валидными тестами, рассмотрены основные этапы разработки тестовых заданий и тестов, произведен теоретический обзор научных проблем экспертизы качества тестовых материалов, проанализированы существующие методики экспертизы, применяемые в современной дидактической тестологии.

Анализ научных работ В.И. Байденко, В.П. Беспалько, В.И. Блинова, Н.Ф. Ефремовой, К, Ингенкампа, А.Н. Лейбовича, А.Н. Майорова, A.M. Новикова, O.E. Пермякова, А.И. Субетто и др. показал, что совершенствование системы высшего профессионального образования актуализирует проблему обеспечения качества образования. Гарантия качества образования лежит в основе параметров качества обучения, формирующих образовательный процесс.

Оптимальным решением проблем обеспечения качества профессионального образования, в этой связи, видится в разработке и внедрении внутривузовских систем оценки качества образования на основе ■• стандартов, разработанных ENQA (Европейская ассоциация по обеспечению качества высшего образования). По мнению В.И. Байденко, внедрение стандартов качества в систему профессионального образования призвано обеспечить гарантии качества за счет соответствия целому ряду требований, которые включают в себя: формализованную политику, официальные механизмы утверждешш-лериодических проверок и мониторинга программ и степеней, системы оценивания достижений обучающихся, системы аттестации, повышения квалификации и пр. В научных исследованиях ученых в области квалиметрии образования, таких как Н.Ф. Ефремова, А.Н. Лейбович, O.E. Пермяков, А. И. Субетго, С.А. Сафонцев, H.A. Селезнева, Ю.Г. Татур, B.C. Черепанов и др. отмечается тенденция интеграции основных категорий образовательного пространства: образование рассматривается как совокупность «процесса» и «результата». В этих условиях категория результата образовательного процесса из итогового компонента, имеющего триединую сущность (единство результатов обучения, воспитания и развития) модифицируется в многоуровневую и многокомпонентную категорию.

Изменения содержания обучения в системе профессионального образования, основанные на внедрении государственных образовательных стандартов, ориентация на овладение базовыми профессиональными компетенциями влечет за собой и изменения в контрольно-оценочной системе как составляющей системы управления качеством образования: на основе анализа результатов контроля проверяется не только качество обучения, но и эффективность образовательных технологий в целом, вырабатываются корректирующие мероприятия по совершенствованию учебно-воспитательного процесса и пр.

Как отмечает Э.М. Коротков, современное понимание качества профессионального образования включает в себя такие характеристики, как уровень и объем знаний, концептуальность и системность знаний, устойчивость, долговременность и перспективность знаний, фундаментальность и практичность, сложившийся тип профессионального мышления, способность синтезировать знания по изменяющимся условиям деятельности, т.е. стиль деятельности и уровень профессиональной подготовки [61].

Одним из основных объектов контрольно-оценочной деятельности, с позиций измерения результата образовательного процесса, являются учебные достижения как фундаментальная основа формирования профессиональных компетенций обучающихся.

В отечественной педагогике считается признанным тот факт, что эффективное управление качеством образования немыслимо без объективной и оперативной информации об учебных достижениях обучающихся.

В связи с этим возникает необходимость применения качественных тестовых материалов, которые позволяют достоверно оценивать учебные достижения обучающихся. Применение квалиметрического и системного подходов позволило выявить ряд специфических свойств тестов: целостность, неаддитивность, эмерджентность, синергизм, обособленность, совместимость и адаптивность. При этом качество тестов оценивается через соответствие характеристик тестовых заданий и вариантов тестов как совокупности требований к качеству тестовых материалов. Категория «качество тестового материала» обладает дуальной сущностью: качество проявляет себя через свойства в системе взаимодействий и отношений, в то же время свойства внутренне обусловлены качеством, при этом свойства являются основой для формирования требований к качеству тестовых материалов и его комплексной оценки в целом.

Экспертиза качества тестовых материалов является обязательным этапом процедуры разработки тестов. На основе анализа опыта применения существующих моделей экспертизы качества тестовых материалов доказана необходимость комплексного подхода к экспертизе как условию, обеспечивающему качество тестового материала, на основе применения системного и квалиметрического подходов.

В диссертационном исследовании отмечено, что экспертиза качества тестовых материалов представляет собой специфический вид деятельности. В процессе экспертизы тестовые материалы оцениваются через соответствие критериям и показателям оценки качества. С позиций системного и квалиметрического подходов экспертиза качества тестовых материалов представляет собой целостную сферу деятельности, включающую процедуры анализа, измерения и собственно оценки качества объектов. В основе технологии экспертизы выделяются оценочные акты, функциональная схема которых может быть представлена следующим образом: субъекты экспертизы, используя необходимые средства и знания, производят процедуры оценивания над объектом в целом или над его отдельными свойствами с определенной целью и получают в итоге некоторый результат (собственно оценку).

Применяя концепцию оценки качества, предложенную А.И. Субетго [39], экспертизу (Э) качества тестовых материалов можно представить следующей моделью:

Э = < С, О, Б, П >, где

С - субъекты проведения экспертизы; О - объекты экспертизы; Б - база оценивания;

П - технологические этапы и процедуры экспертизы качества тестовых материалов.

Субъект оцениванш. В качестве субъектов оценивания качества тестовых материалов выступают организаторы экспертизы, эксперты-предметники и тсстологи.

Объект оценивания. Объектами оценивания являются тестовые материалы: отдельные тестовые задания, варианты тестов и сопутствующая этапу разработки нормативная документация (спецификация, кодификатор, инструкции для тестируемых и инструкции для организаторов тестирования и др.).

База оценивания. Базу оценивания качества тестовых, материалов составляет система критериев качества и соответствующие им базовые значения показателей. Систему критериев оценки качества тестовых материалов составляет совокупность комплексных (валидность, надежность, релевантность) и частных (значимость, содержания, репрезентативность содержательных компонентов, комплексность и сбалансироваЕШость, темперированность сложности, системность, дискриминативность, оптимальность длины, логическая и семантическая непротиворечивость, внутренняя согласованность) критериев.

Под комплексной экспертизой качества тестовых материалов

понимается процесс системного исследования совокупности внутренних и внешних свойств тестовых материалов методами и приемами комплексного оценивания с целью определения интегрального показателя их качества.

Вторая глава диссертационного исследования «Технология комплексной экспертизы качества тестовых материалов» посвящена разработке модели и описанию технологии комплексной экспертизы качества тестовых материалов.

Важность применения корректных процедур экспертизы качества тестовых материалов отмечается б научных трудах таких ученых, как А. Анастази, К. Д. Дятловой, Н.Ф. Ефремовой, Д. Кубельски, А.Н. Майорова, Е.А. Михайлычева, В.Ю. Переверзева, Е.Д. Поповой, O.A. Татура, Д.М. Узденова, М.Б. Челышковой и т.д. На данный момент существующие методики экспертизы тестовых материалов применяются бессистемно, иногда в процедурах экспертизы отсутствуют целые блоки (в виду их трудоемкости, длительности по времени проведения и отсутствия подготовленных специалистов), отсутствует стандартизированная критериальная база оценивания.

Методологическим основанием оценки качества тестовых материалов является рассмотрение экспертизы как технологии, представляющей собой системную совокупность приёмов и способов планирования, организации и проведения экспертно-аналитических мероприятий, получения и обработки информации о качестве педагогических тестов. Согласно требованиям, предъявляемым педагогическим и информационным технологиям (В.П. Беспалько, В.В. Гузеев, A.M. Новиков, Г.К. Селевко, М.Н.Скаткин и др.),

технология комплексной экспертизы должна отвечать следующим признакам:

- наличие методологической основы;

- системность — логика процесса оценивания и взаимосвязь его частей.

- наличие критериальной базы оценивания качества тестовых материалов.

- алгоритмизация последовательности действий и операций в процедурах оценивания;

- взаимосвязанная деятельность субъектов оценивания качества тестовых материалов;

- воспроизводимость - возможность воспроизведения технологии и повторения результатов оценивания;

- эффективность - оптимальность соотношения затрат и результатов применения технологии;

- адаптивность - возможность адаптации технологии при изменении внешних и внутренних условий с гарантией повторения результатов оценивания.

Структура технологии комплексной оценки качества тестовых материалов включает в себя следующие элементы:

{.Концептуальную основу: в качестве методологической основы комплексной экспертизы качества тестовых материалов выступают концептуальные положения теории педагогических измерений и тестовой квалиметрии.

2. Содержательную базу:

- перечень целей и задач комплексной экспертизы качества тестовых материалов;

- критериальную базу оценивания качества тестовых материалов (система критериев и показателей оценки качества);

- нормативное правовое и инструктивное обеспечение оценочных процедур.

3. Технологический процесс, включающий:

- регламентированную последовательность действий и операций по оценке качества тестовых материалов;

- методики целенаправленного структурирования, анализа и представления результатов оценки качества тестовых материалов;

- конструирование комплекса средств и методов оценки качества тестовых материалов;

- комплексную методику, включающую системное соединение способов организации деятельности субъектов оценивания, ресурсов для достижения целей комплексной экспертизы качества тестовых материалов.

Таким образом, технология комплексной экспертизы качества тестовых материалов функционирует в качестве:

- методологии, исследующей наиболее рациональные пути получения достоверной информации о качестве тестов;

- системы способов, принципов и регулятивов, применяемых при экспертизе качества тестовых материалов;

- системной совокупности технологических процессов комплексной экспертизы качества тестовых материалов.

Понятие «технология комплексной экспертизы качества тестовых материалов» в образовательной практике может употребляться в контексте двух иерархически соподчиненных уровней:

1) общепедагогический (общедидактический) уровень - «массовая технология», характеризующая системный комплекс технологических процессов комплексной экспертизы качества тестовых материалов разрабатываемых для итоговой аттестации обучающихся в целях определения результатов освоения профессиональных образовательных программ на федеральном уровне или уровне учреждения профессионального образования. В этом случае технология комплексной экспертизы качества тестовых материалов является компонентом системы профессионального образования: в нее включается совокупность целей, содержания, средств и методов экспертизы качества тестовых материалов, алгоритмов деятельности субъектов и объектов, вспомогательных технологических процессов.

2) частнометодический (предметный) уровень, употребляемый в значении "частная технология комплексной экспертизы качества тестовых материалов", т.е. как совокупность методов и средств экспертизы качества тестовых материалов, представляющего собой средство решения локальных педагогических задач в рамках предварительного, текущего и рубежного контроля результатов изучения отдельных компонентов учебной дисциплины, междисциплинарного курса и др.

В результате применения алгоритмической декомпозиции было выделено четыре основные подсистемы комплексной экспертизы качества тестовых материалов:

1. предварительная экспертиза;

2. формально-содержательная экспертиза;

3. тсстологическая экспертиза;

4. интегральная экспертиза.

С точки зрения организации, каждый из этапов можно представить как экспертно-методическую систему, функционирование которой направлено на осуществление процессов экспертизы с целью получения информации о соответствии характеристик тестовых материалов заданным параметрам, определенным в соответствии с образовательными целями и условиями. Процессы экспертизы можно представить как динамические, протекающие в реальном масштабе времени с заранее заданным детерминированным алгоритмом выполнения операций. В этом случае при описании процессов применяется алгоритмическая декомпозиция, с использованием метода структурного проектирования «сверху-вниз».

Предварительная экспертиза проводится с целью отбора тестовых материалов, соответствующих формальным и структурным требованиям к их качеству. Введение этапа предварительной экспертизы в структуру комплексной экспертизы качества тестовых материалов позволяет сэкономить ресурсы. На сегодняшний день идет активная разработка тестовых материалов с целью формирования фондов оценочных средств. При этом бывают случаи, когда авторы не всегда знакомы с требованиями по оформлению, содержанию и структуре тестовых материалов. Чтобы исключить оценивание «псевдотестовых» заданий на этапе экспертного оценивания и апробационного тестирования, необходимо провести предварительную экспертизу «авторских» тестовых материалов на соответствие формальным требованиям по следующим критериям: структурная полнота, краткость формулировки, понятность формулировки, технологичность и эргономичность, дифференцируемое», нормативность, целенаправленность, изолированность, формальность и др.

На этапе формально-содержательной экспертизы качества тестовых материалов проводится оценивание внутренних свойств, характеризующих их качество. Объектами оценивания в данном случае выступают содержательная валидность, функциональная валидность, прогностическая валидность, уровни подготовки, на проверку которых направлено применение тестовых материалов, соответствие кодификатору, оценивание параллельности вариантов (в случае применения нескольких вариантов тестов) и пр. Методом проведения внутренней экспертизы качества тестовых материалов является экспертное оценивание.

Тестологическая экспертиза качества тестовых материалов проводится после проведения тестирования с целью получения количественных статистических параметров тестовых материалов и, в случае необходимости, высчитываются нормы выполнения отдельных заданий и варианта теста в целом на выборочной совокупности обучающихся. Отдельные тестовые задания и варианты тестовых материалов оцениваются на соответствие требованиям сбалансированности по трудности заданий, сбалансированности по показателям дифференцирующей силы заданий, валидности заданий, корректности подбора дистракторов, критериальной валидности теста, внутренней согласованности теста, параллельности вариантов, надежности теста, адекватности длины теста целям тестирования, релевантности, адекватности ожидаемого процента выполнения и адекватности ориентировочного времени выполнения, указанных разработчиком в спецификации.

На этапе тестологической экспертизы применяются основные методы параметрической и непараметрической статистики.

Заключительным этапом является интегральная экспертиза качества тестовых материалов, в основе которой лежат методы статистики качеств и многокритериального оценивания. В связи с тем, что тестовый материал характеризуется вероятностным поведением (зависимость успешности

выполнения задания от уровня подготовленности обучающихся), возникает необходимость при получении литерального показателя качества тестовых материалов учитывать влияние степени неопределенности информативности критериев через оценивание их энтропии. Энтропия характеризует меру неопределенности качественной и количественной информации, которая позволяет учитывать как неточность, или неполноту входных данных, так и уровень неопределенности модели в целом. В рамках комплексной экспертизы качества тестовых материалов энтропия является способом оценивания значимости критериев и показателей.

Расчет интегрального показателя качества тестового материала проводится по формуле:

где:

Л - интегральное качество 1-го задания, $ а ~ качество ¿-го задания по)~?лу критерию,. иj - энтропия у'-го критерия.

Таким образом, комплексную экспертизу качества тестовых материалов можно рассматривать как совокупный процесс, состоящий из оценки простых и сложных свойств, и определения интегрального качества педагогического теста.

Последовательность этапов комплексной экспертизы качества тестовых материалов обусловлена логикой оценивания интегрального качества тестового материала: от оценивания единичных, частных свойств к оцениванию интегрального качества тестового материала проявляющееся в синергическом эффекте от интеграции элементов (рис. 1), отражающих его специфику как педагогического оценочного материала.

Рисунок 1. Блок-схема комплексной экспертизы

качества тестовых материалов

Третья глава «Апробация технологии комплексной экспертизы качества тестовых материалов» посвящена описанию результатов опытно-экспериментальной работы, проводимой на базе Центра обеспечения качества образования Томского политехнического университета в период с 2003 по 2005гг. В данной главе представлен: количественно-качественный состав банка тестовых заданий, анализ типичных ошибок тестовых материалов, допускаемых при их разработке, выявлены достоинства и недостатки предлагаемой модели экспертизы.

На начальном этапе эксперимента был сформирован предварительный банк тестовых материалов (табл.1), которые прошли процедуры предварительной экспертизы.

Таблица №1

Количественный состав предварительного банка тестовых заданий для тематического тестирования студентов I и II курсов ТПУ по общеобразовательным

дисциплинам

№ Учебная дисциплина Кол-во тестовых заданий в предварительном банке

1. Высшая математика 1331

2. Общая химия 2250

3. Физика 3915

Итого 7496

По результатам предварительной экспертизы, было выявлено 831 тестовое задание, требующее доработки, что составляет 11% от общего количества заданий, содержащихся в предварительном банке, из них основные замечания связаны с неясностью формулировок (406 заданий, что составило 48,9% от общего количества отбракованных заданий); наличием сложных синтаксических конструкций (121 задание, что составило 14,6% от общего количества отбракованных заданий); оформлением вариантов правильного ответа и дистракторов (несогласованность по форме дистракторов с основной формулировкой - 101 задание, что составило 12,2%); отсутствием эталонов правильных ответов (в 93 заданиях отсутствовали правильные ответы, что составило 11,2%); не менее распространены замечания в связи с отсутствием инструкций по выполнению заданий для обучающихся (у 69 «авторских» заданий отсутствовала инструкция по выполнению, что составило 8,3%); несоответствие по оформлению (41 задание на установление соответствия, что составило 4,9% от общего количества отбракованных заданий).

На этапе формально-содержательной экспертизы экспертами было проведено оценивание содержания тестовых материалов методами экспертного оценивания. В результате обработки протоколов экспертных оценок было выявлено, что большую часть отбракованных заданий на

данном этапе составляют задания с низкой степенью значимости с точки зрения общих целей дисциплины (31% от общего количества замечаний), некорректное определение авторами трудности задания, ориентировочного времени выполнения и ожидаемого процента выполнения.

С целью получения квалиметрических показателей качества тестовых заданий и тестов было проведено апробационное тестирование, в котором приняли участие студенты I и И курса всех специальностей ТПУ, тем самым было соблюдено требование репрезентативности выборки. Анализ результатов эмпирических данных тестологической экспертизы показал, что к основным замечаниям относятся следующие: низкие показатели валидности отдельных заданий и теста в целом, причиной которых является несбалансированность заданий по трудности (30%), низкая степень параллельности вариантов тестов (24%). В заданиях закрытого типа наиболее распространенным фактором, снижающим их качество, является некорректный подбор дистракторов (41%).

Целью заключительного этапа комплексной экспертизы качества тестовых материалов является получение интегрального показателя качества, на основе значений которого формируется банк стандартизированных педагогических тестов. В процессе реализации опытно-экспериментального этапа диссертационного исследования была установлена шкала значений интегрального показателя качества тестовых материалов, состоящая из пяти интервалов (табл.2). Минимальным значением, при котором тестовый материал попадает в банк стандартизированных педагогических тестов, является R>0,4.

Таблица №2

Диапазоны изменения и интерпретации интегрального показателя качества тестовых материалов

Диапазоны изменения интегрального показателя качества ТМ Интерпретация показателя качества

0-0,2 недопустимо низкий уровень качества ТМ

0,2 - 0,3 низкий уровень качества

0,4 - 0,5 удовлетворительный уровень качества

0,6 - 0,7 хороший уровень качества

0,8 - 0,1 отличный уровень качества

Для оценки эффективности технологии комплексной экспертизы было проведено сравнение предложенной технологии с традиционной (традиционная экспертиза - это экспертиза, состоящая из двух основных этапов: экспертное оценивание качества содержания теста; статистическое

обоснование качества теста). С этой целью необходимо, во-первых, выявить имеются ли различия в значениях количества выявляемых некачественных заданий, во-вторых, в случае наличия изменений, необходимо установить их достоверность. Для доказательства наличия различий (сдвигов) и их достоверное™ в результатах сравниваемых технологий был выбран 0-критерий (критерий знаков). Для чистоты эксперимента были отобраны 15 вариантов тестов, оценка качества которых была проведена по традиционной технологии (Технология №1) и по технологии комплексной экспертизы (Технология №2). В таблице приведено количество выявленных заданий, не удовлетворяющих требованиям качества.

Таблица №3

Сравнительные данные результатов традиционной и комплексной технологий экспертизы качества тестовых материалов

Технология экспертизы Вариант теста

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Технология №1 5 7 9 1 8 5 3 4 2 1 4 6 2 4 2

Технология №2 8 9 7 5 9 7 6 9 6 7 6 4 б б 4

Знак разности + + - + + + + + 4- + + - + + +

Сформулируем нулевую и альтернативную гипотезы: Но: между традиционной и комплексной технологиями экспертизы

существенных различий нет. Iii: между традиционной и комплексной технологиями экспертизы существенные различия имеются.

Во всех исследуемых случаях отмечаются различия в количестве выявленных некачественных заданий в вариантах тестов.

Опишем вероятностную модель. Предположим, что статистические данные имеют вид: (xi,yj),i = 1,2,...,15, где х,- - количество некачественных заданий, выявленных при проведении традиционной экспертизы в ;'-ых вариантах, а у, - количество некачественных заданий, выявленных при проведении комплексной экспертизы в тех же вариантах. В соответствии с условием однородности в связанных выборках справедливо выражение:

Р(х, <у<) = Р{х, =

Согласно критерию знаков необходимо подсчитать, в скольких случаях х,. <>',. и в скольких Х/>У1. В данном примере х, <yi в 13 случаях из 15 и х,>у, в 2 случаях из 15. Если рассматриваемая гипотеза однородности верна, то число W осуществлений события {*, <>•,} имеет биномиальное распределение с параметрами _р=1/2 и «=15. Математическое ожидание М(7F)=7,5, а среднее квадратическое отклонение а - Jпр(1 -р) = 1,93. Следовательно, интервал M(W)±За, это интервал 5,57<fF<9,43. Найденное по данным значение 1¥~\2 лежит вне этого интервала. Поэтому

рассматриваемую гипотезу необходимо отвергнуть (между традиционной и комплексной технологиями экспертизы существенных различий нет, в частности, на уровне значимости 1%) и принять альтернативную гипотезу (между традиционной и комплексной технологиями экспертизы имеются существенные различия).

Следующим этапом оценки эффективности явилось определение степени значимости выявленных различий по результатам двух технологий. С этой целью в качестве исходных данных были взяты результаты комплексной и традиционной экспертизы, в качестве контрольных данных -результаты предварительной экспертизы. Оценка значимости различий в двух выборках проводилась с применением коэффициента Кохена, вычисляемого по формуле:

где:

(} - коэффициент Кохена,

Х1,Х] - среднее значение по группам данных,

среднеквадратическое отклонение по группам данных.

Таблица №4

Описательные статистики для первичных данных

Вид N Среднее Дисперсия

Технология №1 15 6,5 4,9

Технология №2 15 13,1 15,2

Контрольные данные 15 4,9 2,9

Таблица №5

Исходные данные (в агрегированном виде)

Вид Среднее 8<1 N

Технология №1 6,5 4,9 15

Технология №2 13,1 15,2 15

Контрольные данные 4,9 2,9 15

В соответствии с общепринятой трактовкой величины значения коэффициента Кохена (1992 г.): 0,2 - небольшой эффект, 0,5 - средний эффект, 0,8 - высокая эффективность. В результате обработки данных было получено, что для Технологии №1 с1=0,3, для Технологии №2 <1=0,79, что подтверждает гипотезу о значимых результатах.

Таким образом, статистический анализ показывает, что традиционная и технология комплексной экспертизы дают, во-первых, существенно различные результаты, во-вторых, по результатам оценки коэффициента

Кохена технология комплексной экспертизы обладает достаточно высокой степенью эффективности.

ОСНОВНЫЕ ВЫВОДЫ

В результате данного диссертационного исследования была достигнута поставленная цель: разработать модель оценки качества тестовых материалов и технологию комплексной экспертизы тестовых материалов как фактора обеспечения достоверности оценки учебных достижений обучающихся в учреждениях профессионального образования. На основании полученных результатов можно сделать следующие выводы:

1. Проблемы повышения качества профессионального образования требуют формирования новых подходов к реализации контрольно-оценочной деятельности обучающихся, основанной на использовании объективных, надежных и валидных тестов, которые позволяют технологично и оперативно получить достоверную информацию о качестве учебных достижений.

2. Аналитический обзор и сравнение существующих моделей экспертизы качества тестовых материалов позволил выявить их главные недостатки -изолированность этапов экспертизы и отсутствие комплексного оценивания качества тестовых материалов.

3. С позиций системного подхода доказано, что тесты обладают рядом специфических свойств: целостность, неаддитивность, эмерджентность, синергизм, обособленность, совместимость и адаптивность, рассмотрение которых обуславливает необходимость применения комплексного подхода в экспертизе качества тестовых материалов как интегрального свойства, оцениваемого через соответствие требованиям к качеству их содержательных, формальных, функциональных и структурно-логических характеристик.

4. Установлено, что категория «качество тестовых материалов» обладает дуальной сущностью, когда качество, проявляемое при их использовании, внутренне обусловлено качеством элементов и их системной организацией. При этом свойства, характеризующие качество тестов и тестовых заданий, являются основой для определения критериев и показателей качества тестовых материалов и их оценки.

5. Определено, что экспертиза качества тестовых материалов должна отвечать общеметодологическим принципам системности, объективности и комплексности, соблюдение которых гарантирует получение достоверных результатов.

6. Разработана модель оценки качества качества тестовых материалов, состоящая из четырех основных этапов: предварительной, формально-содержательной, тестологической и интегральной экспертизы, которой как системе присущи: целостность, комплексность, иерархичность, функциональность и интегрированность в систему оценки качества учебных достижений. Последовательность этапов комплексной экспертизы обусловлена логикой перехода от оценивания единичных, частных свойств к оцениванию интегрального качества тестовых материалов.

7. Разработанная на основе модели технология комплексной экспертизы качества тестовых материалов реализует комплексный подход и позволяет получить достоверные результаты за счет многокритериального иерархически взаимосвязанного оценивания качественных и количественных показателей качества тестовых материалов на разных этапах экспертизы.

8. На основе анализа результатов аиробации технологии комплексной экспертизы качества тестовых материалов методами математической статистики и статистики качеств доказаны преимущества (эффективность) предложенной технологии в сравнении с традиционной. Полученное значение коэффициента Кохена (d=0,79) подтверждает гипотезу исследования об эффективности разработанной технологии.

Вместе с тем данное диссертационное исследование не исчерпывает всех аспектов технологии комплексной экспертизы качества тестовых материалов. Необходимо продолжение исследований, в части оценивания компетентности экспертов и выявлении наиболее эффективных методов организации работы с предметными комиссиями, создание автоматизированных информационных систем обеспечения экспертизы и оценки качества тестовых материалов.

Содержание и результаты исследования отражены в следующих публикациях автора:

I. Публикации в изданиях, включенных в реестр ВАК РФ

1 Максимова О А..Технология комплексной экспертизы качества тестовых материалов для койгроля учебных достижений обучающихся / О А, Максимова // Известия РГПУ им. А.И. Герцена. - СПб, 2008. - № 29 (65). -О.'424 -427.

2. Максимова 0.-А^,Процедуры--комшексно%аксифп1зн-татесатва-десховщ

заданий,и тестов :прц.формировании банка'данных :/:О:Е;-Пермяков, .0.А:

Максимова://'Журнал лтулиь^ш^ Курск., 2008 - №4 - С J ¿0—1 J.4,

И. Монографии и научные труды

3. Максимова O.A. Основы технологии комплексной экспертизы качества педагогических тестов: монография / O.A. Максимова, O.E. Пермяков, // Томск: ТОИПКРО, 2008. - 100 с. ISBN 978-5-903029-17-4.

III. Учебные пособия, методические разработки

4. Максимова O.A. Анализ результатов ЕГЭ - 2003 по физике в Томской области / O.A. Максимова [и др.]. // Аналитический отчет и методические рекомендации. - Томск: Дельтаплан, 2003. - 67 с.

5. Максимова O.A. Анализ результатов ЕГЭ - 2003 по математике в Томской области / Максимова O.A. [и др.]. // Аналитический отчет и методические рекомендации. - Томск: Дельтаплан, 2003. - 58 с.

6. Максимова O.A. Анализ результатов ЕГЭ - 2003 по русскому языку в Томской области / Максимова O.A. [и др.]. // Аналитический отчет и методические рекомендации. - Томск: Дельтаплан, 2003. - 63 с.

7. Максимова O.A. Анализ результатов ЕГЭ - 2003 по химии в Томской области / Максимова O.A. [и др.]. // Аналитический отчет и методические рекомендации. - Томск: Дельтаплан, 2003.- 44 с.

8. Максимова O.A. Анализ результатов ЕГЭ - 2007 по английскому языку, немецкому языку, литературе, русскому языку в Томской области / O.A. Максимова [и др.]. И Информационно-аналитический отчет и методические рекомендации. - Томск: Лито-Принт, 2007. - 112 с.

9. Максимова O.A. Анализ результатов ЕГЭ - 2007 по биологии, математике, физике, химии, информатике в Томской области / O.A. Максимова [и др.]. // Информационно-аналитический отчет и методические рекомендации. - Томск: Лито-Принт, 2007. - 228 с.

10. Максимова O.A. Анализ результатов ЕГЭ - 2007 по географии, истории, обществознанию в Томской области / O.A. Максимова [и др.]. /У Информационно-аналитический отчет и методические рекомендации. -Томск: Лито-Принт, 2007. - 116 с.

11. Максимова O.A. Анализ результатов ЕГЭ - 2008 по английскому языку, литературе, русскому языку, биологии, математике, физике, химии, информатике, географии, истории, обществознанию в Томской области / O.A. Максимова [и др.]. // Информационно-аналитический отчет и методические рекомендации. - Томск: Лито-Принт, 2008. - 136 с.

12. Максимова O.A. Анализ результатов государственной (итоговой) аттестации обучающихся 9 классов новой форме / O.A. Максимова [и др.]. // Информационно-аналитический отчет и методические рекомендации. - Томск: Лито-Принт, 2008. - 96 с.

13. Максимова O.A. Анализ результатов государственной (итоговой) аттестации выпускников общеобразовательных учреждений Томской области / O.A. Максимова [и др.]. // Информационно-аналитический отчет и методические рекомендации. - Томск: Дельтаплан., 2009. - 335 с.

14. Максимова O.A. Технология разработки и комплексной экспертизы тестовых материалов для мониторинга и оценки качества образования / O.A. Максимова, Е.В. Смыслова, A.B. Лепустин // Учебно-методическое пособие для слушателей курсов повышения квалификации. - Томск: ТОЙПКРО, 2009.- 124 с.

15. Максимова O.A. Методические рекомендации по составлению педагогических тестов для системы внутришкольного мониторинга / O.A. Максимова // Методические рекомендации. - Томск: ТОИПКРО, 2009. -С. 24-31.

16. Максимова O.A. Методические рекомендации учителям математики при переходе к новой концепции оценки качества математического образования / O.A. Максимова, Т.В. Домбровская, Т.В. Расташанская // Томск: ТОИПКРО, 2009. - С. 75-84.

IV. Статьи в научных журналах

17. Максимова O.A. Организация экспертизы качества измерительных инструментов образовательного мониторинга / O.A. Максимова // Информационные технологии в повышении качества образования: материалы Междунар. науч.-практ. конф. в 3 ч. - Омск: Изд-во Омского экономического института, 2006. - 4.1. - С. 195 - 199.

18. Максимова O.A. Системный подход к разработке экспертизы контролирующих материалов для диагностики уровня учебных достижений студентов технического вуза / O.A. Максимова // Актуальные проблемы качества образования и пути их решения: матер. XVI Всерос. науч.-метод. конф. - Уфа-Москва, 2006. - С. 108 - 111.

19. Максимова O.A. Современные математико-статистические теории обработки результатов тестирования и возможности их применения для экспертизы качества тестовых материалов / O.A. Максимова // Наука. Технологии. Инновации: матер. Всерос. науч. конф. молодых ученых. -Новосибирск, 2006. - С. 34 - 36.

20. Максимова O.A. Предварительная экспертиза как средство повышения эффективности процедур комплексной экспертизы качества тестов учебных достижений студентов / O.A. Максимова II Новые информационные технологии в образовании: матер. Междунар. науч.-практ. конф. в 2 ч. // Российский государственный профессионально-педагогический университет. Екатеринбург, 2007. - Ч. 2. - С.44 - 47.

21. Максимова O.A. Формализация экспертного оценивания качества тестовых материалов с позиций системного подхода / O.A. Максимова, O.E. Пермяков // Вестник педагогических инноваций. Новосибирск, 2006. -№3(7).-С. 157- 178.

22. Максимова O.A. Как работают эксперты ЕГЭ: результаты социологических исследований в Томской области / O.A. Максимова, O.E. Пермяков, C.B. Менькова, A.C. Смирнова // ОКО. Оценка качества образования: научно-методический журнал. - М, 2007.-№ 1.-С. 16-21.

23. Максимова O.A. Использование тестовых технологий в Томском политехническом университете / O.A. Максимова, O.E. Пермяков, И.И. Медведев // «Образование и наука без границ-2006»: матер. Междунар. науч.-практ. конф. в 4 т., 2006. - T. 1.-С. 100-103.

24. Максимова O.A. Общие подходы к стандартизации тестовых заданий и тестов в электронных банках данных / O.A. Максимова, O.E. Пермяков // Развитие тестовых технологий в России: Сб. тез. IX Всерос. науч.-метод. конф. // ФГУ «Федеральный центр тестирования». - М, 2007. - С. 133 -136.

Подписано в печать «¿2ъ 'МОД 200'От. Формат бумаги

бОхЙШб" л

Уч.-изд.л_. Тираж 100 экз. Заказ №

Отпечатано в отделе тиражирования ФИРО

Федеральный институт развития образования (ФИРО)

1! 1024, Москва, Е-24, ул. 3-я кабельная, л. 1

Содержание диссертации автор научной статьи: кандидата педагогических наук, Максимова, Оксана Александровна, 2010 год

Введение.

Глава 1. проблемы применения тестовых технологий для контроля учебных достижений обучающихся в системе профессионального образования.

§1.1. Общие проблемы применения тестовых технологий в системе профессионального образования.

§1.2. Характеристика педагогических тестов, применяемых для контроля и диагностики учебных достижений обучающихся в системе профессионального образования.

§1.3. Основы методологии экспертизы качества тестовых материалов.

§1.4. Модели экспертизы качества тестов в современной дидактической тестологии.

Введение диссертации по педагогике, на тему "Модель и технология комплексной экспертизы качества тестовых материалов для системы профессионального образования"

В научных исследованиях зарубежных (К. Ингенкамп, Б. Немерко, К. Денек, Ю. Кеттел, В. Оконь, Б. Блум и др.) и отечественных (В С. Аванесов, В.П. Беспалько, Н.Ф. Ефремова, М. В. Кларин, Г.С. Ковалева, А.Н. Майоров, А.О. Татур, B.C. Черепанов, М.Б. Челышкова и др.) ученых доказано, что педагогические тесты обладают рядом преимущественных свойств перед другими средствами педагогического контроля: технологичность, оперативность, объективность, систематичность, комплексность, полифункциональность, универсальность и т.д. В системе профессионального образования дидактические тесты являются основным средством оценки качества и мониторинга профессионального образования: в процедурах оценки результатов образовательной деятельности, аккредитации образовательных учреждений и т.д.

S целями экспертизы и невозможной их полной реализации из-за отсутствия комплексного подхода в применении релевантных методов оценивания качества тестовых материалов; S потребностью в технологии комплексной экспертизы качества тестовых материалов, применение которой позволит обеспечить контроль надежными и валидными тестами, и отсутствием соответствующей технологии.

Практика применения тестовых технологий выявила важнейшую проблему: использование некачественных тестов для педагогического контроля качества обучения. Как возможное решение этой проблемы Министерством образования России был подписан Приказ «О сертификации качества педагогических тестовых материалов» (Приказ от 17.04.2000 №1122). В это же время начались активные научные разработки моделей экспертизы качества тестовых материалов и процедур сертификации тестов с разных позиций: на основе формальных правил конструирования тестовых заданий (Н.А. Гулюкина, В.Ю. Переверзев, С.В. Клишина), формально-содержательных правил (М.Б. Челышкова, B.C. Аванесов, E.JI. Михайлычев, В.И. Васильев, А.В. Никитин) и методологических основ (Е.Д. Попова, Д.М. Узденов). Несмотря на накопленный научно-педагогический опыт в области дидактической тестологии, вопрос об оценивании качества тестовых материалов до сих пор остается актуальным.

Объект исследования: качество тестовых материалов.

Предмет исследования: модель и технология комплексной экспертизы качества тестов, используемых в системе профессионального образования.

Цель исследования: разработка модели оценки качества тестовых материалов и технологии комплексной экспертизы тестовых материалов как фактора обеспечения достоверности оценки учебных достижений обучающихся в учреждениях профессионального образования.

Гипотеза исследования состоит в предположении о том, что качество тестов может быть обеспечено, если: качество тестов рассматривать как интегральное свойство, проявляющееся через соответствие требованиям к качеству содержательных, формальных, функциональных и структурно-логических характеристик тестовых материалов; оценка качества тестов будет проводиться с использованием методов комплексного оценивания на основе критериев и показателей качества тестовых материалов; технология комплексной экспертизы качества тестов будет разработана на основе модели оценки тестовых материалов.

В соответствии с целью и гипотезой исследования были определены следующие задачи:

1. Провести теоретический обзор научной литературы по проблемам разработки и применения тестовых материалов для контроля учебных достижений обучающихся в системе профессионального образования.

2. Проанализировать опыт применения существующих моделей оценки качества тестовых материалов.

3. Обосновать необходимость комплексного оценивания качества тестовых материалов.

4. Обосновать систему критериев и показателей качества тестовых материалов.

5. Разработать модель оценки качества тестовых материалов на основе комплексного оценивания.

7. Провести апробацию технологии комплексной экспертизы качества тестовых материалов.

Теоретико-методологическую основу исследования составили ведущие положения:

S теории и методологии профессионального образования (В.И. Байденко,

B.И.Блинов, А.Т. Глазунов, А.Н. Лейбович, М.В. Никитин, A.M. Новиков, П.Н. Новиков, Е.А. Рыкова, Д.В. Чернилевский, и др.);

S методологии системного анализа (Ф.П. Тарасенко, Ф.И. Перегудов, И.В.

Прангишвили, Я. Такахара); S общей, образовательной и педагогической квалиметрии (Г.Г. Азгальдов,

C.И. Архангельский, В.И. Байденко, К. Ингенкамп, А.Н. Майоров, Е.А. Михайлычев, В.И. Огорелков, С.А. Сафонцев, А.И. Субетто, и др.);

S в области формирования систем оценки качества образовательных достижений обучающихся (В.П. Беспалысо, В.И. Блинов, К. Ингенкамп, А.Н. Лейбович, А.Н. Майоров, A.M. Новиков, О.Е. Пермяков, А.И. Субетто и др.);

S разработки технологий компьютерного тестирования (В.И. Васильев, Т.Н. Тягунова и др.);

S таксономии уровней усвоения учебного материала (В.П. Беспалько, Г.К.

S дидактической тестологии (B.C. Аванесов, Т.М. Балыхина, Н.А. Гулюкина, Н.Ф. Ефремова, С.В. Клишина, В.Ю. Переверзев, М.Б. Челышкова, и др.);

S работы в области экспертного оценивания (А.И. Орлов, Б.Г. Литвак, B.C.

Черепанов).

Методы исследования: при решении поставленных задач были использованы теоретические методы (теоретико-информационный анализ научной литературы; понятийно-терминологический анализ философских и - педагогических источников; проектирование и моделирование технологических процессов комплексной экспертизы с помощью программного обеспечения BP Win 4.1); эмпирические методы (анкетирование; тестирование, сбор и обработка данных с использованием программ Statistica, Exel, Winsteps, SPSS Statistics 17.0; методы экспертных оценок, примененные при апробации технологии комплексной экспертизы качества тестовых материалов); методы математической статистики и статистики качеств, примененные при обработке экспериментальных данных.

База исследования:

Этапы диссертационного исследования. Исследование проводилось в три этапа.

На первом этапе (2002-2003 гг.) изучалось состояние проблемы в теории и практике контроля и мониторинга качества учебных достижений студентов технического вуза, осуществлялся ее всесторонний анализ, разрабатывались и проверялись отдельные подходы и процедуры, впоследствии составившие основу модели комплексной экспертизы качества тестовых материалов, определялась гипотеза исследования.

На втором этапе (2003—2005 гг.) были уточнены предмет и задачи исследования, разработана модель оценки качества тестовых материалов с позиций комплексного оценивания, проведена опытно-экспериментальная работа по проведению апробации отдельных элементов технологии комплексной экспертизы качества тестовых материалов при проведении массового тестирования обучающихся ТПУ.

На третьем этапе (2005—2008 гг.) осуществлялась обработка и анализ эмпирических данных, полученных в ходе опытно-экспериментальных работ, проверка гипотезы диссертационного исследования, обобщение и систематизация результатов исследования.

Научная новизна диссертационного исследования.

S того, что категория «качество тестовых материалов» рассматривается как интегральное свойство, проявляющееся через соответствие требованиям к качеству содержательных, формальных, функциональных и структурно-логических характеристик тестовых материалов;

S реализации комплексного подхода к оцениванию качества тестовых материалов;

•S применения релевантных методов оценивания интегрального качества;

S реализации последовательности этапов экспертизы;

S использования системы критериев и показателей для оценки интегрального качества тестовых материалов.

Теоретическая значимость заключается в том, что: определена роль педагогических тестов как средства, обеспечивающего достоверную оценку учебных достижений обучающихся в учреждениях профессионального образования;

•S разработаны методологические подходы к формированию фондов стандартизированных оценочных средств для контроля и оценки учебных достижений обучающихся;

•S на основе анализа категории «качество тестовых материалов» определена специфика тестовых материалов для системы профессионального образования как педагогического измерительного инструментария оценки качества подготовки обучающихся;

S обогащен понятийный аппарат тестовой квалиметрии путем уточнения понятия «качество тестовых материалов», дано определение «комплексная экспертиза качества тестовых материалов» и «интегральный показатель качества тестовых материалов»;

S научно обоснован комплексный подход в оценивании качества тестовых материалов и предложены релевантные методы оценивания интегрального качества тестовых материалов;

S предложена модель оценки качества тестовых материалов и апробирована, разработанная на ее основе, технология комплексной экспертизы;

S предложена иерархическая система критериев и показателей качества тестов и тестовых заданий, основанная на теории важности критериев.

Предложенные подходы в рамках технологии комплексной экспертизы качества тестовых материалов обогащают теорию и практику тестовой квалиметрии релевантными методами оценивания интегрального качества тестовых материалов.

Достоверность и обоснованность результатов исследования обеспечиваются комплексным рассмотрением изучаемой проблемы в рамках концепции построения общероссийской системы оценки качества образования; применением методов системного анализа, квалиметрии, математической статистики; положительными результатами опытноэкспериментальной работы, апробацией в условиях конкретных образовательных систем региона.

На защиту выносятся следующие положения:

1. Качество тестовых материалов — это интегральное свойство их содержательных, формальных, функциональных и структурно-логических характеристик, обусловливающих достоверность оценки учебных достижений обучающихся.

2. Экспертиза качества тестовых материалов должна отвечать общеметодологическим принципам системности, объективности, комплексности, профессиональной компетентности экспертов, преемственности всех этапов экспертизы, и необходимости контроля за соблюдением процедур экспертизы.

3. Модель оценки качества тестовых материалов представлена системной совокупностью четырех основных подсистем — (предварительной, формально-содержательной, тестологической и интегральной экспертизы), находящихся в вертикальной соподчиненной причинно-следственной связи, определенной логикой последовательности достижения целей экспертизы.

Заключение диссертации научная статья по теме "Теория и методика профессионального образования"

§ 3.8. Основные выводы

В результате практической апробации модели комплексной экспертизы качества тестовых материалов были сделаны следующие выводы:

1. предложенная и апробированная модель комплексной экспертизы качества тестовых материалов, состоящая из четырех основных технологических этапов: предварительная экспертиза, формально—содержательная экспертиза, тестологическая экспертиза и интегральная экспертиза, позволяет реализовать комплексное оценивание качества тестового материала;

2. сформированная система квалиметрических показателей качества тестовых материалов обладает полнотой и комплексностью оцениваемых формальных, содержательных и структурных характеристик;

3. специальная подготовка специалистов, участвующих в проведении и организации комплексной экспертизы, позволяет повысить достоверность получаемой в ходе оценивания информации о качественных характеристиках тестового материала.

4. в процедуре комплексной экспертизы необходимо учитывать информационные риски: избыточность, недостоверность, неполноту, различную степень значимости информации о характеристиках оцениваемого материала.

5. апробированная технология комплексной экспертизы обладает адаптивностью и гибкостью, что позволит вводить новые критерии и показатели качества тестовых материалов в зависимости от типов заданий и их целевого предназначения без нарушения общих алгоритмов процедуры оценки качества материалов в целом.

ЗАКЛЮЧЕНИЕ

Современный этап формирования систем оценки качества образования характеризуется активным использованием педагогических тестов для контроля и оценки образовательных достижений обучающихся на разных уровнях системы образования. При этом актуальной становится Анализ проблем использования тестовых технологий в образовании выявил потребность в формирования фонда качественных педагогических тестов, обеспечивающих высокую степень достоверности процедур оценки качества образования. В этой связи особую значимость приобретает процедуры экспертизы качества тестовых материалов как главное средство оценки качества тестов на этапе их разработки. Для решения этой проблемы в данном диссертационном исследовании был предпринята попытка комплексного изучения качества тестовых материалов с целью разработки эффективной модели экспертизы, позволяющей на стадии разработки сформировать банк стандартизированных тестовых заданий и тестов. На основании полученных результатов можно сделать следующие выводы:

2. Аналитический обзор и сравнение существующих моделей экспертизы качества тестовых материалов позволил выявить их главные недостатки — изолированность этапов экспертизы и отсутствие комплексного оценивания качества тестовых материалов.

8. Обработка результатов апробации технологии комплексной экспертизы качества тестовых материалов методами математической статистики и статистики качеств показала ее преимущества (эффективность) в сравнении с традиционной, состоящей из двух основных этапов: экспертное оценивание качества содержания теста и статистическое обоснование качества теста. Полученное значение коэффициента Кохена (d=0,79) подтверждает гипотезу исследования об эффективности разработанной технологии.

9. Описанные модели и технологии комплексной экспертизы качества тестовых материалов легли в основу учебно-методического обеспечения курсов повышения квалификации ТОИПКРО по темам: «Формирование системы оценки качества образования», «Мониторинг и статистика в образовании», «Технология разработки и комплексной экспертизы тестовых материалов для мониторинга и оценки качества образования» в период с 2006 по 2009гг. подготовлено свыше 400 чел.

Вместе с тем, данное диссертационное исследование не исчерпывает всех аспектов технологии комплексной экспертизы качества тестовых материалов для диагностики и контроля образовательных достижений обучающихся. Необходимо продолжение исследований, в частности, в оценивании компетентности экспертов и выявлении наиболее эффективных методов организации работы с предметными комиссиями, разработка механизмов интеграции комплексной экспертизы в технологии сертификации тестовых материалов, создание автоматизированных компьютерных технологий со встроенными экспертными модулями оценки качества тестовых материалов.

Список литературы диссертации автор научной работы: кандидата педагогических наук, Максимова, Оксана Александровна, Москва

1. Аванесов B.C. Математические модели педагогического измерения. М.: Исслед. центр, 1994.— 23 с.

2. Аванесов B.C. Основы научной организации педагогического контроля в высшей школе. М.: МИСиС, 1989.— 167 с.

3. Аванесов B.C. Теоретические основы разработки заданий в тестовой форме. М.: МГТА, 1995.- 95 с.

4. Аванесов B.C. Тесты в социологическом исследовании. М.: Наука, 1982 199 с.

5. Аванесов B.C. Форма тестовых заданий: Учеб. пособие. М.: Исслед. центр, 1991.-50 с.

6. Аванесов В. С. Композиция тестовых заданий. М.: Ассоциация инженеров-педагогов г. Москвы, 1996.— 191 с.

7. Аванесов В. С. Методологические и теоретические основы тестового и педагогического контроля: автореф. дис. . докт. пед. наук. СПб.: Гос. ун-т, 1994 32 с.

8. Авдулов П.В. Введение в теорию принятия решений. М., 1977.— 107 с.

9. Азгальдов Г.Г. О квалиметрии. М.: Издательство стандартов, 1973.— 171 с.

10. Акинфиева Н.В. Квалиметрический инструментарий педагогических исследований // Педагогика. 1998. -.№4. - С. 30-35.

11. Акофф Р., Эмери Ф. О целеустремленных системах. М.,1974.— 107 с.

12. Анастази А. Психологическое тестирование. -7-е изд. — СПб.: Питер, 2005 688 с.

13. Андронникова Н.Г., Бурков В.Н., Леонтьев С.В. Комплексное оценивание в задачах регионального управления. М.: РИГУ РАН, 2002.— 58 с.

14. Архангельский С.И. Учебный процесс в высшей школе, его закономерные основы и методы. М.: Высшая школа, 1980.— 198 с.

15. Бабанский Ю.К. Педагогика: Учеб пособие для вузов. М.: Просвещение, 1983.— 608 с.

16. Байденко В.И. Выявление состава компетенций выпускников вузов как необходимый этап проектирования ГОС ВПО нового поколения: Методическое пособие.—М.: Исследовательский центр проблем качества подготовки специалистов, 2006. — 72 с.

17. Балыхина Т.М.Словарь терминов и понятий тестологии. — М.: Изд— во. РУДН, 2000.-164 с.

18. Беспалько В. П. Основы теории педагогических систем //Проблемы и методы психолого-педагогического обучения техн. обуч. систем. — Воронеж: Изд-во Воронеж, ун-та, 1977. 304 с.

19. Беспалько В.П. Слагаемые педагогической технологии. -М.: Педагогика, 1989. 191 с.

20. Беспалько В.П., Татур Ю.Г. Системно-методическое обеспечение учебно-воспитательного процесса подготовки специалистов. — М.: Высшая школа, 1989. — 114 с.

21. Беспалько В. П. Образование и обучение с участием компьютеров (педагогика третьего тысячелетия). М.: Издательство Московского психолого-социального института; Воронеж: Издательство НПО «МОДЭК», 2002. -352 с.

22. Бешелев С. Д., Гурвич Ф. Г. Математико-статистические методы экспертных оценок. — 2-е изд., пер. и доп. М.: Статистика, 1980. -263 с.

23. Бодров В.И., Т.Я. Лазарева, Ю.Ф. Мартемьянов. Математические методы принятия решений. Тамбов.: Издательство ТГТУ, 2004 — 124 с.

24. Блинов В.И. Национальная рамка квалификаций в Российской Федерации // Высшее образование в России.— 2008 № 1.

25. Васильев В. И., В.В. Глухов, Тягунова Т. Н. Культура компьютерного тестирования. Ч. 5. Оптимальная оценка уровня учебных достижений тестируемых-М.: МГУП, 2002.-75 с.

26. Васильев В. И., Тягунова Т. Н. Культура компьютерного тестирования. Ч.

27. Содержательность и логичность тестовых суждений. М.: МГУП, 2002. — 65 с.

28. Васильев В. И., Тягунова Т. Н. Культура компьютерного тестирования. Ч. 1. Философия адаптивного тестирования. М.: МГУП, 2002. 55 с.

29. Васильев В. И., Тягунова Т. Н. Культура компьютерного тестирования. Ч.

30. Форма тестовой ситуации и формирование теста. М.: МГУП, 2002. 83 с.

31. Васильев В.И., Красильников В.В. и др. Статистический анализ многомерных объектов произвольной природы. Введение в статистику качества—М.: Издательство ИКАР, 2004.-382 с.

32. Васильев В.И., Тягунова Т.Н. Теория и практика формирования программно-дидактических тестов. М.: МЭСИ, 2001. — 54 с.

33. Винокуров Б.Б., Караушев В.Ф., Лисицын В.М. Итоговая аттестация выкускников ТПУ: Сборник документов—Томск: Издательство ТПУ, 2000.-74 с.

34. Волков В.И. Методология комплексной экспертизы инвестиционных программ и проектов.-М.: РИНКЦЭ, 2004.-370 с.

35. Волков В.И. Основы теории и практики экспертной деятельности—М.: АМИ, 2003.-192 с.

36. Гальперин П.Я. Лекции по психологии.-М.: Высшая школа, 2002.-400 с.

37. Гершунский Б.С. Педагогическая прогностика: методология, теория, практика. —Киев: Вища школа, 1986 159 с.

38. Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии. М.: Прогресс, 1978. - 494 с.

39. Горбачева Е. Л. Психологический анализ критериального задания // Вопросы психологии, 1991. 2 — С.22-25.

40. Горелов В.Е., Кудрявцев А.В., Одинцов М.Н. Методы экспертных оценок. -М., 1987.-28 с.

41. ГОСТ Р ИСО 9000-2001. Системы менеджмента качества. Основные положения и словарь. М.: Изд-во стандартов, 2001. 26 с.

42. ГОСТ Р ИСО 9001-2001. Системы менеджмента качества. Требования. М.: Изд-во стандартов, 2001. — 21 с.

43. ГОСТ Р ИСО 9004-2001. Системы менеджмента качества. Рекомендации по улучшению деятельности. М.: Изд-во стандартов, 2001. 45 с.

44. Гребенюк О.С., Гребенюк Т.Б. Основы педагогики индивидуальности: учебное пособие — Калининград: Янтарный сказ, 2000. 400 с.

45. Гузеев В.В. Оценка, рейтинг, тест М.: Знание. —1999. — 69 с.

46. Гузеев В.В. Планирование результатов образования и образовательная технология. М.: Народное образование, 2000. -215 с.

47. Гулюкина Н. А., Клишина С. В. Педагогический тест: этапы и особенности конструирования и использования. Пособие для преподавателей. -Новосибирск: Изд-во НГТУ, 2001. 130 с.

48. Гулюкина Н.А. Тестовые технологии в системе интенсивной адаптации первокурсников: Дис. . канд. пед. наук. — Новосибирск.: СИОТ РАО, 2000. 320 с.

49. Гусев А.Н., А.Ч. Измайлов. Измерения в психологии. Общий психологический практикум. — М.: Смысл, 1987.—281с.

50. Диагностика как фактор развития образовательной системы. Учебное пособие. /Авторский коллектив: Г.А. Деминова, Т.И. Дормидонова, А.В. Кулев, В.Н. Максимова, А.Д. Храмцова. СПб., 1995. - 52 с.

51. Дружинин В.Н. Экспериментальная психология.— СПб.: Издательство «Питер», 2000. 320 с.

52. Дятлова К. Д. Система разработки и анализа педагогических тестов по биологии: Автореф. дисс. . док. фил. наук.: — СПб.: РГПУ им. А.И. Герцена, 2007. — 41 с.

53. Елисеева И.И., Юзбашев М.М.Общая теория статистики М.: «Финансы и статистика», 2002. — 480 с.

54. Ефремова Н.Ф.Современные тестовые технологии в образовании. Учеб. пособие. — М.: Логос, 2003, — 176 с.

55. Иванов Б.С. Основы педагогической диагностики и мониторинг образовательной деятельности в техническом вузе. СПб.: Изд-во СПбГПУ, 2003. 120 с.

56. Ингекамп К. Педагогическая диагностика. — М.: Педагогика, 1991. —127 с.

57. Кабардин О.Ф., Земляков А.Н. Тестирование знаний и умений учащихся // Советская педагогика, 1991. — № 12. — С. 27—33.

58. Каплан Р., Нортон Д. Сбалансированная система показателей. От стратегии к действию/ Пер. с англ.— М.: ЗАО «Олимп- Бизнес», 2003. —304 с.

59. Качество высшего образования в современной России. Концептуально-программный подход. — М.: Исследовательский центр проблем качества подготовки специалистов, 1995. — 51 с.

60. Клайн П. Справочное руководство по конструированию тестов. Введение в психометрическое проектирование. — Киев.: ПАН Лтд., 1994. — 288 с.

61. Ковалева Г.С. Зарубежный опыт построения и актуальные проблемы развития образовательного тестирования. — М., 2001. 120 с.

62. Короткое Э.М. Управление качеством образования. 2-е изд. - М.: Академический проспект, 2007. — 320 с.

63. Ларичев О.И. Наука и искусство принятия решений. М.: Наука, 1979 -78 с.

64. Левина М. М. Технологии профессионального педагогического образования: Учеб. пособие для студ. высш. пед. учеб. заведений. — М.: Издательский центр «Академия», 2001. — 272 с.

65. Леднев B.C. Содержание образования М.: Высшая школа, 1989-205 с.

66. Лисичкин В. А. Экспертные методы // Теория прогнозирования и принятия решений — М.: Высшая школа, 1977. — С. 149-155.

67. Литвак Б.Г. Экспертные оценки и принятие решений. — М.: Патент, 1996271 с.

68. Люсин Д.В. Основы разработки и применения критериально-ориентированных педагогических тестов. — М.: Исслед. центр, 1993—50 с.

69. Майоров А. Н. Тесты школьных достижений: конструирование, проведение, использование. — М., 2000 — 352с.

70. Майоров А. Н. Мониторинг в образовании. М.: Интеллект-Центр, 2005. — 424 с.

71. Майоров А.И. Тесты школьных достижений: конструирование, проведение, использование. — СПб.: Образование и культура, 1997.-304 с.

72. Максимова О. А. Технология комплексной экспертизы качества тестовых материалов для контроля учебных достижений обучающихся // Известия РГПУ им. А.И.Герцена. № 29 (65) Аспирантские тетради: научный журнал. СПб., 2008 - С. 424- 427.

73. Максимова О.А., Пермяков О.Е. Формализация экспертного оценивания качества тестовых материалов с позиций системного подхода // Вестник педагогических инноваций. № 3 (7). — Новосибирск, 2006. — С. 158— 176.

74. Максимова О.А., Пермяков О.Е., Менькова С.В., Смирнова А.С. Как работают эксперты ЕГЭ: результаты социологических исследований в Томской области // ОКО. Оценка качества образования / Научно-методический журнал. — М., 2007. — № 1. — С 16 — 21.

75. Максимова О.А., Пермяков О.Е., Медведев И.И. Использование тестовых технологий в Томском политехническом университете // «Образование и наука без границ-2006» / Материалы Междунар. науч.-практ. конф. в 4 т., 2006 С.72 - 74.

76. Миркин Б.Г. Анализ признаков и структур. -М.: Статистика, 1980—318 с.

77. Миронова М. В. Квалиметрический подход к разработке системы педагогического мониторинга в вузе : Автореф. дис. . канд. пед. наук: Удм. гос. ун-т. — Ижевск, 1999. 22 с.

78. Михайлычев Е.А. Дидактическая тестология- М., 2001.- 432 с.

79. Михайлычев Е.А., Кравченко В.Ф., Сафонцев С.А. Интервальная шкала оценок потенциальных возможностей учащихся // Стандарты и мониторинг в образовании. —2001. — №3. — С. 51—54.

80. Михеев BJI. Моделирование и методы теории измерения в педагогике. М.: Высшая школа, 1987. — 81 с.

81. Международный стандарт ISO 8402. Управление качеством и обеспечение качества: Словарь/Пер. с англ. 2-е издание, 1994. 50 с.

82. Месарович М., Тахакара Н. Общая теория систем: Математические основы. М.: Мир, 1978. 312 с.

83. Месарович М., Мако Д., Тахакара Н. Теория иерархических многоуровневых систем: Пер. с англ. — М.: Мир, 1973 — 402 с.

84. Морев И.А. Образовательные информационные технологии. Часть 4. Развивающий измерительный процесс в вузе: Монография. — Владивосток: Изд-во Дальневост. ун-та, 2004. — 148 с.

85. Найденова Н.Н.Формирование репрезентативной выборки: Учеб. пособие. М.: Логос, 2003. - 152 с.

86. Нардюжев В.И., Нардюжев И.В. Модели и алгоритмы информационно-вычислительной системы компьютерного тестирования: Монография.-М.: Прометей, 2000. -148 с.

87. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов — М, 2000—169 с.

88. Нейман Ю.М.Как оценивается уровень подготовленности учащихся по результатам единого государственного экзамена М.: Центр тестирования Минобразования России. 2002 — 32 с.

89. Новейший философский словарь — Минск.: Книжный Дом, 2003.-1279 с.

90. О сертификации педагогических испытательных материалов / Куклин В.Ж., Масленников А.С., Наводнов В.Г., Савельев Б.А. // Квалиметрия человека и образование: методология и практика: Тез. докл. М., 1996 — с.134—135.

91. Овчинников В.В. Оценивание учебных достижений учащихся при введении централизованного тестирования—М.: Центр тестирования МО РФ, 2001.-27 с.

92. Орлов А.И. Нечисловая статистика — М.: МЗ-Пресс, 2004. 513 с.

93. Орлов А.И. Экспертные оценки. Учебное пособие. М., 2002. - 214 с.

94. Оценка качества профессионального образования. Доклад 5, май 2001/ Под общей редакцией В.И. Байденко, Дж. ванн Зантворта. — М.: Исследовательский центр проблем качества подготовки специалистов, 2001.-186с.

95. Павлов С.Н. Теория систем и системный анализ: Учебное пособие. — Томск.: Томский межвузовский центр дистанционного образования, 2003. -134 с.

96. Переверзев В. Ю. Критериально-ориентированные педагогические тесты для итоговой аттестации студентов М.: НМЦ СПО Минобразования РФ, 1999.-152 с.

97. Перегудов Ф.И., Тарасенко Ф.П. Основы системного анализа-Томск: Изд-во НТЛ, 2001.-396 с.

98. Пермяков О.Е. Исследование успешности обучения и прогностической валидности контрольно-измерительных материалов единого государственного экзамена // Вопросы тестирования в образовании:

99. Всероссийский научно-методический журнал—М.: Федеральный центр тестирования, 2005.

100. Пермяков О.Е. Методологические подходы к проектированию систем оценки качества образования // Известия Томского политехнического университета.-2005.-Т. 308.-№ 1.

101. Пермяков О.Е. Мониторинг качества профессионального образования с позиций кибернетики и системного анализа // Известия Томского политехнического университета—2006—Т. 309 — № 6.

102. Пермяков О.Е. Совершенствование системы качества образовательного учреждения высшего профессионального образования в контексте требований ENQA // Университетское управление: Практика и анализ — 2007.-№ 3(49).

103. Пермяков О.Е., Максимова О.А. Процедуры комплексной экспертизы качества тестовых заданий и тестов при формировании банка данных // Журнал научных публикаций аспирантов и докторантов. Курск, 2008. -№4.-110-114.

104. Пермяков О.Е., Максимова О.А. Основы технологии комплексной экспертизы качества педагогических тестов: монография — Томск: ТОИПКРО, 2008.- 100 с.

105. Пермяков О.Е. Методологические основы и технологии оценки индивидуальных образовательных достижений в системе профессионального образования: монография —М.: Федеральный институт развития образования, 2008 — 422 с.

106. Поддубная JI. М., Татур А. О., Челышкова М. Б. Задания в тестовой форме для автоматизированного контроля знаний студентов. М.: МИФИ, 1995. -132 с.

107. Поддубная JI.M., Татур А. О., Челышкова М.Б. Задания в тестовой форме для автоматизированного контроля знаний студентов (математика, физика): Учеб. пособие. М.: ИЦПКПС, 1995. - 56 с.

108. Подиновский В.В. Введение в теорию важности критериев. — М.: Физматлит, 2007— 66 с.

109. Попова Е.Д. Разработка моделей и алгоритмов оценки качества тестовых материалов: автореф. дисс. канд. техн. наук. — М, 2005. — 17 с.

110. Поташник М. М. Качество образования: проблемы и технология управления — М.: Педагогическое общество России, 2002. — 352 с.

111. Портнова И.М. Совершенствование системы оценивания качества продукции: автореф. дисс. канд. техн. наук. Пенза, 2005. — 17 с.

112. Родионов Б. У., Татур А. О. Инструкция для составителя тестов. Центр тестирования МИФИ. М.: МИФИ, 1995. - 10 с.

113. Родионов Б. У., Татур А. О. Стандарты и тесты в образовании. -М.: Исслед. центр, 1995. 48 с.

114. Саркисян С. А., Лисичкин В. А., Каспин В. И. Введение в теорию принятия решений // Теория прогнозирования и принятия решений. — М.: Высшая школа, 1977. С. 223-269.

115. Сафонцев С.А. Методология образовательной квалиметрии // Педагогическая диагностика, 2003. -№3. — С. 86-101.

116. Сафонцев С.А. Образовательная квалиметрия в системе повышения квалификации.— Ростов н/Д: Изд-во Рост, ун-та, 2004. 155 с.

117. Селянская Г.Н. Роль и место системы менеджмента качества в управлении вузом // Вестник Российской экономической академии им. Г.В. Плеханова, №4(16), 2007. —С.121-129.

118. Селевко В. Г. Современные образовательные технологии. — М.: Народное образование, 1998.-255 с.

119. Селезнева Н. А., Байденко В. И. Проблема качества образования: актуальные аспекты пути решения // Проблемы качества, его нормирования и стандартов в образовании: Сб. науч. статей. М.: ИЦ, 1998.- С.7-20.

120. Селезнева Н. А. Качество высшего образования как объект системного исследования: Лекция-доклад.- М.: ИЦПКПС, 2001- 79 с.

121. Современный словарь по общественным наукам. М.: ЭКСМО, 2005. — 528 с.

122. Современный словарь иностранных слов. М.: Русский язык, 1993. — 740 с.

123. Соколова И.Ю., Кабанов Г.П. Качество подготовки специалистов в техническом вузе и технологии обучения.— Томск: Изд—во ТГПУ, 2002 — 175 с.

124. Стукалова JI.A., Боков С.Н. Справочное руководство по конструированию тестов//Вопросы психологии. 1995. №4. С. 136—138.

125. Субетто А.И. Введение в квалиметрию высшей школы. Книга 1. «Общие основания квалиметрии высшей школы.»/ Учеб. пособие. — М.: Исследовательский центр по проблемам управления качеством подготовки специалистов, 1990.-95 с.

126. Субетто А.И. Введение в квалиметрию высшей школы. Книга 2. «Концепция квалиметрии. Система категорий и понятий.»/ Учеб. пособие. М.: Исследовательский центр по проблемам управления качеством подготовки специалистов, 1990 - 117 с.

127. Субетто А.И. Введение в квалиметрию высшей школы. Книга 3. «Общая квалиметрия и специальные методы квалиметрии»/ Учеб. пособие. — М.: Исследовательский центр по проблемам управления качеством подготовки специалистов, 1990.- 171 с.

128. Субетто А.И. Введение в квалиметрию высшей школы. Книга 4. «Квалиметрия высшей школы как предметная квалиметрия»/ Учеб. пособие. — М.: Исследовательский центр по проблемам управления качеством подготовки специалистов, 1990 — 163 с.

129. Субетто А.И. Оценочные средства и технологии аттестации качества подготовки специалистов в вузах: методология, методика, практика. / Монография. — СПб.-М.: Исследовательский центр проблем качества подготовки специалистов, 2004. 280 с.

130. Стоуне Э. Психопедагогика. М., 1984. - 267с.

131. Сучкова JI.А. Централизованное тестирование как средство экспертизы качества образования : автореф. дис. . канд. пед. наук . —Ростов н/Д.: Ростовск. пед. ун-т, 2000. — 25 с.

132. Талызина Н. Ф. Теоретические основы контроля в учебном процессе. М.: Знание, 1983.-96 с.

133. Талызина Н. Ф. Теоретические проблемы разработки модели специалиста// Современная высшая школа. -1986.-№ 2(54).— С.75-86.

134. Тарасов К. Е. Общая методология процесса диагностики как специфического вида познания. Автореф. дисс. . док. фил. наук. - М., 1969.-52 с.

135. Татур А.О. и др. Банк тестовых заданий ЛАТ // Развитие тестовых технологий в России: Тез. докл. Всерос. конф., Москва, 1999. — М.: Прометей. — С.23-25.

136. Толлингерова Д., Голоушова Д., Канторкова Г. Психология проектирования умственного развития детей. Москва-Прага, 1994. — 48 с.

137. Трифонов Е.В. Психофизиология человека. Толковый англо-русский словарь. — СПб.: Питер, 2000. — 356 с.

138. Узденов Д.М. Разработка методологических правил проектирования и методов оценки качества тестовых заданий: автореф. дисс. канд. техн. наук. М, 2006. - 21 с.

139. Челышкова М.Б., Савельев Б.А. Методические рекомендации по разработке педагогических тестов для комплексной оценки подготовленности студентов в вузе. М.: ИЦПКПС, 1995. - 77 с.

140. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. — М.: Логос, 2002. 432 с.

141. Челышкова М.Б. Адаптивное тестирование в образовании (теория, методология, технология). М.: ИЦПКПС, 2001. - 165 с.

142. Чередниченко О.И. Системный подход к диагностике результатов обучения в вузе: автореф. дисс. канд. пед. наук. — Казань, 2000 — 16 с.

143. Черепанов B.C. Экспертные оценки в педагогических исследованиях. — М., 1989.- 152 с.

144. Чернилевский Д.В. Дидактические технологии в высшей школе: Учеб. пособие для вузов. М.: ЮНИТИ-ДАНА, 2002. - 437 с.

145. Шишов С.Е., Кальней В.А. Школа: мониторинг качества образования. -М.: Педагогическое общество России, 2000. 320 с.

146. Шмелев А.Г. Основы психодиагностики. Учебное пособие для студентов педвузов. — Москва, Ростов н/Дону: Феникс, 1996- 535 с.

147. Шкалирование и выравнивание результатов педагогических измерений: Учеб. пособие / В. И. Звонников, Н.Н. Найденова, С. В. Никифоров, М.Б. Челышкова. -М: Логос, 2003. 96с.

148. Шторм Р. Теория вероятностей и математическая статистика. Статистический контроль качества. М.: Мир, 1970 368 с.

149. Эденборо Р. Практическая психометрия. Эффективное интервьюирование.- СПб.: Питер, 2003- 384 с.

150. Экспертиза инновационных процессов в образовании. Подходы к проблеме экспертизы в образовании. Кн. 1./ Под редакцией Г.Н. Прозументовой, С.Г. Баронене —Томск.: Изд-во Томского ун-та, 1999.-164 с.

151. Яковлев Е.В. Квалиметрический подход в педагогическом исследовании: новое видение // Педагогика. №3. С. 49-54.

152. Angoff W.N. Scales, norms and equivalent scores. In Thorndike R.L. (Ed.) Educational measurement (2-nd ed.). Washington, DC: American Council of Education, 1971. -P.508-600.

153. Berk, R. A. Standart setting: the next generation.// Applied Measurement in Education. -№ 9.-1996.-P. 215-235.

154. Bloom B.S. Stability and Change in Human Characteristics. N. Y. 1964.

155. Bloom, B. S. et. al. Taxonomy of Education Objectives: The Classification of Education Goals, Handbook 1: Cognitive Domain. N-Y, David McKay Co., 1956.-P. 187-215.

156. Denek К. Pomiar efektywnosci ksztalcenia w szkole wyzszej. — Warszawa, 1980.

157. Ebel R.L. Measuring Educational Achievement. Englewood Cliffs, N. J., 1965. 204 c.

158. Guttman I. A basic for analyzing test retest reliability // Psychometrika, 1945— №10.

159. Gulliksen H. Theory of mental tests.: J. Wiley. -New York, 1950.

160. Kubielski W. Podsatwy konsruowania I oceny testow dydaktycznych. Slupsk, 1998.

161. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests. Copenhagen, Denmark: Danish Institute for Educational Research, I960 — 207 P

162. Standarts for Educational and Psychological Tests. -Washington, 1974.- 68 p.

163. Thorndike R.L. (ed.) Educational measurement (2nd ed.) Washington, DC: American Council of Education, 1971.

164. Trevor G. Bond, Christine M. Fox Applying the Rasch Model: Fundamental Measurement in the Human Sciences, 2001— 235 p.

165. Wright B.D., Stone M.H. Best test design, Chicago: Mesa Press, 1979. -220 p.