Технология оценивания качества подготовки студентов вузов на основе многовариантных тестовых заданий

Станкевич, Татьяна Геннадьевна

Темы диссертаций по педагогике » Теория и методика профессионального образования

автореферат и диссертация по педагогике 13.00.08 для написания научной статьи или работы на тему: Технология оценивания качества подготовки студентов вузов на основе многовариантных тестовых заданий

Автореферат

Автор научной работы: Станкевич, Татьяна Геннадьевна
Ученая степень: кандидата педагогических наук
Место защиты: Нижний Новгород
Год защиты: 2008
Специальность ВАК РФ: 13.00.08

Диссертация

Автореферат диссертации по теме "Технология оценивания качества подготовки студентов вузов на основе многовариантных тестовых заданий"

□031Т1Т45 На правах рукописи

СТАНКЕВИЧ Татьяна Геннадьевна

ТЕХНОЛОГИЯ ОЦЕНИВАНИЯ КАЧЕСТВА ПОДГОТОВКИ СТУДЕНТОВ ВУЗОВ НА ОСНОВЕ МНОГОВАРИАНТНЫХ ТЕСТОВЫХ ЗАДАНИЙ

13 00 08 - теория и методика профессионального образования

Автореферат

диссертации на соискание ученой степени кандидата педагогических наук

Нижний Новгород - 2008

003171745

Работа выполнена в ГОУ ВПО «Волжский государственный инженерно - педагогический университет»

Научный руководитель: доктор педагогических наук, доцент

Снигирева Татьяна Александровна

Официальные оппоненты: доктор педагогических наук, профессор

Машарова Татьяна Викторовна

доктор педагогических наук, доцент Овечкин Владимир Петрович

Ведущая организация: ГОУ ВПО «Ижевский государственный

технический университет»

Защита диссертации состоится «23» июня 2008 г в _ часов на

заседании диссертационного совета Д 212 030 01 по защите диссертаций на соискание ученой степени доктора педагогических наук при ГОУ ВПО «Волжский государственный инженерно-педагогический университет» по адресу 603002, г. Нижний Новгород, ул. Луначарского, 23.

С диссертацией можно ознакомиться в библиотеке ГОУ ВПО «Волжский государственный инженерно-педагогический университет»

Автореферат разослан и размещен на сайте www veipu ru «22» мая 2008 г

Ученый секретарь диссертационного совета кандидат педагогических наук, доцент ¿/и7и>ЬеМ£еМ^ НП Повещенко

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования. Социально-экономические преобразования, происходящие в нашем обществе, выдвигают новые требования к содержанию образования и качеству знаний обучающихся (учащихся, абитуриентов, студентов)

Разработка новых моделей контроля качества образования (систем диагностического, текущего и итогового контроля) для оценки эффективности образовательного процесса является приоритетным направлением фундаментальных и прикладных исследований Российской академии образования

Проблему качества образования исследовали многие отечественные ученые В И Байденко, И А Зимняя, Г С Ковалева, В М Полонский, Н А Селезнева, В М Соколов, А И Субетго и другие Идеи и результаты этих исследований служат научно-методической базой для организации педагогического контроля в различных типах образовательных учреждений

Путь к созданию системы оценки качества подготовки обучаемых многие исследователи видят в усовершенствовании теории научной организации педагогического контроля и использовании возможностей контрольно-измерительных материалов, в том числе, и педагогических тестовых материалов, разработанных на основе методов теории моделирования и параметризации педагогических тестов - теории IRT (Item Response Theory)

Научные основы создания тестовых технологий - предмет исследований ряда отечественных ученых В С Аванесова, А Н. Майорова, Е А. Ми-хайлычева, Ю М Неймана, А О Татура, В А. Хлебникова, М Б Челышко-вой и др, а также зарубежных ученых А Бирнбаума, К Ингенкампа, Г. Раша и других

Многие исследователи отмечают, что объективность традиционных форм контроля имеет большую зависимость от множества внешних факторов, в силу чего их погрешность измерения иногда велика, а надежность измерения достаточно мала Поэтому, более перспективной формой педагогического контроля качества подготовки обучающихся являются тесты, объективность которых зависит от правильной последовательности выполнения всех этапов технологии их конструирования и реализации

В настоящее время в учебном процессе чаще используются «классические» тесты, включающие тестовые задания закрытого типа с выбором одного правильного ответа В то же время, существуют и другие формы тестовых заданий с выбором нескольких правильных ответов, на установление соответствия, правильной последовательности, открытого типа и др (так называемые многовариантные тестовые задания), которые имеют ряд преимуществ: они уменьшают вероятность случайного выбора всех правильных ответов, позволяют сократить число тестовых заданий при диагностике того же объема контролируемых знаний Однако они не получили широкого распро-

охранения в учебном процессе ввиду недостаточной разработанности технологии их конструирования и оценивания получаемых при их использовании результатов тестирования

Все это позволяет обозначить в педагогической теории и практике следующие противоречия:

• между потребностью в объективном оценивании качества подготовки обучающихся различных категорий и отсутствием соответствующего валидного и надежного педагогического инструментария;

• между необходимостью введения в практику образовательных учреждений тестов, характеризующихся низкой вероятностью случайного выбора правильного ответа, обладающих большей эффективностью, объективностью, диагностирующими возможностями и недостаточной разработанностью технологии их создания и оценки

В контексте изложенного проблема исследования может быть сформулирована следующим образом- как повысить эффективность и объективность оценивания качества подготовки студентов вузов, используя педагогические тестовые материалы7

Недостаточная теоретическая разработанность проблемы, ее практическая значимость и актуальность обусловили выбор темы диссертационного исследования- «Технология оценивания качества подготовки студентов вузов на основе многовариантных тестовых заданий»

Цель исследования: теоретически обосновать и разработать технологию оценивания качества подготовки студентов вузов с помощью многовариантных тестовых заданий и опытно-экспериментальным путем проверить эффективность её реализации

Объект исследования: педагогический контроль качества подготовки обучающихся

Предмет исследования: тестовая технология оценивания качества подготовки студентов вузов на основе многовариантных заданий.

Ключевые понятия исследования:

• качество подготовки - уровень усвоения знаний, умений, навыков, определяемый в соответствии с нормативными требованиями (ГОС, ЕГЭ и др.) в зависимости от категории обучающихся, типа образовательного учреждения и специфики учебного предмета,

• классические тестовые задания закрытой формы - задания с выбором одного правильного ответа,

• многовариантные тестовые задания (закрытой или открытой формы, на установление соответствия, правильной последовательности и др) -задания с выбором нескольких правильных ответов.

Гипотеза исследования заключается в том, что оценивание качества подготовки студентов вузов на основе технологии с использованием многовариантных тестовых заданий будет более объективно и эффективно, если

• научно обоснована и разработана модель технологии оценивания качества подготовки;

• учтены следующие характеристики и их особенности возможность учета неполного ответа, увеличение разрешающей способности тестов, уменьшение вероятности угадывания полного правильного ответа, возможность одновременной диагностики нескольких видов знаний,

• при обработке результатов тестирования учитывать коэффициент и логит полноты ответа при оценке уровня знаний студентов

В соответствии с целью, объектом, предметом и гипотезой исследования предполагается решить следующие задачи:

1) провести теоретическое исследование существующих тестовых методик педагогического контроля,

2) разработать педагогическую технологию оценивания качества подготовки студентов вузов с использованием многовариантаых тестовых заданий,

3) обосновать и разработать методику обработки данных тестирования с использованием многовариантных тестовых заданий,

4) провести сравнительный анализ результатов диагностики качества подготовки студентов вузов на основе различных видов тестовых заданий,

5) разработать комплект тестов, включающих многовариантные тестовые задания для оценивания качества подготовки студентов вузов.

Методологическая основа исследования базируется на положениях общей и частно-научной методологии, идеях гуманизации образования, принципах системного подхода; концепции квалиметрического подхода к педагогическим измерениям, принципах и методологии научного педагогического исследования

Теоретическую основу исследования составляют

• концепции учебных знаний обучающихся (В .И Гинецинский, А А Зиновьев, Л Я Зорина, И .Я Лернер, Н Ф Талызина, Л.Т. Турбович, Б Блум, Р Гагн, Дж Гилфорд, Г Д Бухарова, Н Н Тулькибаева и др),

• теоретические основы педагогической квалиметрии (А С. Казаринов, В П Мизинцев, А А Мирошниченко, В.И Михеев, В П Панасюк, А И Су-бетто, В С Черепанов, О Ф Шихова и др),

• научные основы педагогической тестологии (В С Аванесов, А Бирн-баум, К Ингемкамп, В А Исаев, А Н Майоров, Е А Михайлычев, Ю.М. Нейман, Г Раш, В М Соколов, Т А Снигирева, В А Хлебников, М Б Челышкова и др),

• концепции педагогических технологий (О В Долженко, В П Бес-палько, ЗД. Жуковская, М В. Кларин, Г П Корнев, Т В Машарова, Ю К Чернова, М.А Чошанов, Н.Е Эрганова и др)

Для решения поставленных задач применялись следующие методы исследования:

• теоретический анализ и синтез при изучении литературных источников, обосновании и разработке технологии оценивания качества подготовки обучаемых;

• теоретические методы (классификация, аналогия и системный анализ);

• эмпирические методы (анкетирование, наблюдение, тестирование);

• метод групповых экспертных оценок,

• статистические методы обработки результатов педагогического эксперимента

Организация, база и этапы исследования. Опытно-экспериментальная работа осуществлялась в Ижевской государственной медицинской академии и ряде образовательных учреждений Удмуртской Республики

На первом этапе (2001 - 2002гг.) (подготовительном) - основной задачей являлось изучение исследований по разработке и применению педагогических тестовых материалов в учебном процессе, проводился анализ проблем оценивания качества подготовки студентов в Ижевской государственной медицинской академии и ряде образовательных учреждений Удмуртской Республики В результате были сформулированы проблема и гипотеза исследования

На втором этапе (2002 — 2004г г.) (исследовательском) - разрабатывались технология оценивания качества подготовки студентов вузов с использованием многовариантных тестовых заданий и методика обработки результатов тестирования

На третьем этапе (2004 - 2008г г) (опытно — экспериментальном) - происходила апробация педагогических тестовых материалов, включающих многовариантные тестовые задания для оценивания качества подготовки студентов первого курса по физике в Ижевской государственной медицинской академии, а также проводился статистический анализ и обобщение результатов исследования

Научная новизна исследования заключается в следующем*

• разработана педагогическая технология оценивания качества подготовки студентов вузов с использованием многовариантных тестовых заданий, позволяющая более объективно диагностировать уровень усвоения знаний;

• предложены дополнительные параметры для оценки качества подготовки обучающихся (для уровня знаний и уровня трудности заданий с учетом неполноты ответа; коэффициент и логит полноты ответа),

• выявлены факторы, определяющие преимущества применения многовариантных тестовых заданий (повышение объективности, эффективности, технологичности), предложены приемы целенаправленного управления этими факторами

Теоретическая значимость исследования состоит в том, что

• в категориальный аппарат педагогической тестологии введены понятия «многовариантные тестовые задания», «коэффициент полноты ответа», «логит полноты знаний» обучающихся,

• обосновано повышение эффективности педагогических тестовых материалов, включающих многовариантные тестовые задания за счет возможности диагностирования нескольких видов знаний,

• доказано повышение объективности использования в тестовых технологиях многовариантных тестовых заданий (учет долей правильных, неправильных и неполных ответов в каждом тестовом задании),

• выявлена необходимость дифференцированного оценивания результатов тестирования с использованием многовариантных тестовых заданий (с применением и без применения формулы коррекции на угадывание правильного ответа) в зависимости от целей

Практическая значимость исследования заключается в следующем.

• создана педагогическая технология оценивания качества подготовки студентов вузов с использованием многовариантных тестовых заданий, которая применяется в учебном процессе ряда образовательных учреждений Удмуртской Республики;

• разработана и обоснована методика статистической обработки результатов тестирования на основе многовариантных тестовых заданий, позволяющая повысить объективность оценивания качества подготовки обучающихся,

• предложена формула коррекции на угадывание правильного ответа при использовании многовариантных тестовых заданий,

• разработаны: учебно-методическое пособие «Характеристики и особенности многовариантных тестовых заданий» и дидактические материалы для реализации предложенной технологии в различных типах образовательных учреждений, в том числе комплект педагогических тестов, включающий многовариантные тестовые задания различной формы (около 500 заданий)

Результаты исследования нашли отражение в серии статей, тезисах и материалах конференций, методических разработках.

Основные положения, выносимые на защиту;

1. Использование многовариантных тестовых заданий уменьшает вероятность угадывания полного правильного ответа, позволяет одновременно диагностировать нескольких видов знаний, увеличивает разрешающую способность тестов, повышает объективность и эффективность оценивания качества подготовки студентов вузов

2. Педагогическая технология оценивания качества подготовки студентов вузов на основе многовариантных тестовых заданий должна разрабатываться методом групповых экспертных оценок на базе модели, включающей блоки 1) целеполагания (определение целей диагностики, нормативных требований, учет категории обучаемых), 2) формирующий (создание банка

тестовых заданий и их экспертизу), 3) контрольно-оценочный (оценка качества подготовки и определение рейтинга обучающихся)

3. Статистическая обработка результатов тестирования, полученных с помощью многовариантных тестовых заданий, должна включать определение. коэффициента полноты ответа; логита полноты ответа с учетом долей правильных, неправильных и неполных ответов в каждом тестовом задании, что позволяет обеспечить более высокую разрешающую способность, надежность и валидность тестов

4. Комплекты многовариантных тестовых материалов, разработанных методом групповых экспертных оценок, позволяют провести объективное оценивание качества подготовки студентов вузов

Достоверность и обоснованность полученных результатов обеспечена непротиворечивыми исходными методологическими позициями, комплексным подходом к оцениванию качества подготовленности обучающихся, совокупностью методов теоретического и эмпирического исследования, их адекватностью цели и задачам исследования, разносторонним качественным и количественным анализом собранного фактологического материала, многолетней апробацией идей в образовательных учреждениях различных типов

Апробация работы и внедрение результатов исследования.

Диссертационное исследование выполнено в рамках научно-исследовательской программы «Образование в Уральском регионе, научные основы развития и инновации» в соответствии с планом важнейших НИР Уральского отделения РАО на 2006 — 2010 г.г. (разд. 3, п. 3.21 «Разработка теоретических основ и квалитативной технологии формирования и диагностики структуры знаний обучаемых»)

Материалы исследования были представлены на XI Всероссийском симпозиуме «Квалиметрия в образовании, методология, методика, практика» (Москва, 2006 г.), международной научно-методической конференции (Ижевск, 2005 г), IV Всероссийской конференции «Развитие тестовых технологий в России» (Москва, 2002 г.), региональных научно-практических конференциях «Традиции и инновации в образовании» (Ижевск, 2005 г.), «Инновации в профессиональном и технологическом образовании квалиметрия, деонтология, тестология» (Ижевск, 2007 г.).

Основные положения и результаты исследования обсуждались на кафедре профессиональной педагогики Ижевского государственного технического университета и на семинарах Института повышения квалификации и переподготовки работников образования Удмуртской Республики

Структура и объем диссертации.

Работа состоит из введения, трёх глав, заключения, библиографии, приложений. Общий объем текста - 156 страниц Работа иллюстрирована рисунками, диаграммами, графиками, таблицами, формулами Список используемой литературы включает 169 наименование, из них 21 — работы зарубежных авторов

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обосновывается актуальность исследования, его методологическая и теоретическая база, методы и этапы, определяется научная новизна, теоретическая и практическая значимость, рассматриваются апробация и внедрение результатов исследования, представлены положения, выносимые на защиту

В первой главе «Проблемы педагогической диагностики» проанализированы дидактические принципы педагогической диагностики и контроля, методологические основы педагогических измерений, обоснован выбор тестового контроля для оценивания качества подготовки обучающихся, рассмотрены виды тестов и классификация форм тестовых заданий на основе анализа работ отечественных и зарубежных исследователей, выявлены особенности тестовых заданий и проблемы их использования

Под педагогической диагностикой понимается общий способ получения опережающей информации об эффективности функционирования целостной педагогической системы и основных ее компонентов

Проблемы педагогической диагностики и контроля знаний обучаемых, вопросы преимуществ и недостатков одних форм контроля перед другими рассматриваются в работах В С Аванесова, В П Беспалько, Л В Загрековой, Л В Макаровой, А И Самыловского, А О Татура, Н Ф Талызиной, М Б Че-лышковой и др, а также в диссертационных работах О Ю Ефремова, ТВ Кирилловой, Л В Колясниковой, О В Любимовой, МГ Минина, Т А Родыгиной, Т А. Снигиревой, О Н. Шиловой и др

По мнению ряда авторов, основными целями диагностики в педагогике являются определение уровня усвоения заданной деятельности и соотнесение результатов со стандартом, своевременное выявление пробелов в обучении, подтверждение успешных результатов в обучении, мотивация с использованием поощрения за успехи в учебе и регулирование сложности последующих шагов, улучшения условий учебы.

Диагностика качества подготовки обучающихся требует использования надежной информации, которую необходимо собрать, быстро и качественно обработать для сравнения учебных достижений обучаемых с задаваемыми эталонами (например, требованиями ГОС учебной дисциплины), выбрать оптимальную стратегию обучения Данный процесс требует обработки больших массивов информации даже при оценке качества обучения сравнительно небольших выборок обучаемых Решение проблемы требует применения математических методов для анализа результатов педагогических измерений, использования вычислительной техники при обработке данных, компетентности преподавателей в использовании методов педагогической квалиметрии

Педагогический контроль, являясь составной частью педагогической диагностики, выполняет более узкие функции (контролирующую, диагностическую и др ) при их одинаковой цели, - оценке качества знаний обучаемых и получении информации для дальнейшего улучшения качества обучения Педагогический контроль, осуществляемый традиционными методами, имеет субъективный характер Повысить объективность, достоверность оценок можно, в частности, перейдя к тестовому контролю - научно обоснованному методу эмпирического исследования в педагогике и в ряде других наук Актуальность тестового метода объясняется его несомненными преимуществами перед другими формами педагогического контроля, такими как- высокая научная обоснованность самого теста, позволяющая получать объективированные оценки уровня подготовленности обучающихся, технологичность тестовых методов; более высокая точность измерений, наличие одинаковых, для всех пользователей, правил проведения педагогического контроля и адекватной интерпретации тестовых результатов, сочетаемость тестовой технологии с другими современными образовательными технологиями

Существенный вклад в развитие тестологии внесли такие зарубежные ученые как F Lord, J Mrilman М Novik, А Otis, К. Pearson, W Popham, G Rash, Ch Spearman, L Thurstone и др

В последние годы тестовой проблематикой активно занимаются отечественные ученые: В.С Аванесов,ЕЮ Карданова,А.Н Майоров,ЮК Нейман, А.И Самыловский, А О Татур, В А Хлебников и др

В диссертации уточнена и дополнена классификация тестовых заданий (ТЗ) Это задания 1) с выбором одного правильного ответа (открытого и закрытого типа), 2) с выбором наиболее правильного ответа; 3) с выбором нескольких правильных ответов; 4) задания открытой формы; 5) задания на соответствие; 6) задание на установление правильной последовательности.

Задания с выбором одного правильного ответа можно разделить на задания с выбором из: а) двух, б) трех, в) четырех, г) пяти и большего числа дистракторов

Тестовые задания с выбором одного правильного ответа - традиционная форма тестового контроля, которая отличается высокой технологичностью и скоростью тестирования Большим недостатком таких заданий является высокая вероятность угадывания (особенно для заданий с двумя или тремя дистракгорами), а также невозможность проверки с помощью таких заданий полноты понимания вопроса, системности знаний и т д

В диссертации показано, что последние четыре формы ТЗ можно назвать многовариантными тестовыми заданиями и объединить по нескольким позициям*

1 Процедура ответа на такие задания состоит из выбора правильного ответа и анализа полноты ответа (для ТЗ с выбором нескольких правильных ответов), оценивания пунктов данной последовательности и верной их расстановки (задания на установление последовательности), анализа возможных связей и окончательного установления всех верных соответствий (задания на установление соответствия), заполнения всех пропусков в заданиях открытой формы При невыполнении части процедуры ответа задание не может быть определено как полностью выполненное Следовательно, эти тестовые задания труднее, чем задания с выбором одного правильного ответа из нескольких возможных

2 Формула коррекции на возможное угадывание для таких заданий, если от тестируемого требуется выбор всех правильных ответов, не нужна из-за низкой вероятности угадать сначала один верный ответ, а затем из оставшихся, другие В заданиях открытой формы вероятность угадывания снижается до нуля

3 Указанные тестовые задания обладают более высокими обучающими функциями, т к усложнение процедуры ответа на подобные тестовые задания приводит к тому, что испытуемые работают более вдумчиво, неоднократно просматривая возможные варианты, анализируя ответ

4 Применение заданий этого вида позволяет сократить число тестовых заданий при сохранении того же объема контролируемого материала

5. Проблемой применения таких заданий является нерешенность вопросов об оценке ответа (сколько начислять баллов за ответ и как это делать), а также в подсчете баллов при оценке различных заданий в тесте при автоматизированном контроле знаний, что требует принимать дополнительные правила оценки каждого ответа

Во второй главе «Научно - практические основы технологии разработки многовариантных тестовых заданий» приводится математическое моделирование фактора случайного угадывания для заданий с выбором одного правильного ответа для различного числа дистракторов, формула коррекции на угадывание правильного ответа для многовариантных тестовых заданий, оценка вероятности выполнения многовариантных тестовых заданий на основе ШТ, рассматривается специфика распределения многовариантных тестовых заданий в тесте, а также экспертиза валидности анкет для оценки многовариантных тестовых заданий

Исследование показало, что использование традиционного подхода при обработке многовариантных тестовых заданий имеет ряд ограничений, снижающих объективность оценки ответа В то же время для многовариантных тестовых заданий формула коррекции на угадывание не нужна, если от тестируемого требуется выбор всех правильных ответов Возможен и другой подход к обработке данных тестирования В этом случае обучающийся сам

выбирает количество правильных ответов в задании, (т е допускается ситуация неполного ответа), и, тогда необходимо проводить коррекцию на угадывание правильного ответа с помощью предлагаемой нами формулы

I. I

/.I п—т

где о, - число верных ответов, данных тестируемым нау-ое тестовое задание; «у - число дистракторов в у-ом тестовом задании, т] - число правильных ответов на у-ое тестовое задание, п - среднее число дистракторов, т - среднее число верных ответов

В общем случае, когда тест состоит из различных по форме тестовых заданий под т - следует понимать число

-дистракторов (для тестовых заданий закрытого типа);

- ключевых слов в выборе ответов (открытого типа),

- возможных сочетаний между двумя множествами объектов (сочетания формальные),

- «шагов» в последовательности

При рассмотрении вопроса оценки вероятности выполнения многовариантных тестовых заданий на основании теории ШТ делается выбор в пользу скорректированной однопараметрической модели Раша Это позволяет не вводить параметр, учитывающий вероятность угадывания и исключить снижение дифференцирующей способности заданий теста, а также упростить анализ и обработку статистических данных

В диссертации показано, что при создании педагогических тестовых материалов принцип репрезентативности регламентирует как полноту отображения, так и значимость содержательных элементов теста Поэтому при составлении теста необходимо учитывать следующие особенности: тип образовательного учреждения; категорию обучающихся (учащиеся, абитуриенты, студенты), модель их обучения, специфику содержания учебного материала, вид контроля (текущий, рубежный, итоговый и т д)

Соотношение количества различных форм тестовых заданий также не может определяться однозначно Включение в тест только заданий закрытого типа, как показывают исследования, при анализе распределения форм тестовых заданий в тестах ЕГЭ позволяет проверить лишь объем знаний, не выявив при этом их структуру. Тестовые задания должны быть подобраны таким образом, чтобы с их помощью можно было проверить сформированность знаний на различных уровнях сложности (от 3-х до 6-ти) в зависимости от цели тестирования

Для эмпирической проверки выдвинутой гипотезы, в том числе и методом анкетирования, с целью обеспечения объективности эксперимента была

проведена экспертиза валидности разработанных анкет, значение показателя содержательной валидности которых составило <р = 0,53 (на уровне 85% «пригодности» в среднем всех характеристик анкеты).

Определение других видов валидности не приводится, поскольку часть из них неприменима для данной процедуры анкетирования, а другие имеют более низкие весовые коэффициенты

В третьей главе «Методика применения многовариантных тестовых заданий в учебном процессе» приводится модель технологии оценивания качества подготовки студентов вузов, методика обработки многовариантных тестовых заданий, их параметризация, а также интерпретация результатов оценивания качества подготовки студентов с их использованием

В диссертации представлена модель технологии оценивания качества подготовки студентов вузов, которая содержит три основных блока, каждый из которых имеет определенное значение для разработанной педагогической технологии (рис. 1)

Блок I - «Целеполагания» является основой для создания педагогических тестовых материалов, включающих многовариантные тестовые задания, разрабатываемые для оценивания качества подготовки обучающихся Изначально необходимо установить «Нормативные требования» (например, требования ГОС, ЕГЭ и др) и определить «Цели диагностики» Модель подготовки обучающихся зависит от типа образовательного учреждения, поэтому при оценивании качества их подготовки важно учитывать «Категории обучающихся» (учащиеся, абитуриенты, студенты и др )

Как показывает анализ исследований, отбор содержания материала целесообразно проводить на основе учебных тезаурусов дисциплины - модуль «Учебный тезаурус»

Блок II - «Формирующий» связан с разработкой педагогических тестовых материалов Ведущие преподаватели кафедры, учителя разрабатывают тестовые задания различной формы - модуль «Формирование банка тестовых заданий» Композиционное построение теста принимается после проведения «Экспертизы тестовых материалов», которая заключается в оценивании качества и количества разработанных тестовых заданий по уровням сложности, видам диагностируемых знаний, соотношению числа дистракторов и правильных ответов для обеспечения содержательной валидности теста Для повышения объективности результатов оценивания качества подготовки в формируемый тест целесообразно включать различные формы заданий - как с выбором единственного правильного ответа, так и многовариантные

Категории обучающихся

Нормативные требования

Цели диагностики

Учебный тезаурус

Отбор педагогических тестовых материалов методом групповых экспертных оценок

Экспертиза тестовых материалов

закрытого типа с одним правильным ответом

Формирование банка тестовых заданий

закрытого типа с выбором нескольких правильных ответов

на установление правильной последовательности

на установление соответствия

открытого типа

Технические средства

/1—к Статистическая обработка и 4 \ анализ данных

Мониторинг качества подготовки студентов

Определение рейтинга студентов

Параметры оценки качества подготовки студентов: • логит уровня знаний • логит полноты знаний • коэффициент полноты ответа

Дифференцированный подход к оценке результатов

Рис. 1. Модель технологии оценивания качества подготовки студентов вузов

Блок III - «Контрольно-оценочный» Основой этого блока является модуль «Параметры оценки качества подготовки студентов», учитывающий особенности применения многовариантных тестовых заданий Это параметры, разработанные нами на основе теории IRT логит уровня знаний - &п коэффициент полноты ответа - КПО, и логит полноты ответа - Я; каждого j-го тестируемого, которые вычисляются по формулам

где а, = j - доля правильных ответов, 6, = j - доля неправильных ответов, выбранных студентом, с, = j - доля неполных ответов; а, Ь, с- число

верных, неверных, неполных ответов на i-e ТЗ, данных тестируемым, п - число дистракторов в /-ом тестовом задании,

кпо' -t й; где т - число правильных ответов в j-om тестовом задании;

1-1 щ

где к - число тестовых заданий.

Учет этих параметров повышает объективность оценивания результатов. Справедливо поставленная оценка положительно влияет на мотивацию обучающихся овладеть новыми знаниями при изучении учебной дисциплины. Логит полноты ответа дает возможность определить рейтинг студентов При одинаковых значениях логитов уровней знаний логит полноты ответа имеет более высокое значение у тех тестируемых, которые выбирают большее число правильных ответов из нескольких предлагаемых Это позволяет оценить их качество подготовки и определить рейтинг в исследуемой выборке обучающихся - модуль «Определение рейтинга студентов».

При оценивании результатов тестирования с помощью многовариантных тестовых заданий целесообразно использовать дифференцированный подход В случае входного или текущего контроля необязательно требовать от тестируемого полного ответа на тестовое задание (он сам определяет число правильных ответов) В такой ситуации необходима коррекция на угадывание правильного ответа при помощи предложенной нами формулы. При проведении итогового контроля студентам предъявляется требование дать полный ответ, и в этом случае формула коррекции на угадывание правильно-

го ответа не нужна из-за низкой вероятности угадывания всех правильных ответов в тестовом задании - модуль «Дифференцированный подход к оценке результатов»

Модуль «Статистическая обработка и анализ данных» предусматривает использование специальных компьютерных программ для обработки данных тестирования и последующего их анализа. Для эффективной процедуры оценивания качества подготовки студентов вузов необходимы технические средства, - это ЭВМ, с помощью которых осуществляется тестирование, математическая обработка полученных результатов и хранение собранной информации в виде базы данных - «Технические средства»

Модуль «Мониторинг качества подготовки студентов» на основании сопоставления результатов, получаемых на различных этапах обучения, позволяет наблюдать за качеством учебного процесса

Таким образом, предложенная модель технологии оценивания качества подготовки студентов вузов базируется на использовании тезаурусного и квалиметрического подходов, что дает возможность сравнивать качество их подготовки на основании введенных параметров Модель является основой разработанной педагогической технологии

Результативность разработанной технологии неоднократно проверялась в ходе экспериментальных исследований оценивания качества подготовки студентов первого курса, обучающихся на кафедре физики, практически по всем изучаемым 20-ти разделам: «Кинематика колебаний», «Волновые явления», «Механические свойства биологических тканей», «Тепловое излучение», «Рентгеновское излучение» и т д

Для проверки эффективности применения многовариантных тестовых заданий по каждому разделу физики были составлены два параллельных теста по 30 тестовых заданий в каждом Первый тест с выбором одного правильного ответа (тест 1 - классический), второй - с выбором двух правильных ответов (тест 2 - многовариантный) Параллельность тестов была выдержана по объему изучаемого материала и содержанию вопросов Полученные матрицы тестовых результатов обрабатывались традиционным способом с использованием программы RLATENT и электронной таблицы приложения Microsoft Excel.

Сравнение различий результатов в контрольной и экспериментальной группах проводилось с использованием непараметрического критерия Розен-баума на уровне доверительной вероятности 0,95 Усредненные результаты экспериментов за три года приведены в табл. 1. Объем выборочной совокупности составил 450 студентов первого курса Ижевской государственной медицинской академии.

Сравнительная характеристика классических и многовариантных тестов, полученная при обработке данных тестирования

Таблица 1

Параметры тестов Виды тестов

Тест 1 (классический) Тест 2 (многовариантный)

контрольная группа жсперимеитальная группа

Надежность (при opt = > 0,7) / Ср. значение 0,7-0,8 / Ср. знач. 0,75 0,8-0,9 / Ср. знач. 0,85

Валидность (при opt = > 0,7) / Ср значение 0,6-0,75 / Ср. знач. 0,67 0,7-0,9 / Ср. знач. 0,82

Логиты трудности заданий от-0,3 до 1,9/ Ср. знач. 0,8 от-1,8 до 2,4/ Ср. знач. 1,2

Логиты уровней знаний от-1,4 до 1,7 / Ср. знач. 0,1 от -2,5 до 2,0 / Ср. знач. -0,3

Среднее значение индивид, балла 21,8 18,3

Коэффициент корреляции уровней трудности заданий с индивид, баллами 0,1-0,3 0,7-0,8

Значения показателя индекса дискримина-тивности заданий (при opt = > 0) 0,01-0,5 0,2-0,6

Снижение среднего значения индивидуального балла в экспериментальной группе обусловлено более высокими значениями логитов трудностей вопросов у многовариантных тестовых заданий в сравнении с заданиями с выбором одного правильного ответа.

Сравнительные диаграммы распределения оценок студентов, полученные в контрольной и экспериментальной группах с помощью различных способов обработки данных тестирования представлены на рис. 2.

Рис. 2. Сравнительные диаграммы распределения оценок студентов

На рис 2 «КГ» - контрольная группа, тестирование в которой проводилось с использованием ТЗ с выбором единственного правильного ответа, «ЭГ1» и «ЭГ2» - экспериментальные группы, тестирование в которых проводилось с использованием ТЗ с выбором двух правильных ответов при обработке (в «ЭГ1» - по традиционной методике, «ЭГ2» - по методике обработки многовариантных тестовых заданий)

Анализ полученных результатов показывает, что применять к многовариантным тестовым заданиям традиционную методику (когда неполные ответы приравниваются к неправильным) некорректно

Число студентов, получивших «неудовлетворительно» в ЭГ1 больше, чем в ЭГ2 на 29% Ответивших на «4» и «5» в ЭГ1 меньше на 28%, чем в ЭГ2 При этом в контрольной группе большинство тестируемых получили оценку «3», что указывает на низкую разрешающую способность данных заданий

Методика обработки тестов, включающих многовариантные тестовые задания, учитывает такие параметры как логит уровня знаний, рассчитанный с учетом долей правильных, неправильных и неполных ответов в каждом тестовом задании, и логит полноты ответа Это позволяет увеличить дифференцирующую способность тестов.

По результатам эксперимента, проведенного в 2007 году в контрольной группе (КГ) из 75 тестируемых число повторяющихся значений логита уровня знаний оказалось равным 67, в ЭГ1 по традиционной методике обработки данных - 62, при применении методики обработки многовариантных тестовых заданий в ЭГ2 - 12, что подтверждает увеличение разрешающей способности данной технологии и в дальнейшем позволяет более корректно определить рейтинг студентов и дифференцировать их по уровню подготовки

Нами предложен суммарный показатель S = 0y +АУ, который позволяет определить рейтинг каждого студента (Я,) на основании шкалы, установленной методом групповых экспертных оценок. Показано, что если l£Ss3, то это соответствует «высокому», -1 < 5 < 1 - «среднему», -3 <, S < -1 - «низкому» рейтингу обучающегося

В ходе эксперимента установлено, что из 225 студентов в ЭГ1 «высокий» рейтинг имеют 12%; «средний» - 53%, «низкий» - 35%; в ЭГ2 «высокий» рейтинг имеют 26%; «средний» - 63%; «низкий» - 11%.

С целью выяснения отношения студентов к различным формам тестовых заданий было проведено анкетирование, результаты которого представлены в табл. 2.

В табл 2. 1 ТЗ - закрытого типа с выбором одного правильного ответа, 2 ТЗ - закрытого типа с выбором нескольких правильных ответов, 3 ТЗ - на установление соответствия, 4 ТЗ — открытого типа. Оценивание производилось по среднему баллу, выставленному по результатам ответов анкетируемых по 10-ти балльной шкале (балл определяет ранг характеристики).

Таблица 2.

Сравнительные характеристики многовариантных тестовых заданий и заданий с выбором единственного правильного ответа, полученные при анкетировании выборки студентов (п=100)

Содержание характеристики 1 ТЗ 2 ТЗ ЗТЗ 4 ТЗ

ранг % ранг % ранг % ранг %

Трудность задания 2 75 3 60 5 50 10 40

Низкая возможность угадывания правильных ответов 2 55 5 50 5 55 10 75

Низкая возможность запоминания правильных ответов 3 50 5 57 6 43 6 37

Наиболее интересно по форме 4 50 5 50 5 40 6 30

Аналогичное анкетирование было проведено среди экспертов - преподавателей и учителей (рис. 3).

На рис. 3: ранг присваивается экспертом в зависимости от значимости данной характеристики от 1 до 9 (более значимой характеристике присваивается более высокий балл).

1 2 3 4 [ 5 б 7 ! 8 9

Рис. 3. Диаграмма результатов анкетирования экспертов «Характеристики многовариантных тестовых заданий и ТЗ с выбором единственного правильного ответа»

Как показывает анализ результатов анкетирования экспертов, практически все характеристики многовариантных тестовых заданий имеют средние баллы оценки выше по сравнению с выбором одного правильного ответа (кроме характеристик «технологичность составления заданий» и «технологичность обработки заданий»)

Такие важные характеристики как «возможность проверки связи явлений», «знания последовательностей и операций», «проверка понимания сущности явления или процесса» позволяют использовать многовариантные тестовые задания как наиболее пригодные для оценки качества знаний «Низкая возможность угадывания» и «низкая возможность запоминания правильных ответов» способствуют повышению объективности педагогического контроля

В заключение диссертации обобщены результаты теоретического и эмпирического исследования, изложены основные выводы

В приложениях работы приводятся терминологический словарь исследования, варианты педагогических тестовых материалов, анкеты для экспертизы тестовых заданий

Полученные теоретические и экспериментальные данные, анализ опытной работы подтверждает выдвинутую гипотезу и позволяет сделать следующие выводы

1. Проблема повышения качества оценивания подготовки обучающихся (студентов, учащихся и др) является аюуальной и основополагающей в педагогической диагностике. Для ее решения необходимо создание эффективной тестовой технологии, включающей многовариантные тестовые задания, позволяющей уменьшить вероятность угадывания правильного ответа, одновременно диагностировать несколько видов знаний, сократить число заданий в тесте при сохранении того же объема контролируемых знаний

2 Эмпирическая проверка разработанной педагогической технологии оценивания качества подготовки студентов вузов с помощью многовариантных тестовых заданий показала, что применять традиционную методику обработки данных тестирования (когда неполные ответы тестируемых приравниваются к неправильным) некорректно и необъективно

3 Для обработки данных тестирования, получаемых с использованием многовариантных тестовых заданий, необходимо использовать систему параметров: логит уровня знания и уровня трудности задания, коэффициент полноты ответа (определенные с учетом неполноты ответа), логит полноты ответа, значения которых позволяют повысить объективность оценивания качества подготовки студентов вузов, определить их рейтинг и дифференцировать их по уровню подготовки.

4 В зависимости от целей контроля целесообразно применять дифференцированное оценивание результатов тестирования с использованием многовариантных тестовых заданий (с применением и без применения формулы коррекции на угадывание правильного ответа). В случае, когда тестируемые сами определяют число правильных ответов (т е. возможна ситуация непол-

ного ответа и угадывания правильного ответа) необходима формула коррекции на угадывание правильного ответа, предложенная в работе При предъявлении к тестируемому требования полного правильного ответа, коррекция на угадывание не нужна из-за низкой вероятности данного события

5 Сравнение различий результатов исследования, полученных с помощью классического теста (контрольная группа) и многовариантного (экспериментальная группа) показало на увеличение разрешающей способности многовариантного теста, что позволяет более корректно определить рейтинг студентов и дифференцировать их по уровню подготовки

6 Результаты анкетирования студентов и экспертов — преподавателей показывают, что многовариантные тестовые задания обладают важными для контроля знаний характеристиками, позволяют оценивать качество подготовки студентов, повышают объективность контроля

Дальнейшее направление исследования связано с мониторингом качества подготовки студентов вузов.

Основные положения и результаты исследования нашли отражение в следующих публикациях автора, общим объемом 4,3 п л

I. Публикации в изданиях, включенных в реестр ВАК РФ

1 Станкевич, ТГ Нетрадиционный подход к технологии обработки тестовых заданий с выбором нескольких правильных ответов I ТГ Станкевич И Образование и наука - 2007 - № 4 - С 100-104.

2 Станкевич, ТГ, Снигирева, ТА Результаты диагностики уровня обученности с использованием многовариантных тестовых заданий / ТГ Станкевич, ТА Снигирева // Вестник Костромского государственного университета им Н А Некрасова -2007 -№6 -С 202-206

3. Станкевич, ТГ Методика оценивания качества подготовки обучающихся с использованием многовариангных тестовых заданий / ТГ Станкевич II Сибирский педагогический журнал - 2007. - №10 -С 119-124.

4 Станкевич, Т Г Некоторые особенности использования многовариантных тестовых заданий / ТГ Станкевич // Вестник Костромского государственного университета им Н А Некрасова -2007 -№3.-С 218-221

II. Статьи в научных журналах и тезисы докладов на научно-практических и научно-методических конференциях

5 Станкевич, ТГ, Камашев, Г Я Новый подход к обработке многовариангных тестовых заданий с выбором нескольких правильных ответов / ТГ Станкевич, Г Я Камашев II Вопросы тестирования в образовании - 2005. -№4 (16). - С. 32-43 (авт 1/2)

6 Снигирева, ТА, Камашев, Г Я, Станкевич, ТГ Результаты эксперимента по формированию и диагностики структуры знаний обучаемых на основе компьютерного тестирования / ТА Снигирева, ГЯ Камашев, Т Г Станкевич И Развитие тестовых технологий в России, тез. докл IV Все-

рос науч -метод конф / под ред Л .С Гребнева - М Центр тестирования МО РФ, 2002. - С. 295-296 (авт 1/3)

III. Статьи в сборниках научных трудов и материалы научных конференций

7 Станкевич, ТГ, Дерябина, А Г К вопросу о классификации многовариантных тестовых заданий с выбором нескольких правильных ответов в зависимости от числа правильных ответов I ТГ Станкевич, А Г Дерябина Н Общие проблемы квалиметрии в образовании материалы XI Всерос симп «Квалиметрия в образовании методология, методика, практика» ч 2 - М Исслед центр проблем качества подготовки специалистов, 2006 - С 33-35 (авт 1/2)

8 Станкевич, ТГ, Дерябина, А Г О необходимости разработки многовариантных тестовых заданий с выбором нескольких правильных ответов / ТГ Станкевич, А Г.Дерябина // Инновационные процессы в сфере образования и проблемы повышения качества специалистов: Материалы международной науч.-метод конф. - Ижевск Изд дом «Удм ун-т», 2005. -С 218-220 (авт 1/2)

9 Станкевич, ТГ Об особенностях различных типов многовариантных тестовых заданий с выбором нескольких правильных ответов I ТГ Станкевич II Инновационные процессы в сфере образования и проблемы повышения качества специалистов материалы международной науч-метод конф Ижевск' Изд. дом «Удм ун-т», 2005 -С 194-197.

10 Станкевич, ТГ Результаты эксперимента по проверке сравнительных характеристик многовариантных тестовых заданий I ТГ Станкевич // Традиции и инновации в образовании материалы регион науч -практ. конф - Ижевск Изд-во ИПК и Про УР, 2005. - С. 73-75

11. Станкевич,Т Г, Дерябина, А Г, Камашев, Г Я Новые возможности повышения эффективности учебно-педагогической деятельности кафедры медбиофизики / ТГ Станкевич, А Г Дерябина, Г Я Камашев // Развитие системы тестирования в Удмуртской республике- материалы регион науч -практ.конф -Ижевск Изд-воИжГТУ,2001.-С 87-90

12 Станкевич, Т Г Некоторые аспекты выбора формы тестовых заданий I ТГ Станкевич II Инновации в профессиональном и технологическом образовании квалиметрия, деонтология, тестология материалы регион, науч-метод конф -Ижевск-ИжГТУ, 2007 -С. 111-118.

13 Станкевич, ТГ, Черепанов, ВС, Снигирева, ТА Два подхода к оцениванию результатов тестирования с использованием многовариантных тестовых / ТГ Станкевич, ВС Черепанов, ТА Снигирева/Педагогический журнал Башкоркостана. - 2008 - № 2 - С. 118-121.

IV. Учебные пособия, методические разработки

14 Станкевич, ТГ Характеристики и особенности многовариантных тестовых заданий учеб.-метод пособие для преподавателей и студентов / ТГ Станкевич -Ижевск ИГМА,2007.-24с

дано в набор 21 05 2008 Подписано в печать 21 05 2008 Формат 60/84x16 Услпечл. 1,4 Тираж 100 экз Заказ 192

Издательство ВГИПУ. 603002. Н.Новгород. ул. Луначарского. 23 Отпечатано в издательском центре «Полиграф» ВГИПУ 603004, Нижний Новгород, ул Челюскинцев, 9

Содержание диссертации автор научной статьи: кандидата педагогических наук, Станкевич, Татьяна Геннадьевна, 2008 год

Введение.

Глава 1. Проблемы педагогической диагностики

1.1. Методологические основы педагогических измерений.

1.2. Тестовые технологии: состояние, проблемы, перспективы.

1.3. Основы конструирования педагогических тестовых материалов.

1.4. Особенности внедрения тестовых технологий в образовательный процесс.

Выводы по первой главе.

Глава 2. Научно-практические основы технологии разработки многовариантных тестовых заданий

2.1. Математическое моделирование фактора случайного угадывания в тестологии.

2.2. Оценка вероятности выполнения многовариантных тестовых заданий на основании теории IRT.

2.3. Репрезентативность многовариантных тестовых заданий, специфика распределения их количества в тесте.

2.4. Экспертиза качества тестовых материалов.

Выводы по второй главе.

Глава 3. Методика применения многовариантных тестовых заданий в учебном процессе

3.1. Модель технологии оценивания качества подготовки студентов вузов.

3.2. Специфика конструирования многовариантных тестовых заданий.

3.3. Математические модели для обработки результатов тестирования.

3.4. Интерпретация результатов оценивания качества подготовки студентов вузов.

Выводы по третьей главе.

Введение диссертации по педагогике, на тему "Технология оценивания качества подготовки студентов вузов на основе многовариантных тестовых заданий"

Социально-экономические преобразования, происходящие в нашем обществе, выдвигают новые требования к содержанию образования и качеству знаний обучающихся (учащихся, студентов). Проект новой реформы образования предусматривает системное реформирование его содержания и развитие Общероссийской системы оценки качества образования.

Проблему качества образования и его управления исследовали многие отечественные ученые: В.И. Байденко, И.А. Зимняя, Г.С. Ковалева, В.М. Полонский, Н.А. Селезнева, В.М. Соколов, А.И. Субетто и другие. Идеи и результаты этих исследований служат научно-методической базой для организации педагогического контроля в различных видах образовательных учреждений.

Путь к созданию системы оценки качества подготовки обучаемых многие исследователи видят в разработке теории научной организации педагогического контроля и использовании возможностей контрольно-измерительных материалов, в том числе, и педагогических тестовых материалов, разработанных на основе методов теории моделирования и параметризации педагогических тестов - теории IRT (Item Response Theory).

Проблематика тестирования достигла к настоящему времени в российском образовании критической остроты, особенно в связи с введением Единого Государственного экзамена, процедура проведения которого требует повышения объективности оценки, как знаний обучающихся, так и качества тестовых материалов.

Научные основы создания тестовых технологий - предмет исследований ряда отечественных ученых: B.C. Аванесова, В.П. Беспалько, А.Н. Майорова, Е.А. Михайлычева, Ю.М. Неймана, А.О. Татура, В.А. Хлебникова, М.Б. Че-лышковой и др., а также зарубежных ученых: А. Бирнбаума, К. Ингекампа, Г. Раша и других.

Многие исследователи отмечают, что объективность традиционных форм контроля имеет большую зависимость от множества внешних факторов, в силу чего их погрешность измерения иногда велика, а надежность измерения достаточно мала. Поэтому, более перспективной формой педагогического контроля качества подготовки обучающихся являются тесты, объективность которых зависит от правильной последовательности выполнения всех этапов технологии их конструирования и реализации.

В настоящее время в учебном процессе чаще используются «классические» тесты, включающие тестовые задания закрытого типа с выбором одного правильного ответа. В то же время, существуют и другие формы тестовых заданий: с выбором нескольких правильных ответов, на установление соответствия, правильной последовательности, открытого типа и др. (так называемые многовариантные тестовые задания), которые имеют ряд преимуществ: они уменьшают вероятность случайного выбора всех правильных ответов, позволяют сократить число тестовых заданий при диагностике того же объёма контролируемых знаний. Однако они не получили широкого распространения в учебном процессе ввиду недостаточной разработанности технологии их конструирования и оценивания получаемых при их использовании результатов тестирования.

Все это позволяет обозначить в педагогической теории и практике следующие противоречия:

• между потребностью в объективном оценивании качества подготовки обучающихся и отсутствием соответствующего валидного и надежного педагогического инструментария;

В контексте изложенного проблема исследования может быть сформулирована следующим образом: как повысить эффективность и объективность оценивания качества подготовки студентов вузов, используя педагогические тестовые материалы?

Недостаточная теоретическая разработанность проблемы, ее практическая значимость и актуальность обусловили выбор темы диссертационного исследования: «Технология оценивания качества подготовки студентов вузов на основе многовариантных тестовых заданий».

Объект исследования: педагогический контроль качества подготовки обучающихся.

Ключевые понятия исследования:

• качество подготовки — уровень усвоения знаний, умений, навыков, определяемый в соответствии с нормативными требованиями (ГОС, ЕГЭ и др.) в зависимости от категории обучающихся, типа образовательного учреждения и специфики учебного предмета;

• классические тестовые задания закрытой формы - задания с выбором одного правильного ответа;

• многовариантные тестовые задания (закрытой или открытой формы, на установление соответствия, правильной последовательности и др.) — задания с выбором нескольких правильных ответов.

• научно обоснована и разработана модель технологии оценивания качества подготовки;

• учтены следующие характеристики и их особенности: возможность учета неполного" ответа, увеличение разрешающей способности тестов, уменьшение вероятности угадывания полного правильного ответа, возможность одновременной диагностики нескольких видов знаний;

• при обработке результатов тестирования учитывать коэффициент и ло-гит полноты ответа при оценке уровня знаний студентов.

1) провести теоретическое исследование существующих тестовых методик педагогического контроля;

2) разработать педагогическую технологию оценивания качества подготовки студентов вузов с использованием многовариантных тестовых заданий;

3) обосновать и разработать методику обработки данных тестирования с использованием многовариантных тестовых заданий;

4) провести сравнительный анализ результатов диагностики качества подготовки студентов вузов на основе различных видов тестовых заданий;

Методологическая основа исследования базируется на положениях общей и частно-научной методологии; идеях гуманизации образования; принциг пах системного подхода; концепции квалиметрического подхода к педагогическим измерениям; принципах и методологии научного педагогического исследования.

Теоретическую основу исследования составляют:

• концепции учебных знаний обучающихся (В.И. Гинецинский,

A.А. Зиновьев, Л.Я. Зорина, И .Я. Лернер, Н.Ф. Талызина, Л.Т. Турбович, Б. Блум, Р. Гагн, Дж. Гилфорд, Г.Д. Бухарова, Н.Н. Тулькибаева и др.);

• теоретические основы педагогической квалиметрии (А.С. Казаринов,

B.П. Мизинцев, А.А. Мирошниченко, В.И. Михеев, В.П. Панасюк, А.И. Субет-то, B.C. Черепанов, О.Ф. Шихова. и др.);

• научные основы педагогической тестологии (B.C. Аванесов, А. Бирнба-ум, К. Ингемкамп, В.А. Исаев, А.Н. Майоров, Е.А. Михайлычев, Ю.М. Нейман, Г. Раш, В.М. Соколов, Т.А. Снигирева, В.А. Хлебников, М.Б. Челышкова и др.);

• концепции педагогических технологий (О.В. Долженко, В.П. Беспалько, З.Д. Жуковская, М.В. Кларин, Г.П. Корнев, Т.В. Машарова, Ю.К. Чернова, М.А. Чошанов, Н.Е. Эрганова и др.).

Для решения поставленных задач применялись следующие методы исследования:

• теоретические методы (классификация, аналогия и системный анализ);

• эмпирические методы (анкетирование, наблюдение, тестирование);

• метод групповых экспертных оценок;

• статистические методы обработки результатов педагогического эксперимента.

На первом этапе (2001 - 2002г.г.) (подготовительном) - основной задачей являлось изучение исследований по разработке и применению педагогических тестовых материалов в учебном процессе, проводился анализ проблем оценивания качества подготовки студентов в Ижевской государственной медицинской академии и ряде образовательных учреждений Удмуртской Республики. В результате были сформулированы проблема и гипотеза исследования.

На втором этапе (2002 - 2004г.г.) (исследовательском) - разрабатывались технология оценивания качества подготовки студентов вузов с использованием многовариантных тестовых заданий и методика обработки результатов тестирования.

На третьем этапе (2004 - 2008г.г.) (опытно — экспериментальном) происходила апробация педагогических тестовых материалов, включающих многовариантные тестовые задания для оценивания качества подготовки студентов первого курса по физике в Ижевской государственной медицинской академии, а также проводился статистический анализ и обобщение результатов исследования.

Научная новизна исследования заключается в следующем:

Теоретическая значимость исследования состоит в том, что:

• в категориальный аппарат педагогической тестологии введены понятия: «многовариантные тестовые задания», «коэффициент полноты ответа», «логит полноты знаний» обучающихся;

Практическая значимость исследования заключается в следующем:

• разработана и обоснована методика статистической обработки результатов тестирования на основе многовариантных, тестовых заданий, позволяющая повысить объективность оценивания качества подготовки обучающихся;

• предложена формула коррекции на угадывание правильного ответа при использовании многовариантных тестовых заданий;

Основные положения, выносимые на защиту:

2. Педагогическая технология оценивания качества подготовки обучающихся на основе многовариантных тестовых заданий должна разрабатываться методом групповых экспертных оценок на базе модели, включающей блоки: 1) целеполагания (определение целей диагностики, нормативных требований, учет категории обучаемых); 2) формирующий (создание банка тестовых заданий и их экспертизу); 3) контрольно-оценочный (оценка качества подготовки и определение рейтинга обучающихся).

3. Статистическая обработка результатов тестирования, полученных с помощью многовариантных тестовых заданий, должна включать определение: коэффициента полноты ответа; логита полноты ответа с учетом долей правильных, неправильных и неполных ответов в каждом тестовом задании, что позволяет обеспечить более высокую разрешающую способность, надежность и ва-лидность тестов.

Апробация работы и внедрение результатов исследования.

Диссертационное исследование выполнено в рамках научно-исследовательской программы «Образование в Уральском регионе: научные основы развития и инновации» в соответствии с планом важнейших НИР Уральского отделения РАО на 2006 - 2010 г.г. (разд. 3, п. 3.21 «Разработка теоретических основ и квалитативной технологии формирования и диагностики структуры знаний обучаемых»).

Материалы исследования были представлены на XI Всероссийском симпозиуме «Квалиметрия в образовании: методология, методика, практика» (Москва, 2006 г.), международной научно-методической конференции (Ижевск, 2005 г), IV Всероссийской конференции «Развитие тестовых технологий в России» (Москва, 2002 г.), региональных научно-практических конференциях

Традиции и инновации в образовании» (Ижевск, 2005 г.), «Инновации в профессиональном и технологическом образовании: квалиметрия, деонтология, тестология» (Ижевск, 2007 г.).

Структура и объем диссертации.

Работа состоит из введения, трёх глав, заключения, библиографии, приложений. Общий объем текста - 156 страниц. Работа иллюстрирована рисунками, диаграммами, графиками, таблицами, формулами. Список используемой литературы включает 169 наименование, из них 21 - работы зарубежных авторов.

Заключение диссертации научная статья по теме "Теория и методика профессионального образования"

Анализ опытной работы, полученные теоретические и экспериментальные данные подтверждают выдвинутую гипотезу исследования и позволяют сделать следующие ВЫВОДЫ:

1. Проблема повышения качества оценивания подготовки студентов является актуальной и основополагающей в педагогической диагностике. Для ее решения необходимо создание эффективной тестовой технологии, включающей многовариантные тестовые задания, позволяющей уменьшить вероятность угадывания правильного ответа, одновременно диагностировать несколько видов знаний, сократить число заданий в тесте при сохранении того же объема контролируемых знаний.

2. Эмпирическая проверка разработанной педагогической технологии оценивания качества подготовки с помощью многовариантных тестовых заданий показала, что применять традиционную методику обработки данных тестирования (когда неполные ответы тестируемых приравниваются к неправильным) некорректно и необъективно.

3. Для обработки данных тестирования, получаемых с использованием многовариантных тестовых заданий, необходимо использовать систему параметров: логит уровня знания и уровня трудности задания, коэффициент полноты ответа (определенные с учетом неполноты ответа), логит полноты ответа, значения которых позволяют повысить объективность оценивания качества подготовки студентов вузов, определить их рейтинг и дифференцировать их по уровню подготовки.

4. В зависимости от целей контроля целесообразно применять дифференцированное оценивание результатов тестирования с использованием многовариантных тестовых заданий (с применением и без применения формулы коррекции на угадывание правильного ответа). В случае, когда тестируемые сами определяют число правильных ответов (т.е. возможна ситуация неполного ответа и угадывания правильного ответа) необходима формула коррекции на угадывание правильного ответа, предложенная в работе. При предъявлении к тестируемому требования полного правильного ответа, коррекция на угадывание не нужна из-за низкой вероятности данного события.

5. Сравнение различий результатов исследования, полученных с помощью классического теста (контрольная группа) и многовариантного (экспериментальная группа) показало на увеличение разрешающей способности многовариантного теста, что позволяет более корректно определить рейтинг студентов и дифференцировать их по уровню подготовки.

6. Результаты анкетирования студентов и экспертов — преподавателей показывают, что многовариантные тестовые задания обладают важными для контроля знаний характеристиками, позволяют оценивать качество подготовки студентов, повышают объективность контроля.

ЗАКЛЮЧЕНИЕ

В системе образования России за последнее десятилетие произошли прогрессивные функциональные и структурные изменения. К ним следует отнести создание Национальной системы оценки качества образования; введение единого государственного экзамена; внедрение Государственных образовательных стандартов; расширение спектра образовательных учреждений и ряд других преобразований.

Данные изменения в первую очередь коснулись системы педагогического контроля, — в учебный процесс вводятся новые технологии диагностики знаний, которые позволяют получить объективные и достоверные данные о качестве подготовки обучаемых.

Как показал анализ отечественной и зарубежной научно-методической литературы, проведенный в первой главе диссертации, использование возможностей тестового контроля знаний обучающихся в настоящее время ограничено, в частности, из-за неразработанности технологии конструирования и обработки тестов, состоящих из различных по форме заданий, включая многовариантные тестовые задания. Многовариантные тестовые задания имеют ряд преимуществ: они уменьшают вероятность случайного выбора всех правильных ответов, позволяют сократить число тестовых заданий при диагностике того же объема контролируемых знаний, проводить диагностику одновременно нескольких видов знаний.

Разработанная во второй главе математическая модель экспериментальной обработки данных тестирования с помощью многовариантных тестовых заданий стала основой технологии оценивания качества подготовки студентов. Параметры, введенные для объективной и полной оценки: логит уровня знаний и трудности задания с учетом долей правильных, неправильных и неполных ответов, коэффициент полноты ответа и логит полноты ответа позволяют повысить разрешающую способность педагогических тестовых материалов, их дис-криминативность и дают возможность определять рейтинг студентов.

При разработке технологии оценивания качества подготовки студентов реализованы важные принципы организации педагогических измерений: принцип связи педагогических измерений с целями образования и обучения; принцип объективности измерений, обеспеченный учетом особенностей различных форм тестовых заданий, составляющих ПТМ, и индивидуальных характеристик обучающихся, полученных с их использованием; принцип справедливости и гласности измерений; принцип научности и эффективности, обеспечиваемый проверкой содержания и правильности формы тестов, выполняемой независимыми экспертными группами педагогов по учебным дисциплинам; принцип систематичности, относящийся к организации учебного тестирования, осуществляемого для улучшения знаний по результатам самопрог верки — самой гуманной формы контроля. Самопроверке планомерно подвергаются знания каждого учебного модуля, раздела, каждой темы. Тем самым систематически формируется рефлексия относительно изученного и недоученного знания; принцип всесторонности, заключающийся в репрезентативном представлении содержания учебного курса в содержании теста, что достигается применением тезаурусного подхода при отборе тестового материала; принцип гуманности и этичности педагогических измерений, состоящий в том, что исключается нанесение какого-либо вреда развитию личности. Методика оценивания нацелена на учет индивидуальных особенностей ответов тестируемых и выставления справедливой отметки.

Технология оценивания качества подготовки студентов прошла апробацию на кафедрах физики с курсом высшей математики, общей и биоорганической химии ИГМА.

Список литературы диссертации автор научной работы: кандидата педагогических наук, Станкевич, Татьяна Геннадьевна, Нижний Новгород

1. Аванесов, B.C. Методологические и теоретические основы тестового педагогического контроля: автореф. дис. . д-ра пед. наук / B.C. Аванесов. — СПб.: Изд-во СПб гос. ун-та, 1994. - 32 с.

2. Аванесов, B.C. Основы научной организации педагогического контроля в высшей школе / В. С. Аванесов. М.: МИСиС, 1989. - 167 с.

3. Аванесов, B.C. Математические модели педагогического измерения / B.C. Аванесов М.: Исслед. центр проблем качества подготовки специалистов. - 1994. - 26 с.

4. Аванесов, B.C. Научные проблемы тестового контроля знаний: монография /

5. B.C. Аванесов. — М.: Исслед. проблем качества подготовки специалистов центр, 1994.-135 с.

6. Аванесов, B.C. Композиция тестовых заданий / B.C. Аванесов. М.: АДЕПТ, 2002. - 240 с.

7. Аванесов, B.C. Определение, предмет и основные функции педагогической диагностики / B.C. Аванесов II Педагогическая диагностика. 2002. - С. 4143.

8. Аванесов, B.C. Основы теории педагогических заданий / B.C. Аванесов // Школьные технологии №1. М., 2007. - С. 146 - 165

9. Азгалъдов, Г.Г. Разработка теоретических основ квалиметрии: автореф. дис. . д-ра эконом, наук /Г.Г. Азгалъдов. — М., 1981.

10. Азгалъдов, Г.Г. Теория и практика оценки качества товаров (основы квалиметрии) / Г.Г. Азгалъдов. М.: Экономика, 1982. - 256 с.

11. Архангельский, С.И., Михеев, В.И. Использование некоторых математических методов статистики в решении задач дидактического исследования /

12. C.И. Архангельский, В.И. Михеев И Применение математических методов и

13. ЭВМ в педагогических исследованиях: сб. науч. трудов / Под ред. Г.В. Воробьева, B.C. Черепанова. Свердловск: Изд-во СГПИ, 1989. - С. 40-49.

14. Бабанский, Ю.К. Основные условия и критерии оптимального выбора обучения / Ю.К. Бабанский II Проблемы методов обучения в современной общеобразовательной школе. М., 1980. - С. 48-56.

15. Бабанский, Ю.К. Проблемы повышения эффективности педагогических исследований / Ю.К. Бабанский IIМ.: Педагогика, 1982. — 192 с.

16. Башарин, В.Ф., Горбушин, Ш.А. Тезаурус курса физики средней школы. / В. Ф. Башарин, Ш.А. Горбушин // Фонд образовательного стандарта по физике средней школы (понятия, явления, законы, методы познания). Ижевск: Изд-во УдГУ, 1996.-245 с.

17. Беспалъко, В.П. Педагогика и прогрессивные технологии обучения / В.П. Беспалъко. — М.: Изд-во ин-та профобразования и МО, 1995. 336 с.

18. Бешелев, С.Д., Гурвич, Ф.Г. Математико-статистические методы экспертных оценок / С.Д. Бешелев, Ф.Г. Гурвич. М.: Статистика, 1980. - 263с.

19. Вавилкина, Р.А. Измерение уровня обученности учащихся при аттестации учителей / Р.А. Вавилкина II Измерения в педагогике. Сб. науч. труд / Отв. за выпуск B.C. Черепанов. Ижевск: Изд-во ИУУ, 1997. - С. 135 - 137.

20. Веселкова, Т.С. Междисциплинарные тесты как средство диагностики системности знаний учащихся: автореф. дис. . канд. пед. наук / Т.С. Веселкова Ижевск: Изд-во УдГУ, 2000. - 21 с.

21. Гершунский, Б.С., Березовский, В.М. Методологические проблемы стандартизации в образовании / Б.С.Гершунский, В.М. Березовский II Педагогика. 1993. -№ 3.

22. Гинецинский, В.И. Знание как категория педагогики: Опыт педагогической когнитологии / В.И. Гинецинский — JL: Изд-во ЛГУ, 1989. 144 с.

23. Горбушин, Ш.А. Инновационная технология обучения физике в профессиональном лицее: автореф. дис. . канд. пед. наук / Ш.А. Горбушин. — Казань: ИССО РАО, 1997. 43 с.

24. Государственный образовательный стандарт высшего профессионального образования. Гос. требования к минимуму содержания и уровню подготовки выпускника по спец. 040100 Лечебное дело, 040200 - Педиатрия, 040400 -Стоматология. - М., 1994.

25. Долженко, О.В., Шатуновский, В.А. Современные методы и технологии обучения в техническом вузе / О.В. Долэ/сенко, В.А. Шатуновский // метод, пособие. М.: Высшая школа, 1990. - 191 с.

26. Дятлова, К Д., Михалёва, Т.Г. / Исследование влияния разнообразия форм тестовых заданий на статистические характеристики теста / КД. Дятлова, Т.Г. Михалева II Вопросы тестирования в образовании. 2005. - №4 (16). - С. 65-76.

27. Ефремова, Н.Ф. Учебные достижениякак объект тестирования и показатель качества в образовании // Вопросы тестирования в образовании. — 2004. — №9-С. 39-51.

28. Жуковская, ЗД. Методические основания и технология разработки и функционирования комплексной системы контроля качества подготовки специалистов в вузе: автореф. дис. . д-ра пед. наук. / ЗД. Жуковская. СПб: Изд-во СПбГУ, 1994.

29. Загвязинский, В.И. Теория обучения: Современная интерпретация / В.И. Загвязинский // учеб. пособие для студ. высш. пед. учеб. заведений. -М.: Изд. центр «Академия», 2001. 192 с.

30. Загрекова, JI.B. Диагностика педагогических систем: проблемы и их решение / Л. В. Загрекова II Диагностика функционирования педагогической системы высшей школы: материалы науч.-практ. конф. 4.1. — Н. Новгород: Изд-во НГПУ, 1998. С. 33.

31. Зорина, Л.Я. Дидактические основы формирования системности знаний старшеклассников / Л.Я. Зорина. — М.: Педагогика, 1978. 128 с.

32. Ильин, В.В. Теория познания. Введение. Общие проблемы / В.В. Ильин. -М.: Изд-во МГУ, 1993.

33. Ильина, Т.А. Структурно-системный подход в организации обучения / Т.А. Ильина. -М.: Знание, 1972. Вып. 1. -71 с.

34. Ингенкамп, К. Педагогическая диагностика: Пер. с нем. М.: Педагогика, 1991.-240 с.

35. Казаринов, А. С., Култышева, А.Ю., Мирошниченко, А.А. Технология адаптационной валидности тестовых заданий / А.С.Казаринов, А.Ю. Култышева, А.А. Мирошниченко //учеб. пособие. Глазов: ГГПИ, 1999. - 62 с.

36. Кальней, В.А., Шишов, С.Е. Технология мониторинга качества обучения в системе «учитель-ученик» / В.А. Кальней, С.Е. Шишов // метод, пособие для учителя. — М.: Пед. общество России, 1999. 86 с.

37. Карданова, Е.Ю. О применимости политомической модели Раша к тестовым заданиям различных форм, оцениваемых политомически / Е.Ю. Карданова //Вопросы тестирования в образовании. 2005. - №4 (16). - С. 44 - 57.

38. Карданова, Е.Ю., Нейман, Ю.М. Исследование совместного функцион-мрования заданий различных типов (на примере КИМов ЕГЭ по английскому языку) / Е.Ю. Карданова, Ю.М. Нейман // Вопросы тестирования в образовании. 2005. - №2 (14). - С. 39-61.

39. Карданова, Е.Ю., Нейман, Ю.М. Основные модели теории тестирования / Е.Ю. Карданова, Ю.М Нейман / Вопросы тестирования в образовании. — 2004.-№7.-С. 12-37.

40. Комкова, О.Г. Мониторинг формирования структуры знаний обучаемых в системе «школа факультет довузовского образования - вуз»: дис. . канд. пед. наук / О.Г. Комкова. - Ижевск, 2007. - 146 с.

41. Квалиметрия в образовании: методология и практика. Мониторинг и контроль качества образования: развитие методологии и опыт: Материалы X Всерос. симп. М.: Исслед. центр проблем качества подготовки специалистов, 2002. Кн.З. —299 с.

42. Квалиметрия в образовании: методология и практика. Мониторинг и контроль качества образования: развитие методологии и опыт: Материалы XI Всерос. симп. М.: Исслед. центр проблем качества подготовки специалистов, 2006. Кн.З. - 299 с.

43. Кларин, М.В. Инновационные модели обучения в зарубежных педагогических поисках / М.В. Кларин. М.: Изд-во Арена, 1994. - С. 31-32.

44. Клюева, Г.А. Диагностика результатов обучения в профессиональных учебных заведениях: учеб.-метод. пособ / Г.А. Клюева. Пермь: Изд-во ПО-ИПКРО, 2004.-67 с.

45. Кириллова, Т.В. Формирование целостной системы знаний и умений учащихся старших классов средней школы (на материале естественнонаучных дисциплин): дис. . докт. пед. наук / Т.В. Кириллова. — Саранск: МГПИ им. М.Е. Евсеева, 2002.

46. Концепция модернизации российского образования на период до 2010 года. М.: АПК и ПРО, 2002. - 24 с.

47. Кромер, В.В. И вновь о коррекции тестового балла / В.В. Кромер II Вопросы тестирования в образовании. 2007. - №18. - С. 19-28.

48. Лазарев, А.И., Петрик Ю.С. Дидактические возможности различных типов тестовых заданий / А.И. Лазарев, Ю.С. Петрик//Вопросы тестирования в образовании. 2004. - №9 - С. 51 - 65.

49. Леднев, B.C. Содержание образования: сущность, структуры, перспективы / B.C. Леднев //2-е изд., перераб. М.: Высш. шк., 1991. - 224 с.

50. Лернер, И.Я. Дидактические основы методов обучения / И.Я. Лернер — М.: Педагогика, 1985.

51. Любимова, О.В. Разработка технологии диагностики «пороговых знаний» обучаемых на основе квалиметрического подхода: дис. . канд. пед. наук / О.В. Любимова. Ижевск. - 2002. - 198 с.

52. Любимова, О. В., Веретенникова Л.К Разработка средств диагностики «пороговых знаний» обучаемых на основе климетрического подхода: метод пособие / О. В. Любимова, Веретенникова Л.К II науч. ред. B.C. Черепанов Ижевск: ИЦ, 2002. -80 с.

53. Майоров, А.Н. Теория и практика создания тестов для системы образования / А.Н. Майоров. — М.: Интеллект-центр, 2001. — 296 с.

54. Макарова, Л.В. Диагностика индивидуальных различий студентов и концепция эффективности учебно-воспитательного процесса на факультете / Л.В. Макарова. Куйбышев, 1989. - 47 с.

55. Матрос, Д.Ш. Оптимизация распределения учебного времени в средней общеобразовательной школе (общедидактический аспект): автореф. дис. . д-ра пед. наук I Д.Ш. Матрос. М.: НИИ ТиИП АПН СССР, 1991.

56. Машарова, Т.В. Педагогические теории, системы и технологии обучения: учеб. пособие / Т.В. Машарова. Киров: Изд-во ВГПУ, 1997. - 160 с.

57. Машарова, Т.В. Использование личностно-ориентированных технологий в образовании / Т.В. Машарова. — Киров: Изд-во ВГПУ, 2000. — 84 с.

58. Методические рекомендации по разработке средств диагностики соответствия уровня подготовки выпускника требованиям государственного образовательного стандарта. М.: Изд-во МГТА, 1995. - 39 с.

59. Методические рекомендации по разработке педагогических тестов для комплексной оценки подготовленности студентов в вузе. — М.: Исслед. центр проблем качества подготовки специалистов, 1995 78 с.

60. Мизинцев, В.П. Количественная оценка эффективности и качества учебного процесса: автореф. дис. . д-ра пед. наук / В.П. Мизинцев. — М., 1987.

61. Мизинцев, В.П. Проблема аналитической оценки качества и эффективности учебного процесса в школе: учеб. пособие к спец. курсу / В.П. Мизинцев. Куйбышев: Изд-во КГПИ, 1986. - С. 73-108.

62. Минин М.Г. Теоретические и практические проблемы диагностики качества обучения в школе и в вузе на основе компьютерных технологий: дис. . д-ра пед. наук / М.Г. Минин. М.: МПУ, 2001.

63. Мирошниченко, А.А. Информационно-семантическое структурирование учебного материала: автореф. дис. . канд. пед. наук / А.А. Мирошниченко. -Ижевск: УдГУ, 1995. 18 с.

64. Мирошниченко, А.А. Предметная область когнитивно-педагогической системы I А.А. Мирошниченко. Глазов: ГГПИ, 1997. - 86 с.

65. Мирошниченко, А.А. Профессионально ориентированные структуры учебных элементов / А.А. Мирошниченко. — Глазов: ГГПИ, 1999. — 62 с.

66. Михайлычев, Е.А. Теоретические основы педагогической диагностики: дис. . .д-ра пед. наук / Е.А. Михайлычев. — М., 1991.

67. Михайлычев, Е.А. Дидактическая тестология / Е.А. МихагЪычев. — М.: Народное образование, 2001. 432 с.

68. Михайлычев, Е.А. Система педагогической диагностики: ключевые понятия и принципы / Е.А. Михайлычев II Педагогическая диагностика. 2002. -С. 44-66.

69. Михеев, В.И. Методика получения и обработки экспериментальных данных в психолого-педагогических исследованиях: монография / В.И. Михеев. — М.: Изд-во Ун-та Дружбы Народов, 1986. 84 с.

70. Михеев, В.И. Теория и методика проверки качества знаний обучаемых с применением ЭВМ: автореф. дис. . д-ра пед. наук / В.И. Михеев. М.: МГПУ, 1990.

71. Мониторинг в образовании: Сб. науч.-метод. материалов. Ижевск: Изд-во ИИУ, 2000.- 188 с.

72. Нейман, Ю.М., Хлебников, В.А. Введение в теорию моделирования и параметризации педагогических тестов / Нейман Ю.М., Хлебников В.А. М.: Прометей, 2000.- 168 с.

73. О приоритетных направлениях развития образовательной системы Российской Федерации: Официальные документы в образовании. М., 2004.

74. Орлов, В.А., Фадеева, А.А., Ханнанов, Н.К. Учебно-тренировочные материалы для подготовки к единому государственному экзамену/ В.А. Орлов,

75. A.А. Ханнанов, Н.К. Ханнанов // Физика. М.: Интеллект - Центр, 2004. -208 с.

76. Панасюк, В.П. Научные основы проектирования педагогических систем внутришкольного управления качеством образовательного процесса /

77. B.П. Панасюк. СПб. - М., 1997. - 297 с.

78. Педагогический мониторинг качества образования / Под ред. В.И. Андреева Казань, КГУ, 1999. - 266 с.

79. Полонский, В.М. Оценка качества научно-педагогических исследований / В.М. Полонский. -М.: Новая школа, 1995.

80. Полуаршинова, Е.Г. Тесты как средство контроля качества подготовки учащихся в системе управления образования региона (на примере общегосреднего образования г. Москвы): автореф. дис. .канд. тех. наук / Е.Г. Полу-аршинова . М., 1998. - 20 с.

81. Проблемы квалиметрии образования и дидактической тестологии: Сб. трудов направления «Измерения в педагогике». Ижевск: Изд.-во ИжГТУ, 2003.- 124 е.

82. Пушкарев, А.Э. Тесты по физике как одно из средств управления познавательной деятельностью учащихся: автореф. дис. . канд. пед. Наук / А.Э. Пушкарев. Челябинск: Изд-во ЧГПУ, 2000. - 18 с.

83. Равен, Дж. Педагогическое тестирование / Дж. Равен //Проблемы, заблуждения, перспективы. -М.: Когито- центр, 2001. 142 с.

84. Развитие системы тестирования в России: Тез. докл. I, II, III, IV, V, VII, VIII Всерос. конф. (Москва, ноябрь 1999-2007 г.)-М.: Прометей, 1999 2007.

85. Развитие системы тестирования в Удмуртской республике: Тез. докл. регион. науч.-практ. конф.(Ижевск, февраль, 2001 г.). Ижевск: Изд-во ИжГТУ, 2001.- 188 с.

86. Реализация эксперимента по введению единого государственного экзамена в Российской Федерации: Аналитический докл. междунар. конф. «Оценка образовательных достижений в рамках национальных экзаменов» (13-15 декабря 2004 года). М., 2004. - 43 с.

87. Родионов, Б.У., Татур, А.О. Стандарты и тесты в образовании / Б.У. Родионов, А.О. Татур. -М.: Изд-во МИФИ, 1995. -48 с.

88. Родыгина, Т.А. Диагностика начального уровня обученности студентов на основе гетерогенных тестов: автореф. дис. . канд. пед. наук / Т.А Родыгина. — Ижевск: УдГУ, 1996. 23 с.

89. Родыгина, Т.А. Методические рекомендации по организации диагностики начального уровня обученности студентов на основе гетерогенных тестов / Т.А Родыгина // Под ред. B.C. Черепанова. Ижевск: Изд-во ИжГСХА, 1996. -41 с.

90. Савельев, Б.А. Создание педагогических контрольных материалов на основе государственных образовательных стандартов / Б.А. Савельев. — М.: Ис-след. центр проблем качества подготовки специалистов, 1995. 12 с.

91. Самыловский, А.И. Тест как объективный измерительный инструмент в образовании / А.И. Самыловский II Вопросы тестирования в образовании. -2001.-№1.-С. 10-39.

92. Сафонцев, С.А. Методология образовательной квалиметрии / С.А. Сафон-цев II Педагогическая диагностика. 2003. - №3. - С. 86-101.

93. Селевко Г.К Современные образовательные технологии: учеб.пособ / Г.К. Селевко. -М.: Народное образование, 1998. -256 с.

94. Симонов, В.П. Диагностика личности и профессионального мастерства преподавателя: учеб. пособие / В.П. Симонов. -М.: Междунар. пед. академия, 1995.- 192 с.

95. Системы оценки и мониторинги качества в образовании: материалы XI Всерос. симп. «Квалиметрия в образовании: методология, методика, практика. Ч. 1. М.: Исслед. центр проблем качества подготовки специалистов, 2006. -78 с.

96. Системы оценки и мониторинги качества в образовании: материалы XI Всерос. симп. «Квалиметрия в образовании: методология, методика, практика. Ч. 2. М.: Исслед. центр проблем качества подготовки специалистов, 2006. -79 с.

97. Системы оценки и мониторинги качества в образовании: материалы XI Всерос. симп. «Квалиметрия в образовании: методология, методика, практика. Ч. 3. М.: Исслед. центр проблем качества подготовки специалистов, 2006. -73 с.

98. Системы оценки и мониторинги качества в образовании: материалы XI Всерос. симп. «Квалиметрия в образовании: методология, методика, практика. Ч. 4. М.: Исслед. центр проблем качества подготовки специалистов, 2006. -54 с.

99. Скаткин, М.Н. Методология и методика педагогических исследований / М.Н. Скаткин. -М.: Педагогика, 1986. 152 с.

100. Скаткин, М.Н., Краевский, В.В. Содержание общего образования / М.Н. Скаткин, М.Н Краевский. -М.: Педагогика, 1981. 96 с.

101. Снигирева, Т.А. Структура знаний обучаемых: концептуально-программный подход / Т.А. Снигирева // Под ред. B.C. Черепанова. Ижевск: Экспертиза, 2004. - 84 с.

102. Снигирева, Т.А. Основы квалитативной технологии формирования и диагностики структуры знаний обучаемых: дис. . д.-ра пед. наук / Т.А. Снигирева. Ижевск: УдГУ, 2006. - 333 с.

103. Снигирева, Т.А. Основы квалитативной технологии диагностики структуры знаний обучаемых / Т.А Снигирева II Под ред. B.C. Черепанова. М. -Ижевск: Исслед. центр проблем качества подготовки специалистов, Экспертиза, 2006. - 128 с.

104. Снигирева, Т.А., Ворсина, Е.В., Баранова, JT.B. Учебный тезаурус курса медицинской и биологической физики. Механические колебания и волны: учеб.-метод. пособ. / Т.А. Снигирева, Е.В. Ворсина, JT.B Баранова. — Ижевск: ИГМА, 2006. 32 с.

105. Современные диагностические средства для аттестации качества образования и применение компьютерно-информационных технологий: материалы

106. XI Всерос. симп. «Квалиметрия в образовании: методология, методика, практика. Ч. 2. М.: Исслед. центр проблем качества подготовки специалистов, 2006. - 98 с.

107. Станкевич, Т.Г. Методика оценивания качества подготовки обучающихся с использованием многовариантных тестовых заданий / Т.Г. Станкевич // Сибирский педагогический журнал. 2007. - №10. - С. 119 - 124.

108. Станкевич, Т.Г. Некоторые особенности использования многовариантных тестовых заданий / Т.Г. Станкевич II Вестник Костромского государственного университета им. Н. А. Некрасова. 2007. - № 3. - С. 218 - 221.

109. Станкевич, Т.Г. Нетрадиционный подход к технологии обработки тестовых заданий с выбором нескольких правильных ответов / Т.Г. Станкевич И Образование и наука. 2007. - № 4. - С. 100 - 104.

110. Станкевич, Т.Г., Камашев, Г.Я. Новый подход к обработке многовариантных тестовых заданий с выбором нескольких правильных ответов / Т.Г. Станкевич, Г.Я. Камашев II Вопросы тестирования в образовании. — 2005.-№4(16).-С. 32-43.

111. Станкевич Т.Г. Характеристики и особенности многовариантных тестовых заданий: учеб.-метод. пособие для преподавателей и студентов / Т.Г. Станкевич. Ижевск: ИГМА, 2007. - 24 с.

112. Стрельникова, Е.Н. Проблемы составления заданий на установление соответствия и заданий с выбором нескольких правильных ответов. / Е.Н. Стрельникова II Вопросы тестирования в образовании. 2007. - С. 20 -37.

113. Соколов, В.М. Теоретические основы проектирования образовательных стандартов (общедидактический аспект): автореф. дис. . д-ра пед. наук / В.М Соколов. СПб., 1997. - 36 с.

114. Субетто, А.И. Введение в квалиметрию высшей школы. — Кн. 1-4. Общие основания квалиметрии высшей школы: учеб. пособие / А.И. Субетто. — М.: Исслед. центр проблем качества подготовки специалистов. 1990. - 95 с.

115. Талызина, Н.Ф. Управление процессом усвоения знаний / Н.Ф. Талызина. М.: Изд-во МГУ, 1975. - 344 с.

116. Теоретические основы содержания общего среднего образования / Под. ред. В.В. Краевского, И.Я. Лернера. -М.: Педагогика, 1983. — 352 с.

117. Тулъкибаева, Н.Н. Личностно ориентированный подход в условиях модернизации системы образования / Н.Н Тулъкибаева И Вестник Ин-та развития образования и воспитания подрастающего поколения при ЧГПУ. Серия 3. -2003.-№14.-С. 88-94.

118. Хлебников, В.А., Нейман, Ю.М. и др. Объективная оценка учебных достижений / В.А. Хлебников, Ю.М. Нейман II Педагогическая диагностика. — 2002. С. 67-88.

119. Хлебников, В.А., Нейман, Ю.М. и др. Объективная оценка учебных достижений / В.А. Хлебников, Ю.М. Нейман и dp II Педагогическая диагностика. -2002.-№3.-С. 67-88

120. Чельгшкова, М.Б. Разработка педагогических тестов на основе современных математических моделей / М.Б. Чельгшкова. М.: МИСиС, 1995. - 32 с.

121. Челышкова, М.Б., Савельев, Б.А. Методические рекомендации по разработке педагогических тестов для комплексной оценки подготовленности студентов в вузе / М.Б. Челышкова, Б.А Савельев. М.: ИЦ, 1995.

122. Челышкова, М.Б., Татур, А. О. Анализ и оценка современного состояния тестовых оценочных средств, перспективы их развития / М.Б. Челышкова, А. О. Татур. -М.: ИОСО РАО, 1999.

123. Челышкова, М.Б. /Теория и практика конструирования педагогических тесов /М.Б. Челышкова. — М.: Логос, 2002. 431 с.

124. Черепанов, B.C. Основы педагогической экспертизы / B.C. Черепанов. -Ижевск: Изд-во ИжГТУ, 2006. 122 с.

125. Черепанов, B.C. Теоретические основы педагогической экспертизы: авто-реф. дис. . д-рапед. наук I B.C. Черепанов.-М.: АПН СССР, 1991.-41 с.

126. Чернова, Ю.К. Квалитативные технологии обучения / Ю.К. Чернова // Монография. Тольятти: Изд-во «Развитие через образование», 1998. - 146 с.

127. Чернова Ю.К. Теория и практика проектирования квалитативных технологий обучения: дис. . д-ра пед. наук / Ю.К Чернова. — Казань, 1998. — 364 с.

128. Чошанов, М.А. Теория и технология проблемно-модульного обучения в профессиональной школе: автореф. дис. .д-ра пед. наук / М.А. Чошанов. -Казань, 1996.

129. Шадриков, В.Д., Розина, Н.М. Централизованное тестирование: проблемы и перспективы / В.Д. Шадриков, Н.М. Розина // Высшее образование в России, 2000.-№ 1.-С. 27-31.

130. Шихова, О.Ф. Квалиметрический подход к разрешению проблемы диаг-ностичности образовательного стандарта: дис. . канд. пед. наук./ О.Ф. Шихова. -Ижевск: ИжГТУ, 1997. 171 с.

131. Экспертные методы оценки качества промышленной продукции. Основные положения. ГОСТ 23554.0-79. Организация и проведение экспертной оценки качества продукции. ГОСТ 23554.1-79. М.: Изд-во стандартов, 1979, 1980.

132. Экспертные оценки в социологических исследованиях / Под редакцией С.Б. Крымского. Киев: Наук. Думка, 1990. - 320 с.

133. Эрганова, Н.Е. Основы методики профессионального обучения / Н.Е. Эр-ганова. Екатеринбург: Изд-во УрГППУ, 1999. - 138 с.

134. Янченко, С.И. Оценка уровня подготовленности: непараметрический подход / С.И. Янченко // Вопросы тестирования в образовании. 2002. - №3. - С. 38-49.

135. Agessi, A. The educational Aspects of Examinations / A. Agessi. Strasbourg, 1967.

136. Birnbaum, A. Some Latent Trait Models and Their Use in Statistical Theories of Mental Test Scores. Reading, Mass / A. Birnbaum. Addison Wesly, 1968.

137. Bloom, B. Taxonomy of Educational Objectives: The Classification of Educational Goals. Handbook 1 IB. Bloom//Cognitive Domain. N.Y., David McKay Co. 1956.

138. Bloom, B.S. a.o. Handbook on Formative and Summative Evaluation of Student Learning / B.S. Bloom. N. Y., McGraw - Hill, 1971.-923 p.

139. Bollen, K.A. Structural Equations with Latent Variables / K.A. Bollen- N.Y., 1989.-514 p.

140. Ebel, R.L. Essentials of educational measurement / R.L. Ebel. Englewood Cliffs, N.J. Prentice-Hall, 1979. - 388 p.

141. Ebel, R.L. Measuring Educational Achievement / R.L. Ebel. Englewood Cliffs, N.J., 1965.

142. Gagne, R.M. The Conditions of Learning / R.M. Gagne. 3 ed, Holt, Rinehart and Winston, N.Y., 1977.

143. Glaser, R. Instructional technology and the measurement of lerning outcomes / R. Glaser. American Psychologist, 1963.

144. Guttman, L.L. The problem of attitude and opinion measurement / L.L. Gutt-mam- N.Y., 1986.

145. Kandel, A. Fuzzy techniques in pattern recognition / A.Kandel. New York: Wiley, 1982.

146. Keeves J.P. (Ed.) Educational Reseach Methodology and Mesasurement: An

147. International Handbook / J.P. Keeves.- Oxford: Pergamon Press, 1988.

148. Kotler, P.A. A guide to gathering expert estimates / P.A.Kotler. Business horizons, 1970, Vol. 13, N 5. - p. 79-87.

149. Lord, F. M. Applications of Item Response Theory to Practical Testing Problems / F. M. Lord. Hillsdale, 1980.

150. Lord F. M., NovickM. Statistical Theories of Mental Test Scores IF. M. Lord, M. Novick. Addison Wesley Publ. Co. Reading, Mass., 1968.

151. Rasch, G. Probabilistic Models for Some Intelligence and Afteword by B. D. Wright / Rasch G. The Univ. of Chicago Press. Chicago & London, 1980. - 199 P

152. Richardson, M.W. Notes on the Rationale of Item Analysis / M.W. Richardson II Psychometrika, 1936, 1: p. 69-76.

153. Sayeki, P. Network Analysis of Teaching / P. Sayeki II The Science of Learning, 1966. -№l.

154. Stanley J. Reliability / J. Stanley. Educational Measurement, 1971. - 381 p.

155. Taxonomy of Educational Objectives. The Classifications of Educational Tools / Editor B.Bloom. N.Y., London, Toronto, 1956.

156. Tell, D.A. Comparative study of some multiple criteria methods / D.A. Tell. -Stockholm: EFI, 1976. -P.203.

157. Van der Ven A.H. G.S. Introduction to scaling. New York: Wiley, 1972