Конструирование и оценка качества дидактических тестов для проведения единого государственного экзамена

Никитин, Алексей Валерьевич

Темы диссертаций по педагогике » Общая педагогика, история педагогики и образования

автореферат и диссертация по педагогике 13.00.01 для написания научной статьи или работы на тему: Конструирование и оценка качества дидактических тестов для проведения единого государственного экзамена

Автореферат

Автор научной работы: Никитин, Алексей Валерьевич
Ученая степень: кандидата педагогических наук
Место защиты: Брянск
Год защиты: 2005
Специальность ВАК РФ: 13.00.01

Диссертация

Автореферат диссертации по теме "Конструирование и оценка качества дидактических тестов для проведения единого государственного экзамена"

Брянский государственный университет имени академика И. Г. Петровского

На правах рукописи

Никитин Алексей Валерьевич

КОНСТРУИРОВАНИЕ И ОЦЕНКА КАЧЕСТВА ДИДАКТИЧЕСКИХ ТЕСТОВ ДЛЯ ПРОВЕДЕНИЯ ЕДИНОГО ГОСУДАРСТВЕННОГО ЭКЗАМЕНА

13.00.01 - общая педагогика, история педагогики и образования 19.00.03 - психология труда, инженерная психология, эргономика

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата педагогических наук

Брянск 2005

Работа выполнена на кафедрах общей и профессиональной педагогики, психологии труда и консультативной психологии Брянского государственного университета имени академика И. Г. Петровского

Научный руководитель:

Официальные оппоненты:

доктор психологических наук, профессор В. В. Спасенников

доктор

физико-математических наук, профессор, член-корр. РАН А. В. Дерягин

доктор педагогических наук, профессор А. А. Прядехо

Ведущая организация:

Калужский государственный педагогический университет имени К. Э. Циолковского

Защита состоится "15." февраля 2005 г. в 11-00 на заседании диссертационного совета Д 212.020.01 по присуждению ученой степени доктора педагогических наук при Брянском государственном университете имени академика И. Г. Петровского по адресу: 241036, г. Брянск, ул. Бежицкая, 14.

С диссертацией можно ознакомиться в библиотеке университета

Автореферат разослан "12" января 2005 г.

Ученый секретарь диссертационного совета, доктор педагогических наук, профессор Р. И. Желбанова

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования. Современный этап строительства и реформирования высшей школы в Российской Федерации предъявляет качественно новые требования к отбору действительно высокоинтеллектуальных, способных и знающих выпускников общеобразовательных школ для обучения в высших учебных заведениях. Методика проверки качества знаний как школьников, так и студентов должна использовать не традиционный субъективный четырехбалльный контроль, а прогностически валидные тестовые задания в форме и по материалам ЕГЭ в системе непрерывной подготовки школа - вуз с использованием педагогических измерений, базирующихся на конструировании и оценке качества дидактических тестов как методов научной организации самоконтроля и педагогического контроля знаний. Необходимость методик оценки качества дидактических тестов и корректирующего контроля знаний в учебном процессе актуализируется возникающими задачами сертификации тестовых технологий как по предметам гуманитарного, так и естественно-математического циклов.

В отечественных и зарубежных психолого-педагогических исследованиях, изложенных в трудах В. С. Аванесова, П. П. Блонского, А. П. Болтунова, В. К. Гайда, В. Н. Дружинина, В. П. Захарова, Б. В. Кулагина, А. Н. Майорова, В. В. Спасенникова, В. Д. Шадрикова, А. Бине, Ф. Гальтона, Дж. Кеттелла, П. Клайна, Д. Кэмпбелла, К. Ингекампа, Т. Симона, Л. Терстоуна, Э. Торндайка и других показано, что как в дидактических тестах (Educational Test), так и в психодиагностических (Intelligence Test) итоговая оценка знаний (способностей) является решением сложной научной задачи, связанной с выполнением ряда взаи- ~> мосвязанных и взаимозависимых условий, среди которых выделяют:

- анализ и систематизацию основных компонентов знания и подтверждение достаточности заданий для измерения каждого из них (обеспечение валидности по содержанию);

- проверку надежности тестовых заданий;

- установление стандартов качества (уровня) знания;

- оценку качества тестов на основе выявления их прогностической валидности для успешного обучения.

Выполнение этих условий связано с рядом теоретических и технологических проблем, определяющих несовершенство как психодиагностических, так и дидактических тестов. В связи с этим конструирование и методика оценки качества тестов контроля знаний выпускников школ в условиях эксперимента по введению единого государственного экзамена (ЕГЭ) является своевременным решением актуальной научной задачи.

Кроме психолого-педагогических причин невысокого качества оценки знаний выпускников школ, которые вытекают из принципиальной сложности измерений в психологии и педагогике, существуют искажения, вносимые социальными установками. Считается, что школьные оценки чаще всего завышены, и причиной тому - пресловутая "показуха" и "процентомания", боязнь отрицательных социальных последствий второгодничества, которые "давят" на учителя и побуждают его завышать оценки. Вступительные испытания в вузы, в свою очередь, связаны с такими сложившимися стереотипами и установками как наличие протекционизма, субъективизма и предвзятости, возможности подкупа отдельных членов экзаменационных комиссий, обусловливающих прецеденты поступления в вузы абитуриентов, которые имеют низкие знания даже с точки зрения самых минимальных требований, неспособных усваивать элементарный материал по тем или иным дисциплинам, в то время как абитуриенты с высокой мотивацией, профессиональной направленностью и хорошими твердыми знаниями, зачастую выходящими за рамки школьной программы и учебников набирают полупроходные баллы и не поступают в высшие учебные заведения. Предполагается, что ЕГЭ призван устранить негативные социальные установки и повысить качество отбора абитуриентов в вузы, однако это может произойти только при наличии качественных дидактических тестов контроля знаний по дисциплинам естественно-математического и гуманитарного циклов, соответствующих таким критериям качества конструирования тестов как прогностическая валидность, надежность, репрезентативность, соответствие установленных тестовых норм критериям отбора с учетом конкретного конкурса в вуз по специальности.

Разработка унифицированных дидактических тестов по всем специальностям в условиях высшей школы позволит, на наш взгляд, в перспективе решить важнейшую задачу для всех стран СНГ: обеспечить нострифика-цию документов об образовании и сертификацию учебных заведений по различным квалификационным категориям.

Объект исследования - оценка качества знаний выпускников общеобразовательных школ с использованием дидактических тестов.

Предмет исследования - содержание, методы и приемы обоснования, верификации и объективизации тестовых заданий для оценки эффективности эксперимента по введению ЕГЭ.

Цель исследования - выявить и научно обосновать совокупность взаимосвязанных и взаимозависимых условий оценки прогностической валидности дидактических тестов контроля знаний при проведении эксперимента по введению ЕГЭ.

Гипотеза исследования - требованиям прогностической валид-ности отвечают используемые в ЕГЭ дидактические тесты с варьирую-

щейся сложностью заданий, качество которых можно оценить на основе успехов освоения студентами, зачисленными по результатам ЕГЭ, программы высшей школы.

В соответствии с целью и гипотезой были выделены следующие задачи исследования:

1. Рассмотреть теоретические основы обоснования успешности обучения студентов, зачисленных по результатам ЕГЭ, в соответствии с требованиями образовательных программ по дисциплинам естественно-математического цикла.

2. Осуществить сравнительный анализ различных моделей конструирования тестов, связанных с выявлением сходств, дихотомической классификацией и латентным континуумом.

3. Рассмотреть проблему обоснования и верификации процедуры разработки дидактических тестов с варьирующейся сложностью заданий.

4. Разработать эмпирико-статистические процедуры компьютерного тестирования с использованием новых информационных техно- -логий.

5. Обосновать методы учета исходной информации при выборе рациональной структуры тестовых проверок знаний обучаемых.

6. Выявить порядок применения контрольных тестов и определить рациональные периоды контроля знаний, умений и навыков, обучаемых.

7. Оценить эффективность эксперимента по введению ЕГЭ с использованием методики оценки дидактических тестов контроля знаний на основе новых информационных технологий.

Методологическую основу исследования составили:

♦ на общенаучном уровне: методология системного подхода (В.В. Давыдов, В.П. Кузьмин, Б.Ф. Ломов, Г.В. Суходольский, Э.Г. Юдин, М.Г. Ярошевский).

♦ на философско-психологическом уровне: принципы организации и проведения экспериментального исследования, такие как: принцип активности, принцип взаимодействия, принцип детерминизма, принцип единства внешнего и внутреннего, принцип развития, принцип субъектности, принцип единства теории и практики в структуре научного объяснения (Б.Г. Ананьев,

A.В. Брушлинский, Б.С. Гершунский, В.Н. Дружинин,

B.П. Зинченко, С.Л. Рубинштейн, В.Д. Симоненко, В.А. Сла-стенин, В.И. Слободчиков, В.Д. Шадриков).

♦ на теоретико-методическом уровне: теория проектирования тестов достижений (СМ. Василейский, С.Г. Геллерштейн, Г.С. Ковалева, И.Я. Лернер, М.Н. Скаткин, Н. Гронлунд, Р. ван

Крикен, А. Отис, Л. Термен, Л. Терстоун); теория соответствия тестов стандартам качества: валидности, репрезентативности, надежности (B.C. Аванесов, Л.Ф. Бурлачук, В.К. Гайда, В.Н. Дружинин, В.П. Захаров, Б.Ф. Кулагин, А. Бине, Ф. Гальтон, Т. Симон, Э. Торндайк).

Методы исследования:

♦ теоретические (изучение и анализ философской, педагогической и психологической литературы);

♦ экспериментальные (изучение и обобщение опыта конструирования дидактических тестов, анкетирование, наблюдение, тестирование, факторный анализ, констатирующий и формирующий эксперимент);

♦ методы обработки эмпирических материалов; квалиметрия, методы математической статистики, методы теории нечетных оценок.

Базами исследования явились Обнинский государственный технический университет атомной энергетики и Калужский государственный педагогический университет им. К. Э. Циолковского. Общий объем выборки составил 479 студентов ОИАТЭ и КГПУ им. К. Э. Циолковского.

Этапы исследования:

1-й этап (1999-2001 гг.) - поисково-теоретический: изучение философской и психолого-педагогической литературы по теме исследования, уточнение основной проблематики, разработка цели, гипотезы, задачи и программы исследования, поиск базы для проведения исследования;

2-й этап (2001-2003 гг.) — опытно экспериментальный: разработка методики оценки прогностической валидности тестовых заданий ЕГЭ, ее экспериментальной проверки; уточнение разработанной методики оценки прогностической валидности тестовых заданий ЕГЭ;

3-й этап (2003-2004 гг.) обобщающий: анализ и систематизация результатов исследования, оценка достоверности полученных результатов, уточнение теоретических и экспериментальных данных, формулировка выводов и рекомендаций, подготовка текста диссертации.

Научная новизна исследования:

- впервые теоретически обоснована и экспериментально подтверждена эффективность оценки прогностической валидности дидактических тестов ЕГЭ по естественно-математическим дисциплинам.

- выявлены метрологические особенности дидактических тестов контроля знаний, основанные на построении обобщенной модели психолого-педагогического теста, включающего дихотомические классификации, выявление сходств и латентный континуум;

- научно обоснована необходимость разработки и верификации

тестовых задании в процессе конструирования дидактических тестов с варьирующейся сложностью заданий для дисциплин естественно-математического цикла;

- экспериментально подтверждено, что прогностическая валид-ность тестов по естественно-математическим дисциплинам определяется корреляцией результатов приема по ЕГЭ с успешностью обучения студентов в первых двух сессиях; при этом оценка эффективности эксперимента по введению ЕГЭ осуществлена на основе новых информационных технологий.

Теоретическая значимость исследования заключается в научном обосновании критериев оценки прогностической валидности дидактических тестов, основанных на взаимосвязи успешности выполнения тестовых заданий по ЕГЭ, и академической успеваемости студентов по дисциплинам естественно-математического цикла.

Практическая значимость исследования состоит в том, что:

- разработано учебное пособие для студентов и аспирантов, которое используется студентами, аспирантами и преподавателями в таких курсах как "Проектирование тестов достижений", "Психодиагностика" и "Экспериментальная психология";

- дано научное обоснование структуры, математического обеспечения, пакетных прикладных продуктов для программированного контроля знаний в высшей школе по дисциплинам естественно-математического цикла для организации и проведения текущего, рубежного и итогового контроля знаний студентов;

- разработаны практические рекомендации по формированию готовности к организации и проведению ЕГЭ, которые могут быть использованы в практике среднего, высшего и дополнительного образования при подготовке преподавателей и экзаменационных комиссий.

Положения, выносимые на защиту:

1. Методика расчета прогностической валидности тестовых заданий ЕГЭ по дисциплинам естественно-математического цикла связана с академической успеваемостью студентов, т.е. с промежуточным рубежным и итоговым дидактическим контролем знаний на основе рациональной структуры проверок по дисциплинам естественно-математического цикла.

2. Существует два способа оценивания знаний школьников, абитуриентов и студентов: первый - традиционный, ориентированный на локальную соотносительную норму; второй - оценивание по результатам единого государственного экзамена, проводимого независимыми службами контроля за качеством образования с ори-

ентацией на стандарты широкого уровня, при этом стандарты фиксируют различия в знаниях как критериального, так и нормативного типов. Эквивалентность и равнозначность данных способов дидактического контроля знаний позволяют нострифициро-вать документы о среднем образовании и сертифицировать квалификационные категории учебных заведений.

3. Традиционный способ оценивания знаний и ЕГЭ позволяют осуществлять сравнительный анализ местных стандартов образования с региональными, государственными и международными стандартами. Определение и расчет показателей качества дидактических тестов базируются на дифференциально-психометрических принципах валидности, надежности и репрезентативности, которые являются едиными для обобщенной модели психолого-педагогического теста, для чего отдельно создаются региональные государственные и международные нормы, связанные с критерием конкурсного отбора по дисциплинам естественно-математического цикла.

Обоснованность и достоверность результатов исследования обеспечивается использованием совокупности современных методологических и теоретических исходных положений по рассматриваемой проблеме, применением комплекса методических средств, отвечающим принципам надежности, валидности и репрезентативности оценки тестов, личным участием автора в опытно-экспериментальной работе, использованием математических методов обработки результатов исследования. Прогностическая валидность математических тестов ЕГЭ составила: г = 0,94 (р < 0,05) по /-критерию Стьюдента вероятность

ошибки не более 5%.

Апробация и внедрение результатов исследования.

Основные положения диссертации обсуждались и получили положительную оценку на заседаниях кафедр общей и профессиональной педагогики; общей и профессиональной психологии; психологии труда и консультативной психологии Брянского государственного университета имени академика И.Г. Петровского, на международных, межрегиональных и межвузовских научно-практических конференциях (Брянск, 2004 г., Калуга, 2004 г., Тула, 2004 г.). По результатам обмена опытом организации и проведения ЕГЭ изданы труды международной Интернет-конференции по вопросам нострификации образовательных документов и сертификации тестовых технологий (Брянск, 2004).

Результаты исследования включены в учебно-методический комплекс по курсу "Экономическая психология" и учебное пособие для студентов и аспирантов "Конструирование дидактических тестов для контроля знаний".

Эмпирические данные настоящего диссертационного исследования включены в официальные статистические сборники по результатам проведения единого государственного экзамена в Калужской области в 2003 и в 2004 гг.

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Проблематика и логика исследования обусловили структуру диссертации. Она состоит из введения, трех глав, заключения, библиографического списка литературы и приложений.

Во введении обосновывается актуальность темы диссертации, определяются объект, предмет, цель и задачи, методологические основы и методы исследования, характеризуется научная новизна, теоретическая и практическая значимость полученных результатов, сформулированы положения, выносимые на защиту, приведены данные об апробации и внедрении результатов исследования.

В первой главе "Психолого-педагогические основы экспериментально-статистической разработки дидактических тестов для проведения единого государственного экзамена" выявлены метрологические особенности диагностики знаний и познавательных способностей в психолого-педагогических исследованиях; показаны обобщенная модель психолого-педагогического теста, модель выявления сходств, модель дихотомической классификации и латентного континуума.

Теоретический анализ педагогических (Educational Test) и интеллектуальных (Intelligence Test) тестов, разработанных отечественными и зарубежными специалистами (B.C. Аванесов, П.П. Блонский, В.К. Гайда, В.Н. Дружинин, В.П. Захаров, Н.Ф. Талызина, А. Бине, Ф. Гальтон, К. Ин-гекамп, А. Отис, Л. Термен, Э. Торндайк и др.), показал, что идеализированное представление о тесте можно считать аналогом понятия "идеальный объект". Традиционные обобщенные измерительные модели как дидактических, так и психодиагностических тестов, являются математическими моделями, описывающими взаимодействие измерительного инструмента (теста) и объекта измерения (абитуриента).

Особую сложность в обработке и интерпретации данных, полученных с использованием тестов для ЕГЭ, представляет модель латентного континуума, которая позволяет осуществлять объективное сравнение достижений испытуемых по разным учебным дисциплинам с учетом сложности заданий в процессе приема вступительных экзаменов.

Данная модель не только позволяет использовать стандартизированные шкалы, но и оценивать знания с учетом относительной независимости от конкретного подбора тестовых заданий, что отражается на достоверности оценок в процессе организации и приема единого государственного экзамена. Сконструированные с использованием латентного континуума дидактические тесты связаны с возможностью компьютеризации расчетов всех тестовых баллов, относительной несложностью и быстротой расчетов, одновременностью получения тестовых оценок с учетом параметров трудности каждого задания.

Показано, что изучение зависимости между уровнем знаний и трудностью заданий для представительной выборки является перспективой дальнейших отечественных исследований при конструировании тестов по дисциплинам гуманитарного цикла. Отмечено, что уже сейчас имеется возможность практической реализации идеи адаптивного тестирования для цикла общих математических и естественно-научных дисциплин, когда с помощью характеристической кривой задания можно дифференцировать абитуриентов по предсказанной вероятности правильного выполнения заданий. Именно поэтому прогностическая ва-лидность дидактических тестов определяется для физико-математических и естественно-научных дисциплин и не может быть определена для дисциплин гуманитарного цикла.

Показана целесообразность сосуществования двух способов оценивания знаний абитуриентов:

1) - традиционный, ориентированный на локальную соотносительную норму;

2) - оценивание по результатам ЕГЭ с ориентацией на государственные стандарты и региональные компоненты.

Конкурсный отбор в учреждения высшего профессионального образования на основе результатов ЕГЭ, а также профориентационного интеллектуального тестирования абитуриентов тесно связаны с последующей академической успеваемостью студентов. Поэтому данные ЕГЭ необходимо учитывать преподавателям высшей школы в процессе проектирования методик преподавания циклов общих гуманитарных и социально-экономических дисциплин; общих математических и естественно-научных дисциплин; общепрофессиональных дисциплин; специальных дисциплин и дисциплин специализации.

Во второй главе "Проблемы конструирования дидактических

тестов с варьирующейся сложностью заданий для дисциплин физико-математического, естественно-научного и гуманитарного циклов" обоснованы конструкционные процедуры разработки тестовых заданий единого государственного экзамена, верифицированы разработанные процедуры для тестов с варьирующейся сложностью заданий, представлена эмпирико-статистическая теория тестирования и показаны особенности организации и проведения единого государственного экзамена с использованием компьютерных тестов.

Теоретический анализ зависимости диапазона изменения показателей сложности от числа ответов в тестовом задания показал, что при конструировании дидактических тестов возникает необходимость определения максимального предельно возможного количества заданий в тесте, которые могут быть в него включены при условии, что различия в уровнях сложности между соседними тестовыми заданиями гарантируются с выбранной вероятностью. Так как диапазон изменения показателя сложности тестового задания ограничен, в диссертации показано, что задача является поиском оптимума между требуемой точностью измерения и необходимой надежностью оценки.

На основании проведенных теоретических расчетов сделан теоретический вывод: если необходимо, чтобы значения показателя сложности соседних по уровню сложности заданий различались с достаточно высокой степенью надежности, количество заданий в тесте не может быть очень велико. В таблице 1 показана зависимость диапазона изменения показателя сложности от числа вариантов ответов в тестовом задании.

Таблица 1

Зависимость показателя сложности от порядкового номеразадания

Порядковый номер задания 1 2 3 4 5 6 7

Показатель сложности 0,035 0,146 0,309 0,5 0,69 0,854 0,97

Воздействие рассматриваемого фактора проявляется в форме ограничения, накладываемого на максимально возможное число заданий в тесте.

Обоснован минимальный объем выборки, при которой можно определить минимальное количество заданий в тесте. Это важно знать не только в теоретическом, но и в практическом плане, поскольку позволяет при апробации сконструированных тестов до их использования в ЕГЭ обходиться минимальной пилотажной выборкой.

Проведенные расчеты показали, что оптимальное количество тестовых заданий должно быть в пределах 6-10.

Конструирование дидактических тестов для физико-математических и естественно-научных дисциплин должно удовлетворять следующим требованиям.

1. Вследствие вероятностного характера тестовых измерений и ограниченных размеров диапазона изменения показателя сложности тестового задания появляется необходимость в соблюдении при разработке теста "уровня" ряда дополнительных требований, касающихся как структуры заданий, так и структуры всего теста в целом.

2. Первое такое требование относится к принципам отбора тестовых заданий. Необходимыми условиями работоспособности задания будут следующие:

- доля испытуемых, набравших правильный вариант ответа, должна статистически значимо превышать вероятность рандомизированного выбора варианта ответа;

- доля выборов испытуемыми каждого из ложных вариантов ответов должна быть меньше вероятности рандомизированного выбора вариантов ответа.

3. Второе требование касается вынужденного дополнительного ограничения размеров диапазона изменения показателя сложности тестового задания. Поскольку максимальная сложность тестового задания должна быть такой, чтобы исключалась возможность его мнимого, квазирешения, диапазон изменения показателя сложности будет ограничен в области заданий наибольшей сложности, причем величина области допустимых значений показателя будет определяться числом вариантов ответов в тестовом задании.

4. С учетом зависимости, существующей между числом вариантов ответов в задании и широкой области допустимых значений показателя сложности, оптимальное значение этого числа будет определяться соображениями максимального возможного расширения данной области.

5. Количество заданий в тесте "уровня" не является величиной произвольной. Оно будет определяться оптимумом между требуемой разрешающей способностью тестовой шкалы и степе-

нью достоверности, с которой может быть гарантировано различие в сложностях между соседними тестовыми заданиями.

6. Расчеты показывают: если различие в сложностях между соседними по уровню сложности тестовыми заданиями гарантируется с вероятностью не ниже 0,9, число заданий в тесте "уровня" (с учетом ограничений, накладываемых на задания максимальной сложности), не может превышать шести.

Вычисления тестовых баллов, шкалирование, нормирование предполагают наличие базы данных, позволяющей корректировать тестовые нормы под складывающуюся социально-демографическую ситуацию. В упрощенном виде идея вычисления тестового балла в любых тестах успешности осуществляется по следующей формуле:

где - интегральный тестовый балл, набранный в результате сдачи ЕГЭ; ап — весовые коэффициенты, численно равные сложности выполняемых тестовых заданий; - переменная, равная (в дихотомической шкале) 1, если тестовое задание выполнено правильно; 0 - если не правильно.

Предлагаемый нами подход к вычислению интегрального тестового балла дает возможность использовать положительные стороны информационной избыточности дидактических тестов, поскольку умеренная многовариантность заданий одного уровня сложности, их качественное разнообразие, дает возможность нивелировать случайные ва- " риации. Можно сделать оговорку, что данный подход касается физико-математических и естественно-научных тестов, так как в гуманитарных дисциплинах, принцип построения которых достаточно субъективен, действует значительное количество неучитываемых случайных факторов. Задача учета большого количества неучитываемых случайных факторов не входит в задачу специально организованного научного исследования, поэтому здесь и в дальнейшем речь идет только о физико-математических и естественно-научных дисциплинах, которые относятся к числу объективно-субъективных.

Накопленный опыт конструирования дидактических тестов дает возможность предположить, что данным принципам конструирования тестов должны соответствовать все тесты, которые претендуют на последующую верификацию и объективизацию данных тестов с варьирующейся сложностью заданий. Разработчики и пользователи тестов

должны учитывать, что верификация и объективизация тестового контроля знаний предполагает прежде всего учет уровня сложности заданий, которая достигается при соблюдении следующих условий:

1. Число вариантов ответов в тестах должно соответствовать теоретически целесообразному

2. Уровень сложности тестовых заданий необходимо устанавливать на основе использования экспертных систем с достаточно высоким коэффициентом конкордации (согласованность экспертов IV ^ 0,67 );

3. Количество заданий в конструируемых дидактических тестах должно соответствовать как образовательным стандартам, учебным планам, базовым учебникам и пособиям, утвержденным УМО, так и установившейся терминологии в данной научной отрасли, при этом возрастание уровня сложности выполняемых заданий должно соответствовать принципам текущего, рубежного и итогового контроля.

При проектировании тестовых заданий физико-математического и естественно-научного циклов необходимо учитывать их сложность (трудность) в интегральной оценке знаний. Что касается гуманитарных циклов, то конструирование тестов по этим дисциплинам выходит за рамки уже проведенных исследований как в зарубежной, так и в отечественной психолого-педагогической науке, вследствие субъективизма гуманитарных знаний по многим дисциплинам, как например: общест-вознание, история Отечества, литература, иностранные языки.

В работе сделан вывод, что в инструктивных материалах Центра тестирования Министерства образования и науки Российской Федерации наряду с информацией о коэффициенте валидности теста, необходимо сообщать о способе его валидизации и особенно о прогностической валидности дидактического теста, что потребует координации усилий разработчиков тестов и профессорско-преподавательского состава высшей школы.

Значительная часть автоматизированных методов обработки дидактической тестовой информации, как показано в диссертации, представляет собой хорошо известные и широко используемые алгоритмы анализа данных, основанные на различных специализированных пакетах прикладных программ. Вместе с тем каждая из анализируемых ситуаций вызывает необходимость использовать классификацию методов агрегирования модульных показателей (А, В и С в тестах ЕГЭ). При

этом перспективными являются алгоритмы неточной ("размытой") информации в свободно конструируемых ответах абитуриентов.

Номенклатура дидактических тестов, их последовательность выполнения целесообразно варьировать исходя как из целей организации и проведения ЕГЭ, так и из соображений, связанных с принципом модульности, предполагающего включение при необходимости в состав математического обеспечения обработки данных дополнительных модулей, реализуемых вновь создаваемыми и ежегодно обновляемыми дидактическими тестами.

В третьей главе "Планирование и экспериментальная апробация дидактических контроля качества знаний студентов, зачисленных по результатам ЕГЭ, с использованием новых информационных технологий" обоснованы методы учета исходной информации при выборе рациональной структуры тестовых проверок знаний обучаемых, описан процесс педагогического планирования порядка применения контрольных тестов и определения рациональных периодов программированного контроля знаний обучаемых, осуществлена оценка качества дидактических тестов по итогам эксперимента по введению единого государственного экзамена.

Федеральный эксперимент по введению ЕГЭ показал высокую эффективность контроля знаний, базирующейся на современных, компьютерных технологиях. Благодаря развитию информационных технологий появилась возможность проведения ЕГЭ не в "бумажном" виде, а с использованием Интернет-коммуникаций. Это совершенно новая технология проведения экзамена, имеющая большое будущее. Создана типовая система Интернет-тестирования, пригодная для решения широкого круга задач, в частности, для подготовки к Единому государственному экзамену, а также для создания инструментально-технологического базиса федеральной системы тестирования. Подобные системы существуют в Самаре, Владивостоке, Владимире, Воркуте. Центр тестирования Самарского государственного аэрокосмического университета проводит репетиционные тестирования по вариантам ЕГЭ предыдущего года. Тесты предоставляются Центром профориентационного и образовательного тестирования МГУ им. М. В. Ломоносова. В комплексе представлены репетиционные варианты ЕГЭ по следующим предметам:

биология, география, история, математика, обществознание, русский язык, физика, химия. Длительность тестирования 3 часа. Обработка результатов тестирования осуществляется в Москве в режиме on-line. Распечатка результатов производится непосредственно после тестирования. Дальневосточный государственный университет является одним из лидеров в России по формированию системы компьютерного тестирования знаний. В университете ежегодно проходят тестирование более 200 учащихся колледжа, более 3 тыс. учащихся школ Приморского края, более 12 тыс. студентов высших учебных заведений. Суммарно, в университете уже обрабатывается около полумиллиона сеансов компьютерного тестирования в год.

Калужская область принимает участие в эксперименте по введению ЕГЭ с 2003 года. Проведенный нами тщательный анализ, связанный с подготовкой и проведением эксперимента в регионе, отражается в ежегодных статистических сборниках по результатам проведения ЕГЭ. В таблице 2 представлены данные по количеству абитуриентов, зачисленных в вузы Калужской области в 2003 году.

Опыт проведения ЕГЭ в Калужской области показал, что наиболее эффективное руководство предметными комиссиями осуществляет профессорско-преподавательский состав высших учебных заведений. В системе непрерывного образования должна существовать система школа-вуз: председатели предметных комиссий в одинаковой степени хорошо должны разбираться как в специфике школьных программ по общеобразовательным предметам, так и в вузовских программах, что бывает крайне редко, поэтому комплектование предметных комиссий должно осуществляться на научной основе.

Особенностями приема и зачисления абитуриентов в большинстве вузов России, которые принимают экзамены в форме и по материалам ЕГЭ, заключаются в том, что в отличие от традиционной методики, когда вуз сам проводит экзамены, сам проверяет работы и сам затем организует конкурс, в условиях ЕГЭ часть этой работы ложится на ГЭК и предметные комиссии.

Таблица 2

Количество абитуриентов, зачисленныхв вузы Калужской области в2003году, принимавшихучастие вэксперименте ЕГЭ

Вузы, принимавшие участие в эксперименте по введению ЕГЭ Количество зачисленных абитуриентов

Всего в том числе по результатам ЕГЭ

Государственные (9) 3821 1612

Негосударственные (9) 1568 235

ИТОГО 5389 1847

Процедура проведения экзамена в вуз в форме и по материалам ЕГЭ представлена на рис. 1.

Рис. 1. Процедура проведения экзаменов в высшие учебные заведения

На рис. 1 часть "Дополнительные экзамены в вуз" показана пунктиром. Это значит, что дополнительные экзамены могут быть, а могут и не быть. Например, в КГПУ им. К. Э. Циолковского на специальность "Математика и информатика" при поступлении необхо-

димо сдать профильный экзамен по математике и экзамен по информатике. Если по математике экзамен в форме ЕГЭ был, то по информатике он не был включен в число предметов, подлежащих сдаче в форме и по материалам ЕГЭ. Следовательно, абитуриентам придется сдавать еще дополнительный экзамен по той форме, которая утверждена правилами приема КГПУ. Идеальный случай - если выпускник сдал все экзамены в форме и по материалам ЕГЭ, дополнительные экзамены на определенную им специальность не предусмотрены, он автоматически участвует в конкурсе. Тот же, кто ЕГЭ не сдавал (например, выпускник из другого региона), обязан сдать экзамены в форме ЕГЭ или по правилам приема вуза. Отсюда и явное преимущество единого государственного экзамена.

Рассмотрена последовательность этапов, которые проходит абитуриент, поступая в вуз в условиях ЕГЭ

1. выпускник должен получить свидетельство по ЕГЭ (если он сдавал в мае-июне) и информацию, какие вузы, на какие специальности принимают результаты ЕГЭ, т.е. какие экзамены он должен сдать дополнительно;

2. выпускник должен знать, когда и куда он должен направить пакет с документами с тем, чтобы принять участие в конкурсе. Если оказывается, что необходимо сдать дополнительные экзамены (в перечне экзаменов в форме ЕГЭ нет того экзамены, который принимает вуз), то в этой ситуации выпускник должен вовремя получить информацию, когда и в какой форме он эти экзамены должен сдать.

3. Где и когда выпускник может получить информацию об апелляциях, о зачислении (зачислен, не зачислен, находится в листе ожидания или зачислен с какими-то дополнительными условиями).

Анализ показывает, что при проведении ЕГЭ можно выделить три основные проблемы: готовность контрольно-измерительных материалов (КИМов), программно-аппаратных средств и проблема организационно-технологической готовности.

Одной из центральных научных задач проведенного нами исследования по оценке эффективности внедрения ЕГЭ являлась методика оценки прогностической валидности тестовых заданий по дисциплинам физико-математического и естественно-научного циклов. Экспериментальные дан-

ные результатов ЕГЭ подвергались корреляционной обработке с эмпирическими данными, полученными на той же выборке студентов по тесту Я. Ат-Шаиег с использованием пакета прикладных программ. Всего в эксперименте приняло участие 479 студентов ОИАТЭ и КГПУ им. К. Э. Циолковского, которые составили 2 массива.

Массив 1-322 человека - студенты КГПУ им. К. Э. Циолковского. Массив II - 157 студентов ОИАТЭ, из них 60 - физико-энергетического факультета, 50 - социально-экономического и 47 - факультета естественных наук.

По каждому из студентов массива I собирались:

1)данные, используемые в работе деканата - данные об успешности сдачи ЕГЭ, о текущей академической успеваемости студентов, об образовании и работе родителей студента, данные о месте жительства, о типе школы, которую закончил студент;

2) психологические данные об успешности решения серии экспериментальных задач в 10 показателях: Т. Б. - суммарный тестовый балл, определяемый как число правильно решенных задач (из 176) и 9 показателей успешности решения задач по каждому из 9 субтестов, также определяемый через число правильно решенных задач.

По массиву II собирался только второй набор данных.

Весь набор данных по массиву I был вначале обработан на ПК класса Репйит-ГУ с использованием языка программирования С+ + . С помощью разработанной нами программы можно получать таблицы совместных распределений признаков и выделять наиболее информативные признаки при описании групп, сформированных по какому-то из оснований (например, по академической успеваемости, по полу, по отчислению на разных курсах и т.д.). Суммарный тестовый балл (Т.Б.(тест АтШаиег)) вычислялся на основе методического руководства, разработанного под руководством В. А. Бодрова, Г. В. Ложкина и В. В. Спа-сенникова: "Тест Р. Амтхауэра. Версия АКТ-70. Руководство по использованию адаптированного варианта МИОМ-80 (Методика исследования особенностей мышления)". Киев: КВИРТУ, 1980. - 88 с.

Коэффициент корреляции Ч. Спирмена составил ^=0,94

(р<0,05), что свидетельствует о высокой прогностической валидности используемых дидактических тестов для прогнозирования успешности обучения студентов на первых курсах. Из введенных в обработку по программе показателей выбрано три наиболее информативных:

1. Т.Б. - тестовый балл, т.е. общая успешность решения серии экспериментальных задач. Поскольку исследуемая группа однородна по возрасту и образованию, то специальная нормировка тестового балла по этой группе не проводилась.

Как уже отмечалось, Т.Б. рассматривался нами как показатель общей подготовленности, степени обученности студента стандартным, часто используемым мыслительным операциям. А соотношение успешности по 9 субтестам характеризовало, на наш взгляд, индивидуальное соотношение степени овладения теми или иными операциями.

2. В.Б. - вступительный балл по ЕГЭ, т.е. успешность сдачи экзаменов при поступлении.

Этот показатель рассматривался нами как показатель уровня подготовленности по специальным предметам, связанный со специальными способностями.

По времени ситуацию сдачи вступительных экзаменов и ситуацию решения тестовых задач разделяло 1,5-2 месяца, поэтому в нашем исследовании соотношение Т.Б. и В.Б. понималось как соотношение достигнутых к моменту поступления уровней общей и специальной подготовленности.

3. А.У. - показатель академической успеваемости, брался как сумма оценок, полученных при сдаче 10 экзаменов за первый год обучения.

По показателю А.У. массив I - студенты физико-энергетического факультета - разбит на 4 группы: 1 - высокоуспевающие в течение двух лет обучения (30 человек); 2 - среднеуспевающие студенты (145 человек); 3 -низкоуспевающие (30 человек); 4- не сдавшие экзамены в основной день и/или ушедшие в академотпуска (117 человек).

Для определения прогностической валидности был осуществлен прогноз и анализ текущей академической успеваемости с учетом взаимосвязи успешности решения тестовых задач и успешности сдачи ЕГЭ. В этом случае при разделении экспериментальной группы на две — с высоким и низким (относительно среднего значения по всему массиву из 322 человек) вступительным баллом - оказывается возможным объяснить с помощью В.Б. 78% вариаций А.У. Таким образом, прогностические возможности Т.Б. и В.Б. принципиально сопоставимы. Этот результат подтверждается и на материале совместных распределений по группе физиков со средней академической успеваемостью.

Т.Б., взятый одновременно с В.Б., позволяет осуществить более дифференцированный анализ текущей академической успеваемости и, тем самым, может использоваться при выработке индивидуального подхода в обучении студентов.

Совместное использование показателей дает объективную и адекватную картину подготовленности студента в момент поступления. Если мы рассматриваем их в соотношении с академической успеваемостью, то получаем индивидуальный показатель уровня адаптированности студента к новым условиям жизни и обучения.

Адаптированность студентов к условиям обучения и жизни характеризуется: во-первых, наличием у них стремления к самосовершенствованию, к полной реализации и повышению в учебном процессе накопленного интеллектуального потенциала и, во-вторых, наличием средств для реализации этого стремления.

Анализ адаптации студентов к новым условиям обучения в высших учебных заведениях по сравнению со школой с использованием результатов ЕГЭ, интеллектуального тестирования, текущей академической успеваемости должен осуществляться психологической службой вуза, в которую должны входить работники учебного отдела, сотрудники деканатов и заинтересованный профессорско-преподавательский состав. На наш взгляд, для работников высшей школы и родителей особый интерес представляет группа плохо адаптирующихся студентов с высоким уровнем общей и специальной подготовленности и невысокой академической успеваемостью.

Одним из перспективных направлений дальнейших исследований, связанных с анализом конкурентоспособности будущих специалистов высшей квалификации на рынке труда является создание экспертных систем диагностики знаний, умений и навыков специалистов, позволяющих строить прогнозные модели профессиональной успешности освоения различных специализаций студентами в соответствии со степенью развития у них тех или иных профессионально важных качеств. Это потребует координации усилий всех кафедр и деканатов в рамках реально функционирующей психологической службы вузов. Результаты исследования и выводы 1. Принципы конструирования и методики оценки качества дидактических и психодиагностических тестов для определения уровня усвоения знаний и уровня интеллектуального развития испытуе-

мых определяют не только качество отбора абитуриентов в те или иные вузы, их будущую, текущую академическую успеваемость, но и в конечном итоге качество образования в целом, а следовательно, востребованность специалистов на рынке труда. Разработка и внедрение как новых дидактических тестов знаний, связанных с единым государственным экзаменом (ЕГЭ), так и психодиагностических тестов и их компьютерных версий требуют понимания того, что любые оценки - это сравнение с каким-либо эталоном, критерием или нормой.

2. Отбор в вузы на основе ЕГЭ, профориентационное и интеллектуальное тестирование абитуриентов тесно связаны с последующей академической успеваемостью студентов. Данное направление работы должно занимать значительную часть времени преподавателей, кураторов, работников деканатов и учебных отделов, поскольку академическая успеваемость была и остается одним из главных критериев успешности процесса вузовской подготовки специалистов.

3. Динамика средних значений успеваемости и тестовых показателей свидетельствуют об эффективности изменения учебных программ, методики или стиля преподавания. Адекватная интерпретация этих изменений возможна только с психолого-педагогических позиций.

4. Теоретический анализ возможных направлений автоматизации тестового контроля знаний как абитуриентов, так и студентов, в процессе создания компьютерных версий обучающе-контролирующих систем, позволил сделать целый ряд научно-практических выводов, основными из которых являются следующие:

- контроль качества знаний обучаемых является самостоятельной учебно-диагностической процедурой. Эффективность применения контролирующих процедур зависит от качества организации контроля, который должен осуществляться с наименьшими затратами стоимостных и временных ресурсов.

Организация контроля достигнутого уровня знаний обучаемых определяется составом конкретных заданий, порядком их предъявления в контролирующих процедурах и выбором периодов контроля обучаемых в процессе изучения учебного материала;

- правильный выбор основных параметров организации контроля

знаний обучаемых позволяет решать учебно-диагностические задачи с наименьшими затратами;

- выбор состава средств диагностики знаний обучающегося осуществляется на основе анализа структуры изучаемого материала с учетом отпускаемых на контроль материальных и временных ресурсов.

5. Диагностические тесты должны быть построены так, чтобы имелась возможность проверки усвоения не отдельных, второстепенных элементов курса, а основных, базовых понятий той или иной темы, раздела, особенно это касается конструирования тестовых заданий по дисциплинам гуманитарных циклов, где цели составленных дидактических контрольных заданий иногда противоречат целям обучения. Одна из главных проблем создания гуманитарных дидактических тестов - отсутствие общепризнанных научной общественностью базовых учебников.

6. Прогностическая валидность тестовых заданий ЕГЭ по циклам общих гуманитарных и социально-экономических дисциплин; естественно-математических; общепрофессиональных; специальных дисциплин и дисциплин специализации определяется при наличии психологической службы высших учебных заведений, включающей работников учебного отдела, деканатов и заинтересованный профессорско-преподавательский состав.

7. Разработка унифицированных дидактических тестов по всем специальностям в условиях высшей школы позволит в перспективе решить важнейшую проблему для всех стран СНГ: даст возможность ностри-фицировать (приравнивать) документы об образовании и сертифицировать образовательные учреждения в системе непрерывного профессионального образования.

Перечень публикаций по теме диссертации:

1. Никитин А. В. Участие научного потенциала Центрального региона России в гуманитарных научных исследованиях // Труды регионального конкурса научных проектов в области гуманитарных наук. Выпуск 4. - Калуга: Издательский дом "Эйдос", 2002. - С. 417-422

2. Никитин А. В. Статистические результаты единого государственного экзамена в Калужской области // Статистический сборник по результатам проведения Единого Государственного Экзамена в Калужской

области в 2003 г.: Калуга, Департамент образования и науки Калужской области, 2003. С. 21-39.

3. Никитин А. В. Статистические результаты единого государственного экзамена в Калужской области // Статистический сборник по результатам проведения Единого Государственного Экзамена в Калужской области в 2004 г.: Калуга, Министерство образования, культуры и спорта Калужской области, 2004. С. 63-97.

4. Никитин А. В., Спасенников В. В. Единый государственный экзамен: проблемы и перспективы // Психолого-педагогические проблемы воспитания подрастающего поколения: Материалы международной научно-практической конференции: - Брянск: Изд-во БГУ, 2004. - С. 47-49.

5. Никитин А. В., Дружинин В. Н., Спасенников В. В. Конструирование дидактических тестов для контроля знаний: Уучебное пособие. - Брянск: Изд-во БГУ, 2004. -181 с. (авторский текст - 60 с).

6. Никитин А. В. Компьютерные средства обучения и контроля в рамках подготовки к единому государственному экзамену // Внедрение новых стандартов преподавания в педколледже и вузе, их преемственность: Материалы III областного научно-практического семинара преподавателей средних специальных педагогических учебных заведений области и КГПУ им. К. Э. Циолковского. - Калуга: Изд-во КГПУ, 2004. -С. 128-133.

7. Никитин А. В. Компьютерное тестирование. Преимущества и недостатки. // Актуальные проблемы подготовки будущего учителя математики: Межвузовский сборник научных трудов. / Под ред. Ю. А. Дробышева, И. В. Дробышевой. Выпуск 6. - Калуга: Изд-во КГПУ, 2004. - С.128-133.

8. Никитин А. В.. Гуров Г. Л. Прогнозирование успешности обучения студентов и слушателей вузов с использованием профориен-тационного тестирования // Материалы научно-практической конференции "Инновации в профессионально-педагогическом образовании. -Брянск: Изд-во БИПКРО, 2004. - С. 126-129 (авторский текст-2 с).

9. Никитин А. В. Образование в России как важнейший инвестиционный процесс. // Материалы межрегиональной научно-практической конференции "Управление инвестиционными процессами организаций госсектора и бизнеса: проблемы и перспективы". - Тула: Изд-во Тульский институт управления и бизнеса, 2004. - С. 267-269.

10. Никитин А. В. Математическое наследие А. Я. Хинчина и пе-

дагогические измерения // Материалы межрегиональной научно-практической конференции к 110-летию А. Я. Хинчина. - Калуга, Изд-во КГПУ, 2004.-С. 412-416.

11. Никитин А. В. Определение прогностической валидности дидактических тестов, используемых в ЕГЭ, на основе конвергентного мышления студентов // Труды 1-й Всероссийской научно-практической Интернет-конференции по вопросам нострификации образовательных документов и сертификации тестовых технологий. - Брянск: Изд-во БГУ, 2004. -С. 76-78.

12. Никитин А. В., Голубева Г. Ф., Спасенников В. В. Проблемы охраны интеллектуальной собственности при конструировании тестов в рамках международного сотрудничества. // Труды 1-й Всероссийской научно-практической Интернет-конференции по вопросам ност-рификации образовательных документов и сертификации тестовых технологий. - Брянск: Изд-во БГУ, 2004. - С. 20-36 (авторский текст- 2 с).

ЛР №020070 от 25.04.97

Подписано в печать 22.12.2004 г. Формат 60x84 1/16. Печать офсетная. Бумага газетная. Усл. п.л. 1,4. Тираж 100 экз. Заказ № 672

Издательство Брянского государственного университета имени академика И. Г. Петровского. 241036, Брянск, Бежицкая, 14

Отпечатано в подразделении оперативной полиграфии БГУ

Г- г

Ils

V ,

16 OES Kfô

II IV 588

Содержание диссертации автор научной статьи: кандидата педагогических наук, Никитин, Алексей Валерьевич, 2005 год

ВВЕДЕНИЕ.

ГЛАВА 1. ПСИХОЛОГО-ПЕДАГОГИЧЕСКИЕ ОСНОВЫ ЭКСПЕРИМЕНТАЛЬНО-СТАТИСТИЧЕСКОЙ РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ ДЛЯ ПРОВЕДЕНИЯ ЕДИНОГО ГОСУДАРСТВЕННОГО ЭКЗАМЕНА

1.1. Метрологические особенности диагностики знаний и познавательных способностей в психолого-педагогических исследованиях.

1.2. Обобщенная модель психолого-педагогического теста.

1.3. Модель выявления сходств.

1.4. Модель дихотомической классификации и латентного континуума.

Выводы по первой главе.

ГЛАВА 2. ПРОБЛЕМЫ КОНСТРУИРОВАНИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ С ВАРЬИРУЮЩЕЙСЯ СЛОЖНОСТЬЮ ЗАДАНИЙ ДЛЯ ДИСЦПЛИН ЕСТЕСТВЕННО-МАТЕМАТИЧЕСКОГО И ГУМАНИТАРНОГО ЦИКЛОВ

2.1. Обоснование конструкционных процедур разработки тестовых заданий единого государственного экзамена.

2.2. Верификация разработанных процедур для тестов с варьирующейся сложностью заданий.

2.3. Эмпирико-статистическая теория тестирования.

Выводы по второй главе.

ГЛАВА 3. ПЛАНИРОВАНИЕ И ЭКСПЕРИМЕНТАЛЬНАЯ АПРОБАЦИЯ ДИДАКТИЧЕСКОГО КОНТРОЛЯ КАЧЕСТВА ЗНАНИЙ СТУДЕНТОВ, ЗАЧИСЛЕННЫХ ПО РЕЗУЛЬТАТАМ ЕГЭ, С ИСПОЛЬЗОВАНИЕМ НОВЫХ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ

3.1. Особенности организации и проведения единого государственного экзамена с использованием компьютерных тестов.

3.2. Обоснование методов учета исходной информации при выборе рациональной структуры тестовых проверок знаний обучаемых.

3.3. Педагогическое планирование порядка применения контрольных тестов и определение оптимальных периодов программированного контроля знаний обучаемых.

3.4. Оценка качества дидактических тестов по итогам эксперимента по введению единого государственного экзамена.

Выводы по третьей главе.

Введение диссертации по педагогике, на тему "Конструирование и оценка качества дидактических тестов для проведения единого государственного экзамена"

В отечественных и зарубежных психолого-педагогических исследованиях, изложенных в трудах В. С. Аванесова, П. П. Блонского, А. П. Болтунова, В. К. Гайда, В. Н. Дружинина, В. П. Захарова, Б. В. Кулагина, А. Н. Майорова, В. В. Спасенникова, В. Д. Шадрикова, А. Бине, Ф. Гальтона, Дж. Кеттелла, П. Клайна, Д. Кэмпбелла, К. Ингекампа, Т. Симона, JL Терстоуна, Э. Торн-дайка и других показано, что как в дидактических тестах (Educational Test), так и в психодиагностических (Intelligence Test) итоговая оценка знаний (способностей) является решением сложной научной задачи, связанной с выполнением ряда взаимосвязанных и взаимозависимых условий, среди которых выделяют:

1. Анализ и систематизацию основных компонентов знания и подтверждение достаточности заданий для измерения каждого из них (обеспечение валидности по содержанию).

2. Проверка надежности тестовых заданий.

3. Установление стандартов качества (уровня) знания.

4. Оценка качества тестов на основе выявления их прогностической ва-лидности для успешного обучения.

Выполнение перечисленных выше условий связано с целым рядом теоретических и технических проблем, которые определяют несовершенство как психодиагностических, так и дидактических тестов, поэтому конструирование и методика оценки качества тестов контроля знаний выпускников школ в условиях эксперимента по введению единого государственного экзамена (ЕГЭ) является своевременным решением актуальной научной задачи.

В этих условиях не исключены случаи поступления в вузы абитуриентов, которые имеют низкие знания даже с точки зрения самых минимальных требований, неспособных усваивать элементарные материалы по тем или иным дисциплинам, в то время как абитуриенты с высокой мотивацией и профессиональной направленностью и хорошими твердыми знаниями, зачастую выходящими за рамки школьной программы и учебников набирают полупроходные баллы и не поступают в высшие учебные заведения. ЕГЭ призван устранить негативные социальные установки и повысить качество отбора абитуриентов в вузы, однако это может произойти только при наличии качественных дидактических тестов контроля знаний по дисциплинам естественно-математического и гуманитарного циклов, соответствующих таким критериям качества конструирования тестов как прогностическая валидность, надежность, репрезентативность, соответствие установленных тестовых норм критериям отбора с учетом конкретного конкурса в вуз по специальности.

Разработка унифицированных дидактических тестов по всем специальностям в условиях высшей школы позволит в перспективе решить важнейшую задачу для всех стран СНГ: позволяет нострифицировать (приравнивать) документы об образовании и сертифицировать учебные заведения по различным квалификационным категориям.

Гипотеза исследования - требованиям прогностической валидности отвечают используемые в ЕГЭ дидактические тесты с варьирующейся сложностью заданий, качество которых можно оценить на основе успехов освоения студентами, зачисленными по результатам ЕГЭ, программы высшей школы.

В соответствии с целью и гипотезой были выделены следующие задачи исследования:

4. Разработать эмпирико-статистические процедуры компьютерного тестирования с использованием новых информационных технологий.

6. Выявить порядок применения контрольных тестов и определить рациональные периоды контроля знаний, умений и навыков обучаемых.

Методологическую основу исследования составили:

• на общенаучном уровне: методология системного подхода (В.В. Давыдов, В.П. Кузьмин, Б.Ф. Ломов, Г.В. Суходольский, Э.Г. Юдин, М.Г. Ярошев-ский).

• на философско-психологическом уровне: принципы организации и проведения экспериментального исследования, такие как: принцип активности, принцип взаимодействия, принцип детерминизма, принцип единства внешнего и внутреннего, принцип развития, принцип субъектности, принцип единства теории и практики в структуре научного объяснения (Б.Г. Ананьев, A.B. Брушлинский, Б.С. Гершунский, В.Н. Дружинин, В.П. Зинченко, C.JI. Рубинштейн, В.Д. Симоненко, В.А. Сластенин, В.И. Слободчиков, В.Д. Шад-риков).

• на теоретико-методическом уровне: теория проектирования тестов достижений (С.М. Василейский, С.Г. Геллерштейн, Г.С. Ковалева, И.Я. Jlep-нер, М.Н. Скаткин, Н. Гронлунд, Р. ван Крикен, А. Отис, Л. Термен, Л. Тер-стоун); теория соответствия тестов стандартам качества: валидности, репрезентативности, надежности (B.C. Аванесов, Л.Ф. Бурлачук, В.К. Гайда, В.Н. Дружинин, В.П. Захаров, Б.Ф. Кулагин, А. Бине, Ф. Гальтон, Т. Симон, Э. Торндайк).

Методы исследования:

• теоретические (изучение и анализ философской, педагогической и психологической литературы);

• экспериментальные (изучение и обобщение опыта конструирования дидактических тестов, анкетирование, наблюдение, тестирование, факторный анализ, констатирующий и формирующий эксперимент);

• методы обработки эмпирических материалов; квалиметрия, методы математической статистики, методы теории нечетных оценок.

Массив 1-322 человека - студенты КГПУ им. К. Э. Циолковского. Массив II - 157 студентов ОИАТЭ, из них 60 — физико-энергетического факультета, 50 - социально-экономического и 47 - факультета естественных наук.

Этапы исследования:

2-й этап (2001-2003 гг.) - опытно экспериментальный: разработка методики оценки прогностической валидности тестовых заданий ЕГЭ, ее экспериментальной проверки; уточнение разработанной методики оценки прогностической валидности тестовых заданий ЕГЭ;

Научная новизна исследования:

- теоретически обоснована и экспериментально подтверждена методика оценки прогностической валидности дидактических тестов ЕГЭ по естественно-математическим дисциплинам.

- научно обоснованы процедуры разработки и верификации тестовых заданий в процессе конструирования дидактических тестов с варьирующейся сложностью заданий для дисциплин естественно-математического цикла;

- экспериментально подтверждено, что прогностическая валидность тестов по естественно-математическим дисциплинам определяется корреляцией результатов приема по ЕГЭ с успешностью обучения студентов в первых двух сессиях; при этом оценка эффективности эксперимента по введению ЕГЭ осуществлена на основе новых информационных технологий.

Практическая значимость исследования состоит в том, что:

-разработано учебное пособие для студентов и аспирантов, которое используется студентами, аспирантами и преподавателями в таких курсах как "Проектирование тестов достижений", "Психодиагностика" и "Экспериментальная психология";

-обоснована структура, математическое обеспечение, пакеты прикладных программ для программированного контроля знаний в высшей школе по дисциплинам естественно-математического цикла для организации и проведения текущего, рубежного и итогового контроля знаний студентов;

Апробация и внедрение результатов исследования.

Основные положения диссертации обсуждались и получили положительную оценку на заседаниях кафедр общей и профессиональной педагогики; общей и профессиональной психологии; психологии труда и консультативной психологии Брянского государственного университета имени академика И.Г. Петровского, на международных, межрегиональных и межвузовских научно-практических конференциях. По результатам обмена опытом организации и проведения ЕГЭ изданы труды международной Интернет-конференции по вопросам нострифика-ции образовательных документов и сертификации тестовых технологий (Брянск, 2004).

Эмпирические данные диссертации включены в статистические сборники по результатам проведения Единого Государственного Экзамена в Калужской области в 2003 и в 2004 гг.

Положения, выносимые на защиту:

1. Существует два способа оценивания знаний школьников, абитуриентов и студентов: первый - традиционный, ориентированный на локальную соотносительную норму; второй - оценивание по результатам единого государственного экзамена, проводимого независимыми службами контроля за качеством образования с ориентацией на стандарты широкого уровня, при этом стандарты фиксируют различия в знаниях как критериального, так и нормативного типов. Эквивалентность и равнозначность данных способов дидактического контроля знаний позволяют нострифицировать документы о среднем образовании и сертифицировать квалификационные категории учебных заведений.

2. Традиционный способ оценивания знаний и ЕГЭ позволяют осуществлять сравнительный анализ местных стандартов образования с региональными, государственными и международными стандартами. Определение и расчет показателей качества дидактических тестов базируются на дифференциально-психометрических принципах валидности, надежности и репрезентативности, для чего отдельно создаются региональные государственные и международные нормы, связанные с критерием конкурсного отбора по дисциплинам естественно-математического цикла.

3. Методика расчета прогностической валидности тестовых заданий ЕГЭ по дисциплинам естественно-математического цикла связана с академической успеваемостью студентов, т.е. с промежуточным рубежным и итоговым дидактическим контролем знаний на основе рациональной структуры проверок по дисциплинам естественно-математического цикла.

Структура диссертационной работы определяется логикой развития теоретико-экспериментального изучения проблемы конструирования и методики оценки качества дидактических тестов в процессе психодиагностического тестирования и проведения единого государственного экзамена в системе непрерывного образования. Диссертация состоит из введения, трех глав, заключения, списка литературы и приложений.

Заключение диссертации научная статья по теме "Общая педагогика, история педагогики и образования"

Основные выводы диссертационного исследования заключаются в следующем:

1. Принципы конструирования и методики оценки качества дидактических и психодиагностических тестов для определения уровня усвоения знаний и уровня интеллектуального развития испытуемых определяют не только качество отбора абитуриентов в те или иные вузы, их будущую, текущую академическую успеваемость, но и в конечном итоге качество образования в целом, а следовательно, востребованность специалистов на рынке труда. Разработка и внедрение как новых дидактических тестов знаний, связанных с единым государственным экзаменом (ЕГЭ), так и психодиагностических тестов и их компьютерных версий требуют понимания того, что любые оценки — это сравнение с каким-либо эталоном, критерием или нормой.

- правильный выбор основных параметров организации контроля знаний обучаемых позволяет решать учебно-диагностические задачи с наименьшими затратами.

7. Разработка унифицированных дидактических тестов по всем специальностям в условиях высшей школы позволит в перспективе решить важнейшую проблему для всех стран СНГ: даст возможность нострифицировать (приравнивать) документы об образовании и сертифицировать образовательные учреждения в системе непрерывного профессионального образования.

ЗАКЛЮЧЕНИЕ

Проведенное исследование подтвердило гипотезу о том, что требованиям прогностической валидности отвечают дидактические тесты с варьирующейся сложностью заданий, качество которых можно оценить на основе тестовых проверок знаний обучаемых и специальных способностей в процессе освоения абитуриентами программы высшей школы.

В исследовании показано, что прогностическая валидность тестовых заданий ЕГЭ по дисциплинам естественно-математического цикла определяется академической успеваемостью студентов и уровнем их интеллектуального развития в процессе освоения блоков профессиональных дисциплин и предметов специализации.

Список литературы диссертации автор научной работы: кандидата педагогических наук, Никитин, Алексей Валерьевич, Брянск

1. Аванесов В. С. Проблемы психологических тестов. // Вопросы психологии, 1978.-№5.-с. 97-107.

2. Аванесов В. С. Основы научной организации педагогического контроля в высшей школе. М.: ГАУ им. С. Орджоникидзе, 1987. - 244 с.

3. Аванесов В. С. Композиция тестовых заданий. М.: PER SE, 2002. - 160 с.

4. Акимова М. К., Козлова В. Т. Анализ результатов диагностических методик, ориентированных на норматив // Вопросы психологии, 1985, №5, с. 145-151.

5. Аминов Н. А., Кудашев А. Р., Структура динамических показателей интеллектуальной деятельности студентов // Вопросы психологии, 1990, №6, с. 140-145

6. Ананьев Б. Г. О проблемах современного человекознания. М.: Наука, 1977.-282 с.

7. Анастази А. Психологическое тестирование: Пер. с англ. В 2 кн. / Под ред. К. М. Гуревича, В. И. Лубовского. М.: Педагогика, 1982.

8. Атутов П. Р. Технология и современное образование // Педагогика, 1996. №2. с.11-14.

9. Багрецов С. А. Дидактический контроль знаний в высшей школе с использованием автоматизированных обучающих систем. Минск: Изд-во МВИЗРУ, 1985.-440 с.

10. Балл Г. А. Нормы деятельности и творческая активность личности // Вопросы психологии, 1990, №6, с. 25-34.

11. Батыршев А. В. Тестирование: основной инструментарий практического психолога. М.: Дело, 1999, - 240 с.

12. Безрукова В. С. Педагогика. Екатеринбург: Изд-во Свердл. инж.-пед. ин-та, 1993.-с. 89-212.

13. Беспалько В. П. Слагаемые педагогической технологии. М.: Педагогика, 1989. - 120 с.

14. Беспалько В. П., Татур Ю. Г. Системно-методическое обеспечение учебно-воспитательного процесса подготовки специалистов. М.: Высшая школа, 1989. - с. 78-112.16