Подготовка специалистов в области формально-структурного описания, исследования и организации педагогического тестирования знаний

Рудинский, Игорь Давидович

Темы диссертаций по педагогике » Теория и методика обучения и воспитания (по областям и уровням образования)

автореферат и диссертация по педагогике 13.00.02 для написания научной статьи или работы на тему: Подготовка специалистов в области формально-структурного описания, исследования и организации педагогического тестирования знаний

Автореферат

Автор научной работы: Рудинский, Игорь Давидович
Ученая степень: доктора педагогических наук
Место защиты: Москва
Год защиты: 2005
Специальность ВАК РФ: 13.00.02

Диссертация

Автореферат диссертации по теме "Подготовка специалистов в области формально-структурного описания, исследования и организации педагогического тестирования знаний"

На правах рукописи

Рудинский Игорь Давидович

ПОДГОТОВКА СПЕЦИАЛИСТОВ В ОБЛАСТИ ФОРМАЛЬНО-СТРУКТУРНОГО ОПИСАНИЯ, ИССЛЕДОВАНИЯ И ОРГАНИЗАЦИИ ПЕДАГОГИЧЕСКОГО ТЕСТИРОВАНИЯ ЗНАНИЙ (на примере специальности «Прикладная информатика в образовании»)

13.00.02 - теория и методика обучения и воспитания (информатика, уровень высшего профессионального образования)

Автореферат диссертации на соискание ученой степени доктора педагогических наук

Москва-2005

Работа выполнена в Институте информатизации образования Российской академии образования, в лаборатории проблем информатизации профессионального образования

Научный консультант: доктор педагогических наук,

Заслуженный работник высшей школы РФ, профессор Козлов ОА

Офици;а1ьные отгогентьк доктор педагогических наук,

профессор Бешенков СА, доктор педагогических наук, профессор Челышкова М.Б., доктор технических наук, доцент Данилюк С.Г.

Ведущая организация: Калининградский государственный

университет

Защита состоится 2Л.05 2005 г. в 44.00 на заседании диссертационного совета Д 008.004.01 в Институте информатизации образования Российской академии образования по адресу: 119121 Москва, ул. Погодинская, 8.

С диссертацией можно ознакомиться в библиотеке Института информатизации образования Российской академии образования.

Автореферат разослан «26» О^ 2005 г.

Ученый секретарь диссертационного совета

С.С. Кравцов

ОБЩАЯ ХАРАКТЕРИСТИКА ДИССЕРТАЦИОННОГО ИССЛЕДОВАНИЯ

Актуальность проблемы исследования. Современное состояние отечественной системы образования характеризуется достаточно высокой насыщенностью высших и других учебных заведений средствами информационных и коммуникационных технологий (ИКТ). Наиболее важными объективными предпосылками для ускоренного внедрения в учебный процесс средств и методов информатики и, в частности, интенсивного развития средств и методов автоматизированного контроля знаний, являются рост интереса к дистанционному обучению, становление системы государственного тестирования выпускников средних школ, тенденция к увеличению частоты и наполняемости процесса текущего контроля знаний на всех уровнях образования, необходимость значительного снижения трудоемкости организации, проведения и подведения итогов этого контроля. В связи с этим, необходимость «объективной оценки уровня образования и квалификации выпускников» рассматривается в качестве одной из задач отечественной системы образования . Непреходящая актуальность проблематики педагогического контроля знаний подтверждается тем, что ее исследованию посвящены работы видных российских педагогов как прошлого (В.Ф. Одоевский, Н.И. Пирогов, К.Д. Ушинский, В.И. Татищев, Я.А. Коменский), так и настоящего времени (Ш.А. Амонашвили, А.И. Берг, ВА. Болотов, О.С. Гребенюк, Ю.К. Бабанский, В.П. Беспалько, И.Я. Лернер, Н.Ф. Талызина, В.Д. Шадриков и др.).

Исходя из возможности организации массового контроля знаний и высокой степени стандартизации и унификации этого процесса, наиболее перспективным и целесообразным для автоматизации представляется метод педагогического тестирования. Научное направление, в рамках которого целенаправленно разрабатываются средства, алгоритмы и методики тестового контроля знаний, получило название «тестология» (B.C. Аванесов, Е. А. Михайлычев, Дж. Равен и

ДР.).

В настоящей работе педагогическим тестированием называется способ педагогического контроля знаний, состоящий в последовательном предъявлении обучаемому конечного множества контрольных (тестовых) заданий по изучаемой дисциплине и вариантов ответов на эти задания, в количественном учете степени правильности ответов, выбранных обучаемым в качестве истинных, и в выводе итоговой оценки относительно априорно сформулированной шкалы оценивания), ставший основой таких важнейших системных форм итогового контроля знаний, как единый государственный экзамен и государственное централизованное тестирование образовательных достижений.

Вторая половина XX в. характеризуется резким повышением интенсивности исследований в области тестологии (М.И. Грабарь, Б.Я. Лихтциндер, А.Н. Майоров, В.И. Михеев, Ю.В. Павлов, С.А. Сафонцев, В.А. Хлебников, М.Б. Челышкова, А.Г. Шмелев и др., а также А. Анастази,

1 Закон РФ «Об образовании» в редакции от 20.07.2000 № 102 - ФЗ, ст. 7.

Дж. Гласс и Дж. Стэнли, К. Ингекамп, П. Клайн и др.). Их методологическую основу составляют работы, направленные на создание и адаптацию средств и методов информатики и ИКТ для системы образования (С.А. Бешенков, Я.А. Ваграменко, В.Г. Кинелев, ОА Козлов, А.А. Кузнецов, В.Ж. Куклин, М.П. Лапчик, Э.А. Манушин, И.П. Норенков, Н.И. Пак, СВ. Панюкова, И.В. Роберт, Ю.А Романенко, А.Я. Савельев, Н.В. Софронова, В.И. Тесленко и ДР-).

Применению формально-математических и кибернетических методов для повышения эффективности отдельных этапов педагогического контроля посвящены работы многих исследователей, в том числе И.Е. Вострокнутова, Б.И. Канаева, О.А. Козлова, В.Л. Латышева, Ю.М. Неймана, Н.И. Пака, И.В. Роберт, В.М. Хлебникова, М.Б. Челышковой, B.C. Черепанова и др. Тем не менее, названные и другие авторы при применении формально-математических методов не уделяют должного внимания комплексному описанию контроля знаний как информационного процесса, его исследованию и оптимизации с формально-структурных и кибернетических позиций, а также не ставят и не решают проблему систематической подготовки специалистов регулярному применению средств и методов информатики и ИКТ для описания, исследования и организации педагогического тестирования знаний.

Одна из причин такого положения - отсутствие корректных и функционально полных формально-структурных моделей информационного процесса педагогического тестирования, необходимых для эффективного выявления и объективного оценивания знаний обучаемых и, в особенности, формально-структурных моделей знаний как предмета контроля, процессов оценивания и тестирования знаний, количественного оценивания объективности педагогического контроля, а также алгоритмов тестирования и оценивания знаний. Для построения и исследования таких моделей необходим метод формально-структурного описания процессов педагогического контроля знаний, под которым понимается совокупность приемов и операций формально-математического и кибернетического описания тех объективно существующих свойств и структурных особенностей объекта, наличие которых подтверждается либо документальной базой, либо экспериментальными исследованиями.

Несмотря на присутствие на рынке образовательных программных продуктов большого количества разнообразных систем автоматизированного тестирования знаний и пристальный интерес к этому методу педагогического контроля со стороны специалистов и руководителей системы образования, до настоящего времени недостаточно разработаны организационно-методические подходы к систематической подготовке в области информатики и ИКТ специалистов, педагогических кадров и административно-управленческого персонала образовательных учреждений по вопросам его регулярного применения в учебном процессе. В государственных образовательных стандартах и учебных планах подготовки специалистов для образовательных учреждений уделяется недостаточное внимание реализации методов и средств информатики и ИКТ для учета, контроля и анализа результатов учебного процесса. Такое состояние дел существенно сдерживает работы по

использованию средств и методов информатики и ИКТ для педагогического контроля знаний, поскольку без построения корректных, непротиворечивых и полных моделей объекта автоматизация его деятельности чаще всего оказывается неэффективной.

Следовательно, можно выделить группу противоречий между:

• целесообразностью применения интенсивных методов массового педагогического контроля и педагогической диагностики и недостаточным вниманием к содержанию и формам подготовки в области информатики и ИКТ специалистов по описанию и исследованию процессов педагогического контроля, а также по созданию, внедрению и организации эксплуатации автоматизированных систем педагогического контроля знаний;

• потребностью обеспечить систематичность, массовость и объективность контроля знаний и отсутствием инструментария для описания и исследования процессов педагогического контроля знаний на базе средств и методов информатики и ИКТ;

• целесообразностью использования тестовых заданий, созданных квалифицированными экспертами для повсеместного текущего и промежуточного тестирования знаний по различным дисциплинам, и отсутствием методик распределенного коллегиального формирования тестовых заданий, их последующего централизованного сбора, накопления и распределения по учебным заведениям, а также регулярного применения для тестирования знаний;

• потребностью в специалистах по педагогическому тестированию знаний и недостаточной проработанностью содержательных основ и организационно-методических подходов к их подготовке в высших учебных заведениях.

Выявленная группа противоречий определяет проблему исследования, которая отражает противоречие между необходимостью обеспечения систематического, массового и объективного контроля знаний обучаемых по различным дисциплинам и отсутствием инструментария для описания, исследования и организации педагогического тестирования, а также отсутствием специалистов, подготовленных для деятельности в этой области.

Таким образом, актуальность исследования определяется необходимостью: теоретического обоснования и разработки метода формально-структурного описания и исследования информационных процессов педагогического контроля знаний как базы повышения эффективности автоматизированного тестирования; разработки структуры и содержания подготовки специалистов для системы образования теоретическим и технологическим подходам к реализации средств и методов информатики и ИКТ при создании, внедрении и организации использования автоматизированных систем педагогического контроля знаний (АСПКЗ); организации подготовки этих специалистов в области формально-структурного описания, исследования и организации педагогического тестирования знаний.

Объект исследования - процесс подготовки в области информатики и ИКТ специалистов по созданию, внедрению и организации эксплуатации автоматизированных систем педагогического контроля знаний.

Предмет исследования - содержание и организационно-методические подходы к подготовке в области информатики и ИКТ специалистов по организации автоматизированного педагогического тестирования знаний.

Цель исследования - теоретическое обоснование и разработка метода описания и исследования процессов педагогического контроля знаний, разработка на этой основе структуры и содержания подготовки специалистов в области информатики и ИКТ, а также организационно-методических подходов к ее реализации.

В основу исследования положена гипотеза о том, что применение метода формально-структурного описания и исследования процессов педагогического контроля знаний, реализующего дидактические и аналитические возможности средств информатики и ИКТ в аспекте педагогических и организационно-методических задач информатизации образования, обеспечит:

- повышение эффективности педагогического оценивания знаний, в том числе повышение объективности выставляемых оценок и уровня знаний обучаемых, расширение сферы практического применения тестового контроля, возможность управлять построением алгоритма тестирования и формированием теста, а также существенное сокращение трудоемкости его практического применения;

- содержательную подготовку в области формально-структурного описания и исследования информационных процессов педагогического контроля знаний специалистов по созданию, внедрению и организации эксплуатации АСПКЗ;

- совершенствование организационных форм и методов подготовки специалистов по созданию, внедрению и организации эксплуатации АСПКЗ;

- автоматизацию процессов распределенной коллегиальной подготовки экспертами тестовых заданий, их последующего централизованного сбора, накопления и распределения по учебным заведениям, а также регулярного применения для тестирования знаний.

Для достижения цели исследования сформулированы задачи исследования:

1. Проанализировать современные научно-методические подходы к организации подготовки педагогов и специалистов в области автоматизации педагогического контроля знаний, основанные на методах формализации описания, диагностирования и оценивания состояния сложных объектов, и предложить направления повышения результативности и эффективности этого процесса.

2. Теоретически обосновать и разработать метод формально-структурного описания и исследования процессов педагогического контроля знаний, на основании которого построить обобщенные формально-структурные модели системы обучения и протекающих в ней процессов педагогического контроля и

тестирования знаний, а также обобщенную формально-структурную модель знаний.

3. Сформулировать принципы автоматизации педагогического тестирования знаний, учитывающие современный уровень развития средств и методов информатики и ИКТ.

4. Теоретически обосновать, построить и исследовать формально-структурные модели нечеткого и статистического оценивания знаний, а также предложить алгоритмы их реализации и практически оценить эффективность применения.

5. Теоретически обосновать и разработать метод количественного оценивания объективности педагогического контроля знаний, на основе которого построить и исследовать формально-структурную модель количественного оценивания объективности.

6. Разработать методические рекомендации по распределенной коллегиальной подготовке экспертами тестовых заданий, их последующему централизованному сбору, накоплению и распределению по учебным заведениям для регулярного тестирования знаний, а также по планированию, организации и оперативной координации сеансов автоматизированного контроля знаний.

7. Разработать структуру, содержание и организационно-методические подходы к подготовке в области информатики и ИКТ специалистов по созданию, внедрению и организации эксплуатации автоматизированных систем педагогического контроля знаний.

Методологическими основами настоящего исследования стали работы в области педагогики и педагогической диагностики (Ш.А. Амонашвили, Ю.К. Бабанский, А.И. Берг, О.С. Гребенюк, Н.Ф. Талызина, В.Д. Шадриков и др.); теории и практики обучения информатике, использования ИКТ в учебном процессе (С.А. Бешенков, Я.А. Ваграменко, С.Г. Данилюк, М.П. Лапчик, О.А. Козлов, А.А. Кузнецов, Э.И. Кузнецов, Э.А. Манушин, Н.И. Пак, СВ. Панюкова, И.В. Роберт, Ю.А. Романенко, Н.В. Софронова, Е.К. Хеннер и др.); квалиметрии (С.Д. Бешелев, Ф.Г. Гурвич, Б.И. Канаев, Б.Я. Лихтциндер и др.); тестологии (B.C. Аванесов, А. Анастази, Дж. Гласс, Н. Грунлунд, К. Ингекамп, П. Клайн, А.Н. Майоров, ЕА. Михайлычев, Дж. Стэнли, В.А. Хлебников, М.Б. Челышкова, А.Г. Шмелев и др.); экспертных методов в педагогических исследованиях (А.И. Орлов, И.В. Роберт, Ю.В. Сидельников, B.C. Черепанов и др.); кибернетики, исследования операций и дискретной математики (Е.С. Вентцель, Н. Винер, Ф. Джордж, Л.Т. Кузин, А. Тьюринг и др.); системного анализа (В.М. Глушков, А.К. Дмитриев, П.А. Мальцев, Г.П. Мельников, М. Месарович, Б. Рассел, Л.А. Растригин, В.А. Штофф и др.); теории информации, инженерии знаний и искусственного интеллекта (Т.А. Гаврилова, Р. Галлагер, А.В. Колесников, С. Осовский, Д.А. Поспелов, Ф.Е. Темников, В.Ф. Хорошевский, К. Шеннон, Ю.А. Шрейдер и др.); теории принятия решений и нечеткой алгебры (А.Н. Борисов, Л. Заде, А. Коффман и др.); теории вероятностей и математической статистики (А.М. Длин, В.В. Оболонкин, В.А. Фигурин и др.).

Для решения поставленных задач применялись следующие методы исследования: теоретический анализ положений педагогической науки по проблемам диагностирования, контроля и оценивания знаний; сопоставительный анализ технологий контроля знаний; наблюдение, беседы, проведение занятий в компьютерном классе и непосредственное осуществление педагогического контроля знаний; системный анализ; методы синтеза и анализа сложных систем и информационных процессов; экспертные методы в приложении к педагогическим исследованиям; методы теории алгоритмов и принятия решений; методы нечеткой логики, теории вероятности и математической статистики.

Научная новизна заключается в разработке: метода формально-структурного описания и исследования процессов педагогического контроля знаний; обобщенных формально-структурных моделей системы обучения и реализуемых в ней процессов педагогического контроля знаний и тестирования знаний; обобщенной формально-структурной модели знаний как объекта педагогического контроля; формально-структурных моделей нечеткого оценивания знаний и статистического оценивания знаний; семейства алгоритмов прямого и адаптивного тестирования знаний; метода и формально-структурной модели количественного оценивания объективности педагогического контроля знаний; основных направлений подготовки в области информатики и ИКТ специалистов по созданию, внедрению и организации эксплуатации АСП КЗ.

Теоретическая значимость проведенного исследования заключается в обосновании назначения, разработке содержания и выявлении этапов применения метода формально-структурного описания и исследования процессов педагогического контроля знаний; в формулировании принципов автоматизации педагогического тестирования знаний; в обосновании метода и построении формально-структурной модели нечеткого оценивания знаний, определении сферы ее применения в качестве средства педагогического контроля; в обосновании метода и построении формально-структурной модели статистического оценивания знаний, определении сферы ее применения в качестве средства педагогического контроля; в обосновании метода и построении формально-структурной модели количественного оценивания объективности педагогического контроля знаний; в разработке структуры и содержания подготовки в области информатики и ИКТ специалистов по созданию, внедрению и организации эксплуатации АСПКЗ.

Практическая значимость исследования заключается в разработке следующих учебно-методических материалов: учебного плана подготовки информатиков-аналитиков по специализации «Автоматизированные системы педагогического контроля знаний» специальности 351400 «Прикладная информатика (в образовании)», учебного плана повышения квалификации завучей учреждений общего среднего образования по направлению «Подготовка кадров информатизации образования» (специализация «Автоматизированные системы педагогического контроля знаний), учебной программы повышения квалификации педагогических кадров и

административно-управленческого персонала образовательных учреждений в области информатики и ИКТ «Основы автоматизированного тестирования знаний», методики оценивания компетентности преподавателей, осуществляющих педагогический контроль знаний, и стандарта предприятия «Управление качеством образования. Расчет коэффициента компетентности преподавателя», методики оценивания объективности процедуры педагогического контроля и экспертов-преподавателей, участвующих в ее организации и проведении, и стандарта предприятия «Управление качеством образования. Оценка объективности аттестационных комиссий», методик распределенного коллегиального построения экспертами тестовых заданий, их централизованного накопления и распространения по образовательным учреждениям для проведения педагогического тестирования, а также планирования, организации и оперативной координации сеансов автоматизированного контроля знаний, рекомендаций по реализации предложенных подходов, методов, моделей и методик в учреждениях высшего профессионального образования, в том числе в рамках обучения, повышения квалификации и переподготовки преподавателей, специалистов и руководителей учебных заведений.

Апробация. Теоретические положения и результаты исследования докладывались и были одобрены на следующих международных, всероссийских и региональных конгрессах, конференциях и семинарах: III Международная выставка-конференция «Информационные технологии и телекоммуникации в образовании» (Москва, 2001 г.), XI, XII, XIII и XIV Международные конференции-выставки «Информационные технологии в образовании» (Москва 2001-2004 г.г.), Научно-технические конференции «Современные проблемы высшего образования» (Мурманск, 1998 и 2001 г.), Всероссийская научно-техническая конференция «Проблемы информатики в образовании, управлении, экономике и технике» (Пенза, 2001 г.), VIII Международная научно-методическая конференция «Новые информационные технологии в университетском образовании» (Новосибирск, 2001 г.), I, II и III Международные научно-методические конференции «Дистанционное обучение - образовательная среда XXI века» (Минск, 2001-2003 г.г.), Международные научные конференции «Информация-коммуникация-общество» (Санкт-Петербург, 2001 и 2002 г.), X и XI Международные конференции «Математика, компьютер, образование» (Москва, 2003 и 2004 г.), XXII и XXIII Межведомственные научно-технические конференции «Проблемы обеспечения эффективности и устойчивости функционирования сложных и технических систем» (Серпухов, 2003 и 2004 г.), Всероссийские научно-практические конференции «Информационные и коммуникационные технологии в общем, профессиональном и дополнительном образовании» (Москва, 2003 г. и Калининград, 2004 г.).

образовательных учреждений. Проводимые исследования выполнялись в рамках Комплексной программы «Информационные и коммуникационные технологии в общем, профессиональном и дополнительном образовании», реализуемой в Институте информатизации образования РАО, госбюджетной НИР 53.53.200.2 «Построение и исследование методов и моделей педагогического контроля знаний», реализуемой в Калининградском государственном техническом университете, а также в рамках договора о научно-техническом сотрудничестве между КГТУ и НОУ «ОНУТЦ ОАО «Газпром»».

В течение 1987-1998 г.г. изучалась практика построения и применения автоматизированных систем педагогического тестирования знаний, выявлялись причины их несоответствия требованиям обеспечения эффективности педагогического контроля. Сформулирована проблема исследования, обоснована его актуальность и определены пути разрешения выявленной проблемы. Изучалась и анализировалась научная литература, выбрана базовая модель исследования, выработаны основные подходы к формализации процесса педагогического тестирования знаний. В 1999-2001 г.г. сформулированы основные положения метода формально-структурного описания и исследования информационных процессов педагогического контроля знаний. Созданы формально-структурные модели: знаний как предмета педагогического контроля; процесса педагогического контроля, процесса тестирования знаний; нечеткого оценивания знаний; количественного оценивания объективности педагогического контроля. Сформулированы основные подходы к организации коллегиального построения экспертами тестовых заданий. Разработаны алгоритмы прямого и адаптивного тестирования знаний. В 2002-2005 г.г. сформулированы организационно-методические подходы к подготовке в области информатики и ИВТ специалистов по созданию, внедрению и организации эксплуатации АСПКЗ, а также методические рекомендации по реализации предложенных моделей, методов и алгоритмов в автоматизированных системах педагогического контроля знаний. Создана и исследована формально-структурная модель статистического оценивания знаний. Разработаны учебный план подготовки информатиков-аналитиков по специализации «Автоматизированные системы педагогического контроля знаний» специальности 351400 «Прикладная информатика (в образовании)», учебный план повышения квалификации завучей учреждений общего среднего образования . по направлению «Подготовка кадров информатизации образования» (специализация «Автоматизированные системы педагогического контроля знаний) и учебная программа повышения квалификации преподавателей и административно-управленческого персонала образовательных учреждений в области информатики и ИКТ «Основы автоматизированного тестирования знаний», а также методическая документация. Выполнен теоретический анализ и интерпретация результатов диссертационного исследования и проведенного в его рамках педагогического эксперимента, опубликованы основные результаты. Сформулированы окончательные выводы и оформлен текст диссертации.

Внедрение результатов исследования. Результаты исследования внедрены в учебный процесс и в систему управления учебной деятельностью в Университете Российской академии образования, Калининградском государственном техническом университете и в негосударственном образовательном учреждении «Отраслевой научно-учебный тренажерный центр ОАО «Газпром»».

Положения, выносимые на защиту:

1. Реализация метода формально-структурного описания и исследования процессов педагогического контроля при создании систем автоматизированного тестирования знаний обеспечивает построение и изучение формально-структурных моделей процессов контроля, тестирования и оценивания, выявление и формализацию наиболее значимых элементов системы контроля знаний, их связей между собой и с внешней средой, а также позволяет выделить, описать и формализовать важнейшие стадии, этапы и процедуры этих процессов.

2. Использование в системах автоматизированного тестирования аксиоматической формально-структурной модели знаний как предмета педагогического контроля, формально-структурных моделей нечеткого и статистического оценивания знаний и модели количественного оценивания объективности педагогического контроля обеспечивает выявление и описание информационных ресурсов, используемых при реализации каждого этапа педагогического контроля, и алгоритмизацию процедур преобразования этих ресурсов; повышает объективность результатов автоматизированного тестирования; обеспечивает возможность автоматизированного контроля знаний по слабо формализованным учебным дисциплинам.

3. Применение для организации тестирования знаний методик распределенной коллегиальной подготовки экспертами тестовых заданий, централизованного накопления и последующего распределения заданий по образовательным учреждениям для контроля знаний обучаемых, а также методики планирования, организации и проведения сеансов автоматизированного контроля знаний обеспечивает привлечение к составлению тестовых заданий в качестве экспертов территориально удаленных друг от друга квалифицированных преподавателей; существенно снижает трудоемкость организации и проведения текущего и промежуточного тестирования; обеспечивает унификацию и стандартизацию тестового контроля, а также сопоставимость результатов обучения в различных образовательных учреждениях.

4. Реализация организационно-методических подходов к подготовке в области информатики и ИКТ специалистов по созданию, внедрению и организации использования автоматизированных систем педагогического контроля знаний в аспекте применения метода формально-структурного описания и исследования, а также созданных на его основе моделей, алгоритмов и методик обеспечит расширение сферы применения регулярного автоматизированного тестирования как метода педагогического контроля и повысит объективность получаемых результатов оценивания знаний.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении на основе анализа отечественной и зарубежной научной и методической литературы, практики применения тестового контроля знаний обосновывается актуальность темы исследования, формулируются его цель, объект, предмет, проблема, гипотеза, задачи и методы исследования, научная новизна, теоретическая и практическая значимость, а также положения, выносимые на защиту.

Первая глава «Анализ процесса контроля знаний в аспекте применения средств информационных и коммуникационных технологий» посвящена выявлению и исследованию проблем построения и применения информационных систем для автоматизации процесса педагогического контроля знаний и поиску путей их решения.

В результате анализа проблем применения средств ИКТ и, в частности, систем автоматизированного тестирования для массового педагогического контроля знаний сделан вывод о том, что их регулярное и систематическое использование сдерживается отсутствием у подавляющего большинства преподавателей и административно-управленческого персонала образовательных учреждений необходимых знаний о современных ИКТ, в частности, о методах и приемах автоматизированного учета, накопления, обобщения и анализа информации о ходе учебного процесса. Представленное в таблице 1 сопоставление количества учебных часов, выделяемых для изучения методов, моделей и алгоритмов реализации учетных, контрольных и аналитических функций (составляющих основное содержание диагностики состояния любого, в том числе и педагогического объекта) в учебных планах различных специальностей однозначно свидетельствует о том, что выпускники педагогических вузов, в отличие от выпускников технических и экономических вузов, не получают объем знаний, необходимый для регулярного и систематического сбора и анализа информации о результатах учебного процесса. Этот недостаток менее заметен в базовом учебном плане подготовки информатиков-аналитиков по специальности 351400 «Прикладная информатика (в образовании)», однако и в нем систематическое изучение методов контроля знаний и, в частности, тестирования также не предусматривается.

Для устранения отмеченного недостатка сформулированы предложения по подготовке в области информатики и ИКТ специалистов, ориентированных на создание, внедрение и организацию эксплуатации АСПКЗ. Анализ организационно-методических подходов к способам и содержанию такой подготовки показал принципиальную возможность ее организации в виде специализации «Автоматизированные системы педагогического контроля знаний» специальности 351400 «Прикладная информатика (в образовании)».

В качестве одного из способов повышения эффективности применения в учебном процессе не только АСПКЗ, но и любых других образовательных

программных продуктов, предложено более четко разделять функции и обязанности между заместителем директора (завучем, проректором) по информатизации (который должен иметь соответствующее образование либо пройти переподготовку в области информатики и ИКТ) и преподавателями соответствующих дисциплин и обслуживающим персоналом, отвечающим за эксплуатацию и надежное функционирование технического и программного обеспечения. Обоснован вывод о том, что для построения в приемлемые сроки и за приемлемую цену системы автоматизированного тестирования знаний, удовлетворяющей значимым для заказчика критериям эффективности, должна быть создана достаточно полная и внутренне непротиворечивая модель процесса педагогического контроля и его частного случая - процесса тестирования знаний, релевантная наиболее значимым отношениям между его основными, т.е. структурными элементами, и адекватно отображающая применяемые в педагогической практике методы и приемы выявления и оценивания знаний.

Таблица 1.

Количество часов для изучения дисциплин диагностического характера в

Специальность Всего часов по учебному плану Кол-во часов для изучения дисциплин диагностического характера2 %

Код Название

1 2 3 4 5

540600 Педагогика 6894 202 2,9

351400 Прикладная информатика (в образовании) 8262 630 7,6

120100 Технология машиностроения 8312 580 7,0

552400 Технология продуктов питания 7344 563 7,7

521600 Экономика 8802 992 11,3

351400 Прикладная информатика (в экономике) 7812 1206 15,4

Для обозначения модели, при построении которой используются строгие формально-математические и кибернетические средства и методы, и которая отображает только объективно существующие свойства и структурные особенности оригинала, введено понятие «формально-структурная модель», а предлагаемый в работе метод построения и исследования таких моделей назван методом формально-структурного описания и исследования. Применение этого метода подразделяется на следующие этапы:

а) определение цели, степень достижения которой рассматривается как критерий качества функционирования объекта;

б) декомпозиция выявленной цели на подцели (построение дерева целей) и сопоставление каждой подцели одной или нескольких функций объекта;

2 При подсчете значения графы 5 суммировалось количество учебных часов по дисциплинам, в названии которых присутствуют термины «учет», «контроль», «анализ», «диагностика», «статистика» и т п

в) декомпозиция объекта на составляющие его элементы и/или подсистемы, а также выявление и отбор тех из них, которые оказывают наиболее существенное влияние на выполнение исследуемых функций;

г) выявление наиболее существенных (структурных) свойств выделенных элементов и/или подсистем, предопределяющих их роль и значение в структуре объекта;

в) выявление каналов обмена информацией и способов взаимодействия элементов и подсистем объекта между собой и с внешней средой;

г) предварительное описание взаимодействия элементов и/или подсистем объекта между собой и с внешней средой при реализации собственных функций для достижения рассматриваемой цели;

д) выбор методов формального описания отношений элементов и подсистем объекта между собой и с окружающей его внешней средой,

е) построение формально-структурных моделей элементов и/или подсистем объекта и процессов их функционирования;

ж) исследование свойств созданных формально-структурных моделей;

з) формализация и, возможно, оптимизация алгоритмов функционирования элементов и/или подсистем в рамках исследуемого объекта для достижения цели его функционирования.

Очевидно, что этапы (а)-(в), (д) и (ж) составляют содержание анализа, а этапы (г), (е) и (з) - синтеза формально-структурной модели объекта исследования.

В работе показано, что комплексное представление об объекте, описываемом формально-структурной моделью процесса тестирования знаний в целом и семейством частных, но взаимосвязанных моделей отдельных этапов и компонент этого процесса, может считаться обобщенной синергетической моделью и рассматриваться в качестве искомого базиса для построения эффективной автоматизированной системы педагогического контроля знаний.

В соответствии с принципами системного подхода для корректной локализации процесса педагогического контроля в качестве объекта исследования и его формально-структурного описания были построены и рассмотрены обобщенные формально-структурные модели системы обучения (в которой осуществляется процесс контроля знаний), цикла ее функционирования и реализуемого в ней процесса обучения (который включает процесс контроля знаний в качестве одной из обязательных стадий).

В качестве системы обучения (СО) рассматривается объект, выделенный из окружающего его внешнего мира для реализации своей целевой функции -формирования у обучаемых априорно определенного уровня знаний в конкретной предметной области. В ходе построения и исследования формально-структурной модели этой системы выделены и определены ее основные подсистемы (в частности, субъект и объект обучения), а также исследованы информационные потоки, связывающие подсистемы между собой (по каналам прямой и обратной связи) и с внешней средой.

Исследование информационных процессов в системе обучения позволило ввести понятие цикл функционирования системы обучения, под которым

понимается периодическое повторение последовательности действий, приводящих к достижению цели обучения. В цикле функционирования СО выделены девять фаз (нормирование, планирование, прогнозирование, организация, научение, учет, контроль, анализ, регулирование), которые для достижения конкретных целей обучения объединены в три контура. Функции стратегического контура инициируются мероприятиями фазы «Нормирование» всякий раз при организации подготовки по новой специальности, при изменении учебного плана либо при внесении изменений в ГОС. Этот контур образуется фазами «Планирование - Прогнозирование - Организация -Научение - Учет - Контроль - Анализ» и, по существу, может считаться структурно-организационной основой процесса обучения. Тактический контур образуется фазами «Научение - Учет - Контроль - Анализ - Регулирование». Он обеспечивает формирование у большинства обучаемых удовлетворительного уровня знаний в пределах текущего цикла функционирования СО при неизменных нормативах государственного образовательного стандарта, реализуемом учебном плане и утвержденных учебных программах. Третий контур, названный вспомогательным, состоит из фаз «Планирование - Прогнозирование» и предназначен для разработки учебных программ и других учебно-методических материалов и оценивания их соответствия целям процесса обучения.

Построение и исследование обобщенной формально-структурной модели системы обучения и цикла ее функционирования позволили предложить представленную на рис 1. формально-структурную пятиуровневую иерархическую модель процесса обучения, которым в настоящей работе называется развивающийся во времени процесс функционирования системы обучения S, осуществляемый с целью формирования у обучаемых априори определенного уровня знаний:

где Z, J и X - множества соответственно целевых установок, внешних и внутренних источников информации; Тр - длительность процесса обучения; Мон - модель знаний обучаемого в момент начала процесса определяющая минимально необходимый начальный уровень знаний; - модель знаний обучаемого в момент окончания процесса Ps, определяющая обязательный минимальный уровень знаний, при котором цель обучения может считаться достигнутой. Исследуется роль, значение и место тестирования знаний как специфической формы педагогического контроля. Анализируются недостатки современных автоматизированных систем тестирования, обусловленные субъективностью и неполнотой представленных в них моделей знаний, невозможностью учета неполных и не совсем точных ответов обучаемых, примитивностью и негибкостью процедур оценивания знаний, значительной трудоемкостью формирования необходимого множества тестовых заданий.

По результатам проведенного анализа сформулированы принципы автоматизации педагогического тестирования знаний, изучение и соблюдение которых специалистами по созданию, внедрению и организации эксплуатации

АСПКЗ позволит существенно повысить объективность и результативность педагогического контроля:

Процесс обучения

Система обучения S

Обучение по специальности

Учебный план zi,l = \,L

Цикл обучения

Учебный поток sPlm с SPi, период обучения [/„,„,

Стадия обучения

[tmlm t,KIm],

Этап обучения

Учебная дисциплина d,m,

Рис. 1. Иерархическая декомпозиция процесса обучения

1. Переход от индивидуальной организации теста к коллегиальной подготовке всех его этапов экспертами по соответствующей учебной дисциплине.

2. Организация интегрированной системы дистанционного сбора, централизованного накопления, обработки, хранения и направленного распределения тестовых заданий для педагогического контроля знаний по различным дисциплинам и в различных учебных заведениях.

3. Переход от задания истинности предлагаемых вариантов ответов в категориях двоичной логики («правильно - неправильно») к более общей и универсальной схеме оценивания ответов функциями принадлежности, определяемыми в категориях нечеткой логики.

4. Количественное определение сложности каждого тестового задания по произвольной пропорциональной шкале.

5. Формализация применяемых в настоящее время «ручных» методик контроля знаний на основе разбиения множества тестовых заданий на тематические подмножества, элементы которых семантически коррелированы друг с другом, с обязательным нормированным ранжированием как тестовых заданий внутри каждого подмножества, так и выделенных подмножеств между собой.

6. Переход от использования программно реализованных алгоритмов прямого тестирования (при котором выбор очередного задания практически не зависит от ответов тестируемого на предыдущие вопросы) к их модульному

конструированию при подготовке теста, а также к применению алгоритмов адаптивного тестирования.

7. Построение, унифицированное описание и однотипная реализация семейства алгоритмов тестирования, реализующих различные методики предъявления тестовых заданий, и предоставление организатору тестирования возможности выбирать в конкретной ситуации те из них, применение которых либо предписывается нормативными документами, либо определяется его собственными предпочтениями.

8. Создание инструментария для построения, настройки и модификации различных шкал итогового оценивания знаний, включая как возможность изменения количества и ширины оценочных интервалов, так и определение и варьирование зон неопределенности оценок.

9. Создание инструментария для количественного оценивания объективности как подготовленных тестов, так и результатов тестирования.

Во второй главе «Гносеологические основы подготовки специалистов в области формально-структурного описания, исследования и организации педагогического тестирования знаний» строятся и исследуются аксиоматическая модель знаний как предмета педагогического контроля, а также формально-структурные модели процессов педагогического контроля и тестирования знаний.

В настоящей работе в качестве предмета педагогического контроля рассматриваются исключительно знания, которые, согласно Н.Ф. Талызиной, определяются как множество понятий, фактов, закономерностей и правил их применения, объективно составляющих семантическую (смысловую) сущность процесса обучения по конкретной дисциплине. С содержательной точки зрения, педагогический контроль заключается в выявлении знаний, которыми обладает обучаемый на момент проведения контроля, и в оценивании степени соответствия этих знаний некоторому целевому (нормативному) уровню.

Целостность проводимого анализа свойств предмета исследования обеспечивается следующим аксиоматическим базисом:

1. Существует некоторое ТУ-мериое (Ы —» оо) информационное пространство М, каждая/'-я, 1=1,// ось которого А/; соответствует знаниям по дисциплине Д,

2. Знания, которыми обладает некоторый ¡-й объект, отображаются в К-мерном пространстве М точкой

где - проекция точки

3. Каждая 1=я, 1 = 1, 1,К ось М, имеет количественную неотрицательную шкалу значений, т.е. каждая точка ф на 1-й оси соответствует конкретному количеству знаний по дисциплине В частности, значение = 0 означает, что у ¡-го объекта отсутствуют знания по дисциплине Д, а значение * 0 означает, что ¡-й объект обладает знаниями по дисциплине Д в количестве др.

4. Количество знаний Q', которыми обладает у-й объект, функционально зависит от значений всех координат точки Д/, в пространстве М:

Для процесса Pi обучения по 1-я специальности границы множества знаний определяются количеством Ki дисциплин Di — {d¡¡¡}, к — I,К,, зафиксированных в учебном плане z/. Знания по дисциплинам V = D \ Di, не включенным в учебный план Г;, считаются несущественными для итоговой квалификационной характеристики обучаемых по /-й специальности и, соответственно, количество знаний по этим дисциплинам не оценивается, т.е. по умолчанию считается равным 0. Для каждой отдельно взятой /-Й, i= 1стадии обучения границы еще более усеченного множества знаний определяются перечнем изучаемых на этой стадии дисциплин D ,i= h = 1,Нй, тогда как для конкретного этапа P/m,y,

этот перечень сужается до единственной дисциплины

Осознанно и повсеместно применяемый в педагогической практике прием сужения множества знаний, принимаемых во внимание для определения квалификационной характеристики обучаемого, приводит к фактической подмене предмета оценивания: вместо полного множества знаний, которыми обладает обучаемый, в роли его заместителя выступает априори ограниченное подмножество знаний по конечному набору дисциплин, предопределенному для данного периода обучения конкретным учебным планом Z;. В частности, для отдельно взятого этапа обучения Рык принимаются во внимание знания по единственной дисциплине dm, б Д/, а для /-Й стадии обучения - знания по всем изучаемым на данной стадии дисциплинам Ц; = {dm,}, h — 1,Н„. Именно такое усеченное (и, соответственно, заведомо неполное) представление рассматривается в рамках настоящей работы в качестве модели знаний обучаемого.

С учетом предложенной аксиоматики, моделью знаний у-го обучаемого на момент начала обучения по специальности Mjo„i называется представление о совокупности знаний, которыми овладел этот обучаемый за период времени, предшествовавший началу обучения по специальности Pi. Размерность этой модели N(Mjqki) характеризуется, как правило, весьма незначительным количеством дисциплин (2-4), а процедура оценивания количества знаний, содержащихся в этой модели, чаще всего принимает форму вступительных испытаний. В свою очередь, модель знаний у-го обучаемого на момент окончания обучения по специальности MjOrf - представление о совокупности знаний, которыми овладел обучаемый в процессе обучения по специальности Размерность этой модели характеризуется перечнем

дисциплин, обязательных для изучения согласно учебному плану zr

Выявление места и роли педагогического тестирования в цикле функционирования системы обучения, а также построение и исследование модели знаний как предмета педагогического контроля позволили перейти к

построению и исследованию формально-структурной моделей процедуры педагогического оценивания и процесса педагогического тестирования знаний.

В настоящей работе педагогическим оцениванием знаний называется этап педагогического контроля, состоящий в определении количественной меры тождественности модели знаний обучаемого Мт и эталонной модели знаний с учетом учебной программы £/р, в соответствии с которой осуществляется обучение, и осуществляемый в течение временного интервала [/„,

РО'ЩЕ, Мт, иР, Б0, /„, к) 0Т,

где - реализуемый процесс оценивания знаний; - шкала итогового оценивания знаний; Г* - соответственно моменты начала и окончания процесса - итоговая оценка знаний обучаемого; - учебная программа,

под которой в данном случае понимается конечный перечень тем и вопросов по изучаемой дисциплине, усвоение которых приводит к формированию частной модели М-р знаний обучаемого по этой дисциплине. Анализ проблемы субъективности оценивания знаний, обусловленной тем, что в качестве эталонной модели Ме при реализации этой процедуры применяется заведомо неполная модель знаний конкретного преподавателя, позволил обосновать вывод о том, что коллегиальное построение экспертами множества тестовых заданий и вариантов ответов на них позволит повысить объективность автоматизированного тестирования по сравнению с очным индивидуальным контролем знаний.

Цель педагогического тестирования заключается в получении однозначной оценки знаний обучаемого относительно применяемой оценочной шкалы по результатам анализа ответов на предъявленные тестовые задания.

Обобщенная формально-структурная модель процесса тестирования представляется тремя последовательными непересекающимися стадиями, которые отличаются целями, характером и способом выполнения операций:

_ Рт = <РиРг,Рз>

причем V/,у = 1,3,156у;

где - подготовительная стадия; - стадия выявления знаний; - стадия расчета итоговой оценки.

Подготовительная стадия Р\ предназначена для организации тестирования знаний и ознакомления обучаемого с условиями осуществления этого процесса. В составе этой стадии выделяются восемь этапов, отличающихся характером решаемых на каждом из них задач:

где Рц - формирование множества тестовых заданий; Рц - формирование вариантов ответов на сформулированные тестовые задания; - определение степени правдоподобия ответов; - определение

сложности и относительной важности тестовых заданий; Рц - определение объема теста; Р\е = </>1б1, Рш, Р'16У> ~ формирование тес 1^7; - выбор и уточнение методики расчета итоговой оценки по результатам тестирования; - ознакомление обучаемого с методиками проведения тестирования и

подведения его итогов. В работе предлагаются и исследуются формально-структурные модели выполнения каждого этапа подготовительной стадии.

На стадии выявления знаний в ходе выполнения теста Т = <St, Aj> (здесь 5У - носитель теста, а Ат - алгоритм его предъявления) объемом п в течение временного интервала \t„ , tj\ накапливается сумма баллов Qz(n) за ответы, выбираемые обучаемым в качестве наиболее правдоподобных. Если, как и ранее, модель знаний обучаемого обозначить Мх, то процедура Pi выявления знаний может быть представлена в виде

Р2:(МТ, Т, t„, tk) -» Q^n).

Отметим, что на данной стадии педагогического контроля эталонная модель знаний предметной области ME замещается тестом Т, объем п которого, как правило, значительно меньше мощности Jmax множества тестовых заданий V (п « J^nax). Такая подмена и связанная с ней неполнота информации о фактическом уровне знаний обучаемого делает целесообразной верификацию результатов тестирования с использованием методов математической статистики.

На стадии расчета итоговой оценки знаний обучаемого накопленная сумма баллов Qzip) проецируется на шкалу итогового оценивания So посредством функции Fp(Qz, So)- При использовании введенных обозначений процедура расчета итоговой оценки представляется в виде

Pï.mn\S0,FP{Qi,So)->0T.

Предложенная обобщенная формально-структурная модель процесса тестирования знаний может быть признана универсальной. Она отображает фактическую последовательность реально выполняемых процедур, их функциональное назначение и структурные, т.е. объективно существующие компоненты и параметры, инвариантные к применяемой методологии тестирования. Каждый выделенный этап с различной степенью осознанности выполняется в любой системе тестирования знаний независимо от того, владеют или нет ее разработчики и пользователи соответствующим формально-математическим аппаратом.

В третьей главе «Построение и исследование формально-структурных моделей оценивания и алгоритмов тестирования знаний» рассматриваются модели нечеткого и статистического оценивания знаний и алгоритмы прямого и адаптивного тестирования, позволяющие автоматизировать широкий спектр прикладных методик педагогического контроля и оценивания знаний, а также описываются и анализируются результаты педагогического эксперимента по исследованию возможностей применения предложенных моделей и алгоритмов автоматизированного тестирования как средства повышения уровня обученности студентов.

В отличие от традиционных моделей оценивания знаний, применяющихся в процедурах автоматизированного тестирования, предлагаемая формально-структурная модель нечеткого оценивания основана на определении степени истинности ответов, т.е. на априори признаваемой принципиальной возможности получения частично правильного (не совсем точного, неполного и

т.п.) ответа и выведения итоговой оценки на основании того, насколько модель знаний обучаемого, реконструируемая на основании его ответов, близка к эталонной модели знаний. В работе предлагается подход к оцениванию правильности ответов на предъявляемые задания, заключающийся в априорном экспертном определении того, в какой степени можно считать истинным и в какой степени ложным каждый из наиболее вероятных ответов тестируемого. Методологической основой этого подхода служит исчисление нечетких множеств и отношений.

В качестве шкалы оценивания степени истинности вариантов ответов может применяться, в частности, предлагаемая в работе пятизначная лингвистическая шкала вида I = [«правильно», «неполно», «неточно», «неопределенно», «неправильно»], либо другие привычные для организатора тестирования оценочные категории. При этом для количественного учета истинности выбираемых ответов и расчета итоговой оценки используется аппарат нечеткой алгебры.

Истинность варианта ответа характеризуется функцией принадлежности, заданной на лингвистической переменной. В качестве базового множества ее дискретных значений используется лингвистическая оценочная шкала. Совокупность вариантов ответов на тестовое задание представляется нечетким множеством, каждый элемент которого - пара вида (<вариант ответа>; <функция принадлежности>). В ходе тестирования степень «суммарной» истинности ответов обучаемого на все предъявленные тестовые задания оценивается с применением нечеткой алгебры путем построения функции принадлежности совокупности выбранных ответов применяемой лингвистической шкале.

Для вывода итоговой оценки используется эталонная шкала оценивания результатов тестирования. Эта шкала также представляется нечетким множеством, каждый элемент которого - пара вида (<оценка>; <функция принадлежности>). Оценка знаний тестируемого выводится в процессе сравнения функции принадлежности совокупности выбранных ответов с эталонными функциями принадлежности каждой оценки шкалы итогового оценивания. В качестве итоговой оценки принимается та, для которой скалярное расстояние (например, по мере Хемминга или мере Евклида) между ее функцией принадлежности и функцией принадлежности совокупности выбранных ответов оказывается минимальным.

Идея статистического оценивания знаний базируется на сборе и обработке статистической информации о структурных параметрах функции распределения степеней истинности совокупности выбранных обучаемым ответов на предъявленные ему тестовые задания.

Пусть для оценивания степени истинности ответов на тестовые задания применяется .лингвистическая переменная /, базовое множество значений которой задано пятизначной шкалой / = [«правильно», «неполно», «неточно», «неопределенно», «неправильно»]. Сопоставим этой шкале числовую шкалу вида причем значению

^ — «правильно» будет соответствовать интервал (<1,1], Ь = «неполно» -

интервал (<2, /1], /з = «неточно» - (<з, /4 = «неопределенно» - ¿з], /5 = «неправильно» - [0, /4]. Если при проведении тестового контроля знаний подсчитать количество выбранных каждым обучаемым ответов, степени истинности которых попадают в интервалы [0, /4], (?4, /з], ..., (/], 1], построить полигоны частот и проанализировать формы возможных функций распределения, то становится очевидным, что при достаточно большом объеме предъявляемой обучаемому тестовой выборки функции распределения степени истинности ответов групп обучаемых, демонстрирующих различные уровни знаний, тяготеют к вполне определенным законам распределения. Распределение ответов обучаемых, показавших наиболее полные и глубокие знания, соответствующие оценке «отлично», тяготеет к экспоненциальному закону с параметром X -> 1. Распределение ответов обучаемых, демонстрировавших ровные и уверенные знания по всей области покрытия теста, соответствующие оценке «хорошо», тяготеет к логарифмическому закону. Распределение ответов обучаемых, обладающих определенными знаниями по одним темам теста и имеющих пробелы в знаниях по другим темам (что, как правило, характеризуется оценкой «удовлетворительно»), тяготеет к нормальному закону. Распределение ответов обучаемых, демонстрировавших неудовлетворительный уровень знаний и выбиравших, в основном, ответы с минимальной степенью истинности, тяготеет к экспоненциальному закону с параметром И, наконец, близкое к равномерному распределение ответов

обучаемых свидетельствует о произвольном (случайном) выборе вариантов ответов, что также может оцениваться оценкой «неудовлетворительно».

Для реализации статистической модели оценивания знаний предложен алгоритм, включающий следующие основные этапы: построение вариационного ряда совокупности выбранных обучаемым ответов и расчет соответствующих им частот; последовательное выдвижение и проверка нулевых и альтернативных им гипотез об экспоненциальном с X = 1, логарифмическом, нормальном, равномерном и экспоненциальном с А. =0 распределении совокупности ответов; выбор в качестве рабочей той гипотезы, степень согласия с которой оказалась наибольшей, и определение предварительной оценки знаний тестируемого, соответствующей выбранному закону распределения; расчет доверительного интервала, который с требуемой доверительной вероятностью содержит предварительную оценку, проецирование его на эталонную шкалу статистического оценивания знаний и выработка решения о принятии предварительной оценки в качестве итоговой либо о необходимости продолжения тестирования для получения статистически достоверной оценки с применением одной из методик адаптивного контроля знаний.

Сопоставление предложенных в работе формально-структурных моделей нечеткого и статистического оценивания знаний, предназначенных для решения одной и той же задачи педагогического контроля, позволило сделать вывод о том, что модель нечеткого оценивания знаний, не выдвигающую каких-либо требований к объему экспериментального материала (в нашем случае - к объему теста), целесообразно использовать для оперативного, в частности,

текущего контроля знаний при помощи относительно коротких тестов. В то же время, модель статистического оценивания может эффективно применяться тогда, когда для оценивания знаний обучаемых выделяется время, необходимое и достаточное для выполнения большего количества заданий, например, в процессе входного или итогового контроля.

Представленные модели нечеткого и статистического оценивания знаний позволяют понять и формализовать универсальные механизмы описания и учета степени истинности ответов на тестовые задания, однако они по определению не содержат описаний свойств этих заданий, а также не задают порядок их предъявления и учета получаемых ответов при осуществлении тестирования. В педагогической практике в различных ситуациях применяются разнообразные методики выявления знаний, отличающиеся, в первую очередь, дифференциацией сложности и важности предъявляемого контрольного материала, строгостью проводимого контроля, а также порядком контроля истинности уже полученных ответов. Предложенная в работе классификация параметров алгоритмов тестирования позволяет говорить о существовании обширного множества способов предъявления тестовых заданий и учета ответов.

Подсчет показывает, что в состав этого семейства входят, по крайней мере, 126 алгоритмов прямого тестирования, в том числе 48 алгоритмов контроля широты знаний и 78 алгоритмов контроля глубины знаний, а также 84 алгоритма адаптивного тестирования, в том числе 36 алгоритмов экзаменационного контроля глубины всех имеющихся знаний и 48 алгоритмов контроля широты всех имеющихся знаний по методике дополнительных вопросов.

Для разрешения проблемы программной реализации и отладки столь значительного количества алгоритмов в работе предложен принцип автоматизированного модульного конструирования алгоритмов тестирования. Его идея заключается в том, что при подготовке сеанса тестирования преподаватель с помощью меню выбирает требуемые значения параметров тестирования и создает так называемый сценарий теста. Согласно этому сценарию из типовых модулей (базовых алгоритмов) автоматически строится исполняемая версия именно того алгоритма тестирования, который соответствует выбранной комбинации значений.

При организации педагогического эксперимента, проводившегося на кафедре систем управления и вычислительной техники Калининградского государственного технического университета, была выдвинута гипотеза о том, что периодический промежуточный тестовый контроль по дисциплине в течение учебного семестра позволяет добиться статистически значимого повышения уровня знаний, демонстрируемых студентами на экзамене по этой дисциплине. В ходе эксперимента результаты экзаменационного оценивания знаний студентов экспериментальной группы (в которой на протяжении семестра дважды проводилось промежуточное прямое экзаменационное тестирование с контролем широты знаний по модели нечеткого оценивания) сравнивались с результатами экзаменационного оценивания знаний студентов

контрольной группы (эти студенты обучались в одном потоке со студентами экспериментальной группы, но их знания в течение семестра не тестировались), а также с результатами экзаменационного оценивания знаний студентов, изучавших эту же дисциплину в предыдущие учебные годы. Исследовались результаты обучения трех потоков студентов специальности 220200, изучавших дисциплину «Электроника» в пятом учебном семестре в 2002-2203,2003-2004 и 2004-2005 учебных годах. Результаты эксперимента должны были подтвердить либо опровергнуть гипотезу о том, что проведенное двукратное промежуточное тестирование знаний студентов экспериментальной группы в течение учебного семестра ведет к повышению уровня их обученности, что выражается в статистически существенном повышении среднего балла, рассчитанного по экзаменационным оценкам экспериментальной группы по соответствующей дисциплине, по сравнению со средним баллом контрольных групп. При этом изменения' среднего балла и дисперсии оценок в контрольных группах должны оставаться статистически несущественными, что будет свидетельствовать о стационарности исследуемого процесса.

Первичные результаты экзаменационного оценивания знаний представлены в таблице 2, в которой данные об экспериментальной группе 02-АС-1 выделены полужирным шрифтом.

Таблица 2.

Полученные оценки Средний балл Дисперсия оценок

Учебная группа (поток) Кол-во студентов Год контроля знаний Огл. Хор. Удовл. Неуд.

00-АС-1,2 52 2003 10 12 21 9 3,44 0,9365

01-АС-1.2 44 2004 9 10 17 б 3,52 0,9199

02-АС-2 20 2005 4 2 8 6 3,2 1,16

02-АС-1 15 2005 б 5 3 1 4,07 0,8622

На первом этапе статистического анализа существенности различия полученных оценок проверялась с использованием F-критерия гипотеза о равенстве дисперсий экзаменационных оценок всех контрольных и экспериментальной учебных групп. Полученные экспериментальные ^ и критические /^значения F-статистики представлены в столбцах 5, 6, 10, 11, 15 и 16 таблицы 3. Сравнительный попарный анализ этих значений показал, что для всех исследовавшихся пар учебных потоков (учебных групп) выполняется неравенство

Полученный результат свидетельствует, что нулевая гипотеза о равенстве дисперсий не противоречит наблюдениям, поэтому основания для ее отклонения в пользу альтернативной гипотезы отсутствуют.

На втором этапе с использованием /-критерия Стьюдента проверялась гипотеза о статистически существенном расхождении средних баллов всех контрольных и экспериментальной учебных групп. Полученные

экспериментальные и критические ^ значения 1-статистики Стьюдента представлены в столбцах 3,4, 8,9,13 и 14 таблицы 3.

Сравнительный попарный анализ этих значений показывает следующее: - для пар, составленных из контрольных потоков 00-АС-1,2 и 01-АС-1,2, а также контрольной группы 02-АС-2, выполняется неравенство

^ ¡кр-

Это свидетельствует о том, что расхождение сравниваемых оценок нельзя признать статистически существенным. Следовательно, гипотезу о статистически существенном расхождении средних баллов в каждой паре контрольных учебных потоков и контрольной учебной группы следует отклонить. Различия средних баллов, рассчитанных по экзаменационным оценкам студентов всех контрольных групп, должны быть признаны несущественными;

Таблица 3.

Учебная группа (поток) 01-ДС-1.2 02-АС-2 02-АС-1

5 и • 1, Г, Р, г, Р, У, 4 г, г.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

00-АС-1,2 0,853 0,4574 1,985 1,018 1,64 0,995 0,8403 1,996 1,23 87 1,96 0,8354 2,5712 2,00 1,0862 1,88

01-АС-1.2 0,976 1,2131 2,00 1,261 2,00 0,8982 2,0411 2,002 1,0699 2,52

02-АС-2 1,0286 2,431 2,032 1,3454 3,2

- для всех пар, в состав которых входила экспериментальная группа 02-АС-1, выполняется неравенство

Это свидетельствует о том, что расхождение сравниваемых оценок следует признать статистически существенным. Следовательно, отсутствуют основания для отклонения гипотезы о статистически существенном расхождении средних баллов в каждой паре учебных потоков и группы, в состав которых входит экспериментальная группа. Поскольку во всех исследовавшихся случаях средний балл экспериментальной учебной группы 02-АС-1 превышал средние баллы контрольных учебных потоков и контрольной учебной группы на 13,5-21 %, может быть сделан вывод о том, что зафиксированное превышение среднего балла экспериментальной группы над средними баллами контрольных групп является не случайным, а обусловленным изменениями, внесенными в организацию учебного процесса в экспериментальной группе.

Таким образом, результаты эксперимента подтвердили исходную гипотезу о том, что двукратное промежуточное тестирование знаний студентов в течение учебного семестра с применением модели нечеткого оценивания ведет к повышению уровня их обученности.

В четвертой главе «Основы количественного оценивания объективности педагогического контроля знаний» представляется теоретическое обоснование и формулируются основные положения метода количественного оценивания объективности педагогического контроля.

Обеспечение объективности педагогического контроля знаний считается одной из центральных задач повышения эффективности и качества учебного процесса. Педагогический тест считается объективным, когда первичные показатели теста, их оценка и интерпретация не зависят от поведения и субъективных суждений организатора тестирования. Во многих случаях выставленная оценка не может признаваться объективной из-за субъективности модели знаний, с которой сравниваются знания обучаемого. Поскольку с формальной точки зрения оценка От функционально зависит от степени совпадения модели знаний обучаемого Мо и эталонной модели знаний Mg.

От = Р[Ме, МО, БО),

(в этом выражении So - шкала итогового оценивания, а F - процедура вывода оценки), то в случае, когда эталонная модель ME подменяется заведомо неполной и в силу этого субъективной моделью знаний Мр конкретного преподавателя, итоговая оценка в принципе не может быть признана объективной.

В педагогической практике широко применяется прием повышения объективности контроля знаний, заключающийся в коллегиальном оценивании ответов обучаемого аттестационной комиссией. Для учета и определения степени согласованности коллегиального мнения экспертов повсеместно (в том числе и в педагогических исследованиях) используется широко известный и методически проработанный метод экспертных оценок. При расчете уровня объективности необходимо учитывать количество и квалификацию экспертов, а также степень совпадения их мнений.

Аксиоматический базис расчета уровня объективности 0 может быть представлен следующим образом:

1. Значения 0должны располагаться в полуинтервале [0, 1), причем 0=0 будет означать полную субъективность процедуры контроля знаний, а -максимально возможную объективность этой процедуры.

2. Если эталонная модель знаний МЕ формируется единственным экспертом, то независимо от уровня его квалификации.

3. Если мнения экспертов относительно процедуры контроля знаний оказываются абсолютно несогласованными (этому соответствует значение коэффициента конкордации Ж=0), то 0 = 0.

4. Если W Ф 0 и количество экспертов М > 1, то значение 0 должно монотонно возрастать при увеличении значения М, уровня квалификации каждого эксперта (характеризуемого коэффициентом компетентности ур, р= \М ) и коэффициента конкордации W.

5. Если коэффициенты компетентности каждого р-го эксперта ур —> 1, а количество экспертов М -> со, то при Ж —> 1 значение 0 также должно стремиться к 1.

Перечисленным условиям соответствует формула

гМ-12,

которую и предлагается использовать в качестве расчетного инструмента для оценивания уровня объективности педагогического контроля знаний.

Для расчета коэффициента компетентности экспертов должна быть сформирована система показателей (критериев) KR = {Kritc}, с = tC^, каждый из которых должен иметь однозначную семантическую интерпретацию. Очевидно, что критерии Kritc £ KR могут характеризоваться различной важностью, поэтому каждому из них должен быть сопоставлен весовой коэффициент (ранг) Кс, с = 1,Ст>х, отражающий влияние с-го показателя Kritc на коэффициент компетентности эксперта. Любой показатель Kritc может иметь либо конечное множество Gc содержательных значений {Gradcg} (здесь g = l,Gi - номер очередного значения Kritc), каждому из которых сопоставлено численное значение Vcg, либо характеризоваться численной шкалой [Усщщ, vcmax], границы которой соответствуют минимальной и максимальной оценке по критерию Kritc, С учетом введенных обозначений формула для расчета коэффициента компетентности р-го эксперта^имеет вид

где V™ - численное значение с-го критерия, характеризующее р-го эксперта;

IV"" - максимальное численное значение с-го критерия.

М — I"

Величина Кд = при фиксированных значениях количества

экспертов М и коэффициентов их компетентности fp остается постоянной, что позволяет считать ее характеристикой конкретного состава экспертной комиссии и называть показатель Кд коэффициентом объективности экспертной комиссии.

Предложенный подход к оцениванию объективности позволяет организатору тестирования на этапе формирования экспертной комиссии управлять (путем подбора значений М и значением коэффициента представляющего собой характеристику конкретного состава этой комиссии. На уровень объективности коллегиального мнения экспертов организатор тестирования не оказывает прямое влияние в силу того, что степень согласованности мнений экспертов (т.е. значение коэффициента конкордации W) рассчитывается лишь по результатам контроля знаний.

Поскольку коэффициент объективности экспертной комиссии

представляет собой функцию от двух переменных - количества экспертов М и их среднего уровня компетентности то задача организатора тестирования при формировании экспертной комиссии сводится к подбору такого количества экспертов М, обладающих средним уровнем компетентности у, при котором коэффициент объективности комиссии окажется не меньше требуемого значения.

Для упрощенного решения этой задачи в работе предлагается номограмма зависимости коэффициента объективности Кд от количества экспертов М при различных значениях (от 0,1 до 1,0 с шагом ОД). По этой номограмме организатор тестирования может с практически достаточной точностью решать такие задачи, как:

а) оценивание коэффициента объективности экспертной комиссии при

известном количестве экспертов м , средний уровень компетентности которых — •

составляет у ;

б) определение минимально необходимой численности комиссии М' при

заданном (требуемом) уровне объективности экспертной Кв и при различных - *

значениях у ;

в) определение необходимого среднего уровня компетентности экспертов у *, при котором обеспечивается требуемый уровень объективности экспертной комиссии Кд , с учетом лимитированного количества членов экспертной комиссии М.

Предложенная модель оценивания объективности предназначена для управления построением одиночных вариантов ответов на конкретное тестовое задание В то же время, эта модель оказывается полезной и на других этапах как коллегиальной организации, так и непосредственного проведения педагогического тестирования знаний. В частности, ее можно применять для оценивания уровня объективности конкретного тестового задания всего педагогического теста либо его предъявленной реализации.

В качестве методической основы для повышения эффективности педагогического контроля знаний организаторы тестирования могут использовать в своей практической деятельности разработанные автором и представленные в приложении к диссертации проекты стандартов предприятия (образовательного учреждения) «Управление качеством образования. Оценивание объективности аттестационной комиссии» и «Управление качеством образования. Расчет коэффициента компетентности преподавателя».

В пятой главе «Организационные формы и методические аспекты подготовки специалистов в области формально-структурного описания, исследования и организации педагогического тестирования знаний» рассматриваются тематические блоки учебных дисциплин, составляющих содержание обучения специалистов по созданию, внедрению и организации эксплуатации АСПКЗ, а также методики практического применения ими предложенных в диссертационном исследовании моделей и алгоритмов для организации и осуществления различных этапов автоматизированного тестирования знаний.

Специфическое содержание подготовки специалистов по созданию, внедрению и организации эксплуатации АСПКЗ составляют базовый, проектно-эксплуатационный и организационно-методический тематические блоки учебных дисциплин. При изучении дисциплин первого блока обучаемые получают базовые знания о методах и моделях принятия решений в системах обучения, а также осваивают основы педагогической диагностики и тестологии.

Дисциплины второго блока ориентированы на освоение знаний и умений в области проектирования, внедрения и эксплуатации АСПКЗ. В третьем блоке дисциплин освещаются проблемы и методики организации применения АСПКЗ и других информационных систем образовательного назначения в учебном процессе и для административного управления этим процессом. Общий объем специфической содержательной подготовки в рамках указанных тематических блоков составляет 1200 учебных часов, в том числе 604 часа аудиторных занятий и 596 часов самостоятельной работы. В качестве примера организационной формы подготовки специалистов в области формально-структурного описания, исследования и организации педагогического тестирования знаний предложен учебный план подготовки информатиков-аналитиков по специализации «Автоматизированные системы педагогического контроля знаний» специальности «Прикладная информатика (в образовании)», в котором специфическое обучение реализуется в рамках дисциплин специализации. Для организации ускоренной переподготовки завучей учреждений общего среднего образования предложен учебный план повышения их квалификации по направлению «Подготовка кадров информатизации образования» (специализация «Автоматизированные системы педагогического контроля знаний») объемом 560 часов. Для краткосрочной переподготовки педагогических кадров и административно-управленческого персонала образовательных учреждений предложена учебная программа повышения квалификации в области информатики и ИКТ по дисциплине «Основы автоматизированного тестирования знаний» объемом 154 часа (в том числе 76 часов аудиторных занятий).

При исследовании вопросов практического применения предложенных в исследовании моделей и алгоритмов для организации и осуществления различных этапов автоматизированного тестирования знаний сделан вывод о том, что выступающий в роли организатора тестирования специалист по созданию, внедрению и организации эксплуатации АСПКЗ должен уделять особое внимание методическому обеспечению подготовительной стадии тестирования знаний. Эта стадия характеризуется, в частности, значительной пространственной разобщенностью экспертов и образовательных учреждений, разнообразным характером выполняемых мероприятий, координацией действий большого количества участников, длительностью работы экспертной комиссии, возможностью итерационных повторений отдельных операций, а также необходимостью координировать и поддерживать деятельность преподавателей, применяющих АСПКЗ для контроля знаний обучаемых. Требуется строго и подробно регламентировать последовательность, условия и правила выполнения различных этапов подготовки тестов. В работе представлены укрупненные методики выполнения наиболее значимых этапов подготовительной стадии, в частности, коллегиального построения экспертами тестовых заданий, их распределения по образовательным учреждениям для проведения контроля знаний, а также планирования, организации и проведения сеансов автоматизированного контроля знаний.

В качестве примера возможного подхода к интеграции представленной методологии применения средств и методов информатики и ИКТ в сфере автоматизированного тестирования знаний в единое образовательное пространство образовательного учреждения в работе представлена концепция построения и функционирования интегрированной автоматизированной системы контроля знаний, а также сформулированные при участии автора «Методические рекомендации по организации обучения с применением компьютерных обучающих систем при повышении квалификации и профессиональной переподготовке руководителей и специалистов обществ и организаций в учебных заведениях ОАО «Газпром»»

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ

1. В ходе анализа современных научно-методических подходов к организации подготовки в области информатики и ИКТ педагогов и специалистов для системы образования, выявлена и обоснована необходимость создания системы подготовки специалистов, ориентированных на создание, внедрение и организацию эксплуатации автоматизированных систем педагогического контроля знаний. В этом контексте в работе исследованы проблемы построения и применения информационных систем для автоматизации процесса педагогического контроля и предложено направление решения за счет привлечения к их созданию, внедрению и эксплуатации специалистов по АСПКЗ.

2. В качестве инструментария для изучения и эффективной организации автоматизированного тестирования знаний теоретически обоснован и разработан метод формально-структурного описания и исследования процессов педагогического контроля, обеспечивающий выявление и описание наиболее значимых и объективно существующих элементов системы контроля и отношений между ними. Созданные с применением этого метода обобщенные формально-структурные модели системы обучения, цикла ее функционирования и реализуемых в этой системе процессов педагогического контроля и его частного случая - процесса тестирования знаний — позволили выявить, исследовать и уточнить их роль и место в цикле функционирования системы обучения, а также определить структуру и важнейшие свойства наиболее значимых элементов этого процесса - таких, как тест, тестовое задание, алгоритм тестирования, оценка. Предложенная аксиоматическая формально-структурная модель знаний закладывает основы изучения динамики знаний в процессе обучения, а также уточняет и конкретизирует особенности представления знаний как объекта педагогического оценивания, что позволяет считать ее гносеологическим базисом подготовки специалистов для системы образования.

накопления, обработки, хранения и распределения тестовых заданий по учебным заведениям; переход от задания истинности предлагаемых вариантов ответов в категориях двоичной логики к универсальной схеме оценивания ответов функциями принадлежности, определяемыми в категориях нечеткой логики; количественное определение сложности каждого тестового задания по произвольной пропорциональной шкале; формализация методик контроля знаний путем разбиения множества тестовых заданий на тематические подмножества, элементы которых семантически коррелированы друг с другом; переход от использования программно реализованных алгоритмов прямого тестирования к их модульному конструированию при подготовке теста, а также к применению алгоритмов адаптивного тестирования; построение, унифицированное описание и однотипная реализация семейства алгоритмов тестирования, реализующих различные методики предъявления тестовых заданий; создание инструментария для построения, настройки и модификации различных шкал итогового оценивания знаний; создание инструментария для количественного оценивания объективности как подготовленных тестов, так и результатов тестирования.

4. Теоретически обоснована и построена формально-структурная модель нечеткого оценивания знаний, позволяющая организатору тестирования строить многозначную шкалу оценивания истинности, адекватную возможным вариантам ответов на тестовые задания по соответствующей дисциплине. Доказано, что применяемый в классических моделях педагогического тестирования способ оценивания истинности ответов двоичными категориями «правильно - неправильно» является вырожденным частным случаем многозначного нечеткого оценивания истинности, что позволяет считать нечеткую логику универсальным методологическим базисом автоматизации педагогического тестирования знаний. Показано, что многозначное определение степени истинности вариантов ответов на тестовые задания позволяет организовать эффективное педагогическое тестирование по слабо формализованным дисциплинам.

Теоретически обоснована и построена модель статистического оценивания знаний, которая представляет направление формально-структурного описания и исследования процессов педагогического контроля, связанное с выявлением глубинных, объективно существующих структур модели знаний обучаемого. Показано, что наличие или отсутствие знаний проявляется в статистически значимых закономерностях распределения количественных показателей истинности выбираемых ответов на предъявленные тестовые задания, выявление и учет которых повышает объективность автоматизированного контроля знаний.

Разработано семейство алгоритмов тестирования знаний, отражающее широкий спектр используемых в педагогической практике приемов и методик. Предложенный инструментарий выбора конкретных значений параметров теста обеспечивает планирование, организацию и оперативную координацию сеансов автоматизированного контроля знаний, а также позволяет преподавателю конструировать такой сценарий тестирования, который будет наиболее

адекватен его предпочтениям в рамках нормативных требований по организации контроля знаний.

Статистический анализ результатов педагогического эксперимента, показавшего повышение на 13,5-21 % среднего экзаменационного балла студентов, знания которых дважды проверялись в течение учебного семестра с применением модели нечеткого оценивания, подтвердил гипотезу о том, что промежуточное тестирование знаний студентов ведет к повышению уровня их обученности.

5. Теоретически обоснован и разработан метод количественного оценивания объективности педагогического контроля знаний, основанный на коллегиальной подготовке тестовых заданий, учете компетентности преподавателей и экспертном оценивании согласованности их мнений, который позволяет не только предупреждать субъективность процесса оценивания, но и нивелировать возможные последствия несоответствия модели знаний конкретного преподавателя эталонной модели знаний по изучаемой дисциплине. Показано, что использование формально-структурной модели количественного оценивания объективности позволяет организатору тестирования целенаправленно формировать экспертные комиссии для оценивания тестовых заданий и составлять комплекты этих заданий, обеспечивающие требуемый уровень объективности тестового контроля знаний. Модель количественного оценивания объективности может использоваться руководством образовательных учреждений для управления количественным и персональным составом аттестационных комиссий с целью обеспечения необходимого уровня объективности выставляемых оценок.

6. Разработаны методические рекомендации по распределенной коллегиальной подготовке экспертами тестовых заданий, их последующему централизованному сбору, накоплению и распределению по учебным заведениям для регулярного тестирования знаний, а также по планированию, организации и проведению сеансов автоматизированного контроля знаний, которые позволяют организатору тестирования координировать и оперативно совершенствовать процесс автоматизированного контроля знаний, а также создают основу для сравнительного анализа и сопоставления результатов обучения в различных учебных заведениях.

контроля знаний); учебную программу краткосрочного повышения квалификации педагогических кадров и административно-управленческого персонала образовательных учреждений в области информатики и ИКТ по дисциплине «Основы автоматизированного тестирования знаний». Информатики-аналитики, получившие специализацию «Автоматизированные системы педагогического контроля знаний», смогут работать в качестве заместителей директора (завучей, проректоров) образовательных учреждений по информатизации, выполнять функции администраторов систем и центров тестирования знаний, а также оказывать преподавателям и руководителям учебных заведений методическую и консультационную помощь по вопросам организации тестирования знаний, сбора, анализа и обобщения полученных результатов.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ИССЛЕДОВАНИЯ

Материалы исследования нашли отражение в следующих основных публикациях автора (более 40 публикаций, общий объем свыше 36 печатных листов):

Монография

1. Рудинский И. Д. Основы формально-структурного моделирования систем обучения и автоматизации тестирования знаний. - М: Горячая линия - Телеком, 2004. - 204 с.

Статьи, научные доклады

2. Рудинский И.Д. Концепция формально-структурного описания системы педагогического контроля знаний // Информатика и образование. - 2003. - № 2. - 5 с.

3. Рудинский И.Д. Модель нечеткого оценивания знаний как методологический базис автоматизации педагогического тестирования // Информационные технологии. - 2003. - № 9. - 5 с.

4. Рудинский И.Д., Клеандрова И.А. Концепция количественного оценивания объективности педагогического тестирования знаний // Информатика и образование. - 2003. - № 12. - 5 с.

5. Рудинский И.Д., Грушецкий СВ. Модель статистического оценивания знаний // Информационные технологии. - 2004. - № 12. - 6 с.

6. Рудинский И.Д. Создание интегрированной автоматизированной системы контроля знаний // Информатика и образование. - 2005. - № 2. - 5 с.

7. Рудинский И.Д. Принципы автоматизации педагогического контроля знаний // Педагогическая диагностика. - 2003. - № 1. - 7 с.

8. Рудинский И.Д., Клеандрова ИА. Концептуальные основы количественного оценивания объективности тестирования знаний // Ученые записки ИИО РАО. - 2003. - Вып. 8. - 6 с.

9. Рудинский И.Д., Соловей Е.В. Алгоритмы прямого тестирования в автоматизированной системе педагогического контроля знаний // Ученые записки ИИО РАО. - 2003. - Вып. 10. - 6 с.

10. Рудинский И.Д., Клеандрова И А. Как оценить объективность контроля знаний? // Педагогическая диагностика. - 2003. - № 1. - 10 с.

11. Рудинский И.Д., Клеандрова И А, Мезенов СЮ. Количественное оценивание объективности педагогических тестов // Проблемы обеспечения эффективности и устойчивости функционирования сложных технических систем: Мат-лы XXII МНТК. - Серпухов, 2003. - 5 с.

12. Рудинский И.Д. Формально-структурные основы повышения эффективности педагогического тестирования знаний // Ученые записки ИИО РАО.-2004.-Вып. 14.-9 с.

13. Рудинский И.Д., Соловей Е.В. Реализация алгоритмов прямого тестирования в автоматизированной системе контроля знаний // Ученые записки ИИО РАО. - 2004. - Вып. 13. - 6 с.

14. Рудинский И.Д., Грушецкий СВ. Многозначная лингвистическая шкала оценивания истинности тестовых заданий // Проблемы обеспечения эффективности и устойчивости функционирования сложных технических систем: Мат-лы XXIII МНТК. - Серпухов, 2004,4.5. - 3 с.

15. Рудинский И.Д., Грушецкий СВ. Статистические методы оценивания знаний // Ученые записки ИИО РАО. - 2004. - Вып. 13. - 8 с.

Препринты

16. Рудинский И.Д., Клеандрова ИА. Математические основы педагогического тестирования знаний. Ч. 1. Модели нечеткого оценивания знаний и количественного оценивания степени объективности тестирования. -Калининград: Изд-во КГТУ, 2003. - 70 с.

17. Рудинский И.Д. Математические основы педагогического тестирования знаний. Ч. 2. Информационно-кибернетический анализ системы педагогического контроля знаний. - Калининград: Изд-во КГТУ, 2003. - 73 с.

Тезисы

18. Рудинский И.Д. О построении интеллектуальной автоматизированной системы контроля знаний // Современные проблемы высшего образования: Мат-лы научно-технической конференции. - Мурманск, 1998. - 4 с.

19. Рудинский И.Д., Кузнецов АА Гибридное нейросетевое моделирование предметной области в автоматизированной системе контроля знаний // Современные проблемы высшего образования: Мат-лы научно-технической конференции. - Мурманск, 2001. - 3 с.

20. Рудинский И.Д., Соловей ЕА Автоматизированный контроль знаний по методике уточняющих вопросов // Современные проблемы высшего образования: Мат-лы научно-технической конференции. - Мурманск, 2001. - 3 с.

21. Рудинский И.Д. Метод адаптивного автоматизированного тестирования знаний // Проблемы информатики в образовании, управлении, экономике и технике: Мат-лы Всероссийской научно-технической конференции. - Пенза, 2001.-4 с.

22. Рудинский И.Д., Соловей Е.А Реализация алгоритмов прямого тестирования в интеллектуальной автоматизированной системе контроля знаний // Проблемы информатики в образовании, управлении, экономике и технике: Мат-лы Всероссийской научно-технической конференции. - Пенза, 2001. - 2 с.

23. Рудинский И.Д., Кузнецов А.А. Гибридная сетевая модель знаний как концептуальная основа интеллектуального тестирования // Дистанционное

обучение - образовательная среда XXI века: Мат-лы I Международной научно-методической конференции. - Минск, 2001. - 2 с.

24. Рудинский И.Д., Жданович А.В. Технология адаптивного автоматизированного тестирования с использованием нечеткой логики // Новые образовательные технологии в вузе: Мат-лы Всероссийской научно-методической конференции. - Екатеринбург, 2001. - 2 с.

25. Рудинский И.Д. Интеллектуальная система контроля знаний - новый подход к автоматизации педагогического тестирования // Новые информационные технологии в университетском образовании: Мат-лы VIII Международной научно-технической конференции. - Новосибирск, 2001. - 2 с.

26. Рудинский И.Д. Интеллектуальная автоматизированная система контроля знаний // Информационные технологии и телекоммуникации в образовании: Мат-лы III Международной выставки-конференции. - М., 2001. - 2 с.

27. Рудинский И.Д. Нечеткая логика как концептуальный базис интеллектуального тестирования знаний // Информация - коммуникация -общество: Мат-лы II Международной научной конференции. - СПб, 2001. - 3 с.

28. Рудинский И.Д. Принципы интеллектуального автоматизированного тестирования знаний // Информационные технологии в образовании: Мат-лы XI Международной конференции-выставки. - М., 2001. - Ч. V. - 3 с.

29. Рудинский И.Д. Теоретические основы формально-структурного описания процесса педагогического оценивания знаний // Информационные технологии в образовании: Мат-лы XII Международной конференции-выставки. - М., 2002. -4.5.-2 с.

30. Рудинский И.Д., Клеандрова ИА, Мезенов СЮ. Технология экспертного построения тестовых заданий как средство повышения объективности педагогического теста // Информация - коммуникация - общество: Мат-лы III Международной научной конференции. - СПб, 2002. - 2 с.

31. Рудинский И.Д., Грушецкий СВ. Статистические методы вывода оценки результатов автоматизированного тестирования // Информационные технологии в образовании: Мат-лы Международного конгресса конференций. - М., 2003. -4.5.-2 с.

32. Рудинский И.Д., Соловей СВ. О реализации экспертных технологий, алгоритмов прямого тестирования и модели нечеткого оценивания в интегрированной автоматизированной системе контроля знаний // Информационные технологии в образовании: Мат-лы Международного конгресса конференций. - М., 2003. - Ч. 5. - 2 с.

33. Рудинский И.Д., Соловей Е.В. Реализация метода нечеткого оценивания в алгоритмах прямого тестирования знаний // Математика, компьютер, образование: Мат-лы X Международной конференции. - Пущино, 2003. - 1 с.

34. Рудинский И.Д. Системный анализ цикла функционирования системы обучения // Дистанционное обучение - образовательная среда XXI века: Мат-лы III Международной научно-методической конференции. - Минск, 2003. - 3 с.

35. Рудинский И.Д., Грушецкий СВ. Применение средств математической статистики для вывода итоговой оценки за тест // Дистанционное обучение -

образовательная среда XXI века: Мат-лы III Международной научно-методической конференции. - Минск, 2003. - 4 с.

36. Рудинский И.Д., Грушецкий СВ. Статистические методы как инструмент педагогического тестирования знаний // Математика, компьютер, образование: Мат-лы XI Международной конференции. - Пущино, 2004. - 1 с.

37. Рудинский И.Д., Козлов ОА Концепция подготовки педагогов и менеджеров образовательных учреждений регулярному применению автоматизированных систем педагогического контроля знаний // Информационные технологии в образовании: Мат-лы XIV Международной конференции-выставки. - М., 2004. - Ч. 2. - 3 с.

38. Рудинский И.Д., Грушецкий СВ. Построение модели адаптивного тестирования с использованием элементов теории графов // Информационные технологии в образовании: Мат-лы XIV Международной конференции-выставки. -М.,2004.-Ч. 5-2с.

39. Рудинский И.Д., Соловей Е.В. О реализации экспертных технологий, алгоритмов прямого тестирования и модели нечеткого оценивания в интегрированной автоматизированной системе контроля знаний // Информационные технологии в образовании: Мат-лы XIV Международной конференции-выставки. - М., 2004. - Ч. 5.- 2 с.

Нормативно-методические документы

40. СТП 15 - 22 - XX - 04. Стандарт предприятия «Управление качеством образования. Оценивание объективности аттестационной комиссии». -Калининград: Изд-во КГТУ, 2004. - 11 с.

41. СТП 15 - 22 - XX - 04. Стандарт предприятия «Управление качеством образования. Расчет коэффициента компетентности преподавателя». -Калининград: Изд-во КГТУ, 2004. - 11 с.

42. СНО 05.03.09.087.01. Методические рекомендации по организации обучения с применением компьютерных обучающих систем при повышении квалификации и профессиональной переподготовке руководителей и специалистов обществ и организаций в учебных заведениях ОАО «Газпром». -Калининград, 2003. - 76 с.

Подписано к печати 22.04.2005. Заказ 12. Объем 2,25 п.л. Бумага 60x84 (1/16). Тираж 130 экз._

УОП КГТУ. 236000 Калининград, Советский пр. 1.

09 ШШ

174

Содержание диссертации автор научной статьи: доктора педагогических наук, Рудинский, Игорь Давидович, 2005 год

ВВЕДЕНИЕ

1. АНАЛИЗ ПРОЦЕССА КОНТРОЛЯ ЗНАНИЙ В АСПЕКТЕ ПРИМЕНЕНИЯ СРЕДСТВ ИНФОРМАЦИОННЫХ И КОММУНИКАЦИОННЫХ ТЕХНОЛОГИЙ

I. I. Низкая эффективность применения систем автоматизированного контроля знаний как следствие недостаточной подготовки пользователей и специалистов по их созданию, внедрению и организации использования

1.2. Проблемы построения информационных систем для автоматизации процесса кон Iроля знаний и пути их решения

1.3. Метод формально-структурного описания и исследования процессов педагогического контроля знаний

1.4. Формально-структурная модель системы обучения

1.5. Цикл функционирования системы обучения

1.6. Формально-структурная модель процесса обучения

1.7. Принципы автоматизации педагогического тестирования знаний 75 Выводы

2. ГНОСЕОЛОГИЧЕСКИЕ ОСНОВЫ ПОДГОТОВКИ СПЕЦИАЛИСТОВ В ОБЛАСТИ ФОРМАЛЬНО-СТРУКТУРНОГО ОПИСАНИЯ, ИССЛЕДОВАНИЯ И ОРГАНИЗАЦИИ ПЕДАГОГИЧЕСКОГО ТЕСТИРОВАНИЯ ЗНАНИЙ 81 2.1. Знания как предмет педагогического контроля и формально-структурного исследования

2.2. Формализация принципов организации процесса обучения

2.3. Формально-структурная модель процесса педагогического контроля знаний

2.3.1. Процедура оценивания знаний и ее место в процессе педагогического конгроля

2.3.2. Обобщенная формально-структурная модель процесса тестирования знаний 102 Выводы

3. ПОСТРОЕНИЕ И ИССЛЕДОВАНИЕ ФОРМАЛЬНО-СТРУКТУРНЫХ МОДЕЛЕЙ ОЦЕНИВАНИЯ И АЛГОРИТМОВ ТЕСТИРОВАНИЯ ЗНАНИЙ

3.1. Нечеткая логика как методологический базис автоматизации педаго

• гического тестирования знаний

3.1.1. Многозначная лингвистическая шкала оценивания истинности ответов на тестовые задания

3.1.2. Содержательная постановка задачи нечеткого оценивания знаний

3.1.3. Модель нечеткого оценивания знаний

3.1.4. Пример нечеткого оценивания знаний

3.2. Модель статистического оценивания знаний

3.2.1. Вводные замечания

3.2.2. Алгоритм статистического оценивания знаний

3.2.3. Пример статистического оценивания знаний

3.2.4. Сравни 1слы1ын анализ свойств моделей нечеткого и статистического оценивания знаний

• 3.3. Алгоритмы тестирования знаний

3.3.1. Параметры тестовых заданий

3.3.2. Классификация и описание алгоритмов тестирования

3.3.2.1. Описание параметров и алгоритмов прямого тестирования

3.3.2.2. Описание алгоритмов адаптивного тестирования 175 3.4. Экспериментальное исследование возможностей автоматизированного тестирования как средства повышения уровня знаний обучаемых

3.4.1. Организация педагогического эксперимента

3.4.2. Исследование статистической достоверности результатов эксперимента 188 Выводы

4. ОСНОВЫ КОЛИЧЕСТВЕННОГО ОЦЕНИВАНИЯ ОБЪЕКТИВНОСТИ ПЕДАГОГИЧЕСКОГО КОНТРОЛЯ ЗНАНИЙ 196 4.1. Факторы повышения объективности педагогического контроля

4.2. Концепция количественного оценивания объективности тестирования -шапий

4.3. Метод экспертных оценок и его применение в процедурах педагогическою контроля знаний

4.3.1. Роль н -значение экспертных процедур для автоматизированных систем педагогического контроля знаний

4.3.2. Реализация метода экспертных оценок

4.3.3. Методические основы расчета коэффициента компетентности

4.4. Анализ модели оценивания объективности

4.5. Определение количественного и квалификационного состава экспертной комиссии

4.6. Перспективные приложения модели оценивания объективности

4.7. Пример экспертного оценивания объективности тестовых заданий 231 Выводы 236 5. ОРГАНИЗАЦИОННЫЕ ФОРМЫ И МЕТОДИЧЕСКИЕ АСПЕКТЫ ПОДГОТОВКИ СПЕЦИАЛИСТОВ В ОБЛАСТИ ФОРМАЛЬНО-СТРУКТУРНОГО ОПИСАНИЯ, ИССЛЕДОВАНИЯ И ОРГАНИЗАЦИИ ПЕДАГОГИЧЕСКОГО ТЕСТИРОВАНИЯ ЗНАНИЙ

5.1. Учебный план подготовки информатиков-аналитиков по специализации «Автоматизированные системы педагогического контроля знаний» специаль-иости «Прикладная информатика (в образовании)» как организационная форма обучения специалистов в области формально-структурного описания, исследования и организации педагогического тестирования знаний 238 5.2. Концепция построения АСПКЗ и ее реализация при создании

Интегрированной автоматизированной системы контроля знаний

5.2.1. Принципы построения АСПКЗ

5.2.2. Структура ИАСКЗ

5.2.3. Инструментальные средства создания и эксплуатации ИАСКЗ

5.2.4. Модель функционирования ИАСКЗ

5.2.4.1. Система сбора, накопления и распределения тестовых заданий

5.2.4.2. Система тестирования 258 щ 5.3. Методология экспертной подготовки, накопления и распределения тестовых заданий

5.3.1. Методика экспертного построения тестовых заданий

5.3.2. Методика распределения тестовых заданий по образовательным учреждениям для проведения контроля знаний

Введение диссертации по педагогике, на тему "Подготовка специалистов в области формально-структурного описания, исследования и организации педагогического тестирования знаний"

Актуальность проблемы исследовании. Систематические исследования в области применения средств и методов информатики, а также информационных и коммуникационных технологий (ИКТ) в учебном процессе имеют более чем 40-летнюю историю. Современное состояние отечественной системы образования характеризуется достаточно высокой насыщенностью учебных заведений средствами ИКТ, вследствие чего становится актуальной задача повышения эффективности их использования в учебном процессе. Можно выделить две основные тенденции. Повышение результативности обучения, как правило, связывается с созданием и применением автоматизированных обучающих курсов, структура и форма которых зависит от специфики и содержания изучаемой дисциплины. Второй подход - применение автоматизированных систем педагогического тестирования знаний, к которым предъявляются требования универсальности и открытости, обусловленные целесообразностью использования одной и той же системы контроля (и, соответственно, реализованных в ней методик и приемов диалогового взаимодействия) для диагностирования образовательных достижений по максимально широкому спектру учебных дисциплин. В настоящее время известно множество практических реализаций как систем автоматизированного тестирования по отдельным дисциплинам (предметные тесты), так и универсальных систем оценивания знаний (конструкторы тестов), полностью или частично инвариантных к конкретным дисциплинам и допускающих их информационное наполнение преподавателями -организаторами тестирования.

Наиболее важными объективными предпосылками для ускоренного внедрения средств и методов информатики в учебный процесс и, в частности, интенсивного развития средств и методов автоматизированного контроля знаний являются рост интереса к дистанционному обучению, становление системы государственного тестирования выпускников средних школ, тенденция к увеличению частоты и наполняемости процесса текущего контроля знаний па всех уровнях обучения, необходимость значительного снижения трудоемкости его организации, проведения и подведения итогов. В связи с этим, необходимость «объективной оценки уровня образования и квалификации выпускников» рассматривается в качестве одной из задач % отечественной системы образования1. Непреходящая актуальность проблематики педагогического контроля знаний подтверждается тем, что ее исследованию посвящены работы видных российских педагогов как прошлого (В.Ф. Одоевский, Н.И. Пирогов, К.Д. Ушинский, В.И. Татищев, Я.Д. Комеиский), так и настоящего времени (Ш.Д. Амопашвили, А.И. Берг, В.Д. Болотов, О.С. Гребенюк, Ю.К. Бабанский, В.П. Беспалько, И.Я. Лернер, Н.Ф. Талызина, В.Д. Шадриков и др).

Исходя из возможности организации массового контроля знаний и высокой сIспспи стандартизации и унификации этого процесса, наиболее перспективным и целесообразным для автоматизации представляется метод педагогического тестирования, ставший основой таких важнейших системных форм итогового контроля знаний, как единый государственный экзамен и Ф государственное централизованное тестирование образовательных достижений. Научное направление, в рамках которого целенаправленно разрабашмаются средства, алгоритмы и методики тестирования знаний, получило название «тестология» (B.C. Аванесов, Е.А. Михайлычев, Дж. Равен и др.).

В педагогической науке известны работы, направленные на разработку и совершенствование методов тестового контроля образовательных достижений. Благодаря опубликованным еще в XIX в. работам Ф. Гальтона, Дж.М. Кеттела, Дж. Фамера и других, тестирование становится неотъемлемым инструментом психологических и педагогических исследований и экспериментов. В начале XX в. для обработки результатов тестирования (в том числе для проверки их надежности и валидности) начинают применяться методы математической статистики, чю можно считать первыми попытками применения формально-• математического аппарата в педагогических исследованиях. Вторая половина

XX в. характеризуемся резким повышением интенсивности исследований в

1 Закон РФ «Об обрачопании» в редакции от 20.07.2000 Кч 102 - ФЗ, ст.7. области тсстологии (B.C. Аванесов, М.И. Грабарь, Б.Я. Лихтциндер, Л.Н. Майоров, Е.Л. Михайлычев, В.И. Михеев, Ю.В. Павлов, С.А. Сафонцев,

B.А. Хлебников, М.Б. Мельникова, А.Г. Шмелев и др., а также А. Анастази, Д-/К. Гласс и Дж. Стэнли, К. Ингекамп, П. Клайн и др.). Их методологическую основу составляют работы, направленные на создание и адаптацию средств и методов информатики и ИКТ для системы образования (С.А. Бешенков, Я.А. Ваграменко, В.Г. Кинелев, О.А. Козлов, А.А. Кузнецов, В.Ж. Куклин, М.П. Лапчик, Э.А. Many шин, И.П. Норенков, Н.И. Пак, С.В. Панюкова, И.В. Роберг, Ю.А. Романенко, А.Я. Савельев, Н.В. Софронова и др.).

Применению формально-математических и кибернетических методов для повышения эффективности отдельных этапов педагогического контроля посвящены работы многих исследователей, в том числе И.Е. Вострокнутова, Б.П. Капаева. С).А. Козлова, В.Л. Латышева, Ю.М. Неймана, Н.И. Пака, И.В. Роберг, В.М. Хлебникова, М.Б. Челышковой, B.C. Черепанова и др. Наиболее серьезные результаты достигнуты в сфере содержательного структурирования тестовых заданий (B.C. Аванесов), методологии построения и практического применения тестов (А.Н. Майоров, Е.А. Михайлычев, В.А. Хлебников), исихопедагогических и организационных проблем применения 1естпрования как метода педагогического контроля (А.Г. Шмелев), создания технологии адаптивного тестирования (М.Б. Мельникова). Настоятельная необходимость подготовки специалистов в области тестирования знаний осознается педагогической общественностью, о чем свидетельствуют публикации п практическая деятельность В.М. Кадневского, В.Ж. Куклина, Мишпцева В.Н., М.Г. Минина, Е.А. Михайлычева, И.П. Норенкова,

C.А. Сафопцева, В.И. Тесленко, М.Б. Челышковой и др. Тем не менее, названные и другие авторы при применении формально-математических методов не уделяют должного внимания комплексному описанию контроля знаний как информационного процесса, его исследованию и оптимизации с формально-структурных и кибернетических позиций, а также не ставят и не решают проблему систематической подготовки специалистов регулярному применению средств и методов информатики и ИКТ для описания, исследования и организации педагогического тестирования знаний.

Молено назвать, по крайней мере, три причины такого положения. Первая из них - отсутствие корректных и функционально полных формально-структурных моделей информационного процесса педагогического тестирования, необходимых для эффективного выявления и объективного оценивания знаний обучаемых, и особенно формально-структурных моделей знаний как предмета контроля, процессов оценивания и тестирования знаний^ количественного оценивания объективности педагогического контроля, а также алгоритмов тестирования и оценивания знаний. В свою очередь, для построения и исследования таких моделей должен быть создан метод формально-структурного описания процессов педагогического контроля знаний, под которым понимается совокупность приемов и операций формально-математического и кибернетического описания тех объективно существующих свойств и структурных особенностей объекта, наличие которых подтверждается либо документальной базой, либо экспериментальными исследованиями.

Вторая причина - то, что педагогика изначально развивалась как гуманитарная дисциплина, оперирующая лингвистическими моделями и использующая качественные методы оценки получаемых результатов. По этой нрнчине информатизация и формализация и педагогической науки представляйся чрезвычайно актуальной и абсолютно необходимой - в противном случае система образования окалсется неспособной противостоять вызовам и удовлетворять требованиям современного информационного общества.

Третья причина кроется в том, что система профессиональной подгоювкп педагогов в высших и других учебных заведениях тоже имеет сильный "i умани гарный уклон", который выражается, в частности, в очень пезпачшельпом объеме учебных часов, выделенных для изучения информатики (в том числе методов сбора и анализа информации, информационных и коммуникационных технологий) и дисциплин математического цикла, а также их применения для повышения эффективности учебного процесса. Подавляющее большинство практикующих педагогов, менеджеров образовательных учреждений и научных работников, занимающихся проблемами образования, не имеют систематических знаний по этим вопросам. По этой причине они оказываются неспособными применять современные средства информатики и особенно ф0рмалы10-ма1с.матпческие и кибернетические методы исследований для получения искомых результатов либо для их приложения в конкретной предмеIпой области.

Песмофя па присутствие на рынке образовательных программных продуктов большого количества разнообразных систем автоматизированного тестирования знаний и пристальный интерес к этому методу педагогического контроля со стороны специалистов и руководителей системы образования, до настоящего времени недостаточно разработаны организационно-методические подходы к систематической подготовке в области информатики и ИКТ специалистов, педагогических кадров и административно-управленческого персонала образовательных учреждений по вопросам его регулярного применения в учебном процессе. В государственных образовательных стандартах и учебных планах подготовки специалистов для образовательных учреждений уделяется недостаточное внимание реализации методов и средств информатики и ИКТ для учета, контроля и анализа результатов учебного процесса. Как следствие, многие практикующие педагоги настороженно относятся к тестированию как к методу промежуточного и текущего контроля знаний. Такое состояние существенно сдерживает работы по внедрению средств н методов информатики и ИКТ в учебный процесс, поскольку без построения корректных, непротиворечивых и полных моделей объекта автоматизация его деятельности чаще всего оказывается неэффективной.

С учеюм возможности организации массового одновременного контроля знаний и высокой степени стандартизации и унификации этого процесса наиболее перспективным и целесообразным для автоматизации представляется метод педагогического тестирования, который традиционно сводится к представлению обучаемому множества вопросов и вариантов ответов па каждый из них, среди которых обучаемый должен выбрать правильные, по его мнению, ответы. Такие факторы, как высокая степень щ формализации процедуры тестирования, допустимость одновременного контроля знаний различных обучаемых с последующим сопоставлением и сравнительным анализом их образовательных достижений, относительная простота тиражирования и распространения комплектов тестовых заданий, а также возможность организации дистанционного тестирования посредством локальной вычислительной сети либо через глобальную информационную сеть Интернет обусловили непрерывное возрастание интереса к этому методу педагогического контроля и активное внедрение его в повсеместную педагогическую практику. Тестирование стало основой таких важнейших системных форм итогового контроля знаний, как единый государственный экзамен (ЕГЭ), государственное централизованное тестирование образовательных достижений и телетестинг, ф НедосгаIочная подготовка в области средств и методов информатики и

ИКТ (в частности, методов обеспечения эффективности педагогического контроля знаний) также проявляется в том, что подавляющее большинство существующих в настоящее время систем автоматизированного тестирования знаний н.меег авторский характер, поскольку они отражают субъективные представления разработчиков о структуре этого процесса, методиках и алгоритмах выявления и оценивания знаний. Из-за неумения накапливать и ииитегрировать контрольно-измерительные материалы, созданные ведущими преподавателями соответствующих дисциплин, незнания формально-структурных моделей оценивания знаний и методик обеспечения обьектпвносш, достоверности и надежности тестов в современных системах тестирования чаще всего реализуется субъективная и, в силу этого, заведомо неполная экиюппая модель знаний конкретного преподавателя - организатора щ педагогического контроля, что препятствует распространению накопленного тестового маршала и становится причиной конфликтов из-за несогласия обучаемых с выставленной оценкой.

Следовагелыю, можно выделить г руппу противоречий между:

• потребностью в специалистах по педагогическому тестированию знаний и недостаточной проработанностью содержательных основ .и организационно-методических подходов к их подготовке в высших учебных заведениях.

Таким образом, актуальность исследования определяется необходимое 1ыо: теоретического обоснования и разработки метода формальпо-сфуктурного описания и исследования информационных процессов педагогического контроля знаний как базы повышения эффективности автоматизированного тестирования; разработки структуры и содержания подготовки специалистов для системы образования теоретическим п технологическим подходам к реализации средств и методов информатики и ИКТ при создании, внедрении и организации использования автоматизированных систем педагогического контроля знаний (АСПКЗ); организации подготовки этих специалистов в области формально-структурного описания, исследования и организации педагогического тестирования знаний.

Предмет исследования - содержание и организационно-методические подходы к подютовке в области информатики и ИКТ специалистов по организации автоматизированного педагогического тестирования знаний.

Цель исследования - теоретическое обоснование и разработка метода описания и исследования процессов педагогического контроля знаний, разрабо1ка па этой основе структуры и содержания подготовки специалистов в области информатики и ИКТ, а также организационно-методических подходов к ее реализации.

В основу исследования положена гипотеза о том, что применение метода формалыю-структуриого описания и исследования процессов педагогического контроля знаний, реализующего дидактические и аналитические возможности средств информатики и ИКТ в аспекте педагогических и организационно-методических задач информатизации образования, обеспечит:

- содержательную подготовку в области формально-структурного описания п исследования информационных процессов педагогического контроля шапип специалистов по созданию, внедрению и организации жеплуашппп АСГ1КЗ;

Для достижения цели исследования сформулированы задачи нсслсдонишш:

2. Теоретически обосновать и разработать метод формально-структурного описания и исследования процессов педагогического контроля знаний, на основании коюрого построить обобщенные формально-структурные модели системы обучения и протекающих в ней процессов педагогического контроля и тестирования знаний, а также обобщенную формально-структурную модель знаний.

3. Сформулировать принципы автоматизации педагогического 1естироваппя знаний, учитывающие современный уровень развития средств и методов информатики и ИКТ.

4. Теорсшчески обосновать, построить и исследовать формально-структурные модели нечеткого и статистического оценивания знаний, а также предложил, алтршмы их реализации и практически оценить эффективность применении.

5. Теоретически обосновать и разработать метод количественного оценивания объективности педагогического контроля знаний, на основе которого построить и исследовать формально-структурную модель количест венного оценивания объективности.

7. Разработать структуру, содержание и организационно-методические подходы к подготовке в области информатики и ИКТ специалистов по применению по созданию, внедрению и организации эксплуатации автоматизированных систем педагогического контроля знаний.

Методологическими основами настоящего исследования стали работы в области педагогики и педагогической диагностики (Ш.А. Амонашвили, Ю.К. Бабапский, А.И. Берг, О.С. Гребенюк, Н.Ф. Талызина, В.Д. Шадриков и др.); теории и практики обучения информатике, использования ИКТ в учебном процессе (С.Л. Бешенков, Я.А. Ваграменко, С.Г. Данплюк, М.П. Лапчик, О.А. Козлов, А.А. Кузнецов, Э.И. Кузнецов, Э.А. Манушин, Н.И. Пак, С.В. Пашокова, И.В. Роберт, Ю.А. Романенко, Н.В. Софронова, Е.К. Хеннер и др.); квалимефии (С.Д. Бешелев, Ф.Г. Гурвич, Б.И. Канаев, Б.Я. Лихтциндер и др.); тестологии (B.C. Аванесов, А. Анастази, Дж. Гласс, Н. Грунлунд, К. Ипгекамп. II. Клайн, А.Н. Майоров, Е.А. Михайлычев, Дж. Стэнли, В.А. Хлебников, М.Б. Мельникова, А.Г. Шмелев и др.); экспертных методов в педагогических исследованиях (А.И. Орлов, И.В. Роберт, Ю.В. Сидельников, B.C. Черепанов и др.); кибернетики, исследования операций и дискретной математики (Е.С. Зептцель, Н. Винер, Ф. Джордж, JI.T. Кузин, А. Тьюринг и др.); системного анализа (В.М. Глушков, А.К. Дмитриев, П.А. Мальцев, Г.П. Мельников, М. Месарович, Б. Рассел, Л.А. Растригин, В.А. Штофф и др.); теории информации, инженерии знаний и искусственного интеллекта

Т.А. Гаврилова, I'. Галлагср, А.В. Колесников, С. Осовский, Д.А. Поспелов, Ф.Е. Темников, В.Ф. Хорошевский, К. Шеннон, Ю.А. Шрейдер и др.); теории принятия решений и нечеткой алгебры (А.Н. Борисов, Л. Заде, А. Коффман и др.); теории вероятностей и математической статистики (A.M. Длин, В.В. Оболопкпп, В.А. Фигурин и др.).

Научная новизна заключается в разработке: метода формально-структурного описания и исследования процессов педагогического контроля знаний; обобщенных формально-структурных моделей системы обучения и реализуемых в пей процессов педагогического контроля знаний и тестирования знаний; обобщенной формально-структурной модели знаний как объекта педагогического контроля; формалыю-структурпых моделей нечеткого оценивания знаний и статистического оценивания знаний; семейства алгоритмов прямого и адаптивного тестирования знаний; формально-структурной модели количественного оценивания объективности педагогическою контроля знаний; основных направлений подготовки в обласш ипформашки и ИКТ специалистов по созданию, внедрению и организации эксплуатации АСПКЗ.

Теорешческаи значимость проведенного исследования заключается в обосновании назначения, разработке содержания и выявлении этапов применения меюда формально-структурного описания и исследования процессов педагогического контроля знаний; в формулировании принципов автмаппации педагогического тестирования знаний; в обосновании метода и построении формально-структурной модели нечеткого оценивания знаний, определении сферы ее применения в качестве средства педагогического контроля; в обосновании метода и построении формально-структурной модели статистического оценивания знаний, определении сферы ее применения в качестве средства педагогического контроля; в обосновании метода и построении формально-структурной модели количественного оценивания объективноеш педагогического контроля знаний; в разработке структуры и содержания подготовки в области информатики и ИКТ специалистов по созданию, внедрению и организации эксплуатации АСПКЗ.

- Практическая значимость исследования заключается в разработке следующих учебно-методических материалов: учебного плана подготовки информатиков-апалитиков по специализации «Автоматизированные системы педагогического контроля знаний» специальности 351400 «Прикладная информатика (в образовании)», учебного плана повышения квалификации завучей учреждений общего среднего образования по направлению «Подготовка кадров информатизации образования» (специализация «Автоматизированные системы педагогического контроля знаний), учебной программы повышения квалификации педагогических кадров и административно-управленческого персонала образовательных учреждений в области информатики и ИКТ «Основы автоматизированного тестирования знаний», методики оценивания компетентности преподавателей, осуществляющих педагогический контроль знаний, и стандарта предприятия «Управление качеством образования. Расчет коэффициента компетентности преподавателя», методики оценивания объективности процедуры педагогическою контроля и экспертов-преподавателей, участвующих в ее организации и проведении, и стандарта предприятия «Управление качеством образования. Опенка объективности аттестационных комиссий», методик распределенного коллегиального построения экспертами тестовых заданий, их цеп I pajiirjonnmioi о накопления и распространения по образовательным учреждениям для проведения педагогического тестирования, а также планирования, организации и оперативной координации сеансов автоматизированного контроля знаний, рекомендаций по реализации предложенных подходов, методов, моделей и методик в учреждениях высшего профессионального образования, в том числе в рамках обучения, повышения квалификации и переподготовки преподавателей, специалистов и руководителей учебных заведений.

Достоверность и обоснованность основных положений и выводов диссертационного исследования подтверждается: системным подходом к разработке основ формалыю-структурпого моделирования системы обучения и протекающих в пей информационных процессов (в частности, процесса педагогического контроля знаний), базирующимся на теоретических положениях и результатах практических исследований таких наук, как педагогика, квалиметрия, тестология, кибернетика, теория информации, теория принятия решений и нечеткая алгебра, теория вероятности и математическая статистика; непротиворечивостью полученных результатов исследования основным концепциям информатизации образования; резуль'кпами эксперимента по применению в учебном процессе предложенных в диссертационном исследовании решений.

Апроиаппя результатов исследовании. Теоретические положения и результаты исследования докладывались и были одобрены на следующих международных, всероссийских и региональных конгрессах, конференциях и семинарах: III Международная выставка-конференция «Информационные технологии и телекоммуникации в образовании» (Москва, 2001 г.), XI, XII, XIII и XIV Международные конференции-выставки «Информационные технологии в образовании» (Москва 2001-2004 г.г.), Научно-технические конференции «Современные проблемы высшего образования» (Мурманск, 1998 и 2001 г.), Всероссийская научно-техническая конференция «Проблемы информатики в образовании, управлении, экономике и технике» (Пенза, 2001 г.), VIII Международная научно-методическая конференция «Новые информационные технологии в университетском образовании» (Новосибирск, 2001 г.), I, II п III Международные научно-методические конференции

Дистанционное обучение - образовательная среда XXI века» (Минск, 20012003 г. г.). Международные научные конференции «Информация-коммуникация-общество» (Санкт-Петербург, 2001 и 2002 г.), X и XI Международные конференции «Математика, компьютер, образование» (Москва, 2003 и 2004 г.), XXII и XXIII Межведомственные научно-технические конференции «Проблемы обеспечения эффективности и устойчивости функционирования сложных и технических систем» (Серпухов, 2003 и 2004 г.), Всероссийские научно-практические конференции «Информационные и коммуникационные технологии в общем, профессиональном и дополнительном образовании» (Москва, 2003 г. и Калининград, 2004 г.).

Результаты работы опубликованы в журналах "Информатика и образование" (2003 и 2005 г.г.), «Информационные технологии» (2003 и 2004 г.г.), «Педагогическая диагностика (2002 и 2003 г.г.), в «Ученых записках Института информатизации образования РАО» (2002-2004 г.г.), а также в материалах международных, всероссийских, всесоюзных и ведомственных конференций, семинаров и совещаний.

Внедрение результатов исследования. Результаты исследования внедрены в учебный процесс и в систему управления учебной деятельностью в Универсшете Российской академии образования, Калининградском государственном техническом университете и в негосударственном образовательном учреждении «Отраслевой научно-учебный тренажерный центр ОАО «Газпром»».

Основные этапы исследования. Исследования выполнялись в рамках научно-исследовательских работ Института информатизации образования РАО, Калининградского государственного технического университета, отраслевого научно-учебного тренажерного центра ОАО «Газпром» и других образовак'льпых учреждений. Проводимые исследования выполнялись в рамках Комплексной программы «Информационные и коммуникационные технологии в общем, профессиональном и дополнительном образовании», реализуемой в Институте информатизации образования РАО, госбюджетной

НИР 53.53.200.2 «Построение и исследование .методов и моделей педагогического контроля знаний», реализуемой в Калининградском государственном' техническом университете, а также в рамках договора о научно-техническом сотрудничестве в области информатизации образования между КГТУ и НОУ «ОНУТЦ ОАО «Газпром»».

В течение 1987-1998 г.г. изучалась практика построения и применения автоматизированных систем педагогического тестирования знаний, выявлялись причины их несоответствия требованиям обеспечения эффективное ш педагогического контроля. Сформулирована проблема исследования, обоснована его актуальность и определены пути разрешения выявленной проблемы. Изучалась и анализировалась научная литература, выбрана базовая модель исследования, выработаны основные подходы к формализации процесса педагогического тестирования знаний. В 1999-2001 г.г. сформулированы основные положения метода формально-структурного описания и исследования информационных процессов педагогического контроля знании. Созданы формально-структурные модели: знаний как предмета педагогического контроля; процесса педагогического контроля, процесса тестирования знаний; нечеткого оценивания знаний; количесI венного оценивания объективности педагогического контроля. Сформулированы основные подходы к организации коллегиального экспертного построения тестовых заданий. Разработаны алгоритмы прямого и адаптивного тестирования знаний. В 2002-2005 г.г. сформулированы организационно-методические подходы к подготовке в области информатики н ИВ'Г специалистов по созданию, внедрению и организации эксплуатации АСПКЗ, а также методические рекомендации по реализации предложенных моделей, методов и алгоритмов в автоматизированных системах педагогического контроля знаний. Создана и исследована формально-сгруктурпая модель статистического оценивания знаний. Разработаны учебный план подготовки информатиков-аналитиков по специализации «Автоматизированные системы педагогического контроля знаний» специальности 351400 «Прикладная информатика (в образовании)», учебный план повышении квалификации завучей учреждений общего среднего образования по направлению «Подготовка кадров информатизации образовании» (специализация «Автоматизированные системы педагогического контроля знаний) и учебная программа повышения квалификации преподавателей и административно-управленческого персонала образовательных учреждений в области информатики и ИКТ «Основы автоматизированного тестирования знаний», а также методическая документация. Выполнен теоретический анализ и интерпретация результатов диссертационного исследования и проведенного в его рамках педагогического эксперимента, опубликованы основные результаты. Сформулированы окончательные выводы и оформлен текст диссертации.

Положении, иыпоелмые на защиту:

1. Реализации метода формально-структурного описания и исследования процессов ■ педагогического контроля при создании систем автоматизированного тестирования знаний обеспечивает построение и изучение формально-структурных моделей процессов контроля, тестирования и оценивания, выявление и формализацию наиболее значимых элементов системы контроля знаний, их связей между собой и с внешней средой, а также позволяет выделить, описать и формализовать важнейшие стадии, этапы и процедуры лих процессов.

2. Использование в системах автоматизированного тестирования аксиоматической формально-структурной модели знаний как предмета педагогического контроля, формально-структурных моделей нечеткого и статистического оценивания знаний и модели количественного оценивания обьекшвиосш ne;iaroi ического кош роля обеспечивает выявление и описание информационных ресурсов, используемых при реализации каждого этапа педагогическою контроля, и алгоритмизацию процедур преобразования этих ресурсов; повышает объективность результатов автоматизированного тестирования; обеспечивает возможность автоматизированного контроля знаний по слабо формализованным учебным дисциплинам.

3. Применение для организации тестирования знаний методик распределенной коллегиальной подготовки экспертами тестовых заданий, цешрализованного накопления и последующего распределения заданий по обрпчопа icjii.iii.im учреждениям для контроля знаний обучаемых, а также меюдики планирования, организации и проведения сеансов автоматизированного контроля знаний обеспечивает привлечение к составлению тестовых заданий в качестве экспертов территориально удаленных друг ог друга квалифицированных преподавателей; существенно снижает трудоемкость организации и проведения текущего и промежуточного тестирования; обеспечивает унификацию и стандартизацию тестового контроля, а также сопоставимость результатов обучения в различных образоват ельпых учреждениях.

4. Реализация организационно-методических подходов к подготовке в области информатики и ИКТ специалистов по созданию, внедрению' и организации использования автоматизированных систем педагогического контроля знаний в аспекте применения метода формально-структурного описания и исследования, а также созданных на его основе моделей, алгоритмов и методик обеспечит расширение сферы применения регулярного автоматизированного тестирования как метода педагогического контроля и повысит объективность получаемых результатов оценивания знаний.

Структура и объем диссертации. Диссертация состоит из введения, пяти глав, заключения, основных выводов и результатов исследования, списка литературы, перечня терминов и определений, перечня сокращений, а также приложений. Общий объем работы 448 с. Из них 277 с. основного текста, 31с. - список литературы из 382 наименований, перечень терминов и определений на 4 е., перечень сокращений на 1 с. Диссертация содержит 17 рисунков, 17 таблиц и 7 приложений общим объемом 135 с.

Заключение диссертации научная статья по теме "Теория и методика обучения и воспитания (по областям и уровням образования)"

Основные результаты исследования могут быть сформулированы следующим образом:

1. В ходе анализа современных научно-методических подходов к организации подготовки в области информатики и ИКТ педагогов и специалистов для системы образования, выявлена и обоснована необходимость создания системы подготовки специалистов, ориентированных на создание, внедрение и организацию эксплуатации автоматизированных систем педагогического контроля знаний. В этом контексте в работе исследованы проблемы построения и применения информационных систем для автоматизации процесса педагогического контроля и предложено направление решения за счет привлечения к их созданию, внедреншо и эксплуатации специалистов по АСПКЗ.

2. В качестве инструментария для изучения и эффективной организации автоматизированного тестирования знаний теоретически обоснован и разработан метод формально-структурного описания и исследования процессов педагогического контроля, обеспечивающий выявление и описание наиболее значимых и объективно существующих элементов системы контроля и отношений между ними. Созданные с применением этого метода обобщенные формально-структурные модели системы обучения, цикла ее функционирования и реализуемых и этой системе процессов педагогического контроля и его частного случая - процесса тестирования знаний - позволили выявить, исследовать и уточнить их роль и место в цикле функционирования системы обучения, а также определить структуру и важнейшие свойства наиболее значимых элементов этого процесса - таких, как тест, тестовое задание, алгоритм тестирования, оценка. Предложенная аксиоматическая формально-структурная модель знаний закладывает основы изучения динамики знаний в процессе обучения, а также уточняет и конкретизирует особенности представления знаний как объекта педагогического оценивания, что позволяет считать ее гносеологическим базисом подготовки специалистов для системы образования.

3. Сформулированы девять принципов автоматизации педагогического контроля знаний, учитывающих современный уровень развития средств и методов информатики и ИКТ: переход от индивидуальной организации теста к коллегиальной подготовке всех его этапов экспертами; организация интегрированной системы дистанционного сбора, централизованного накопления, обработки, хранения и распределения тестовых заданий по учебным заведениям; переход от задания истинности предлагаемых вариантов ответов в категориях двоичной логики к универсальной схеме оценивания ответов функциями принадлежности, определяемыми в категориях нечеткой логики; количественное определение сложности каждого тестового задания по произвольной пропорциональной шкале; формализация методик контроля* знаний путем разбиения множества тестовых заданий на тематические подмножества, элементы которых семантически коррелированы друг с другом; переход от использования программно реализованных алгоритмов прямого тестирования к их модульному конструированию при подготовке теста, а также к применению алгоритмов адаптивного тестирования; построение, унифицированное описание и однотипная реализация семейства алгоритмов тестирования, реализующих различные методики предъявления тестовых заданий; создание инструментария для построения, настройки и модификации различных шкал итогового оценивания знаний; создание инструментария для количественного оценивания объективности как подготовленных тестов, так и результатов тестирования.

4. Теоретически обоснована и построена формально-структурная модель нечеткого оценивания знаний, позволяющая организатору тестирования строить многозначную шкалу оценивания истинности, адекватную возможным вариантам ответов на тестовые задания по соответствующей дисциплине. Доказано, чго применяемый в классических моделях педагогического тестирования способ оценивания истинности ответов двоичными категориями «правильно - неправильно» является вырожденным частным случаем многозначного нечеткого оценивания истинности, что позволяет считать нечеткую логику универсальным методологическим базисом автоматизации педагогического тестирования знаний. Показано, что многозначное определение степени истинности вариантов ответов на тестовые задания позволяет организовать эффективное педагогическое тестирование по слабо •') формализованным дисциплинам. I

Теоретически обоснована и предложена модель статистического оценивания знаний, которая представляет направление формально-структурного описания и исследования процессов педагогического контроля, связанное с выявлением глубинных, объективно существующих структур модели знаний обучаемого. Показано, что наличие или отсутствие знаний проявляется в статистически значимых закономерностях распределения количественных показателей истинности выбираемых ответов на предъявленные тестовые задания, выявление и учет которых повышает объективность автоматизированного контроля знаний.

Разработано семейство алгоритмов тестирования знаний, отражающее широкий спектр используемых в педагогической практике приемов и методик. Предложенный инструментарий выбора конкретных значений параметров Ф теста обеспечивает планирование, организацию и оперативную координации сеансов автоматизированного контроля знаний, а также позволяет преподавателю конструировать такой сценарий тестирования, который будет наиболее адекватен его предпочтениям в рамках нормативных требований по организации контроля знаний.

Статистический анализ результатов педагогического эксперимента, показавшего повышение на 13,5-21 % среднего экзаменационного балла студентов, знания которых дважды проверялись в течение учебного семестра с применением модели нечеткого оценивания, подтвердили гипотезу о том, что промежуточное тестирование знаний студентов ведет к повышению уровня их обученности.

5. Теоретически обоснован и разработан метод количественного оценивания объективности педагогического контроля знаний, основанный на коллегиальной подготовке тестовых заданий, учете компетентности преподавателей и экспертном оценивании согласованности их мнений, который позволяет не только предупреждать субъективность процесса оценивания,, но и нивелировать возможные последствия несоответствия модели знаний конкретного преподавателя эталонной модели знаний по изучаемой дисциплине. Показано, что использование формально-структурной модели количественного оценивания объективности позволяет организатору тестирования целенаправленно формировать экспертные комиссии для оценивания тестовых заданий и составлять комплекты этих заданий, обеспечивающие требуемый уровень объективности тестового контроля знаний. Модель количественного оценивания объективности может использоваться руководством образовательных учреждений для управления количественным и персональным составом аттестационных комиссий с целью обеспечения необходимого уровня объективности выставляемых оценок.

7. Сформулированы требования к структуре и содержанию, а также предложены организационно-методические подходы к подготовке в области информатики и ИКТ специалистов по применению метода формально-структурного описания и исследования процессов педагогического контроля знаний для Создания, внедрения и организации эксплуатации АСПКЗ, которые позволили разработать следующие учебно-методические материалы: учебный план обучения информатиков-аналитиков по специализации «Автоматизированные системы педагогического контроля знаний» специальности 351400 «Прикладная информатика (в образовании)»; учебный план ускоренного повышения квалификации завучей учреждений общего среднего образования по направлению «Подготовка кадров информатизации образования» (специализация «Автоматизированные системы педагогического контроля знаний); учебную программу краткосрочного повышения квалификации педагогических кадров и административно-управленческого персонала образовательных учреждений в области информатики и ИКТ по ' дисциплине' «Основы автоматизированного тестирования знаний». Информатики-аналитики, получившие специализацию «Автоматизированные системы педагогического контроля знаний», смогут работать в качестве заместителей директора (завучей, проректоров) образовательных учреждений по информатизации, выполнять функции администраторов систем и центров тестирования знаний, а также оказывать преподавателям и руководителям учебных заведений методическую и консультационную помощь по вопросам организации тестирования знаний, сбора, анализа и обобщения полученных результатов.

ЗАКЛЮЧЕНИЕ

В настоящей работе сформулированы теоретические положения метода формально-структурного описания и исследования процессов педагогического контроля знаний, представлены созданные с применением этого метода формально-структурные модели и алгоритмы автоматизированного тестирования, а также изложены содержательные, организационные и методические основы подготовки специалистов для системы образования в области формально-структурного описания, исследования и организации педагогического тестирования знаний.

В ходе исследований содержательной составляющей подготовки специалистов для системы образования в области формально-структурного описания, исследования и организации педагогического тестирования знаний предложен метод формально-структурного описания и исследования, позволяющий выявлять и описывать структуру систем обучения и протекающих в них процессов, а также анализировать объективно существующие связи и отношения между их элементами. Построены и исследованы обобщенные формально-структурные модели системы обучения и протекающих в ней информационных процессов, предложена аксиоматическая модель знаний как предмета педагогического контроля, построены и исследованы формально-структурные модели процесса педагогического контроля и его частного случая - процесса педагогического тестирования знаний. Построены и исследованы формально-структурные модели нечеткого и статистического оценивания знаний, расширяющие возможности автоматизированного тестирования и предназначенные для вывода оценки по результатам выполнения теста с применением строгого математического аппарата для анализа ответов обучаемого. Предложено обширное семейство алгоритмов тестирования, позволяющих • автоматизировать применяемые в педагогической практике разнообразные прикладные методики контроля знаний. Заложены основы и предложена формально-структурная модель количественного оценивания объективности педагогического контроля знаний, сформулированы и обоснованы принципы распределенной коллегиальной экспертной подготовки тестовых заданий. Разработана концепция, предложены организационные и методические основы построения, внедрения и эксплуатации автоматизированных систем педагогического контроля знаний, в которых реализуются представленные в настоящей работе методы, модели и алгоритмы. В качестве организационно-методической основы подготовки в области информатики и ИКТ специалистов но применению метода формально-структурного описания и исследования 'процессов педагогического контроля знаний для разработки, внедрения и организации эксплуатации ЛСПКЗ предложен учебный план обучения информатиков-аналитиков по специализации «Автоматизированные системы педагогического контроля знаний» специальности 351400 «Прикладная информатика (в образовании)».

Список литературы диссертации автор научной работы: доктора педагогических наук, Рудинский, Игорь Давидович, Москва

1. Аванееов B.C. Композиция тестовых заданий. - М.: Адепт, 1998. - 217с.

2. Аванееов B.C. Основы научной организации педагогического контроля в высшей школе. М., 1989. - 167 с.

3. Аванееов B.C. Применение статистических методов и ЭВМ в педагогических исследованиях / Введение в научные исследования по педагогике: Учебное пособие / под ред. В.И. Журавлева. М., 1988, с. 139-155.

4. Азгольдов Г.Г., Райхман Э.П. О квалиметрии. М.: Изд-во стандартов, 1973. - 172 с.

5. Акинфиева Н.В. Квалиметрический инструментарий педагогических исследований // Педагогика. -1998. -№ 4, с. 30-35.

6. Амонашвили Ш.А. Обучение. Оценка. Отметка. М: "Просвещение", 1980.

7. Архангельский С.И., Михеев В.И., Машников С.А. О моделировании и методике обработки данных педагогического эксперимента. М.: Знание, 1974.-48 с.

8. Архангельский С.И., Михеев В.И., Перельцвейг Ю.М. Вопросы измерения, анализа и оценки результатов в практике педагогических исследований. М.: Знание, 1975. - 23 с.

9. Астон М. Влияние новых технологий на школы в Европе и странах «Большой семерки» // Образование и информатика: Мат-лы II Международного конгресса ЮНЕСКО. М., 1998, Кн. 2, т. III.

10. Аткинсон Р., Бауэр Г., Кробес Э. Введение в математическую теорию обучения. М.: Мир, 1969.-486 с.

11. Аттестация и аккредитация образовательных учреждений. Справочник: В 2-х т. М., 2002.

12. Бабанский Ю.К. Избранные педагогические труды / Сост. М.Ю. Бабанский. м., 1989. - 560 с.

13. Балыкбаев Т.О. Автоматизация учета результатов тестирования абитуриентов в их последующем обучении // Педагогическая диагностика. -2003. № 2, с. 137-138.

14. Баринов С.П. Сущность процесса обучения. М., 1982. - 112 с.

15. Белый Ю.А., Рапопорт И.М. О методах определения действительности и наделчностн тестов // Советская педагогика. 1965. -№ 8.

16. Берг А.И. Кибернетика и проблемы обучения. М.: Прогресс, 1971. -388 с.ф

17. Берг А.И. Состояние и перспективы развития программного обучения. -М.: Знание, 1965.-32 с.

18. Бернштейн М.С. К методике составления и проверки тестов // Вопросы психологии. 1968. -№ 1.

19. Беспалько В.П. Критерии для оценки знаний учащихся и пути оптимизации процесса обучения // В кн. «Теория поэтапного формирования умственных действий и управление процессом учения». М., 1967.

20. Беспалько В.П. Слагаемые педагогической технологии. М.; Педагогика, 1989.

21. Беспалько В.П. Элементы теории управления процессом обучения. -М.: Знание, 1971.- 112 с.

22. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1980. - 263 с.

23. Блаубсрг И.В., Юдин Э.Г. Становление и сущность системного подхода. М., 1973. - 270 с.

24. Богуславский А.А., Усенков Д.Ю. Система автоматизированного проектирования "Компас 3D LT" // Информатика и образование. -, 2002. № 4, с. 79-84.

25. Борисов Л.Н., Алексеев А.В., Крумберг О.А. и др. Модели принятия решений на основе лингвистической переменной. Рига: Зинатне, 1982. - 256 с.

26. Борисова Н.В. Терминологическое пространство образовательных технологий. Краткий словарь. М.: Изд-во МИСиС, 2000.

27. Брызгалова С.И. Научно-методическое исследование. Учебное пособие. Калининград: Изд-во КГУ, 1996.

28. Бурковская М.А., Зимина О.В., Кириллов А.И. Компьютерный контроль знаний в среде Academia XXI // Информатика и образование. 2002. - № 9, с. 81-88.

29. Ван-Крикен Р., Баккер С. Подготовка к проведению экзаменов: Руководство для организации и разработки централизованных экзаменов // Стандарты и мониторинг в образовании. 1998. - № 3, с. 53-62.

30. Варданян И. АСУ обучением с минимальными потерями // Информатика и образование. 1990. -№ 1, с. 34-37.

31. Вентцель Е.С. Исследование операций. М.: Советское радио, 1972. -552 с.

32. Винер Н. Кибернетика. М.: Советское радио, 1968. -326 с.

33. Волкова В.Н., Денисов А.А. Основы теории систем и системного анализа. СПб.: Изд. СПбГТУ, 1999.

34. Волкова В.Н., Темников Ф.Е. Методы формализованного представления (отображения) систем: Текст лекций / М.: ИПКИР, 1974.

35. Воловик П.Н. Теория вероятностей и математическая статистика в педагогике. К.: Радяньска школа, 1969.

36. Воробейчикова О.В. Структурированные тесты как средство контроля знаний // Информатика и образование. 2001. - № 7, с. 14-17.

37. Воробьев Г.В. Опыт статистического исследования успеваемости школьников // Проблемы методологии и методов исследований. М., 1971.

38. Воронина О.В. Использование гипертекстовой системы Link Way для контроля знаний // Информатика и образование. 2000. -№ 4, с. 35-36.

39. Гавр'илова Т.Д., Хорошевский В.Ф. Базы знаний интеллектуальных систем. СПб.: Питер, 2000. - 384 с.

40. Галлагер Р. Теория информации и надежная связь. М.: Сов. Радио, 1974.

41. Гершунский Б.С. Компьютеризация в сфере образования: проблемы и перспективы. М., 1987. - 263 с.

42. Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии. М.: Прогресс, 1978.

43. Глушков В.М. Гносеологические основы математизации науки. К.: Hay кова думка, 1965.ф 47. Голинкевич Т.А. Прикладная теория надежности. М.: Высшаяшкола, 1985.- 168 с.

44. Горбачевская М., Грабарь М., Курдюмова И. Проблемы и методы качественных и количественных характеристик знаний, умений и навыков // Советская педагогика. 1977. -№ 2.

45. Грабарь М.И., Краснянская К.А. Применение математической статистики в педагогических исследованиях: Непараметрические методы. -М„ 1977. 136 с.

46. Гребешок О.С., Гребенюк Т.Б. Теория обучения: Учебник. М.: ВЛАДОС-Г1РПСС, 2002. - 368 с.

47. Грехов А.В. Компьютерное тестирование в структуре социально-гуманитарного познания // Информатика и образование. 2003. - № 6, с. 123-124.

48. Грушецкий С.В., Рудинский И.Д. Статистические методы оценивания знаний // Ученые записки ИИО РАО. 2004. - Вып. 13. - 8 с.

49. Гусева A.M. Методы адаптивного контроля знаний // Информатика и образование. 2003. -№ 7, с. 108-111.

50. Дерсвпина А.10., Семикин В.А., Кошелев М.Б. Система тестирования в ) электронных учебниках // Информационные технологии. 2002. - № 5, с.39.44.

51. Дистанционное обучение. Учебное пособие Под ред. Е.С. Полат. М.: ВЛАДОС, 1998. - 192 с.

52. Длин A.M. и др. Математическая статистика. М.: Высшая школа, 1975.-398 с.

53. Дмитриев А.К., Мальцев П.А. Основы теории построения и контроля сложных систем. Л.: ЭНЕРГОАТОМИЗДАТ, Ленингр. отд., 1988. - 192 с.

54. Долинер Л.И., Ершова О.А. Педагогическая диагностика: методика разработки и использования компьютерных тестов школьной успеваемости. Учебное пособие. Екатеринбург: Изд-во УГПИ, 1999. - 137 с.

55. Долинер Л.И., Пашкова P.P., Данилина И.И. Компьютерные ф технологии в образовании. Екатеринбург: Изд-во УГПИ, 1993. - 120 с. '

56. Дуглас У. Тестирование умений и навыков: основные принципы // Директор школы. 1994. -№ 6, с. 14-22.

57. Дятлова К.Д., Михалева Т.Г. Основные статистические характеристики качества тестовых заданий // Педагогическая диагностика. 2002. - № 1, с, 89-104.

58. Евграфов П.М. Анализ объективности методов оценивания сложных знаний. О вероятностной методике оценивания знаний психологической понятийной'структуры // Информационные технологии. 2002. - № 5, с. 34-38.

59. Евтюхип П.В. Структуризация знаний и технология разработки компьютерных мастер-тестов // Информатика и образование. 1999. 6.

60. Ермаков М.Г., Андреева Л.Е. Вопросы разработки тестирующих л программ // Информатика и образование. 1997. - № 3.

61. Загузов И.И. Проблемы информатизации образования в диссертационных исследованиях 1999 г. // Информатика и образование. -2000. № 3, с. 1-6.

62. Заде Л.А. Понятие лингвистической переменной и его применение к принятию приближенных решений. М.: Мир, 1976. - 165 с.

63. Зайцева J1.M. Схема-описание системы «СПК-Н» механизированного класса для программированного контроля знаний в начальной школе (методические рекомендации). JI., 1974. -8 с.

64. Закон РФ «О высшем и послевузовском профессиональном образовании» от 19.07.1996.

65. Захаров А.А. Использование отношений контрарности и контрадикторности при создании тестовых заданий // Информатика и образование. 2003. -№ 12, с. 121-122.

66. Земляков А.И. Тестирование знаний и умений учащихся // Советская педагогика. 1991. 12.

67. Зубец В.В. Применение корреляционного анализа для повышения качества педагогических тестов // Педагогическая диагностика. 2003. - № 2, с. 65-66.

68. Иванов B.JI. Электронный учебник: системы контроля знаний // Информатика и образование. 2002, - № 1, с. 71-81.

69. Ижогин Я.В. Компьютер как инструмент педагогической диагностики // Информатика и образование. -2003. -№ 12, с. 51-55.

70. Измерение знаний при проведении массовых обследований: Методические рекомендации. -М.: МГПИ, 1984.

71. Ипсекамп К. Педагогическая диагностика. -М.: Педагогика, 1991.

72. Ичельсон JI.Б. Математические и кибернетические методы в педагогике. М., 1964. - 248 с.

73. Кадневский В.М. Зарождение и развитие тестов и тестовых методов // Педагогическая диагностика. 2002. - № 2, с. 3-18.

74. Кадневский В.М. Из истории создания и применения тестов для системы образования // Педагогическая диагностика. 2003. -№ 3, с. 7-50.

75. Кадневский В.М. Становление и развитие научного метода тестов (конец XIX начало XX века) // Педагогическая диагностика. - 2003. -№ 1, с. 8-22, № 2, с. 6-22.

76. Кадневский В.М. Тесты: история становления // Педагогическая диагностика. 2002. -№ 1, с. 9-15.

77. Карпова И.П. Анализ ответов обучаемого в автоматизированных обучающих системах // Информационные технологии. 2001. - № 11, с. 49-55.

78. Кибернетика и педагогика / под ред. Дж. Уимера. М.: Мир, 1972. -200 с.

79. Кибернетика и проблемы обучения. Сборник переводов / под ред. А.И. Берга. М.: Прогресс, 1970.

80. Кириков И.А., Пономарёв В.Ф. Основы построения автоматизированных систем управления. Калининград, 1986. - 130 с. 1

81. Клайн П. Справочное руководство по конструированию тестов. Введение в психометрическое проектирование. Киев, 1994.

82. Козлов О.А. Теоретико-методологические основы информациионной подготовки курсантов военно-учебных заведений. М.: Изд-во МО РФ, 2002. -328 с.

83. Колесников А.В. Гибридные интеллектуальные системы. Теория и технология разработки /Под ред. A.M. Яшина. СПб.: Изд-во СПбГТУ, 2001. -711с.

84. Комеиский Я.А. Великая дидактика // Избранные педагогические сочинения: В 2-х т. Т. 1. -М.: Педагогика, 1982.

85. Концепция модернизации российского образования на период до 2010 г. Утв. Распоряжением Правительства РФ от 29 декабря 2001 г. № 1756-р.

86. Королев М.Ф., Романькова И.В. Органайзер-комплект материалов для стандартизированной контрольно-оценочной деятельности (СтаКОД). М.: НМЦ ЮВОУМКО, 1996.-51 с.

87. Коронская В.Л., Панчетникова Л.М. Опыт создания объективных измерителей оценки знаний, умений и навыков учащихся // Советская педагогика. 1964. -№ 3.

88. Кос шлеи Ф.В. Учить по-новому: Нужны ли оценки-баллы. М.: Владос, 2000.

89. Кофман Л. Введение в теорию нечетких множеств. М.: Радио и связь, 1982.-432 с.

90. Кузовлева К.Т. Конструирование педагогических тестов на основе современных математических моделей // www.infonnika.ru

91. Кузьмина Н.В. Методы системного педагогического исследования. -Л., 1980. 172 с.

92. Ланда Л.Н. Кибернетические аналогии в обучении. М.: Знание, 1970. - 45 с.

93. Левинов Л.М. Возможность надежной оценки знаний учащихся // Советская педагогика. 1978. — № 8.

94. Леонова Е.Е., Мнхайлычев Е.А. Диагностический контроль в российской классической педагогике // Педагогическая диагностика. 2003. -№3, с. 51-68.

95. Лернср И.Я Дидактические основы методов обучения. М.: Педагогика, 1981.

96. Лорд Ф.М. Отношение между тестовым баллом и исследуемой способностью / С.б. трудов «Математические методы в социальных науках». — М.: Прогресс, 1973.

97. Люсин Д.В. Основы разработки и применения критериально-ориентированных педагогических тестов / Учебное пособие. М., 1993.

98. Майоров Л.Н. Теория и практика создания тестов для системы образования. М.: Народное образование, 2000. - 352 с.

99. Марченко Е.К. Методы квалнметрии в педагогике. М.: Знание, 1979.-33 с.

100. Матушанский Г.У. Проектирование педагогических тестов для контроля знаний // Информатика и образование. 2000. -№ 6, с. 7-10.

101. Мельников Г.П. Сиетемология и языковые аспекты кибернетики. -М.: Сов. радио, 1978.

102. Месарович М., Мако Д., Такахара И. Теория иерархических многоуровневых систем. М.: Мир, 1973. -344 с.

103. Методология и методы педагогического исследования /Скалкова Я.А. и др. М.: Педагогика, 1989.

104. Методы и критерии оценки знаний, умений и навыков учащихся при программированном обучении / под ред. В.П. Беспалько. М., 1969.

105. Методы педагогического исследования. Лекции / под ред. В. И. Журавлева. М.: Просвещение, 1972.

106. Мизинцев В.П. Теория модели дидактического объекта // Вестник высшей школы. 1970. -№ 9, с. 21-26.

107. Минина.Е.Е. Компьютерные средства оценки качества обучения // Педагогическая диагностика. 2003. -№ 3, с. 123-124.

108. Михайлычев Е.А. Дидактическая тестология. М.: Народное образование, .2001. 432 с,

109. Михайлычев Е.А. К понятийному аппарату педагогической диагностики // Педагогическая диагностика. 2003. - № 2, с. 67-82, 2003. -№3, с. 102.

110. Михайлычев Е.А. Методологические проблемы дидактической тестологии // Магистр. 1997. -№ 5, с. 61-68.

111. Михайлычев Е.А. Научно-методическое обеспечение квалиметрии результатов образовательного процесса// Педагогическая диагностика. 2002.2, с. 38-44.

112. Михайлычев Е.А. Экспериментальной педагогике нужен профессиональный лексикон // Педагогическая диагностика. 2003. - № 1, с. 73-75.

113. Михайлычев Е.А., Кравченко В.Ф., Сафонцев С.А. Интервальная шкала опенок потенциальных возможностей учащихся И Стандарты и мониторинг в образовании. -2001. -№ 3, с. 51-54.

114. Михайлычев Е.А,, Сафонцев С.А. К методологии дидактического тестирования // Гуманитарные и социально-педагогические науки. 2001. -№2, с. 80-81.

115. Михеев В.И. Моделирование и методы теории измерений в педагогике. М.: Высшая школа, 1987. - 193 с.

116. Моисеев В.Б., Пятирублевый Л.Г., Таранцева К.Р. Инфорхмационный подход к выбору решений в системах адаптивного тестирования // Анализ качества образования и тестирования: Мат-лы конференции. М.: Изд-во МЭСИ, 2001, с. 174-178.

117. Моисеев В.Б., Таранцева К.Р., Пятирублевый Л.Г. Оценка эффективности образовательных тестов // Педагогическая диагностика. -2002. 1. с. 114-117.

118. Моисеев В.Б., Усманов В.В., Пятирублевый Л.Г., Таранцева К.Р. Статистический подход к принятию решений по результатам тестирования для тестов открытой формы // Открытое образование. 2001. -№ 1, с. 51-57.

119. Моисеев В.Б., Усманов В.В., Пятирублевый Л.Г., Таранцева К.Р.

120. Статистический подход к принятию решения по результатам тестирования для тестов закрытой формы // Открытое образование. 2001. - № 4, с. 37-42.

121. Нагель Э., Ньюмен Д. Теорема Геделя. М.: Знание. - 1970. - 63 с.

122. Нардюжев В.И., Нардюжев И.В. Комплексная технология подготовки и проведения компьютерного тестирования, обработки и анализа его результатов / Материалы конференции «Анализ качества образования и тестирования». М.: Изд-во МЭСИ, 2001, с. 202-210.

123. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Центр тестирования МО РФ, 2000.- 168 с.

124. Нетрадиционные способы оценки качества знаний школьников: психолого-псдагогический аспект I под ред. Е.Д. Божович. М., 1995. - 96 с.

125. Нечеткие множества в моделях управления и искусственногоинтеллекта / под ред. Д.А. Поспелова. М.: Наука, 1986.

126. Норенков И.П. Стандартизация в области компьютерных образовательных технологий // Информационные технологии. 2003. -№ 1, с. 36-40.

127. О сертификации качества педагогических тестовых материалов / Приказ Министерства образования РФ № 1122 от 17.4.2000.

128. О структуре управления разработкой государственных образовательных стандартов высшего профессионального образования / Приказ Министерства образования РФ № 1766 от 19.4.2001.

129. Об утверждении государственных образовательных стандартов высшего профессионального образования / Приказ Министерства образования РФ №686 от 2.3.2000.

130. Об утверждении Положения о проведении единого государственного экзамена / Приказ Министерства образования РФ № 645 от 27.2.2001.

131. Образование и XXI век. Информационные и коммуникационные технологии. / Отв. редактор В.Г. Кинелев. М.: Наука, 1999. - 191 с.

132. Одоевский В.Ф. Разговоры с детьми / Антология педагогической мысли России XIX в. М.: Педагогика, 1985.

133. Ожегов С.И. Словарь русского языка. 17-е изд., стереотип. - М.: Рус. яз., 1985. -797 с.

134. Определение уровня знаний студентов и учащихся методами специальных тестов. Научная организация учебного процесса. Сборник статей / под ред. А.Я. Блаус. Рига, 1970.

135. Орлов А.И. Экспертные оценки в системных исследованиях // Сборник трудов,- М.: ВНИИСИ, 1979, Вып.4. с. 37-46.

136. Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2002. - 344 с.

137. Павлов Ю.В. Статистическая обработка дидактического эксперимента: измерение и оценка знаний. М.: Знание, 1977. - 20 с.

138. Пак Н.И. Нелинейные технологии обучения в условиях информатизации. Красноярск: РИО КГПУ, 1999. - 152 с.

139. Педагогическая диагностика в школе / под ред. Л.И. Кочетова. -Минск.: Вышейшая школа, 1987. -223 с.

140. Неiрусинский В.Р. Автоматизированные системы интенсивного обучения. М.: Высшая школа, 1987. - 189 с.

141. Пехлецкий И.Д. Общая теория систем и анализ процесса обучения / Учебное пособие. Пермь, 1976.

142. Пинский Л., Грабарь М., Краснянская К. Возможно ли превращение школьных баллов в интервальную шкалу? // Советская педагогика. 1982. -№ 4.

143. Пинский Л.А. Средний балл: процент и статистика // Советская педагогика. 1980. -№ 12, с. 71-75.

144. Пирогов Н.И. Избранные педагогические произведения. М.: Педагогика, 1985.

145. Подласый И.П., Распопов И.В., Рейнгард И.А., Рюмшин Г:М. Количественные методы в дидактике. Днепропетровск, 1988.

146. Положение о порядке аттестации и государственной аккредитации образовательных учреждений. / Приказ Министерства образования РФ № 1327 от 22.05.98.

147. Полонский В.М. Методы исследования проблем образования // Педагогика. 1994. -№ 2, с. 10-15.

148. Полонский В.М. Оценка качества научно-педагогических исследований. М.: Педагогика, 1987. - 173 с.

149. Поспелов Д.А, Данные и знания // Искусственный интеллект. В 3-х кн. Кн. 2. Модели и методы: Справочник / Под ред. Д.А. Поспелова. М.: Радио и связь, 1990, с. 7-13.

150. Поспелов Д.А., Кузнецов О.П. Знания и рассуждения в гуманитарных науках // Новости искусственного интеллекта. 1996. -№ 2, с. 93-98.

151. Построение экспертных систем / Под ред. Ф. Хейса-Рота. М.: Мир, 1987.

152. Поташник М.М. Проблемы оптимизации в педагогике // Советская педагогика. ~ 1985. № 2, с. 14-18.

153. Представление и использование знаний / иод ред. Т. Тэрано, К. Асаи, М. Сугэно. М.: Мир, 1989.

154. Прикладные вопросы квалиметрии / под ред. Гличева А.В. М.: Изд-во стандартов, 1983. - 158 с.

155. Проблемы машинно-ориентированной методики массового изучения качества знаний учащихся / под ред. В.И. Огорелкова. М., 1975. - 221 с.I

156. Проблемы педагогических измерений: Сборник научных трудов / под ред. В.П. Ленина. М., 1984.

157. Программированное обучение и применение обучающих машин. Путеводитель по зарубежной литературе. -М.: Мир, 1969.

158. Пятирублевый Л.Г., Моисеев В.Б., Таранцева К.Р. Исходные положения образовательного тестирования // Педагогическая диагностика. -2003. -Х»3, с. 81-85.

159. Пятирублевый Л.Г., Моисеев В.Б., Таранцева К.Р. Метод распознавания образа уровня знаний обучаемых при тестировании // Педагогическая диагностика. 2003. -№ 1, с. 94-102.

160. Пятирублевый Л.Г., Моисеев В.Б., Таранцева К.Р. Методы определения количества образовательной информации в тестах // Педагогическая диагностика. 2003. - № 2, с. 133-136.

161. Развитие системы тестирования в России. // Мат-лы III. Всероссийской научно-методической конференции / под ред. Л.С. Гребнева. -М.: Центр тестирования Министерства образования РФ, 2001. 254 с.

162. Разработка пороговых оценочных средств для оценки общей образованности учащихся в системе непрерывного образования. Сборник научных статей / под ред. И.А. Селезневой и В.Г. Казановича. М.: ИЦПКПС, 1999.

163. Расселл Б. Человеческое познание М., 1957, с. 284 - 290 (Цит. по изданию: Мир философии. В 2-х ч. Ч. 1. Исходные философские проблемы, понятия и принципы - М.: Политиздат, 1991. - 672 е.).

164. Растригин Л.А. Современные принципы управления сложными объектами. М.: Сов. радио, 1980. - 232 с.

165. Роберг И.В. О понятийном аппарате информатизации образования // Информатика и образование. 2002. - № 12, 2003. 1, 2003. -№ 2.

166. Роберт И.В, Современные информационные технологии в образовании: дидактические проблемы; перспективы использования. М.: Школа-пресс", 1994. -205 с.

167. Роберт И.В., Романенко Ю.А., Босова Л.Л., Иващенко М.В., Потапов В.Е. Инструментальные средства информатизации образования. // Ученые записки ИИО РАО. М„ 2002. - Вып. 7, с. 187-196.

168. Родионов Б.У., Татур А.О. Стандарты и тесты в образовании. М.: Исслсд. Центр, 1995.

169. Рудинский И.Д. Концепция формально-структурного описания системы педагогического контроля знаний // Информатика и образование. — 2003.- №2, с. 119-123.

170. Рудинский И.Д. Математические основы педагогического тестирования знаний. Часть 2. Информационно-кибернетический анализ системы педагогического контроля знаний. Калининград, 2003. - 73 стр.

171. Рудинский И.Д. Модель нечеткого оценивания знаний как методологический базис автоматизации педагогического тестирования // Информационные технологии. 2003. -№ 9, с. 46-51.

172. Рудинский И.Д. Принципы автоматизации педагогического контроля знаний // Педагогическая диагностика. 2003. - № 1, с. 54-60.

173. Рудинский И.Д. Принципы интеллектуального автоматизированного тестирования знаний // Информационные технологии в образовании: Мат-лы XI Международной конференции-выставки. М., 2001.

174. Рудинский И.Д., Грушецкий С.В. Многозначная лингвистическая шкала оценивания истинности тестовых заданий // Проблемы обеспечения эффективности и устойчивости функционирования сложных технических систем: Мат-лы ХХ111 МНТК. Серпухов, 2004, 4.5, 43-45.

175. Рудинский И.Д., Грушецкий С.В. Применение средств математической статистики для вывода итоговой оценки за тест //

176. Дистанционное обучение образовательная среда XXI века: Мат-лы III Международной научно-методической конференции. - Минск, 2003. -4 с. ■

177. Рудинский И.Д., Грушецкий С.В. Статистические методы вывода оценки результатов автоматизированного тестирования // Информационные технологии в образовании: Мат-лы Мелсдународного конгресса конференций. М., 2003. - Ч. 5, с. 325-326.

178. Рудинский И.Д., Клеандрова И.А. Математические основы педагогического тестирования знаний. Часть 1. Модели нечеткого оценивания знаний и количественного оценивания степени объективности тестирования. -Калининград, 2003. 70 стр.

179. Рудинский И.Д., Клеандрова И.А. Как оценить объективностьконтроля знаний? // Педагогическая диагностика. 2003, № 3. - с. 107-116.

180. Рудинский И.Д., Клеандрова И.А. Концептуальные основы количественного оценивания объективности тестирования знаний //Ученые записки ИИО РАО. М., 2003. - Вып. 8., с. 49-54.

181. Рудинский И.Д., Клеандрова И.А. Концепция количественного оценивания объективности педагогического тестирования знаний // Информатика и образование. -2003. 12, с. 100-104.

182. Рудинский И.Д., Соловей Е.В. Алгоритмы прямого тестирования в автоматизированной системе педагогического контроля знаний // Ученые записки ИИО РАО. 2003. - Вып. 10, с. 198-213.

183. Руновская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. М.: Горячая линия - Телеком, 2004.-452 с.

184. Садовский В.Н. Основания общей теории систем: логико-методологический анализ. М., 1974. - 279 с.

185. Сакерин Г.С., Черепанов B.C. К вопросу определения рейтинга педагогического теста для многопараметрической диагностики обученности // Измерения в педагогике. Сб. науч. тр. Ижевск: Изд-во ИУУ, 1997, с. 56-59.

186. Сафонцев С.А. Конструктивная валидность теста потенциальных возможностей школьников // Педагогическая диагностика. 2002. - № 2, с. 83-87.

187. Сафонцев С.А. Контроль качества образовательного процесса на основе тестовой диагностики // Школьные технологии. 2002. - № 5, с. 169-180.

188. Сафонцев С.А. Критериально-ориентированное тестирование // Педагогическая диагностика. -2002. -№ 1, с. 77-80.

189. Сафонцев С.А. Методология образовательной квалиметрии // Педагогическая диагностика. 2003. - № 3, с. 86-101.

190. Сафонцев С.А. Опыт применения технологии создания дидактического теста // Педагогическая диагностика. 2003. - № 2, с. 83-104.

191. Сафонцев С.А. Процедура стандартизации дидактического теста // Педагогическая диагностика. 2004. - № 1, с. 114-129.

192. Саяпин В.В. Тест по курсу истории средней общеобразовательной школы // Педагогическая диагностика. 2004. - № 1, с. 74-83.

193. Сборник аннотированных отчетов по НИР, выполненных Исследовательским центром проблем качества подготовки специалистов/ под ред. И.А. Селезневой. -М., 1993, 1994, 1999.

194. Свиридов А.П. Основы статистической теории обучения и контроля знаний. М.: Высшая школа, 1981. -262 с.

195. Ccpiccna Т., Чернявская Л. Дидактические требования к компьютерным обучающим программам. // Информатика и образование. -1988. № 1. с. 48-51.

196. Сигорский В.П. Математический аппарат инженера. К.: Технжа, 1975. - 768 с.

197. Сидельников Ю.В. Теория и организация экспертного прогнозирования. М.: ИМЭМО АН СССР, 1990. - 196 с.

198. Симоненко В.Д. Проектирование и применение тестов по технологии для 5 7-х классов // Педагогическая диагностика. - 2004. - № 1, с. 103-113.

199. Симонов В.П. Диагностика степени обученности учащихся. Учебно-справочное пособие. М.: МПА, 1999. - 45 с.

200. Системно-кибернетические аспекты познания: Сб. статей. / Отв. ред. Н.А. Лицис. Рига: Зинатне, 1985. - 324 с.

201. Совершенствование методики массовых проверок знаний учащихся. Сборник научных грудов / под ред. Р.Ф. Кривошаповой. М., 1979. - 107 с.

202. Соловов А.В., Меньшикова А.А. Дискретные математические модели в исследовании процессов автоматизированного обучения // Информационные технологии. 2001. 12, с. 32-36.

203. Соловьев B.C. Знание /Статья в Энциклопедическом словаре Ф.А. Брокгауза И.А. Эфрона (Цит. по изданию: Мир философии. В 2-х ч. Ч.'1. Исходные философские проблемы, понятия и принципы - М.: Политиздат, 1991.-672 е.).

204. Стандартизованные методы психодиагностики (тесты) //vhttp://users.i.com.ua/~psylib/books/beloo01 /txt03.htm

205. Стародубцев В. А. Разработка и практическое использование мультимедийного программно-методического комплекса естественнонаучной дисциплины // Информационные технологию 2003. - № 2, с. 47-50.

206. Субегто А.И. Введение в квалиметрию высшей школы. М., 1991: Кн. 2. Концепция квалиметрии. Система категорий и понятий. - 121 е.; Кн. 3. Обшая квалимория и специальные методы квалиметрии. - 171 с.

207. Субетто А.И. Системологические основы образовательных систем. -М., 1994: ч. 1. 284 е.; ч. 2.-321 с.

208. Талызина Н.Ф. Компьютеризация и программированное обучение // Вопросы психологии. 1987. -№ 6, с. 43-45.

209. Талызина Н.Ф. Теоретические проблемы программированного обучения. М.: Изд-во МГУ, 1969.

210. Тарасов В.А., Кюршунов А.С. Организация тестирования обучаемых в условиях локальной сети // Информатика и образование. 2003. - № 2, с. 77-83.

211. Татищев В.Н. О порядке преподавания в школах // Антология педагогической мысли России XVIII в. -М.: Педагогика, 1985.

212. Темников Ф.Е. Теоретические основы информационной техники. — М.: Энергия, 1971.-424 с.

213. Тесленко В.И., Сосновский В.И. Технология составления педагогического теста// Современное образование. 1999. -№ 1.

214. Тесты в образовании. Информационно-методический бюллетень. Вып. 1. М.: НМЦ "Заря", 1999.

215. Труды международного семинара «Искусственный интеллект в образовании». Казань, 1996. - Ч. 1, Ч. 2.

216. Тюхтпп B.C. Отражение, системы, кибернетика. М., 1971. -256 с. .

217. Уемов А.И. Системный подход и общая теория систем. М., 1978. -272 с.

218. Урсул А.Д. Отражение и информация. М.: Наука, 1973. - 340 с.

219. Устинов Т.Н., Новиков А.А. Уязвимость и информационная безопасность телекоммуникационных технологий. М.: Радио и связь, 2003. -296 с.

220. Ушипский К.Д. Человек как предмет воспитания / Собрание сочинений, т. 9. М.: Учпедгиз, 1956.

221. Федеральная целевая программа «Развитие единой образовательной информационной среды (2001 2005 г.г.)». Утв. Постановлением Правительства РФ № 630 от 28 августа 2001 г.

222. Фигурин В.А., Оболонкин В.В. Теория вероятностей и математическая статистика. М.: Новое знание, 2000.

223. Фрадкин Ф. А., Богомолова Л. И. Введение в педагогическую специальность: Лекции-диалоги. М.: Изд-во ТЦ "Сфера", 1996.

224. Фридланд А.Я. Автоматизированная инструментальная система тестирования // Информатика и образование. 2003. -№ 6, с. 65-69.

225. Харламов И.Ф. Педагогика. М.: Высшая школа, 1990. - 340 с.

226. Хлебников В.А. Как надежно измерять учебные достижения // Педагогическая диагностика. 2003. -№ 1, с. 41-46.

227. Хлебников В.А., Нейман Ю.М., Панферов B.C., Самыловский А.И., Шарыгин И.Ф. Объективная оценка учебных достижений // Педагогическая диагностика. 2002. -№ 1, с. 67-76.

228. Хованов Н.В. Стохастические модели теории квалиметрических шкал. Л.: ЛГУ, 1982.- 115 с.

229. Цимбал А.А., Аншина М. Технологии создания распределенных систем. СПб.: Питер, 2002. - 576 с.

230. Черепанов B.C. Экспертные методы в педагогических исследованиях. М.: Педагогика, 1989. - 246 с.

231. Черничин А.И. Инструментальная система контроля знаний // Информатика и образование. 1999. - № 10, с. 80-83.

232. Шеннон К. Работы по теории информации и кибернетике. М.: Изд-во иностр. лит., 1963.

233. Шихова О.Ф. Некоторые проблемы сертификации качества педагогических тестовых материалов // Вопросы тестирования в образовании. -2002. -Лг»3, с. 92-102.

234. Шмелев А.Г. и др. Тесты для старшеклассников и абитуриентов. -М.: Изд. "Первое сентября", 2000. 144 с.

235. Шмелев А.Г. Компьютеризация экзаменов: защита от фальсификаций // Педагогическая диагностика. 2002. - № 2, с. 80-82.

236. Шмелёв А.Г. Кто протестирует тесты? // http://vvvvvv.education.spb.ru/tt98/test rf2.htm

237. Шрейдер Ю.А. Равенство. Сходство. Порядок. М.: Наука, 1971. -254 с.

238. Штофф В.А. Моделирование и философия. М. - Л., 1966, с. 19.

239. Щеглов И.Н., Богомолов И.В., Печатное Ю.А. Интенсификация разработки автоматизированных систем обучения на основе нейросетевых технологий // Информационные технологии. 2003. - № 4, с. 31-35.

240. Щедровицкий П.Г. Очерки по философии образования. М., 1993. -166 с.

241. Щербаков В.В. Педагогические технологии информационного общества. Электронное учеб. пособие /РХТУ им. Д.И. Менделеева. М., 2003.

242. Экспертные оценки //Вопросы кибернетики. Вып.58. М.: Научный совет All СССР но комплексной проблеме "Кибернетика", 1979. -200 с.

243. Экспертные оценки в задачах управления /Сборник трудов. М.: Институт проблем управления, 1982. - 106 с.

244. Эрдинцев П.М. Теория информации и процесс обучения // Народное 4D образование. 1966. -№ 10.

245. Яблочкин Л.Б., Андрианова М.А., Каргин А.В. «Гипертекст» новая технология для создания систем тестирования знаний // Информационные технологии. - 2001. - № 3, с. 25-27.

246. A system approach to teaching and learning procedures: A quide for educators. 2-nd ed. Paris: UNESCO Press, 1981.

247. Ahinann J. a. o. Measuring and evaluating educational achivement. -Boston, 1975.

248. Bloom B.S. a. o. Handbook on formative and summative evaluation of student learning. N.J.: McGraw-Hill, 1971.

249. College entrance examination board. N.J.: Commission on tests, 1970.

250. Grunlund N. How to Construct Achievement Tests. Englewood Cliffs: Prentice-Hall, 1988.

251. Linn R., Gronlund N. Measurement and Assessment in Teaching.1. Prentice Hall, 1995.

252. Lord F.N., Novick M.R. Statistical theories of mental test scores. Reading. Addison-Wesley, N.J., 1968.

253. Morris L.L. a. o. How to measure performance and use tests. Cop., 1987.

254. Rasch G. Probabilistic Models for Some Intelligence and Attainment Test. Copenhagen: Danish Institute for Educational Research, 1960.

255. Rulon P.J. A simplified procedure for determining the reliability of a test of split-halves // Harvard Educational Review. 1939. 9, p. 25-35.

256. Test theory for a new generation of tests. N.J., 1993. - 404 p.

257. The International encyclopedia of educational evaluation / Ed. by H.J. Walberg. Oxford etc.: Pergamon Press, 1990.

258. ДИССЕРТАЦИОННЫЕ ИССЛЕДОВАНИЯ

259. Авапесов B.C. Методологические и теоретические основы тестового педагогического контроля: Дис. докт. пед. наук: СПб, 1994.

260. Аегдинова Р. Р. Педагогическая диагностика уровней обученности как условие'выбора технологий обучения: Дис. . канд. пед. наук: Казань, 2001.

261. Александрова Л. Ю. Педагогическая диагностика в системе совершенствования профессиональной деятельности учителя начальных классов: Дис. . канд. пед. наук: Чебоксары, 2002.

262. Арифова Е.К. Проблема тестов в общеобразовательной школе: Дис. . канд. пед. наук: М., 1981.

263. Армянинова Н. А. История развития и опыт применения математических методов в отечественной педагогике послевоенного времени: Дис. канд. пед. наук: СПб, 1999.

264. Артишева Е.К. Оценка фонового уровня знаний как способ диагностики результатов усвоения учебного предмета: Дис. . канд. пед. наук: Калининград, 1997.

265. Асеева Н. Д. Тестовая диагностика в системе компьютерной профессиональной подготовки будущего специалиста: На примере военного вуза: Дне. . канд. пед. наук: Н. Новгород, 2001.

266. Афонина Л. И. Критериально-ориентированное тестирование как эффективное средство измерения и оценки учебных достижений учащихся средних образовательных учреждений: Дис. . канд. пед. наук: Саратов, 2000.

267. Ашкинова JI. П. Тестовый контроль сформированности орфографической грамотности по русскому языку учащихся начальной школы: Дис. . капд. пед. наук: М., 1998,

268. Байрамова Ж. А. Тестовый контроль знаний как средство организации учебной деятельности студентов: Дис. . канд. пед. наук: Махачкала, 1999.

269. Балуян С. Р. Тестирование коммуникативной компетенции в устной речи абшуриентов специальности "Лингвистика и межкультурная коммуникация": Дис. . канд. нед. наук: Таганрог, 1999.

270. Бапзрагч Б. Использование тестов достижений для контроля знаний и умений учащихся на уроках математики в основной школе Монголии: Дис. . канд. пед. наук: М., 2003.

271. Башмакова Н. И. Типология языковых тестов и методика посттестового анализа: Дис. канд. пед. наук: СПб., 2003.

272. Беляков О.И. Использование средств новых информационных технологий для контроля знаний и умений учащихся по биологии: Дис. . капд. пед. паук: СПб., 2000.

273. Бенькович Т. М. Инновационные системы оценки учебных достижений учащихся в мониторинге эффективности обучения: Дис. . канд. пед. наук: СПб., 2002.

274. Бережная И.А. Особенности оценивания знаний в педагогическом колледже: Дис. . канд. пед. наук: Краснодар, 1998.

275. Биберина А. В. Тесты как средство проверки уровня подготовки учащихся по истории древнего мира и средних веков: Дис. . канд. пед. наук: М., 2000.

276. Биченок Л. П. Обучение военной профессиональной речи, тестовые формы контроля: Дис. . канд. пед. наук: М., 2000.

277. Борисова Л. М. Дифференцированное обучение и оценивание знаний учащихся по математике (Общеобразовательный уровень подготовки): Дис. . канд. пед. наук: Новосибирск, 2002.

278. Ботезат-Белая У. А. Формирование у младших школьников контрольно-корректировочных действий в процессе лингводидактического тестирования: Дис. канд. пед. наук: Таганрог, 2000.

279. Валитова Г. А. Дидактическое тестирование как метод активизации познавательной деятельности младших школьников: Дис. . канд. пед. наук: Бийск, 2000.

280. Вербицкая И.О. Информационно-аналитический метод оценки освоения знаний как фактор эффективности управления образовательным процессом в школе: Дис. . канд. пед. наук: Екатеринбург, 1998.

281. Веселкова Т. С. Междисциплинарные тесты как средство диагностики системности знаний учащихся: Дис. . канд. пед. наук: Ижевск, 2000.

282. Веселовская Е. В. Педагогическая диагностика логического мышления учащихся: Дис. канд. пед. наук: Вологда, 2002.

283. Воеводин А.А. Педагогические подходы к построению базы знаний для АОС с элементами искусственного интеллекта: Дис. . канд. пед. наук: СПб, 1998.

284. Воловик П.Н. Проблемы применения методов теории вероятностей и математической статистики в педагогической теории и практике: Дис. . докт. пед. наук: Киев, 1976.

285. Воробейчикова О.В. Компьютерная технология адаптивного структурированного тестирования в образовании: Дис. . канд. техн. наук: Томск, 2002'.

286. Гайдамака Г.Г. Тестовый контроль сформированное™ коммуникативной компетенции по русскому языку студентов национальных групп неязыкового вуза: Дис. . канд. пед. наук: М., 1992.

287. Гладкая И.В. Особенности контроля уровня достижений учащихся в системе развивающего обучения: Дис. канд. пед. наук: СПб, 1996.

288. Голяев С.С. Педагогические условия и средства использования ЭВМ в диагностике развития качеств творческой личности: Дис. . канд. пед. наук: М„ 1998. .

289. Горбатов Д.С. Критериально-ориентированное тестирование как средство диагностики учебных достижений школьников: Дис. . канд. пед. наук: Воронеж, 1996.

290. Горохова Л. X. Педагогическая диагностика как компонент управления в современной школе: Дис. . канд. пед. наук: Астрахань, 2002.

291. Грабарь М.И. Планирование методических экспериментов и математическая обработка их результатов: Дис. . докт. пед. наук: М., 1989.

292. Григорьева Е.А. Оценивание как метод педагогического исследования: Дис. канд. пед. наук: Л., 1974.

293. Грязной С.А. Дидактический потенциал критериально-ориентированного тестирования: Дис. канд. пед. наук: Самара, 2002.

294. Гулюкина Н. А. Тестовые технологии в системе интенсивной адаптации первокурсников: Дис. канд. пед. наук: Новосибирск, 1999.

295. Гуревич А.Е. Задания с выбором ответа как средство итогового контроля знаний учащихся по физике: Дис. канд. пед. наук: М., 1975.

296. Гутник И.Ю. Педагогическая диагностика образованности школьников: Дис. . канд. пед. наук: СПб, 1996.

297. Давыдков В.В. Роль и место АОС в самостоятельной работе студентов: Дис. . канд. пед. наук: Новосибирск, 1998.

298. Джумабаева Ф. А. Повышение качества обучения и объективности оценки знаний студентов на основе инвариантных тестов: Дис. . канд. пед. наук: Ташкент, 1999.

299. Дормидонтова Т.П. Диагностика обученности учащихся как фактор развития образовательной системы: Дис. канд. пед. наук: СПб, 1998.

300. Ерина Т. М. Педагогическая диагностика как функция муниципальных органов управления образованием: Дис. канд. пед. наук: М.,1998.

301. Еськова И.В. Педагогическая диагностика как средство управления процессом обучения в вузе: Дис. канд. пед. наук: Ставрополь, 2001.

302. Ефремова Н. Ф. Тестовый контроль качества учебных достижений в образовании: Дис. . д-ра пед. наук : Ростов н/Д, 2003.

303. Зайцева Л. Л, Оценивание качества педагогической подготовки студентов в вузе средствами мониторинга: Дис. . канд. пед. наук: Тула, 1999.

304. Игнатьева Е.Ю. Квалиметрическое обеспечение как фактор развития образовательных систем в высшей школе: Дис. . канд. пед. наук: Великий Новгород, 1999.

305. Казанович В.Г. Образовательная система как объект оценивания (квалимегрический подход): Дис. . канд. пед. наук: М., 1995.

306. Казаринов Л.С. Теоретические основы квалиметрической технологии педагогического эксперимента : Дис. . докт. пед. наук: Ижевск,1999.

307. Канаев Б.И. Теория и технология квалиметрического подхода к результату виутришкольного управления: Дис. . докт. пед. наук: М., 2000.

308. Кириллова Г.И. Дидактические основы построения системы контроля знаний и умений в компьютерной технологии обучения: Дис. . канд. пед. наук: Казань, 1994.

309. Козлов О.А. Развитие методической системы обучения информатике курсантов военно-учебных заведений Министерства обороны Российской Федерации: Дис. . докт. пед. наук: М., 1999.

310. Колясникова Л.В. Организационные условия подготовки педагогов профессиональной школы к диагностике результатов обучения: Дис. . канд. пед. наук: Екатеринбург, 2003.

311. Кондратьева О. Ю. Социально-педагогическая диагностика и развитие мотпвацнонной сферы подростков с аддиктивным поведением: Дис. . канд. пед. наук: Владимир, 1999.

312. Коуроп В.Г. Адаптивные автоматизированные среды обучения на основе экспертных технологий: Дис. докт. пед. наук: Новосибирск, 1994.

313. Красильникова В. А. Технология конструирования предметного теста для студентов среднего профессионального образования: Дис. . канд. пед. наук: М„ 2000.

314. Кузьмин Л. А. Исследование автоматизированных технологий самоконтроля в повышении эффективности обучения курсантов: Дис. . канд. пед. наук: СПб, 1998.4

315. Кукушкин А.А. Пути повышения эффективности контроля знаний в учебном процессе на основе объективизации его результатов и усиления обучающе-воснитывающих функций: Дис. канд. пед. наук: М., 1999.

316. Лаврова Н. В. Тестирование как средство измерения сформированное™ коммуникативной компетенции в русском языке как иностранном в сфере профессионального общения: Дис. канд. пед. наук: М., 1999.

317. Лариков Е.В. Управление учебно-познавательной деятельностью школьников при обучении алгебре на основе динамических компьютерных тестов-тренажеров: Дис. . канд. пед. наук: Омск, 2002.

318. Лебедева Е.Н. Сертификация тестовых измерителей как способ повышения объективности контроля обученности: Дис. . канд. пед. наук: Ижевск, 1998.

319. Люсин Д.В. Критериально-ориентированные педагогические тесты: сущность и методы конструирования: Дис. . канд. пед. наук: М., 1995.

320. Майоров А.Н. Тесты школьных достижений как средство аттестации учащихся: Дис. канд. пед. наук: СПб, 1996.

321. Майорова Н. Л. Тестирование как педагогическое средство измерения успешности обучения: Дис. канд. пед. наук: Ярославль, 2000.

322. Макаров В.П. Исследование эффективности контроля знаний учащихся в автоматизированных классах средней школы: Дис. . канд. пед. наук: М„ 1966.

323. Мальцева Г.Л. Тестовые задания по инженерной графике как средство повышения учебно-познавательной активности студентов: Дис. . канд. пед. наук: М., 2002.

324. Марданов Д.Р. Педагогические условия эффективного контроля процесса подготовки специалистов в системе автоматизированного обучения: Дис. . канд. пед. наук: Казань, 1999.

325. Мизинцев В.П. Количественная оценка эффективности и качества учебного процесса: Дис. канд. пед. наук: Южно-Сахалинск, 1987.

326. Мирзоев М.С. Методика разработки и применения адаптивной компьютерной диагностической системы в условиях многоуровневой подготовки студентов педвузов: Дис. . канд. пед. наук: М., 1994.

327. Миронова М.В. Квалиметрический подход к разработке системы педагогического мониторинга в ВУЗе: Дис. . канд. пед. наук: Ижевск, 1998.

328. Мирошникова М.М. Построение и экспериментальная проверка системы заданий для контроля знаний учащихся с помощью ЭВМ: Дис. . канд. пед. паук: М„ 1973.

329. Мнхайлычев Е.А. Теоретические основы педагогической диагностики: Дис. . докт. пед. наук: Екатеринбург, 1991.

330. Морозов О. К. Педагогическая диагностика профессионализма деятельности преподавателя военно-специальных дисциплин вуза: Дис. . канд. пед. наук: М., 2002.

331. Морозова Н. В. Компьютерное тестирование как средство повышения уровня обученности иностранному языку курсантов в военном инженерном вузе: Дис. канд. пед. наук: Пермь, 2003.

332. Нардюжев И. В. Разработка и исследование моделей и алгоритмов информационно-вычислительной системы компьютерного тестирования: Дис. . канд. техн. наук: Обнинск, 1999.

333. Новиков В. А. Методика обучения программно-техническим средствам информатики и квалиметрия ее результативности: Дис. . канд. пед. наук: М., 2002.

334. I (охрипл H. Н. Тестовый контроль при обучении спецдисциплинлм в учреждениях начального профессионального образования: Дис. . канд. пед. наук: Уфа, 1999.

335. Огорелков В.И. Проверка и оценка знаний учащихся на основе заданий с выбором ответа: Дис. канд. пед. наук: М., 1970

336. Отинова С. А. Педагогическая оценка знаний в России (Историческая ретроспектива и современное состояние): Дис. . канд. пед. наук: М„ 2002.

337. Папахчян И.А. Принципы проверки и оценки успеваемости учащихся и их реализация в обучении: Дис. канд. пед. наук: Ереван, 1975.

338. Пашковская С.С. Тестирование слухопроизносительных навыков в обучении русскому языку как иностранному: Дис. канд. пед. наук: М., 1997.

339. Переверзев В. Ю. Моделирование процесса критериально-ориентированного педагогического тестирования курсантов вузов: Дис. . канд. пед. наук: М., 2000.

340. Перескокова О.И. Автоматизация конструирования педагогических тестов на основе семантической сетевой модели знаний по дисциплине "Информатика" в военном вузе: Дис. канд. техн. наук: Пермь, 2003.

341. Пимчев С.П. Ретроспективный анализ как метод прогностических исследований в педагогике : Дис. канд. пед. наук: Волгоград, 1992.

342. Полуаршинова Е. Г. Тесты как средство контроля качества подготовки учащихся в системе управления образованием региона: Дис. . канд. техн. наук: М., 1998.

343. Пушкарев А. Э. Тесты по физике как одно из средств управления познавательной деятельностью учащихся: Дис. . канд. пед. наук: Челябинск, 1999.

344. Раннева Н.А. Дидактические основы построения тестовой системы контроля: Дис. . канд. пед. наук: Ростов н/Д, 2002.

345. Рогов А.А. Автоматизированный тестовый контроль в системе профессиональной подготовки студентов факультета физической культуры: Дис. . капд. пед. наук: М., 1995. «

346. Родыгина Т.Л. Диагностика начального уровня обученности студентов на основе гетерогенных тестов: Дис. . канд. пед. наук: Ижевск, 1996.

347. Розенбсрг Н.М. Информационные и статистические средства измерений в педагогике: Дис. . докт. пед. наук: М., 1974.

348. Руновский С.И. Педагогические основы оценки успеваемости учащихся: Дис. канд. пед. наук: Горький, 1950.

349. Рябцева Е.В. Промежуточный тестовый контроль в дистанционном обучении иностранному языку: Дис. . канд. пед. наук: Тамбов, 2002.

350. Сакасва С.Р. Тестирование как метод повышения эффективности и объективности контроля знаний в общеобразовательной школе: Дис. . канд. пед. наук: Ижевск, 1997.

351. Салова И.Г. Квалиметрические методики и процедуры в управлении качеством школьного образования: Дис. . канд. пед. наук: СПб, 1999.

352. Самылкина Н. Н. Разработка тестов образовательных достижений школьников по информатике на основе конкретизации требований к результатам обучения: Дис. . канд. пед. наук: М., 1999.

353. Сафонцев С.А. Технология критериально ориентированного тестирования потенциальных возможностей учащихся: Дис. . канд. пед. наук: Ростов на Дону, 2002.

354. Сергеева И. Ф. Технология организации тестового контроля формирования навыков и умений иноязычного устно-речевого общения: Начальная школа/французский язык: Дис. . канд. пед. наук: М., 2002.

355. Скибицкий Э.Г. Теория и практика проектирования и применения в учебном процессе целостных компьютеризированных курсов: Дис. . докт. пед. наук: Новосибирск, 1997.

356. Соколов Н. Е. Методика компьютерного адаптивного тестового контроля знаний учащихся: Дис. . канд. пед. наук: СПб., 2000.

357. Соомере К. Э. Использование тестов восстановления в обучении иностранным языкам: Дис. . канд. пед. наук: М., 1986.

358. Степанова Н. П. Формирование и педагогическая диагностика профессионально значимых качеств учащихся профлицея: Дис. . канд. пед. наук: М., 2002.

359. Столярова Т. В. Обучение школьников доказательству теорем с использованием дидактических тестов: Дис. . канд. пед. наук: Минск, 2000.

360. Сухорукова Л.В. Задания в тестовой форме как средство проверки знаний и умений учащихся по экономическим вопросам курса "Человек и общество" (XI класс): Дис. канд. пед. наук: СПб., 1996.

361. Сучкова Л. А. Централизованное тестирование как средство экспертизы качества образования: Дис. канд. пед. наук: Ростов н/Д, 2000.

362. Федорова В.А. Педагогические функции тестов в современной школе: Дис. канд. пед. наук: М., 2003.

363. Халимова Н. М. Педагогическое тестирование как фактор успсшности учення студентов: Дис. канд. пед. наук: Красноярск, 1999.

364. Шухардина В.А. Адаптивные тесты как средство индивидуализации педагогического контроля качества знаний учащихся: Дис. . канд. пед. наук: Ижевск, 2002.

365. Царьков В. Н. Педагогическая диагностика как средство совершенствования образовательного процесса: Дис. . канд. пед. наук: М., 1999.

366. Чекина Л. Ф. Педагогическая диагностика нравственной воспитанности детей старшего дошкольного возраста: Дис. . канд. пед. наук: М„ 2001.

367. Чекулаев М.А. Организационно-педагогические и дидактические условия использования тестовых способов контроля для обеспечения требований государственных образовательных стандартов: Дис. . канд. пед. наук: М., 1997.

368. Челышкова М. Б. Теоретико-методологические и технологические основы адаптивного тестирования в образовании: Дис. . д-ра пед. наук: СПб., 2001.

369. Черепанов B.C. Теоретические основы педагогической экспертизы: Дис. . докт. пед. паук: Глазов, 1990.

370. Шаповалова Т. Р. Методика тестирования уровня обученности учащихся иноязычному чтению и письму в условиях дистанционного обучения: Дис. . канд. пед. наук: М., 2002.

371. Шашкина М. Б. Система педагогических тестов как средство управления учебно-познавательной деятельностью студентов в процессе изучения математических дисциплин в педвузе: Дис. . канд. пед. наук: М., 1999.

372. Шепетов А.С. Повышение информативности массовых обследований знаний и умений учащихся по математике (с применением ЭВМ): Дис. канд. пед. наук: М., 1980.

373. Юнеева О.Д. Система компьютерных тестов и задач курса математики экономической ориентации: Дис. . канд. пед. наук: М., 1998.1. ТЕРМИНЫ И ОПРЕДЕЛЕНИЯ

374. Адаптивное тестирование способ тестового контроля знаний, при . котором процедура выбора и предъявления очередного тестового задания на (/ 1)-м шаге тестирования определяется ответами обучаемого на предыдущих 1 шагах теста.

375. Алгоритм тестировании А г конечная последовательность операций по отбору и предъявлению обучаемому тестовых заданий и учету его ответов.

376. Достоверность степень соответствия выставленной оценки фактическому уровню знаний обучаемого.

377. Знания множество фактов, закономерностей и правил их применения, объективно составляющих семантическую (смысловую) сущность процесса обучения по конкретной дисциплине.

378. Компетентность степень соответствия уровня знаний и профессиональных качеств преподавателя характеру выполняемых им п еда го г и ч ее к и х фу н кци й.

379. Модель знаний обучаемого на момент начала обучении -представление о совокупности знаний, которыми овладел обучаемый за период времени, предшествовавший началу обучения.

380. Модель знаний обучаемого на момент окончания обучения — представление о совокупности знаний, которыми овладел обучаемый в процессе обучения.

381. Навыки доведенные до автоматизма, т.е. не вызывающие затруднений умения решать практические задачи, наиболее типичные и характерные для конкретной предметной области.

382. Неопределенный ответ — высказывание, нерелевантное вопросу.

383. Неполный ответ высказывание, в котором отсутствуют один или несколько элементов высказывания, соответствующего эталонному ответу, но описания всех присутствующих элементов, а также их свойств и отношений остаются корректными.

384. Неточный ответ высказывание, один или несколько элементов которого отличаются от соответствующих элементов эталонного ответа тем, что находятся с ними в отношении «целое-часть», «вид-подвид» либо «ранг-субранг».

385. Носитель теста ST- подмножество тестовых заданий, отобранных для предъявления конкретному обучаемому в сеансе тестирования.

386. Объект обучения группа лиц, формирование у которых некоторого априори определенного уровня знаний считается целью функционирования системы обучения.

387. Объективность контроля знаний характеристика степени независимости этого процесса от индивидуальных предпочтений отдельных преподавателей.

388. Педагогический тест Т пара Т = <ЛУ, А7>, где ЛУ - носитель теста, А г - алгоритм тестирования.

389. Правильный ответ высказывание, содержащее все существенные (с точки зрения экспертов) элементы, в котором для каждого элемента корректно заданы все характеризующие его свойства.

390. Процесс обучения развивающийся во времени процесс функционирования системы обучения, осуществляемый с целью формирования у обучаемых некоторого априори определенного уровня знаний.

391. Прямое тестирование способ тестового контроля знаний, в соответствии с которым выбор тестового задания или тематической последовательности для предъявления на очередном шаге теста не зависит от ответов на предъявленные ранее задания.

392. Системи обучения объект, выделяемый из окружающего его внешнего мира для реализации своей целевой функции - формирования у обучаемых некоторого априорно определенного уровня знаний в конкретной предметной области.

393. Степень истинности ответа на тестовое задание характеристика его близости к ответу, признаваемому эталонным экспертами - авторами теста. .

394. Тематическая последовательность тестовых заданий — подмножество тестовых заданий, все элементы которого упорядочены по отношению предпочтения.

395. Умения способности применять имеющиеся знания для разрешения теоретических проблем и практических задач, специфических для изучаемой предметной области.

396. Формально-структурное описание модель объекта, построенная с применением метода формально-структурного описания и исследования.

397. Цикл функционирования системы обучения периодическое повторение последовательности действий, приводящих к достижению цели обучения.

398. ПЕРЕЧЕНЬ СОКРАЩЕНИЙ ЛОС автоматизированная обучающая система

399. АСПКЗ автоматизированная система педагогического контроля знаний

400. ВУЗ высшее учебное заведение

401. ГОС государственный образовательный стандарт

402. ЕГЭ единый государственный экзамен

403. ИАСКЗ интегрированная автоматизированная система контроля знаний ИКТ - информационные и ком*муникационные технологии ИС - информационная система

404. НОУ негосударственное образовательное учреждение ОПП - образовательный программный продукт СО - система обучения

405. ССНР система сбора, накопления и распределения тестовых заданий СУБД - система управления базами данных ТЗ - тестовое задание ЦФ - цикл функционирования