автореферат и диссертация по педагогике 13.00.08 для написания научной статьи или работы на тему: Проектирование организационно-методического обеспечения педагогического тестирования знаний студентов в вузе

Автореферат диссертации по теме "Проектирование организационно-методического обеспечения педагогического тестирования знаний студентов в вузе"

Емелин Максим Анатольевич

ПРОЕКТИРОВАНИЕ ОРГАНИЗАЦИОННО-МЕТОДИЧЕСКОГО ОБЕСПЕЧЕНИЯ ПЕДАГОГИЧЕСКОГО ТЕСТИРОВАНИЯ ЗНАНИЙ СТУДЕНТОВ В ВУЗЕ

13.00.08 - теория и методика профессионального образования

Автореферат диссертации на соискавие ученой степени кандидата педагогических наук

2 3 ИЮН 2011

Калининград 2011

4851049

Работа выполнена в ФГОУ ВПО «Калининградский государственный технический университет»

Научный руководитель:

Официальные оппоненты:

доктор педагогических наук, профессор Рудинский Игорь Давидович

доктор педагогических наук, профессор Власова Елена Зогиковна;

доктор педагогических наук, профессор Лурье Инна Григорьевна

Ведущая организация:

ФГАОУ ВПО «Южный федеральный университет»

Защита состоится 28 июня 2011 года в 10 часов на заседании объединенного диссертационного совета ДМ 307.002.01 при Балтийской государственной академии рыбопромыслового флота по адресу: г. Калининград, ул. Озерная, д.30 (зал заседаний диссертационного совета, ауд. 526).

С диссертацией можно ознакомиться в библиотеке Балтийской государственной академии рыбопромыслового флота (ул. Молодежная, д.6, комн. 248).

Электронная версия автореферата размещена на официальном сайте Балтийской государственной академии рыбопромыслового флота: http: //www.bffsa.com

Автореферат разослан 27 мая 2011 г.

Ученый секретарь объединенного диссертационного совета ДМ 307.002.01 к.п.н., доцент О.С. Бычкова

ОБЩАЯ ХАРАКТЕРИСТИКА ИССЛЕДОВАНИЯ

Актуальность исследования. Одним из приоритетных направлений преодоления кризиса в образовании является повсеместный переход образовательных учреждений высшего профессионального образования (ВПО) на работу по государственным образовательным стандартам нового поколения, предусматривающим существенное увеличение объема самостоятельной работы студентов и существенную диверсификацию форм и методов образовательной деятельности.

Исходя из необходимости организации массового контроля знаний студентов вузов, наиболее перспективным и целесообразным, по мнению таких авторов, как B.C. Аванесов, А. Анастази, Дж. Гласс, Н. Грунлунд, К. Ингекамп, П. Клайн, Е.А. Михайлычев, И.Д. Рудинский, С.А. Сафонцев, А.Г. Шмелев, представляется метод педагогического тестирования, позволяющий параллельно оценивать знания большого количества студентов с применением стандартизованных контрольно-измерительных материалов.

Формы и методы входного контроля жестко регламентированы нормативными актами Министерства образования и науки РФ. Итоговый (квалификационный) контроль качества подготовки выпускников образовательных учреждений ВПО также регламентирован и осуществляется государственными аттестационными комиссиями. В то же время, выбор форм и способов проведения текущего контроля учебных достижений обучаемых находится в ведении самого вуза (статья 46 Постановления Правительства Российской Федерации от 14 февраля 2008 г. №71 «Об утверждении Типового положения об образовательном учреждении высшего профессионального образования (высшем учебном заведении)»), что позволяет руководству вузов управлять качеством подготовки студентов путем разработки и внедрения в образовательный процесс новых методов и моделей оценивания. Однако, несмотря на широкое и повсеместное использование педагогического тестирования в современных автоматизированных системах контроля знаний (АСКЗ), оно в большей степени выступает как средство «внешнего» контроля (аттестация ВУЗа, аккредитация), а не текущего, рубежного или промежуточного. Таким образом, можно говорить о неразработанности системы применения технологий педагогического тестирования в образовательном процессе, и в первую очередь - автоматизированного тестирования знаний, основанного на применении современных средств информационных и коммуникационных технологий (ИКТ) и позволяющего обеспечить массовость, регулярность и объективность педагогического контроля, а также создающего содержательную основу для автоматизации управления образовательным процессом. Отсутствие организационно-методического обеспечения педагогического тестирования знаний сдерживает интеграцию этого метода педагогического контроля в образовательный процесс и, соответственно, тормозит проводимую реформу высшего профессионального образования.

Изучение научных и методических основ функционирования современных автоматизированных систем контроля знаний свидетельствует, что в большинстве из них реализуются простейшие модели вывода оценок, основанные на бинарной шкале определения истинности ответов на тестовые задания в категориях «правильно -неправильно» и на подсчете количества правильно выполненных заданий. Подоб-

иый подход не позволяет в полной мере реализовать в образовательном процессе потенциал современной тестологаи, основанный на применении более сложных вычислительных моделей оценивания знаний и алгоритмов обработки первичной информации об ответах студентов (B.C. Аванесов, М.И. Грабарь, В.И. Михеев, Ю.М. Нейман, И.Д. Рудинский, В.А. Хлебников, М.Б. Чешшкова и др.). В связи с этим приобретает особую важность разработка таких средств автоматизированного тестирования знаний, которые сочетают в себе реализацию алгоритмов углубленного анализа латентной информации, содержащейся в выбираемых студентом вариантах ответов на тестовые задания, в частности, так называемую статистическую модель оценивания знаний (И.Д. Рудинский, C.B. Грушецкий), и эвристические алгоритмы анализа информации и выработки решений, основанные на экспертных знаниях и гораздо менее чувствительные к формальным ограничениям (Дж. Пирл, JI. Рутковский, Д.Д. Ульман, Д.Э. Хопкрофт), с широкими возможностями современных средств ИКТ.

С повышением эффективности автоматизированного педагогического тестирования знаний тесно связана важная проблема оценивания и обеспечения достоверности результатов педагогического контроля с точки зрения соответствия выставленной оценки фактическим знаниям испытуемого (B.C. Аванесов, И.Д. Рудинский, В .И. Сердюков). Организатор автоматизированного тестирования знаний не имеет возможности неограниченно увеличивать объем теста, поскольку действующие санитарные правила и нормы ограничивают длительность непрерывной работы за компьютером для конкретных категорий обучаемых. Встает задача расчета такого объема репрезентативного теста, при котором множество включаемых в тест тестовых заданий достаточно полно представляют базу тестовых заданий по конкретной дисциплине.

В широко распространенных и рассчитанных на массовое применение системах тестирования (ФЭПО, ЕГЭ и т.п.) задача обеспечения репрезентативности тестов не ставится. Субъективность этого подхода предопределена отсутствием: строгих (нормативных, методических и т.п.) основ для обеспечения репрезентативности педагогического теста.

Отсутствие корректного обоснования репрезентативности применяемых тестовых КИМ и, соответственно, невозможность обеспечить достоверность результатов тестирования знаний существенно снижает ценность и значимость этого вида педагогического контроля (И.Д. Рудинский, В.И. Сердюков, А.Г. Шмелев).

Как правило, автоматизированные системы контроля знаний используются в вузах автономно, т.е. без переноса результатов педагогического тестирования в базу данных автоматизированной системы управления образовательным процессом (АСУ ОП). Необходимость проведения автоматизированного тестирования чаще всего определяется конкретным преподавателем, а условия его проведения не регламентируются внутривузовскими нормативными или методическими документами и не обеспечиваются организационной поддержкой со стороны административно-управленческого персонала.

Степень разработанности научного направления в области проектирования организационно-методического обеспечения педагогического тестирования знаний студентов в вузе. Методические вопросы композиции и содержательного структу-

рирования тестовых заданий и тестов учебных достижений успешно разрабатываются в работах B.C. Аванесова, В.М. Кадневского, В А. Красильниковой, А.Н. Майорова. Методология дидактического тестирования исследуется и совершенствуется Е.А. Михайлычевым, H.A. Сафонцевой, С.А. Сафонцевым, Э.Г. Скибицким. Организационные аспекты применения тестирования в системе профессионального образования раскрываются в работах B.C. Аванесова, Л.Ю. Александровой, Н.Д. Асеевой, Л.В. Колясниковой, ГА. Мальцевой, O.K. Морозова, В.П. Овчаренко, АА. Рогова, Т.Ю. Сокуровой, О.С. Третьяковой, MA. Чекулаева, А.Г. Шмелева. Квалиметрическим основам тестирования знаний и статистической обработки результатов педагогического контроля посвящены исследования В.А. Аидриеш, HJB. Акинфиевой, Т.М. Бенькович, М.И. Грабаря, JLA. Громаковой, C.B. Грушецкого, CA. Грязнова, Е.Ю. Игнатьевой, Т.И. Корчинской, Н.Т. Минко, В.Б. Моисеева, Л.Г. Пятирублевого, И.Д. Рудинского, А.И. Субетго. Однако в упомянутых и других научных работах не уделяется достаточного внимания вопросам организации регулярного педагогического тестирования знаний студентов вуза как компонента образовательного процесса и систематическому взаимодействию преподавателей, мето-дастов, управленцев и других участников этого процесса.

Важное значение имеют исследования, ориентированные на учет результатов тестирования знаний и их использование для управления образовательным процессом. Этому вопросу посвящены работы Ж.А. Байрамовой, Е.И. Горюшкина, НА Г'улюкиной, И.В. Еськовой, Н.Ф. Ефремовой, Б .Я. Лихтциндера, В.И. Михеева, Ю.В. Павлова, Н.С. Фоминовой, В.Н. Царькова. Отличительная черта современного подхода к повышению эффективности педагогического контроля - автоматизация педагогического тестирования знаний; этот аспект рассматривается в работах И.Н. /лдреевой, О.И. Белякова, О.В. Воробейчиковой, BJB. Давыдкова, В.И. Нардюжева, И.В. Нардюжева, Ю.М. Неймана, О.И. Перескоковой, АЛ. Фридланда, В .А. Хлебникова, И.Н. Щеглова. Тем не менее, указанные авторы уделяют основное внимание построению конкретных вычислительных процедур либо программно-аппаратной реализации автоматизированных систем контроля знаний, а не организации использования результатов педагогического тестирования в деятельности органов управления образовательным учреждением.

Еще один важный аспект исследований в области организации и методологии тестирования знаний - обеспечение достоверности и объективности педагогического контроля. Указанные вопросы поднимаются и исследуются в работах Т.С. Весел-ковой, Ф.А. Джумабаевой, Л. А. Зайцевой, В.Б. Карпинского, A.A. Кукушкина, В.В. Михайлова, Л.А. Сучковой, В.А. Шухардиной. Следует отметить, что ни в одной из упомянутой работ не ставятся и не решаются вопросы определения объема автоматизированного педагогического теста, при котором длительность его выполнения не превышает предельно допустимые величины, регламентируемые действующими санитарными нормами и правилами в области применения здоровьесберегающих технологий для конкретных возрастных категорий обучаемых.

В целом, в работах упомянутых авторов ставится и решается широкий спектр проблем педагогического контроля знаний методом тестирования, оценивания качества тестовых контрольно-измерительных материалов и получаемых результатов, автоматизации тестирования знаний. Однако в этих работах не уделяется должное

внимание созданию организационно-методического обеспечения автоматизированного тестирования знаний студентов в вузе, что препятствует повышению эффективности педагогического тестирования как компонента образовательного процесса.

Сказанное выше позволило выявить следующие противоречия между:

- потребностью современного общества повысить эффективность системы образования путем перехода на новые государственные образовательные стандарты высшего профессионального образования в условиях диверсификации форм и методов образовательной деятельности, и отсутствием научных основ регулярного, массового и всеобъемлющего педагогического тестирования знаний студентов как компонента образовательного процесса;

- сложившейся практикой автоматизированного контроля знаний и неразработанностью подходов к использованию в этой деятельности научных достижений современной теории педагогического тестирования.

Выявленные противоречия обозначили проблему исследования: при каких педагогических условиях образовательного процесса возможно повышение эффективности автоматизированного педагогического тестирования знаний студентов в вузе?

Актуальность проблемы определила тему исследования: «Проектирование организационно-методического обеспечения педагогического тестирования знаний студентов в вузе».

Объект исследования: образовательный процесс в вузе.

Предмет исследования: организационно-методическое обеспечение автоматизированного педагогического тестирования знаний студентов в вузе.

Цель исследования: спроектировать организационно-методическое обеспечение автоматизированного педагогического тестирования знаний студентов в вузе, которое позволит повысить эффективность педагогического контроля за счет совместного применения статистических и эвристических методов обработки результатов автоматизированного контроля знаний и обеспечения репрезентативности теста относительно используемой базы тестовых заданий при соблюдении действующих санитарных и организационных правил и норм, регламентирующих длительность такого контроля.

Основная идея исследования: эффективность педагогического контроля в вузе может быть повышена путем создания системы массового регулярного автоматизированного тестирования знаний студентов, основанного на реализации алгоритмов углубленного анализа латентной информации, содержащейся в выбираемых студентом вариантах ответов на тестовые задания, при обязательном расчете объема теста, обеспечивающего его репрезентативность относительно используемой базы тестовых заданий и удовлетворяющего ограничениям длительности непрерывной работы с компьютером, установленным действующими санитарными нормами и правилами в области применения здоровьесберегающих технологий для конкретных возрастных категорий обучаемых. Для достижения поставленной цели должно быть спроектировано организационно-методическое обеспечение педагогического тестирования знаний, определяющее деятельность преподавателей, учебно-методического и

административно-управленческого персонала на всех этапах функционирования автоматизированной системы управления образовательным процессом.

Гипотеза исследования: эффективность педагогического контроля знаний студентов в вузе будет повышена, если:

- автоматизированное тестирование знаний студентов будет рассматриваться как компонент образовательного процесса в вузе;

- оценивание результатов автоматизированного тестирования знаний студентов будет осуществляться на основе алгоритмов углубленного анализа латентной информации, содержащейся в выбираемых студентом вариантах ответов на тестовые задания;

- объем теста будет рассчитываться таким образом, чтобы он был репрезентативным относительно используемой базы тестовых заданий по дисциплине при соблюдении действующих санитарных и организационных правил и норм, регламентирующих длительность непрерывной работы за компьютером;

- координация и поддержка автоматизированного тестирования знаний студентов в вузе будет осуществляться специализированным административным подразделением, а деятельность всех участников процесса автоматизированного тестирования будет определяться специализированным методическим обеспечением.

В соответствии с целью, предметом и гипотезой определены основные задачи исследования:

1) построить и реализовать эвристико-статистическую модель автоматизированного оценивания результатов тестового контроля и алгоритм вывода итоговой оценки на основе этой модели;

2) построить и реализовать алгоритм автоматизированного определения объема теста, репрезентативного относительно используемой базы тестовых заданий по дисциплине при соблюдении действующих санитарных и организационных правил и норм, регламентирующих длительность непрерывной работы за компьютером;

3) разработать методическое обеспечение деятельности всех участников автоматизированного тестирования знаний на всех этапах этого процесса с применением эвристико-статистической модели оценивания результатов тестового контроля знаний студентов и алгоритма определения объема теста средствами АСУ ОП;

4) спроектировать модель организационной структуры, обеспечивающей регулярное автоматизированное педагогическое тестирование знаний студентов в вузе как компонента образовательного процесса.

Методологическую и теоретическую базу исследования составили: целостный, системный и личностно-деятельностный подходы к изучению и проектированию педагогических явлений (Ю.К. Бабанский, В.П. Беспалько, Е.В. Бондаревская, Б.С. Гершунский, B.C. Ильин, Ю.А. Конаржевский, A.A. Остапенко, A.M. Саранов, Н.К. Сергеев); дифференциально-интегральный подход к исследованию педагогических процессов и явлений (ГЛ. Бокарева, М.Ю. Бокарев); тестология (B.C. Ава-несов, А. Анастази, Н. Грунлунд, К. Ингекамп, А.Н. Майоров, Е.А. Михайлычев, И.Д. Рудинский, В.А. Хлебников, М.Б. Челышкова, А.Г. Шмелев); педагогическая диагностика (Ш.А. Амонашвили, А.И. Берг, О.С. Гребенюк, Е.А. Михайлычев, СЛ. Сафонцев, Н.Ф. Талызина, В.Д. Шадриков); экспертные методы в педагогических исследованиях (А.Й. Орлов, И.В. Роберт, Ю.В. Сидельников, B.C. Черепанов); сис-

темный анализ (В.М, Глушков, А.К. Дмитриев, ПЛ. Мальцев, Г.П. Мельников, Б. Рассел, В.А. Штофф); теория информации, инженерии знаний и искусственного интеллекта (Т.А. Гаврилова, A.B. Колесников, С. Осовский, Д.А. Поспелов, Ф.Е. Темников, В.Ф. Хорошевский); теория принятия решений и нечеткая алгебра (А.Н. Борисов, Л.Заде, А. Коффман); теория вероятностей и математическая статистика (Е.С. Вентцель, А.М. Длин, В.В. Оболонкин, В.А. Фигурин).

Исследование проводилось с использованием научных методов: теоретических (системного анализа педагогических явлений и процессов, педагогической диагностики, моделирования, конкретизации и обобщения результатов исследования, инженерии знаний и искусственного интеллекта, теории принятия решений и нечеткой алгебры, теории вероятностей и математической статистики, теории графов, теории автоматов) и эмпирических (сравнительного анализа учебной и педагогической деятельности, квалиметрии, педагогического эксперимента, методов экспертных оценок).

Основные этапы в организация исследования

На первом, аналитическом, этапе (2004-2005 гг.) осуществлялся анализ источников и работ по теме исследования, выявлялись и изучались Интернет-ресурсы и литературные источники по проблематике педагогического контроля учебных достижений, оценивания знаний методом педагогического тестирования и принял по решений о выставлении оценки за тест, проводилась систематизация требований к моделям оценивания знаний, уточнялся понятийный и научный аппарат исследования.

На втором, конструктивном, этапе (2006-2008 г.г.) анализировались и формулировались педагогические и организационные условия систематического проведения автоматизированного тестирования знаний студентов в вузе, проектировалась модель организационной структуры, обеспечивающей регулярное автоматизированное педагогическое тестирование знаний студентов в вузе как компонента образовательного процесса, была синтезирована и программно реализована эвристико-статистическая модель оценивания результатов тестового контроля знаний, разработаны и программно реализованы алгоритмы расчета объема теста, обеспечивающего репрезентативность применяемых контрольно-измерительных материалов.

На третьем, завершающем, этапе (2009-2011 гг.) разрабатывалось организационно-методическое обеспечение предложенных средств автоматизированного педагогического тестирования знаний студентов в вузе, проводилось экспериментальное исследование эффективности предложенных решений, оформлялись материалы диссертационного исследования.

Научная новизна результатов исследования заключается в проектировании и реализации организационно-методического обеспечения педагогического тестирования знаний студентов в вузе как компонента образовательного процесса, повышающего эффективность педагогического контроля знаний, в частности:

1) обоснована необходимость и продемонстрирована возможность повышения эффективности педагогического тестирования знаний студентов за счет: а) постро ения, применения и реализации принципиально новой модели эвристик о-статистического оценивания результатов тестирования, отличающейся от известных моделей (B.C. Аванесов, Ю.М. Нейман, А.Г. Шмелев) возможностью учитывать ла-

тешную информацшо, содержащуюся в выбранных испытуемыми вариантах ответов на тестовые задания; б) автоматизированного расчета объема теста, репрезентативного относительно общей базы тестовых заданий по дисциплине и позволяющего обеспечить соблюдение санитарных правил и норм, регламентирующих длительность непрерывной работы за компьютером;

2) разработано методическое обеспечение автоматизированного педагогического тестирования знаний студентов средствами АСУ ОП с применением эвристи-ко-сгатистической модели оценивания результатов тестирования знаний и алгоритма обеспечения репрезентативности теста;

3) предложена модель организационной структуры, обеспечивающей систематическое автоматизированное тестирование знаний студентов в вузе путем планово-организационной, консультативно-методической и экспертно-аналитической поддержки процесса автоматизированного тестирования знаний; регулярном использовании технологии автоматизированного тестирования знаний как одного из средств контроля учебных достижений студентов; разработан регламент подготовки и проведения автоматизированного тестирования знаний студентов с последующим анализом и использованием полученных результатов.

Теоретическая значимость результатов исследования заключается в построении и формальном описании эвристико-статисшческой модели оценивания результатов тестового контроля знаний студентов в вузе, обеспечивающей совмещение процедуры проверки статистических гипотез о виде закона распределения оценок истинности выбранных вариантов ответов с эвристическими алгоритмами принятия решений о выставлении итоговой оценки знаний за тест и в разработке алгоритма реализации этой модели в автоматизированной системе управления образовательным процессом; в алгоритмическом описании процедуры автоматизированного расчета объема теста, учитывающего действующие санитарные и организационные правила и нормы использования средств вычислительной техники и обеспечивающего репрезентативность педагогического теста относительно общей базы тестовых заданий по дисциплине. Тем самым вносится вклад в теорию педагогической диагностики, в теорию и методику профессионального образования.

Практическая значимость исследования состоит в том, что:

- реализация организационно-методического обеспечения автоматизированного педагогического тестирования знаний студентов средствами АСУ ОП позволяет повысить эффективность педагогического контроля в вузе за счет повышения достоверности результатов автоматизированного тестирования знаний студентов, поскольку расхождение между средними баллами экспериментальной труппы студентов, полученными по эвристико-статистической модели, и средними баллами, выставленными экспертной аттестационной комиссией, в 1.8 раза меньше расхождения между средними баллами контрольной группы студентов и средними балла-ни, выставленными этой же комиссией. Реализация предложенных решений также обеспечивает соответствие условий автоматизированного тестирования знаний студентов ограничениям длительности непрерывной работы с компьютером, установленным действующими санитарными нормами и правилами в области применения эдоровьесберегающих технологий для конкретных возрастных категорий обучаемых;

- реализация предложенной модели организационной структуры, обеспечивающей систематическое автоматизированное тестирование знаний студентов в вузе путем планово-организационной, консультативно-методической и экспертно-аналитической поддержки процесса автоматизированного тестирования знаний, создает предпосылки для превращения педагогического тестирования знаний в неотъемлемый компонент образовательного процесса в вузе, обеспечивающий регулярность, объективность, массовость и неотвратимость педагогического контроля;

- разработанное организационно-методическое обеспечение педагогического тестирования знаний студентов в вузе позволяет эффективно использовать созданный автором программный комплекс для оценивания результатов автоматизированного тестового контроля знаний студентов и повышения достоверности этих результатов в составе автоматизированных систем управления образовательным процессом, что подтверждается внедрением результатов диссертационного исследования в ФГОУ ВПО «Калининградский государственный технический университет» и в НОУ ВПО «Балшйский институт экономики и финансов».

Диссертация соответствует паспорту специальности 13.00.08 - теория и методика профессионального образования, поскольку область исследования включает совершенствование управления и организации учебно-воспитательного процесса в образовательных учреждениях высшего профессионального образования (п. 12), оптимизацию систем профессионального образования (п. 17), диагностику качества в профессиональном образовании (п. 21).

Достоверность п обоснованность результатов исследования основывается на теоретических положениях, полученных с использованием апробированных достижений современных фундаментальных и прикладных педагогических наук; на экспериментальном исследовании и подтверждении эффективности предложенного организационно-методического обеспечения; на успешной практической апробации пред ложенных решений.

Положения, выносимые на защиту:

1. Эффективность педагогического контроля знаний студентов в вузе повышается за счет повышения достоверности результатов автоматизированного тестирования знаний при реализации в АСУ ОП подсистемы автоматизированного тестирования на базе эвристико-статистической модели оценивания результатов тестового контроля знаний, основанной на совместном применении методов математической статистики и эвристических алгоритмов анализа степени истинности выбранных ответов на тестовые задания и вывода итоговой оценки за выполнение теста, а также за счет обеспечения репрезентативности формируемых и используемых в АСУ ОП тестов относительно общей базы тестовых заданий по дисциплине с учетом действующих санитарных правил и норм использования средств вычислительной техники.

2. Спроектированное организационно-методическое обеспечение всех этапов подготовки, проведения и контроля результатов автоматизированного педагогического тестирования знаний студентов вуза, в том числе составления и ведения графика тестирования, подготовки, апробации и оценивания качества тестов, ведения базы тестовых заданий, организации и проведения сеансов тестирования, анализа и

использования полученных результатов регламентирует деятельность в области педагогического контроля, осуществляемую преподавателями, работниками отдела тестирования, административным и учебно-методическим персоналом вуза, и повышает эффективность образовательного процесса в вузе за счет обеспечения регулярности, объективности, массовости и неотвратимости педагогического контроля.

3. Для организации и поддержки проведения автоматизированного педагогического тестирования знаний студентов в вузе должно быть создано подразделение, функции которого заключаются в осуществлении планово-организационной, консультативно-методической и экспертно-аналитической поддержке процесса тестирования знаний; разработке и реализации регламента подготовки и проведения тестирования знаний студентов с последующим анализом и использованием полученных результатов.

Апробация теоретических положений и результатов исследования проводилась на Межрегиональной научно-практической конференции «Инструментарий педагогической диагностики» (Таганрог, 2005 г.), V Всероссийской научно-технической конференции «Проблемы информатики в образовании, управлении, экономике и технике» (Пенза, 2005 г.), ХШ Международной конференции «Математика. Компьютер. Образование. МКО-2006» (Дубна, 2006 г.), Всероссийской научно-практической конференции «Информационные технологии в образовании и науке» ИТОН-2006 (Москва, 2006 г.), 2-й международной научно-практической конференции «Исследование, разработка и применение высоких технологий в промышленности» (Санкт-Петербург, 2006 г.), 26-м Европейском статистическом форуме EMS-2006 (Торунь, Польша, 2006 г.), конференции ИИО РАО «Информационные и коммуникационные технологии в общем, профессиональном и дополнительном образовании» (Москва, 2006 г.), конференциях «Информационные технологии в образовании» ИТО-2006 (Москва, 2006) и ИТО-2008 (Москва, 2008 г.), международной научно-практической конференции «Формирование информационной компетентности специалистов в условиях непрерывного образования» (Калининград, 2007 г.), Всероссийской научно-практической конференции «Информационные технологии в образовании, науке и производстве» (Серпухов, 2007), 2nd International Conference on Multi-Criteria Decision Making (Польша, Катовице, 2007 г.), Международной научно-практической конференции «Развитие отечественной системы информатизации образования в здоровьесберегающих условиях» (ИИО РАО, Москва, 2008 г.).

Внедрение результатов исследования. Результаты исследования внедрены в ФГОУ ВПО «Калининградский государственный технический университет» и в НОУ ВПО «Балтийский институт экономики и финансов» для использования в составе автоматизированных систем управления учебным процессом, что подтверждено соответствующими актами об использовании результатов.

Структура диссертации. Диссертация состоит из введения, трех глав, выводов по главам, заключения, списка литературы, списка сокращений, 13 таблиц, 40 рисунков, 153 страниц текста.

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обоснована актуальность проблемы, сформулированы цель и 'задачи исследования, определены объект, предмет и методы исследования, дша общая характеристика работы.

В первой главе «Анализ предметной области и организационно-методических проблем автоматизированного педагогического тестирования знаний» рассматривается проблематика организации и методического обеспечения автоматизированного педагогического тестирования знаний студентов в вузе.

Для выявления проблем в организации педагогического контроля знаний студентов в вузе и постановки задач по их устранению рассмотрим формализованное описание системы обучения, необходимое для достижения следующих целей:

■ декомпозиция процесса педагогического контроля знаний студентов на отдельные, поддающиеся алгоритмизации этапы;

■ выявление внешних факторов, оказывающих как регламентирующее (управление), так и возмущающее (помехи) воздействие;

■ определение возможностей и способов повышения эффективности реализации как процесса педагогического контроля в целом, так и отдельных его этапов и процедур.

Поскольку педагогический контроль знаний студентов является технологическим подпроцессом учебного процесса в вузе, выделим вначале основные компоненты системы обучения и проанализируем их связи между собой и с внешней средой. В качестве основы анализа воспользуемся формально-структурным подходом, позволяющим выявлять и описывать структуру систем обучения и протекающих в них процессов, а также анализировать объективно существующие связи и отношения между их элементами.

Рассматривая образовательный процесс в вузе как кибернетическую систему, можно выделить объект и субъект обучения (рис. 1).

Рис. 1 — Структура образовательного процесса как кибернетической системы

На этой схеме X - канал прямой связи от субъекта к объекту (процесс научения), по которому поступает поток данных Хр, в котором можно выделить управляющую X,, содержательную Хг и оценочную Хъ информационные компоненты:

Хр =< Х,,Х2,Х3 >; Ъ- входной канал, по которому происходит целеполагание, т.е. задание целей функционирования системы обучения, осуществляемое вышестоящими органами управления (надсистемой), которым административно подведомственна система обучения; J - второй входной канал (информационный), по которому система обучения получает из внешней среды информацию, составляющую содержательное наполнение процесса обучения (предмет изучения); Q — выходной канал, наличие которого предопределяет возможность непосредственного и персонифицированного контроля знаний студентов внешними по отношению к системе обучения экспертами; У - выходной канал, по которому во внешнюю среду поступает обобщенная информация о результатах функционирования системы обучения в целом, предоставляемая, как правило, в виде документов установленных форм государственной, статистической или иной отчетности; О - поток обратной связи (процесс контроля знаний), по которому субъект обучения получает учетную информацию о фактическом уровне знаний обучаемых, необходимую для оценивания результативности учебного процесса.

Канал обратной связи О играет важнейшую роль в любой системе обучения, нескольку именно по этому каналу осуществляется связь между объектом и субъектом обучения в ходе педагогического контроля знаний, что позволяет выявлять результативность учебного процесса и на этой основе оперативно управлять качеством обучения.

О бъект обучения - груша лиц (студенты), формирование у которых априори определенного уровня знаний считается целью функционирования системы обучения.

Субъект обучения составляют преподаватели, методический и административно-управленческий персонал, а также программно-технические средства, используемые для автоматизации процедур обучения студентов и контроля их учебных достижений.

Функции организации и планирования учебного процесса в вузе возложены на учебное управление, которое занимается решением таких задач, как составление расписания учебных занятий, расчет учебной нагрузки, контроль учебного процесса и т.п. Однако при организации систематического автоматизированного тестирования званий студентов возникает ряд специфических проблем, для решения которых необходимы специфические знания, компетенции и полномочия. Среди таких проблем следует выделить: планирование сеансов тестирования знаний в компьютерных классах, контроль качества составляемых тестов, ведение баз тестовых заданий, консультирование преподавателей и другие. Для решения таких задач в составе учебного управления вуза должно быть организовано специализированное подразделение - отдел тестирования знаний. Работники этого отдела должны обладать синтетическими знаниями в области педагогической тестологаи, организации и управления учебным процессом, информационных и коммуникационных технологий. Функции отдела тестирования заключаются в осуществлении планово-организационной, консультативно-методической и экспертно-аналитической поддержке процесса тестирования знаний; разработке регламента подготовки и прове-

дения тестирования знаний студентов с последующим анализом и использованием полученных результатов.

Для организации систематического автоматизированного тестирования знаний важное значение имеет методическое обеспечение этого процесса, под которым понимается совокупность документов (рекомендаций, руководств, инструкций и т.п.), регламентирующих деятельность сотрудников отдела тестирования и других участников автоматизированного контроля знаний на всех этапах его подготовки и проведения. Методические указания должны регламентировать такие виды деятельности участников автоматизированного тестирования знаний, как: формирование базы тестовых заданий по дисциплине, определение качества тестов, их репрезентативности относительно базы тестовых заданий, регламентирование процесса подготовки и проведения сеансов тестирования знаний студентов, процедуру оценивания знаний и анализа результатов тестирования.

На наш взгляд, важнейшим звеном автоматизированного тестирования знаний студентов в вузе является корректная организация оценивания результативности учебного процесса с применением современных ИКТ и математических методов.

Традиционно применяемая в автоматизированных системах контроля знаний бинарная модель оценивания истинности ответов на тестовые задания, согласно которой тестовое задание должно содержать ровно один абсолютно правильный отвел, не позволяет использовать ее при наличии нескольких в разной степени правильных вариантов ответа. Более адекватным для выставления оценки в рассматриваемой ситуации представляется использование алгебраической модели оценивания истинности ответов на тестовые задания, в которой истинность каждого варианта ответа характеризуется числом из интервала [0; 1]. Существенно большая информативность алгебраической модели позволила выдвинуть предположение, что при достаточно большом объеме предъявляемой студенту тестовой выборки, функции распределения истинности ответов студентов, демонстрирующих различные уровни знаний, тяготеют к вполне определенным законам распределения. Полигоны частот и параметры распределений выбираемых ответов имеют настолько выраженный характер, что возникла вдея использовать для вывода итоговой оценки информацию о выявляемых статистических тенденциях распределения истинности ответов (рис. 2).

Фактически, речь идет о принципиально новом подходе к оцениванию результатов тестирования, отличном от традиционного подсчета суммы баллов, назначаемых за каждый ответ, с последующим сопоставлением этой суммы с априорно заданными пороговыми значениями. Основой для принятия оценочного решения при этом становится статистическая информация о структурных параметрах функции распределения ответов на все предъявленные тестовые задания относительно применяемой шкапы описания степени истинности.

Статистическая обработка информации о распределении истинности ответов студентов достаточно трудоемка и может быть эффективно реализована только средствами автоматизированного контроля знаний.

Однако, как показали эксперименты (здесь и далее предполагается однородность выборки), статистическая модель «в чистом виде» может использоваться только при выполнении ряда ограничений (основные из них: объем выборки должен состав-

лять не менее 30 тестовых заданий; на интервалах шкалы истинности должны отсутствовать малочисленные частоты; общее число интервалов шкалы истинности должно быть более трех; среднеквадратичное отклонение вариант выборки должно быть отлично от нуля).

1. Экспоненциальное распределение оценка «неудовлетворительное

2. Нормальное распределение оценка «удовлетворительно»

распределение оценка «хорошо»

4. Зеркально отраженное 5. Равномерное распределение

экспоненциальное распределение оценка «неудовлетворительно»

оценка «отлично»

Рис. 2 - Виды теоретических распределений истинности ответов

испытуемых

В противном случае для получения достоверной оценки знаний формальный аппарат статистической проверки гипотез о распределении истинности должен дополняться эвристическим механизмом анализа результатов тестирования, в рамках которого отдельным вариантам распределения частот ответов будут назначаться соответствующие оценки знаний.

Таким образом, дополнение статистической модели эвристической составляющей позволит автоматизировать выставление итоговой оценки в тех ситуациях, где применение статистических методов теоретически невозможно или нецелесообразно. Описанные принципы положены в основу предлагаемой эвристико-статистической модели оценивания знаний.

Тестовый контроль учебных достижений в вузе обладает рядом специфических черт, наиболее важными из которых следует признать разнородность средств и методов обучения, большой объем самостоятельной и практической работы и, как следствие, большой объем подлежащей запоминанию информации. Следовательно, встает задача автоматизированного расчета такого объема теста, который бы позволил с необходимой достоверностью отразить фактический уровень знаний студентов. С точки зрения педагогики, чем больше объем контрольно-измерительных материалов, тем более достоверно можно выявить уровень знаний студента вследствие большего «покрытия» контролируемой тематики.

15 идеальном случае, абсолютно достоверную оценку можно получить, предъявив студенту задания по всем вопросам конкретной темы (т.е. объем тестовой выборки должен быть равен объему генеральной совокупности). Однако на практике

этому препятствуют ограничения по времени, требования СанПиН и другие нормативы, поэтому контроль знаний всегда оказывается выборочным. Соответственно, при традиционных подходах к организации педагогического тестирования, как правило, используются заведомо нерепрезентативные тесты недостаточного объема. Следовательно, с позиций математической статистики, результаты такого тестирования не обладают необходимой достоверностью ввиду недостаточного объема выборочной совокупности, которую, фактически, представляет собой множество тестовых заданий, предъявляемых в ходе тестирования конкретному испытуемому.

В то же время, задачи статистической обработки большого объема данных и определения репрезентативности выборок из них успешно решаются во многих отраслях народного хозяйства с применением методов математической статистики. Адаптация таких методов для их применения в автоматизированной системе контроля знаний, в алгоритме расчета минимально необходимого объема теста, позволит обеспечить требуемую достоверность результатов педагогического тестирования.

Вторая глава «Средства повышения эффективности автоматизированного педагогического тестирования знаний» посвящена разработке, формальному описанию и исследованию эврисгако-ста'шстической модели оценивания знаний, построению алгоритма автоматизированного вывода итоговой оценки на основе этой модели, а также построению алгоритма автоматизированного определения объема теста, обеспечивающего репрезентативность применяемых КИМ относительно используемой базы тестовых заданий по конкретной дисциплине.

Важнейшим элементом предлагаемой модели является визуализация процесса выработки итоговой оценки в конкретных ситуациях, описываемых определенными функциями распределения истинности ответов испытуемых. Требуемую наглядность обеспечивает граф поиска решения типа «дерево» (? = (V, Е); где множеству вершин V соответствуют отдельные состояния алгоритма принятия решения по выводу итоговой оценки знаний за тест, а множеству ребер Е - переходы к новым состояниям на основе решений, принимаемых в результате анализа данных на текущем этапе. Общий вид графа представлен на рис. 3.

На этапе предварительного анализа исходные данные проверяются на корректность. В случае их некорректности (например, при нулевом значении среднеквадратичного отклонения - ситуация 1) в базе данных ищется наиболее близкий шаблон эмпирического распределения истинности ответа, и выставляется соответствующая этому шаблону предварительная оценка. Параллельно с использованием аппарата математической статистики вычисляются числовые характеристики эмпирического распределения (математическое ожидание и дисперсия), по которым принимается окончательное решение по выставляемой итоговой оценке. Аналогичная эвристическая процедура выполняется и при выявлении особого вида полигона частот (ситуация 2), когда вид функции распределения истинности ответов студентов резко отличается от канонических законов распределения.

В случае корректности исходных данных последовательно проверяются статистические гипотезы о законе рапределения эмпирической выборки, состоящей из сгруппированных по интервалам степеней истинности ответов студентов.

Условные обозначения: AM- анализ на монотонность; ЗВПЧ - заданные варианты полигонов частот; ЛП - левостороннее перекрытие; НП - нет перекрытий; Оц - оценка; ПП - правостороннее перекрытие; ПСРЧ - предопределенные ситуации распределений частот; ПЧХВ - подсчет числовых характеристик выборки; Р - рекомендация; CI, С2, ... CN- множество ситуаций с принятием более двух гипотез одновременно; ЭН - эвристические настройки.

Рис. 3 —Граф поиска решений

Если ни одна из гипотез не принимается (ситуация 3), то решение о выставлении оценки выносится на основании данных о проецировании интервала [М - а;М + сг] на заранее заданную оценочную шкалу вида S„s ={0;0l;d,;02;d2;...;0n_i;dn_];0„;\}, где М - математическое ожидание выборки, о2-дисперсия выборки, 0„ - допустимое значение выставляемой оценки. По результатам анализа организатору тестирования выдается рекомендация по выставлению оценки, т.к. для более точного результата в этой ситуации требуется уточнение данных (например, увеличение объема теста).

В случае, когда принимается единственная гипотеза (ситуация 4), для ее подтверждения по подсчитанным числовым характеристикам выборки М(х), <гг(х) и заранее заданной доверительной вероятности Р строится доверительный интервал, который впоследствии проецируется на оценочную шкалу SnS. При этом учитывается возможное перекрытие доверительным интервалом (X - b; X + Ь), где b - полуширина доверительного интервала, хотя бы одного полуинтервала (di_x;di] оценочной шкалы В случае отсутствия перекрытий выставляется итоговая оценка. В противном случае организатору тестирования выдается рекомендация о выставлении предварительной оценки и необходимости уточнения данных для получения более точного результата.

Эвристический подход может использоваться и в тех случаях, когда оценка за тест является очевидной для экспертной группы, хотя получаемые при выполнении

статистического алгоритма результаты выдают лишь рекомендацию по выставлению оценки. Для принятия окончательного решения в этом случае вводятся так называемые эвристические настройки, представляющие собой шаблоны с набором характеристик распределения ответов и допустимым диапазоном «вариаций», которые сопоставляются с рекомендуемой оценкой знаний.

При одновременном принятии двух гипотез (ситуация 5) данные анализируются на монотонность. По результатам анализа одна из гипотез отвергается, а оставшаяся гипотеза подвергается дальнейшей проверке путем построения доверительного интервала (Х-Ь;Х + Ь) и его проецирования на оценочную шкалу 5'„,;.

Одновременное принятие нескольких гипотез (более двух) возможно при наличии так называемой малой выборки, когда объем теста недостаточен (п < 30) дал использования аналитического аппарата математической статистики. В этом случае организатор тестирования уведомляется о необходимости увеличения объема выборки и проведении повторного тестирования.

Блок-схема алгоритма автоматизированного эвристако-статистического оценивания знаний испытуемых представлена на рис. 4.

Рис. 4 - Блок-схема алгоритма автоматизированного эвристико-статистического оценивания знаний

Требование обеспечить достоверность результатов тестирования и ограниченность времени на проведение контроля знаний обусловливают постановку задачи определения объема репрезентативного теста, выполнение которого не превышает установленные временные ограничения и не противоречит действующим санитарным и организационным нормам и правилам. При этом в качестве генеральной совокупности рассматривается множество тестовых заданий по дисциплине или ее конкретному разделу (хранящееся в базе данных АСКЗ), а множество тестовые

заданий, предъявляемых испытуемому в ходе тестирования, выступает в роли случайной выборочной совокупности.

Е! настоящей работе предполагается, что тест формируется случайным бесповторным способом, при котором каждому тестовому заданию обеспечивается одинаковая вероятность быть выбранным для предъявления испытуемому.

При формировании теста на базе случайной, бесповторной, простой выборки большого объема (п > 30) необходимый объем теста п, который с указанной доверительной вероятностью Р обеспечивает точность, заданную предельной ошибкой репрезентативности Лг, можно определить по формуле:

"-д'^+г'з2'

где г - величина, определяемая по значению доверительной вероятности Р из таблицы для случая нормального распределения вариант выборки (п > 30); - выборочное среднеквадратичное отклонение, на практике заменяется значением, полученным в предшествующих обследованиях или при пробных выборках; А-г - величина

максимально допустимой ошибки, Дг=/ // и // = ,!—(а2— генеральное

V п N

среднеквадратичное отклонение; ц - средняя ошибка выборки; N - объем базы тестовых заданий.

В ряде случаев возникает необходимость обеспечить более равномерное представительство в выборочной совокупности различных типов тестовых заданий (например, необходимо пропорционально представить в тесте тестовые задания с одиночным выбором, с множественным выбором, на установление соответствий, на упорядочение и др.). Такая цель достигается применением расслоенной (типической или с-гратифицированной) выборки. В этом случае неоднородная база тестовых за-Дсший подразделяется на более однородные в отношении изучаемых признаков (в нашем случае — тип тестового задания) группы. По каждой группе определяются ее объем (Щ и число подлежащих наблюдению единиц (и,).

При формировании типической выборки наиболее интересен вариант, при котором общее число единиц выборочной совокупности распределяется между группами пропорционально численности этих групп в составе генеральной совокупности.

Общая численность единиц в генеральной совокупности определяется как:

где N1, Ы2,..., А^- численность отдельных групп базы тестовых заданий. Аналогично, общий объем теста вычисляется но формуле:

п = + п2 + ...+ пт,

где п/, п2,..., пт- численность отдельных групп базы тестовых заданий.

Объем каждой группы в тесте определяется как: щ=п-~ъ где — - удельный

N N

вес группы в генеральной совокупности. Средняя ошибка выборки определяется

как: ц = .—(1--), где 5''- средняя групповая выборочная дисперсия средней;

V п N

> £ я ^

52 ', где - внутригрупповая дисперсия г-й группы в выборочной сово-

купности. Предельная (максимально возможная) ошибка типической выборки:

Если известны характеристики базы тестовых заданий, то для расчета необходимого общего объема теста и требуемой численности отдельных групп в тесте при типическом способе отбора можно предложить следующий алгоритм (при использовании пропорционального отбора тестовых заданий):

1. По заданному значению доверительной вероятности Р, значению ^ (выбранному из таблицы для конкретного Р), известному объему базы тестовых заданий М, средней групповой выборочной дисперсии У2 и величине предельной ошибки Л, определяем общий объем теста (,?2 определяется по пробной выборке либо заменяется на соответствующее значение из генеральной совокупности):

Лг-г2-*2 п =-!-5-7-

N _

2. Находим значения п> по формуле и,. = и —, учитывая, что ¿^п, = п.

Представленный на рис. 4 алгоритм автоматизированного эвристако-статистического оценивания знаний совместно с алгоритмом определения объема теста создают основу для реализации этой модели в составе АСУ ОП, структурная схема которой изображена на рис. 5, и разработки методических рекомендаций по их практическому применению.

Учебно-методический блок

Подсистема «Учебное управление»

Подсистема «Методическое обеспечение»

Подсистема «Управление расписанием и учебной нагрузкой преподавателей»

Подсистема подготовки и проведения тестирования

Подсистема оценивания знаний

Экспертно-зиалитическая подсистема

Рис. 5 - Структурная схема АСУ ОП

В третьей главе «Организационно-методическое обеспечение автоматизированного тестирования знаний студентов в вузе и анализ результатов педагогического эксперимента» приводятся методические рекомендации по организации и проведению педагогического тестирования знаний студентов в вузе и результаты экспериментального исследования предложенных решений.

Для эффективного применения эвристико-статистической модели оценивания знаний и алгоритма расчета объема теста средствами АСУ ОП разработано методическое руководство по подготовке и проведению тестирования знаний. В укрупненной методике подготовки и проведения автоматизированного тестирования знаний студентов выделяется пять основных этапов.

На первом этапе сотрудники отдела тестирования по представлению заведующих кафедрами, на которых читаются конкретные дисциплины, и по согласованию с деканатами соответствующих факультетов составляют графики тестирования знаний студентов на предстоящий учебный год. Эти графики рассылаются по кафедрам вуза и доводятся до преподавателей, которым поручается готовить новые либо корректировать существующие тестовые задания по читаемым дисциплинам.

На втором этапе преподаватели-эксперты составляют либо корректируют тестовые задания по заданной теме (дисциплине), предлагают количественные значения их параметров (сложность и важность задания, а также степени истинности каждого варианта ответа) и передают эти задания в отдел тестирования для занесения в базу тестовых заданий. Тестологи-сотрудники отдела тестирования проводят априорное оценивание качества полученных КИМ и полноту сформированной базы тестовых заданий. При выявлении недостатков тестовые задания возвращаются авторам на корректировку, после чего проверка повторяется.

На третьем этапе тестологи рассчитывают объем теста, репрезентативного относительно имеющейся базы тестовых заданий по соответствующей дисциплине (теме) и формируют тесты необходимого объема Для оценивания качества сформированных тестов при необходимости по согласованию с деканатами и кафедрами могут проводиться сеансы пробного тестирования.

На четвертом этапе в соответствии с утвержденным графиком проведения тестирования тестологи готовят сеансы автоматизированного контроля знаний, совместно с ответственными преподавателями организуют и контролируют их проведение и обеспечивают передачу результатов контроля знаний студентов в базу данных АСУ ОП и в деканаты соответствующих факультетов.

На пятом этапе сотрудники отдела тестирования проводят апостериорное оценивание качества полученных результатов автоматизированного тестирования знаний, оценивают качество тестов и отдельных тестовых заданий и на этой основе формулируют рекомендации авторам тестовых заданий по корректировке КИМ, корректируют и совершенствуют сценарии проведения тестирования знаний студентов. В течение всего учебного года тестологи оперативно консультируют преподавателей вуза по вопросам подготовки (корректировки) тестовых заданий и по рациональной организации сеансов тестирования, а в необходимых случаях - организуют и проводят циклы занятий по повышению квалификации преподавателей в области педагогической тестолопш.

В ходе экспериментального исследования предложенных решений проверялась гипотеза о том, что реализация алгоритмов эвристико-статистического оценивания знаний и автоматизированного расчета объема теста позволит повысить достоверность результатов тестирования знаний. Первичные результаты тестирования двух учебных потоков численностью 40 и 45 студентов оценивались по алгебраической и эвристико-статистической моделям оценивания знаний, после чего анализировались экспертной аттестационной комиссией, мнение которой принималось за априори объективным.

Численные результаты эксперимента приведены в таблице 1.

___Таблица 1

Поток/метод оценивания Кол-во студентов в потоке Кол-во полученных оценок Средневзвешенное значение степени истинности Средний балл (оценка)

Неуд. Удовл. Хор. От.1.

Интервалы шкалы истинности

[0; 0,3) [W; ОД [0,5; 0,8) [0,8; И

Середина интервала

0,15 0,4 0,65 0,9

Поток 1 (алгебраическое оценивание) 40 9 11 13 7 0,545 3,45

Поток 2 (гибридное оценивание) 45 8 12 16 9 0,58 3,5Ь

Поток 1 (экспертное оценивание) 40 5 23 6 6 0,4963 3325

Поток 2 (экспертное оценивание) 45 10 10 17 8 0,5656

Степень существенности различия экспертных оценок и оценок, полученных с применением моделей алгебраического и гибридного (эвристико-статистического) оценивания оценивалась по критерию у?. Расчеты показали, что расхождение оценок потока 1 (алгебраическое оценивание) и экспертных оценок является статистически существенным, поскольку для этого случая y?3lfR = 8,034; Х2криг= 7,815; т.е. х2эмп> Х2ц>иг- В то же время, расхождение оценок потока 2 (эври-стико-статистическое оценивание) и экспертных оценок является статистически несущественным, поскольку для этого случая х2эмп = 0,4932; х2^ = 7,815; т.е. %2ЖП <

% криг-

Как показывают расчеты, минимально необходимый объем и репрезентативного теста при объеме базы тестовых заданий N=96 и доверительной вероятности Р -0,9 (табличное значение t = 1,65; предельная ошибка 10%) должен составлять

Nt2S2 96*î,652* 0,0652 ... ч ' „ ЛО,-

"р.0 9 А.ю%=-5—г~г =-'—5—ч-= 34,03« 35 (ед.), а при Р = 0,95

' N-&х + t S 96 * (0,1 * 0,5) + 2 * 0,0652

(табличное значение t - 1,96; предельная ошибка 10%):

М252 96*1,962 * 0,0652

"Л.095Л...0-/.--5—I—г---,—,--=48,01« 49 (ед.). Следовательно,

Л-ома-ЮЛ дг.д^ ^¿.з 96*(0,1 *0,5) + 2 *0,0652

в }тсазанных условиях тест объемом от 35 до 49 тестовых заданий обеспечивает достаточную репрезентативность теста. При усредненном объеме теста п = 40 заданий и средней длительности выполнения каждого задания 1,5 мин. суммарное время выполнения теста составит 60 минут, что не противоречит статье 9.2.2 действующих СанПиН 2.2.2/2.4.1340-03 «Гигиенические требования к персональным электронно-вычислительным машинам и организации работы».

Разница в средних баллах у потока 2 (гибридное оценивание) и экспертной группы составляет 3,58 - 3,51 = 0,07 против аналогичной разницы у потока 1 (алгебраическое оценивание) и экспертной группы 3,45 - 3,325 = 0,125, что подтверждает гипотезу эксперимента и свидетельствует о том, что реализация алгоритмов эвристнко-статистнческого оценивания знаний и автоматизированного расчета объема теста повышает достоверность результатов тестирования знаний.

Полученные в ходе исследования и проверенные экспериментально выводы приведены в заключении.

1. Эффективность педагогического контроля в вузе может быть увеличена при условии повышения достоверности результатов педагогического тестирования знаний студентов при реализации в АСУ ОП эвристико-статистической модели автоматизированного оценивания результатов тестового контроля и алгоритма расчета объема теста, репрезентативного относительно базы тестовых заданий по дисциплине и соответствующего ограничениям длительности непрерывной работы с компьютером, установленным действующими санитарными нормами и правилами в области применения здоровьесберегающих технологий для конкретных возрастных категорий обучаемых.

2. Спроектированное организационно-методическое обеспечение всех этапов по,аготовки, проведения и контроля результатов автоматизированного педагогического тестирования знаний студентов вуза, в том числе составления и ведения графика тестирования знаний студентов, формирования, корректировки, апробации и априорного оценивания качества тестов и полноты базы тестовых заданий по конюшим дисциплине, определения объема теста, репрезентативного относительно базы тестовых заданий по дисциплине, организации сеансов пробного тестирования, организации и контроля за проведением сеансов тестирования и передачей результатов в информационную базу и деканаты, анализа качества результатов тестирования, формирования рекомендаций и оперативного консультирования персонала вуза по вопросам тестирования регламентирует деятельность в области педагогического контроля, осуществляемую преподавателями, работниками отдела тестирования, административным и учебно-методическим персоналом вуза, и повышает эффективность образовательного процесса в вузе в целом за счет обеспечения регулярности, объективности, массовости и неотвратимости педагогического контроля, что подтверждается данными педагогического эксперимента.

3. Для организации и обеспечения проведения регулярного автоматизированного педагогического тестирования знаний студентов как компонента образовательного процесса в вузе должно быть создано подразделение, функции которого

заключаются в осуществлении планово-организационной, консультативно-методической и экспертно-аналитической поддержки регулярного автоматизированного тестирования знаний; разработке и реализации регламента подготовки и проведения тестирования знаний студентов с последующим анализом и использованием полученных результатов. Создание и функционирование такой структуры позволит повысить эффективность педагогического тестирования за счет обеспечения его массовости, регулярности и неотвратимости.

Основные положения диссертационного исследования отражены в публикациях:

Научные статьи

1. Емелин М.А., Рудинский И.Д. Реализация эвристико-статистической модели оценивания знаний в автоматизированной системе управления учебным процессом //Информатизация образования и науки. -2010.-Вып. 4(8).-0,7 пл. (из перечня ВАК), (лично автором - 0,5 пл.).

2. Емелин М.А. Гибридная эвристико-статистическая модель оценивания знаний // Информатика и образование. - 2009. - Вып. 8. - 0,32 пл. (из перечня ВАК), (лично автором - 0,32 пл.).

3. Емелин М.А. Экспериментальное исследование процедуры контроля знаний с использованием гибридной эвристико-статистической модели // Ученые записки ИИО РАО. - Москва, 2008. - Вып. 20. - 0,3 пл. (лично автором - 0,3 пл.).

4. Емелин М.А. Процедура принятия решений в гибридной эвристико-статистической модели оценивания знаний // Мат-лы конференции - выставки «Информационные технологии в образовании ИТО-2008». - М., 2008. - 0,2 п.л. (лично автором — 0,2 пл.).

5. Аскеров Э.М., Емелин М.А., Рудинский И.Д. Автоматизированное тестирование знаний как элемент информационной компетентности преподавателей II Мат-лы международной научно-практической конференции «Формирование профессиональной компетентности специалиста в условиях непрерывного образования». -Калининград, 2007. - 0,2 пл. (лично автором - 0,1 пл.).

6. Askerov Е., Emelin М., Rudinskiy I. Multiple criteria vector testing results evaluation model II International Workshop on Multiple Criteria Decision Making. - Katowice, 2007. - 0,35 пл. (лично автором - 0,2 пл.).

7. Емелин МЛ., Рудинский И.Д. Граф принятия решений в гибридной эвристико-статистической модели оценивания знаний // Сб. трудов I Всероссийской научно-практической конференции «Информационные технологии в образовании, науке и производстве». - Серпухов, 2007. - 0,2 пл. (лично автором - 0,1 пл.).

8. Емелин МА., Рудинский ИД. Обеспечение репрезентативности выборки тестовых заданий при автоматизированном контроле знаний // Информационные технологии моделирования и управления. - Воронеж, 2007. - Вып. 9 (43). - 0,5 пл. (лично автором - 0,3 пл.).

9. Емелин М.А., Рудинский И.Д. Гибридная система принятия решений в статистической модели оценивания знаний // Сб. тезисов конференции «Математика. Компьютер. Образование. МКО-2006». - Дубна, 2006 - 0,05 пл. (лично автором -0,03 пл.).

10. Аскеров Э.М., Емелин М.А., Рудинский И.Д., Седова А.Е., Строилов Н.А. Интеллектуальные информационные технологии тестирования знаний как фактор повышения качества образовательного процесса // Сб. трудов П МНПК «Исследование, разработка и применение высоких технологий в промышленности». - СПб., 2006. - том 6. - 0,2 п.л. (лично автором - 0,05 пл.).

11. Аскеров Э.М., Емелин М.А., Рудинский И.Д., Строилов Н.А. Принципы и технологии создания интегрированной автоматизированной системы контроля знаний // Сб. тезисов Всероссийской научно-практической конференции ИТОН-2006. -М., 2006. - 0,25 пл. (лично автором - 0,07 пл.).

12. Аскеров Э.М., Емелин М.А., Рудинский И.Д. О построении векторной модели оценивания знаний // Ученые записки ИИО РАО.- М., 2006,- том 20. - 0,4 пл. (лично автором - 0,2 пл.).

13. Аскеров Э.М., Емелин М.А., Рудинский И.Д., Строилов Н.А. Технология реализации автоматизированной системы контроля знаний // Сб. трудов конференции «Информационные технологии в образовании ИТО-2006». - М., 2006. - 4.5. -0,25 пл. (лично автором - 0,07 пл.).

14. Emelin М., Rudinskiy I. Hybrid decision-making system in statistical knowledge evaluation model // 26th European Meeting of Statisticians. - Torun, 2006. - 0,2 пл. (лично автором - 0,15 пл.).

15. Аскеров Э.М., Емелин М.А., Рудинский И.Д. Опыт реализации интегрированной автоматизированной системы контроля знаний» // Инструментарий педагогической диагностики и мониторинга образовательных процессов. - Таганрог, 2005. - 0,25 пл. (лично автором - 0,1 пл.).

16. Емелин М.А., Рудинский ИД. Метод дефуззификации исходных данных для модели статистического оценивания знаний // Сб. статей V Всероссийской научно-технической конференции «Проблемы информатики в образовании, управлении, экономике и технике». - Пенза, 2005. - 0,3 пл. (лично автором - 0,2 пл.).

Общий объем опубликованных работ по теме диссертации — 2,89 пл.

Емелин Максим Анатольевич

Автореферат диссертации на соискание ученой степени кандидата педагогических наук

Подписано в печать_2011. Формат 60 * 84/16. Объем 1,5 пл. Тираж 120 экз.

Заказ № 5^ТипографияИздательстваФГОУ ВПО «КГТУ». 236000 Калининград

Советский пр. 1.