Система оценки качества знаний студентов на основе нейронных сетей

Жуйков, Виктор Викторович

Темы диссертаций по педагогике » Теория и методика профессионального образования

автореферат и диссертация по педагогике 13.00.08 для написания научной статьи или работы на тему: Система оценки качества знаний студентов на основе нейронных сетей

Автореферат

Автор научной работы: Жуйков, Виктор Викторович
Ученая степень: кандидата педагогических наук
Место защиты: Курск
Год защиты: 2009
Специальность ВАК РФ: 13.00.08

Диссертация

Автореферат диссертации по теме "Система оценки качества знаний студентов на основе нейронных сетей"

На правах рукопис и

Жуйков Виктор Викторович

СИСТЕМА ОЦЕНКИ КАЧЕСТВА ЗНАНИЙ СТУДЕНТОВ НА ОСНОВЕ НЕЙРОННЫХ СЕТЕЙ

13.00.08 - теория и методика профессионального образования

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата педагогических наук

Курск - 2009

003473692

Работа выполнена в государственном образовательном учреждении высшего профессионального образования «Курский государственный университет» на кафедре программного обеспечения и администрирования информационных систем.

Научный руководитель: кандидат педагогических наук, доцент

Кудинов Виталий Алексеевич

Официальные оппоненты: доктор педагогических наук, профессор

Образцов Павел Иванович

кандидат педагогических наук, доцент Шевердин Игорь Вячеславович

Ведущая организация: государственное образовательное учреждение

высшего профессионального образования «Московский городской педагогический университет»

Защита состоится «26» июня 2009 года в 14.00 часов на заседании диссертационного совета Д 212.104.01 в Курском государственном университете по адресу: 305000, г.Курск, ул. Радищева, д. 33.

С диссертацией можно ознакомиться в библиотеке университета по адресу: 305000, г.Курск, ул. Радищева, д.ЗЗ

Текст автореферата размещён на сайте Курского государственного университета: www.kurks-um.ru «22» мая 2009 года.

Автореферат разослан «22» мая 2009 г. Ученый секретарь -—

диссертационного совета , ------H.A. Тарасюк

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы диссертации.

Современный уровень развития науки и технологий ставит перед системой высшего профессионального образования задачу переосмысления проблем контрольно-оценочного процесса. Существующие на данный момент подходы к оценке качества знаний студентов зачастую имеют множество недостатков, таких как повышенная сложность, узкая применимость, стихийность, нерациональное использование методов и форм, отсутствие дидактической целенаправленности, недостаточная упорядоченность проведения контроля.

Увеличение объёма получаемой информации и повышение сложности образовательных программ выдвигают на первый план аспекты оперативности их изучения и систематизации. В современных системах контроля и оценки качества знаний данное направление остаётся неисследованным.

A.И. Субетго, Г.В. Гутник. Вопросы методологии построения образовательных технологий были в сфере научных интересов Л.Андерсона, Н.В. Апато вой, В.П. Беспалько, В.И. Боголюбова, В.В. Гузеева и др. Исследованиям в области построения рейтинговых систем контроля и качества обучения посвящены труды С.Н. Дуброва, Ю.В. Попова, В.П. Подлеснова, Е.С. Брискина,

B.И. Садовникова, И. Р. Павловой, H.A. Воронковой. Вопросы в области построения систем контроля и качества обучения на основе тестовых технологий интересовали О.Д. Юнеева, М.Б. Шашкина, Н.Д. Нестеренко, Г.Н. Хуба-ев, O.A. Маркова.

Научный подход к совершенствованию учебного процесса ставит перед собой задачу информатизации всех его этапов для обеспечения более эффективного усвоения знаний, умений, навыков обучаемыми с целью реализации успешного выполнения задач профессиональной деятельности. Без систематического и достаточного по объему осуществления принципа обратной связи не может всерьез идти речь об эффективном управлении процессом обучения.

К сожалению, до сих пор в практике вузовского обучения данный принцип реализуется очень слабо и в весьма несовершенной форме. Каждый из применяемых методов и форм проверки уровня знаний студентов имеет свои преимущества и недостатки, свои ограничения. Данные, полученные на этапе контроля и измерения результатов обучения, могут способствовать изменению методики изложения материала, поэтому решение вопросов информатизации соответствующего направления является важной задачей с педагогической точки зрения.

Для контроля над ходом образовательного процесса необходимо внедрять современные системы обработки информации, основанные на теории искусственного интеллекта. Результаты контроля учебной деятельности представляют собой набор ответов, зависящий от многочисленных параметров, многие из которых трудно формализуемы. Для того чтобы учитывать их, необходимы гибкие математические инструменты, одним из которых может служить нейронная сеть.

Нейронные сети, несмотря на то что не имеют универсальной структуры, подходящей для всех областей применения, являются инструментом для эффективного решения широкого круга задач. В настоящий момент уровень развития информационных технологий предоставляет возможность использовать нейронные сети, в том числе и при оценке качества знаний. Система оценки качества знаний студентов на основе нейронных сетей позволит упростить и реструктуризировать контрольно-оценочный процесс.

Проблемы использования достижений в области искусственного интеллекта, в том числе искусственных нейронных сетей, в различных сферах деятельности получили теоретическую и практическую разработку в трудах многих исследователей. Вопросам построения интеллектуальных обучающих систем уделили внимание В.Л. Латышев, М.В. Суханова, О.В. Покалицына, И.А. Суслова, В.А. Кудинов. Тем не менее, в комплексе система оценки качества знаний студентов на основе нейронных сетей ещё не исследовались. Сложность исследования усугубляется его междисциплинарным характером, обусловленным его положением на стыке педагогических и технических теорий и парадигм.

Анализ существующих источников информации, посвящённых контролю и оценке результатов обучения, вскрывает целый ряд противоречий:

- существование предпосылок в необходимости создания системы оценки качества знаний студентов на основе нейронных сетей, с одной стороны, и недостаточное внимание вопросам реализации и методики использования системы в профессиональном образовании - с другой;

- существование необходимости использования в области оценки качества знаний студентов последних достижений в области нейронных сетей, с одной стороны, и отсутствие исследований в данной области, с другой стороны;

- существование необходимости создания модели обучающегося относительно предметной области и отсутствие методики и информационных средств решения данной задачи.

Научно-практические потребности и выявленные противоречия позво лили определить проблему исследования: каковы теоретические основы г педагогические условия моделирования и применения системы оценки качества знаний студентов на основе нейронных сетей?

Цель исследования - разработка и апробация математической модели системы оценки качества знаний студентов на основе нейронных сетей.

Объект исследования - образовательный процесс в высшей школе.

Предметом исследования является математическая модель системы оценки качества знаний студентов на основе нейронных сетей.

Гипотеза исследования заключается в предположении о том, что искусственные нейронные сети позволят повысить результативность контрольно-оценочного процесса знаний студентов. Эффективность системы оценки качества знаний студентов на основе нейронных сетей может быть значительно повышена, если:

- при решении многокритериальной задачи генерации контрольно-оценочного материала будет использована ЭВМ;

- в процессе мониторинга качества знаний с использованием модели усвоения предметных знаний обучающегося будут использованы нейронные сети;

- на основе объективных контрольно-оценочных данных с эффектом накопления будет строиться модель полноты усвоения знаний образовательной области на основе нейронных сетей;

- обеспечивается управление процессом оценки качества знаний студентов на основе нейронных сетей.

Исходя из гипотезы и цели исследования, были поставлены следующие задачи:

1) проанализировать состояние системы оценки качества знаний студентов в профессиональном образовании;

2) разработать математическую модель системы оценки качества знаний студентов на основе нейронных сетей;

3) создать программные средства, обеспечивающие информационную поддержку мониторинга оценки качества знаний студентов на основе нейронных сетей;

4) определить организационно-педагогические условия эффективности системы оценки качества знаний студентов на основе нейронных сетей.

Методологическую основу исследования составляют работы в области системного анализа (A.B. Антонов, Н.П. Бусленко, В.Н. Волкова, A.A. Денисов, Ф.И. Перегудов, Ф.П. Тарасенко); работы в области тестового контроля качества учебных достижений обучающихся (B.C. Аванесов, Б.В. Володин, В.Н. Бочаров, В.И. Васильев, Г.А. Епанчинцева, К.Т. Кузовлева, Н.И. Пак, А.Л. Симонова); работы в области измерения качества знаний (A.A. Аветисов, Т.С. Анисимова); работы в области управления качеством образования (А.Г. Бермус, П.Л. Брусиловский); работы в области нейронных сетей (A.B. Гаврилов, В.А. Головко, А.Н. Горбань, В.В. Круглов, В.В. Борисов).

Теоретической основой исследования явились:

- идеи и теории тестового контроля качества учебных достижений обучающихся (B.C. Аванесов, В.Н. Бочаров, А.Н. Майоров);

- теории в области мониторинга качества знаний профессионального образования (А.И. Кукуев, А.Н. Майоров, A.A. Макаров);

-теории педагогических измерений (A.A. Аветисов, В.П.Беспалько, Т.С. Анисимова, Н.М. Розенберг, Г.Н. Хубаев);

- теория системного анализа (A.B. Антонов, Н.П. Бусленко, В.Н. Волкова, A.A. Денисов, Ф.И. Перегудов, Ф.П. Тарасенко, Э.В. Попов, И.Б. Фоминых, В.Н. Спицнадель);

- теории качества профессионального образования (В.П.Беспалько, O.E. Лебедев, И .Я. Лернер, В.Д. Шадриков);

-теория нейронных сетей (A.B. Гаврилов, В.В. Круглое, В.В. Борисов, Ф. Уоссерман);

- теории педагогических систем (В.П.Беспалько, O.E. Лебедев);

- фундаментальные теории кибернетики (В.И. Арнольд, Р. Аткинсон, А.И. Захаров, A.M. Матюшкин, А.Н. Колмогоров);

-теории управления педагогическими процессами (Ю.К. Бабанский, П.Л. Брусиловский, С.Н. Дубров, Н.В. Кузьмина, А.И. Герцен);

-теории управления качеством профессионального образования (А.Г. Бермус, Н.Ф. Ефремова, Г.В. Гутник, В. А. Качалов, Э.М. Короткое, М.М. Поташнчк, А.И.Субетго);

- педагогические и психологические теории целостного развития личности (Н.Ф.Талызина, Ю.К. Бабанский, Е.А.Климов, П.Г. Марквард, В.В. Сериков).

Методы исследования:

- теоретические: сравнительный анализ, моделирование системы, теоретическое обобщение результатов исследования;

-эмпирические: наблюдение, педагогический эксперимент, мониторинг;

- общенаучные для теоретического и эмпирического исследования: абстрагирование, анализ, синтез, дедукция, индукция, аналогия, исторический и логический методы;

- диагностические: беседа, тестирование, контрольные задания;

- кналиметрические: статистические методы (шкалирование, методы математической статистики).

Опытно-экспериментальной базой исследования стало государственное образовательное учреждение высшего профессионального образования «Курский государственный университет». В исследовании приняли участие 3 преподавателя кафедры программного обеспечения и администрирования информационных систем и 145 студентов специальности «Математическое обеспечение и администрирование информационных систем».

Организация исследования. Исследование состояло из нескольких этапов.

На первом этапе (2005 г.) определялись исходные положения исследования, проводился поиск путей повышения эффективности оценки качества знаний студентов, изучалась научная литература и современный педагогический опыт в области построения систем оценки качества знаний, мониторинга и квалиметрии. Проводился анализ исторического развития рассматриваемой проблемы в психолого-педагогической литературе. Формулировалась рабочая гипотеза, выявлялись основные теоретико-методологические понятия исследования, определялись его задачи.

На втором этапе (2006 г.) проводилась разработка системы оценки качества знаний студентов на основе нейронных сетей. Были разработаны материалы для проведения контрольных мероприятий.

На третьем этапе (2006-2008 г.) осуществлялось внедрение разработанной системы оценки качества знаний студентов на основе нейронных сетей в процесс преподавания учебных дисциплин «Параллельное программирование», «Теория вычислительных процессов и структур» и анализ её эффективности для достижения поставленных целей. Проводилась обработка эмпирических данных.

Положения, выносимые на защиту:

1. Математический аппарат нейронных сетей является универсальным средством, позволяющим использовать его при построении системы оценки качества знаний.

2. Математическая модель системы оценки качества знаний студентов на основе нейронных сетей состоит из следующих компонентов: подсистемы оценки результатов тестирования, подсистемы перенастройки весовых коэффициентов, подсистемы экспертной корректировки, подсистемы ввода тестовых заданий, подсистемы построения портрета обучающегося, подсистемы мониторинга качества знаний, подсистемы генерации тестов, подсистемы построения онтологий.

3. Возможности онтологии предметной области позволяют решить задачу выявления направлений корректирующих воздействий для осуществления адаптивного управления обучением на основе индивидуальных результатов обучающихся.

4. Организационно-педагогическими условиями эффективности системы оценки качества знаний студентов на основе нейронных сетей являются:

1) формализация и построение онтологии предметной области;

2) создание тестовых заданий многократно превосходящих по количеству обучающихся;

3) создание тестовых заданий с характеристиками:

- формулировка или текстовое сопровождение,

- вид,

- связи с областями знаний на основе построенной онтологии,

- время, требуемое на выполнение (в среднем),

- сложность,

- трудность,

- актуальность,

- дополнительный материал;

4) выделение и задание основных характеристик эталонной модели обучающегося;

5) проведение в рамках учебного процесса распределённого мониторинга качества знаний обучающихся.

Основные результаты, полученные исследователем, и их научная новизна состоят в том, что:

- уточнено содержание понятия системы оценки качества знаний студентов в профессиональном образовании;

- разработана математическая модель системы оценки качества знаний студентов на основе нейронных сетей;

- созданы программные средства, обеспечивающие информационную поддержку мониторинга оценки качества знаний студентов на основе нейронных сетей;

- определены организационно-педагогические условия эффективности системы оценки качества знаний студентов на основе нейронных сетей.

Теоретическая значимость исследования состоит в дополнении теории профессионального образования в области оценки качества знаний студентов. Разработанная математическая модель системы оценки качества знаний студентов на основе нейронных сетей служит теоретической основой для дальнейших исследований в области педагогических измерений.

Практическая значимость работы заключается в том, что применение системы оценки качества знаний на основе нейронных сетей в управлении процессом обучения при преподавании дисциплин «Параллельное программирование» и «Теория вычислительных процессов и структур» повышает эффективность учебного процесса и дидактического взаимодействия преподавателя со студентами. Материалы исследования найдут применение при разработке и совершенствовании диагностического инструментария, используемого как в профессиональном образовании так самообразовании преподавателей и студентов.

Достоверность и обоснованность основных положений и выводов исследования обеспечены за счёт:

- обоснованности исходных теоретико-методологических позиций, сформулированных в результате всестороннего изучения проблемы автоматизации контрольно-оценочного процесса;

- адекватности методологии исследования его предмету, целям и задачам;

- экспериментальной работы и полученных в результате исследования данных, доказывающих эффективность внедрения электронного ресурса в образовательный процесс.

ны в научном журнале «Вестник Российского университета дружбы народог,. Серия «Информатизация образования» и в других изданиях. Материалы исследования обсуждались и получили одобрение на международных и всероссийских научно-практических конференциях (г. Биробиджан, 16 апреля 2008г., г. Красноярск, 19-21 мая 2008г., г. Курск, 8-11 декабря 2008г.).

Структура диссертации определяется логикой и последовательностью решения поставленных задач. Работа состоит из введения, двух глав, заключения, списка использованной литературы и приложений.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность выбранной темы, формулируется цель диссертационной работы, указываются применяемые методы исследования, научная новизна и практическая ценность работы, приводится краткий обзор структуры работы, формулируются положения, выносимые на защиту.

В первой главе «Анализ современных подходов к оценке качества знаний в профессиональном образовании» проанализировано состояние проблемы оценки качества обучения в профессиональном образовании.

Построение эффективной системы управления качеством образовательного процесса требует решения как минимум трех задач:

1) формирование эталона качества (стандартизация);

2) сравнение достигнутого уровня подготовки с эталоном и на этой основе оценка качества;

3) выработка управляющих воздействий на условия и факторы, определяющие достигнутое качество, с целью минимизации обнаруженных отклонений.

Обучение, будучи многофакторным процессом, требует комплексного подхода и системного анализа его параметров и способов реализации.

Системный подход предполагает изучение объекта как системы на основе выявления его основных качеств и характеристик во взаимосвязи друг с другом и внешними факторами, что позволяет оптимизировать функцию управления объектом.

Определить структуру системы оценки и управления качеством — это значит выявить компоненты этой структуры, указать их положение относительно друг друга, установить взаимосвязь компонентов, их взаимоположение и разработать схемы взаимодействия, обеспечивающие развитие система в наиболее перспективных направлениях.

Связи между компонентами системы оценки качества и обучения указывают на циркулирующие потоки информации. Действительно, каждая подструктура испытывает на себе управленческие воздействия со стороны вышестоящих структур. В итоге реализуются два контура информационной связи, имеющие как прямой, так и обратный характер. Управление по принципу обратной связи требует структурирования и укрупнения информации о результатах контрольно-оценочной деятельности, а также объективных оценок, получаемых при внешнем контроле.

Для такого рассмотрения показатели качества образования принято разделять на две основные группы: качество учебных достижений обучающихся как результат овладения определенной суммой знаний, умений, навыков и компетенций; а также качество условий для осуществления образовательного процесса, обеспечиваемое со стороны органов управления образованием (стандарты, учебные программы, подбор кадров, материально-техническое и информационно-технологическое обеспечение и др.).

В рамках системного подхода к созданию условий для обучения и развития личности контрольно-оценочный процесс и образовательный мониторинг по его результатам должны рассматриваться в контексте других сопутствующих исследований, предполагающих постановку и решение комплекса вопросов, среди которых можно выделить наиболее важные:

1) обучение с использованием тестовых технологий для достижения планируемых результатов в условиях создания внешней контрольно-оценочной системы;

2) обоснование и оптимизация системы обучающего тестирования в учебном процессе;

3) создание системы объективного оценивания качества подготовленности обучающихся, адекватной целям и задачам обучения;

4) научное обоснование системы самоконтроля и самоподготовки на основе психолого-педагогических исследований отечественных ученых в области индивидуализации обучения, личностно-ориентированного образования;

5) создание системы показателей и критериев независимой оценки качества образовательного процесса и образовательных систем через оценку и анализ качества индивидуальных учебных достижений обучающихся;

6) обеспечение с позиций педагогической квалиметрии корректного многофакторного анализа эмпирических результатов массового тестирования;

7) на основе анализа интегральных и индивидуальных результатов учебных достижений перевод оценочной деятельности преподавателя на современные информационные средства мониторинга для облегчения и повышения эффективности педагогического труда.

Качество образования выпускника учебного заведения можно рассматривать как соответствие принятым в образовательной доктрине социальным требованиям и нормам (стандартам). Более того, главным критерием его оценки является действующий государственный образовательный стандарт.

Основными функциями государственного образовательного стандарта являются: определение минимального объема знаний и умений обучаемых, подлежащих обязательному усвоению; обеспечение вариативности учебных планов образовательных учревдений и преемственности обучения на различных ступенях; оптимизация и унификация средств контроля и оценки качества результатов обучения и другие аспекты. Соответственно, одним из основных элементов оценки качества образования и реализации государствен-

ных образовательных стандартов является кошроль качества знаний студентов.

Для оценки овладения учащимися знаниями полезно учитывать четырехуровневую классификацию, разработанную В.П. Беспалько.

Для эффективной организации учебного процесса постоянно необходима оперативная информация об учебных достижениях каждой образовательной единицы и каждого отдельного субъекта обучения, об уровне у„ структуре усвоения им учебного материала по конкретным вопросам и темам курса, особенностях его развития. Именно на уровне образовательных единиц создаются условия для освоения содержания образования, приобретения и закрепления знаний, проверяется уровень учебных достижении и личностного развития.

Интегральные показатели подготовленности обучающихся и их сравнение с оценками более высоких уровней обобщения позволяют педагогам идентифицировать образовательные программы и образовательный процесс в едином образовательном и контрольно-оценочном пространстве, определять направления совершенствования программ и методов обучения.

Принимая во внимание рассмотренные выше понятия, можно выделить следующие элементы, являющиеся компонентами системы мониторинга качества образования:

- установление стандарта и операционализация (определение стандартов);

- операционализация стандартов в индикаторах (измеряемых величинах);

- установление критерия, по которому возможно судить о достижении стандартов;

- сбор данных и оценка результатов;

- принятие соответствующих мер, оценивание результатов принятых мер в соответствии со стандартами.

Тестирование является одной из наиболее технологичных форм проведения автоматизированного контроля с управляемыми параметрами качества. В этом отношении ни одна из известных форм контроля знаний учащихся с тестированием сравниться не может.

Глубинный смысл тестового контроля заключается не в одноразовых процедурах тестирования и получения, индивидуальной оценки обучающимся, а в создании целостной системы обучения, развития и контроля, а также мониторинга и анализа качества образования, основанных на объективных результатах. В этом случае открываются возможности на основе обобщения индивидуальных данных независимого тестирования перейти к оценкам образовательных систем. Новые тенденции в обучении, естественно, требуют создания новых методов и технологий контроля и мониторинга, разработки новых критериев оценки качества образования, создания служб оценки, разработки информационных технологий статистической обработки и анализа результатов контроля качества образования на разных образовательных уровнях и ступенях.

Во второй главе «Создание системы оценки качества знаний на основе системного подхода» рассматривается системный подход к построению системы оценки качества знаний, даётся обоснование использования нейронных сетей, строится модель системы оценки качества знаний, рассматривается практическое применение системы оценки качества знаний студентов на основе нейронных сетей на примере преподавания предметов «Параллельное программирование» и «Теория вычислительных процессов и структур» специальности «Математическое обеспечение и администрирование информационных систем» в Курском государственном университете.

Рассмотрены подходы различных авторов к общей структуре этапов системного анализа.

На их основе выделена следующая последовательность этапов системного анализа:

1. Определение целей.

2. Определение проблемы.

3. Определение целей системы.

4. Формирование критериев оценки системы.

5. Анализ системы.

6. Построение обобщённой модели системы.

7. Определение инструментов создашм системы.

8. Синтез системы.

9. Реализация системы.

В ходе проведения этапов системного анализа было определено, что целью образовательной технологии является приобретение обучающимися стандартной системы знаний. Для достижения данной цели необходимо решение ряда задач, одной из которых является совершенствование управления учебным процессом. Основными направлениями улучшения управления являются объективность и полнота обратной связи на основе мониторинга качества образования.

Главной целью создания системы оценки качества знаний является обеспечение более эффективной объективной обратной связи. В свою очередь, достижение данной цели невозможно без решения следующих задач:

1) обеспечение технической поддержки контрольно оценочной системы;

2) обеспечение информационной поддержки мониторинга знаний обучающихся.

Для оценки эффективности решения поставленных задач выделены следующие критерии:

1) гибкость системы, то есть способность подстраиваться под изменяющиеся условия модернизации образования и изменяющиеся цели обучения;

2) многозадачность, то есть способность системы давать ответ на несколько поставленных вопросов.

В общей сложности, задачу оценки качества знаний предложено сводить к построению некоторой эталонной модели портрета выпускника и мо-

дели портрета обучающегося посредством моделирования и контрольно-оценочной деятельности соответственно, а затем сравнение их с целью выявление недостатков в обучении. Под портретом в данном случае понимается множество навыков и знаний, обобщённых количественными характеристиками.

В математической форме портрет представлен следующим образом:

/еМ,

п - вес множества Р,

Ш — множество характеристик портрета, каждому элементу множества Я соответствует элемент множества Б,

А! —минимальное возможное значение характеристики И, В1 - максимальное возможное значение характеристики Щ. Таким образом, имеются множество портретов учащихся и эталонный портрет выпускника.

К(Рега1оп) сравнивается с Р1, где Ре1а1оп - эталонный портрет выпускника, Р - множество портретов обучающихся,

Р(Ре1а1оп) - функция приведения эталонного портрета к текущему портрету обучающегося.

Предлагается прогнозирование знаний обучающегося на основе текущего портрета.

Рр(Ре1а1оп) сравнивается с Рр1(Р^, где

Р - множество портретов обучающихся, Рега1оп - эталонный портрет выпускника,

Рр(Рсш1оп) - функция преобразования эталонного портрета к эталонному портрету прогнозируемых характеристик,

Ррг(Р1) - функция преобразования текущего портрета обучающегося к прогнозируемому портрету.

На основании целей системы и решаемых задач построена обобщённая модель системы (Рис. 1).

Подсистема мониторинга качества знаний

сокз

Контрольно

оценочная

подсистема

Рисунок I. Обобщённая модель системы оценки качества знаний.

Выделены трудности задачи создания системы оценки качества знаний:

- применение точных методов невозможно (не обосновано), так как на данный момент не выявлены количественные взаимосвязи между параметрами;

- применение точных методов связано с огромными затратами времени и ресурсов;

- имеет смысл пожертвовать некоторой точностью для экономии времени и ресурсов;

- нет возможности набрать достаточный статистический материал в условиях постоянной модернизации обучения, чтобы корректно воспользоваться теорией вероятности.

Выделена возможность использования искусственных нейронных сетей для обработки информации, которая определяется их способностью аппроксимировать с требуемой точностью любую необходимую характеристику вход-выход синтезируемой системы.

На основании анализа задачи оценки качества знаний и выбранных инструментов выделены следующие задачи электронного ресурса оценки качества знаний:

1) оценка результатов тестирования;

2) разработка тестовых заданий;

3) построение текущего и прогнозируемого портрета обучающегося;

4) мониторинг качества знаний;

5} генерации тестов;

6) построение онтологий предметных областей.

На основании задач разработана следующая структура электронного ресурса сценки качества знаний (Рис. 2).

Рисунок 2. Электронный ресурс оценки качества знаний.

Для описания модели в диссертационной работе используется методология ЮЕРО. Отличительной особенностью ГОЕРО является её акцент на со-подчинённость объектов. В ШЕРО рассматриваются логические отношения между работами, а не их временная последовательность, также отображаются все сигналы управления.

На основе произведённого анализа и выделенных структур построена модель электронного ресурса оценки качества знаний в виде ГОЕРО-диаграмм, которые представлены в диссертации.

В работе представлены способы классификации искусственных нейронных сетей.

В данной работе предлагается использовать модель нейрона с линейной функцией активации, то есть чтобы она была равна сумме своих аргументов. Подобным образом решена проблема сложности содержательной интерпретации и обоснования аргумента, и проблема вида активационной (передаточной) функции нейрона. Была выбрана парадигма с обратным распространением ошибки.

Суть этого подхода состоит в том, что интенсивности входных сигналов рассматриваются не сами по себе и не с точки зрения только их интенсивности, а как сообщения, несущие определенное количество информации или дезинформации о переходе нейрона и моделируемого им активного объекта управления в некоторое будущее состояние. В данном случае решена проблема содержательной интерпретации смысла интенсивности входных сигналов и весовых коэффициентов.

Каждая из подсистем электронного ресурса оценки качества знаний представлена как отдельная система, отвечающая за свои цели и задачи и выполняющая одну из функций всей системы.

Модель нейронной сети обработки результатов тестирования, предложенная в диссертации, представляет собой многослойную нейронную сеть.

Входной слой отвечает за сложность задания и принадлежность к какому-либо классу знаний. Промежуточные слои определяют принадлежность к области знаний. Выходной слой образует результат.

Для построения подсистемы оценки знаний задаётся структура нейронной сети и её поведение при обработке результатов. Вариант структуры представлен в диссертации.

Такая особенность данных многослойных нейронных сетей, как выделение глобальных свойств, позволила использовать их в качестве тонкого инструмента для построения математической модели теста, создание которого является развитием классической теории тестирования.

В диссертации в виде ЮЕРО-диаграммы представлен процесс интерпретации результатов тестирования, процесс ввода результатов тестирования.

Для построения онтологии в рамках системы педагогического тестирования выделены такие объекты, как тестовое задание, раздел учебной дисциплины или раздел образовательной области. Разделы учебных дисциплин и учебные дисциплины построены по принципу иерархии и имеют отношения

принадлежности в рамках соотношений между собой, в то время как тестовые задания соотносятся только с разделами по принципу принадлежности. Принадлежность определяется значением, лежащим в промежутке [0,1]. Чем больше значение, тем больше соответствие тестового задания проверке знаний по данному учебному разделу.

В работе представлен общий вид онтологии для системы педагогического тестирования, имеющий иерархическую структуру.

Процесс модификации онтологии представлен в виде ШЕРО в диссертации.

В рамках подсистемы ввода тестовых заданий электронного ресурса оценки качества знаний выделены основные характеристики тестового задания:

1) формулировка или текстовое сопровождение;

2) вид;

3) связи с областями знаний на основе построенной онтологии;

4) время, требуемое в среднем на выполнение;

5) сложность;

6) трудность;

7} актуальность;

8) дополнительный материал.

Подсистема построения портрета обучающегося выполняет функцию сравнения показателей эталонной модели и реальной модели обучающегося, в итоге отражая отклонения. В работе представлена модель нейронной сети подсистемы расчёта отклонений и нейронная сеть подсистемы построения портрета обучающегося. Имеется схема модификации эталонной модели обучающегося.

На основе полученных данных можно говорить о достижении целей обучения и об относительной успеваемости среди учащихся.

Эталонная модель портрета выпускника отражает все особенности процесса обучения. Адаптация модели к промежуточной оценке обучающегося сводится к реорганизации её показателей и характеристик. Пример приведён в диссертационной работе, где также рассмотрена модель для прогнозирования.

С помощью подсистемы экспертной корректировки строится базовый элемент для подсистемы перенастройки весовых коэффициентов, который будет служить обучающим примером для нейронной сети. С помощью перенастройки сети и анализа вновь полученных коэффициентов удаётся оценить важность тем с точки зрения профессионально подготовки специалиста.

Одной из основных подсистем является подсистема генерации тестов, так как на основе данной системы строятся все проверочные тестовые работы. Главной задачей подсистемы является не только построение теста по заранее заданным условиям, но и генерация аналогичных вариантов на основе базы тестовых заданий.

Задача генерации тестов сводится к задаче целочисленного программирования. Процесс генерации тестов представлен в диссертации в виде IDEF0-диаграммы.

Для программной системы оценки качества знаний студентов на основе нейронных сетей была использована интегрированная среда Delphi.

Основной целью разработки программной оболочки ставилась проверка и отработка на ее основе теоретических положений, предложенных во второй главе. Программная реализация системы оценки качества знаний студентов на основе нейронных сетей была произведена на базе рассмотренных во второй главе модели данных и модели логической структуры информационной системы.

Основной целью педагогического эксперимента являлась проверка гипотезы о том, что использование системы оценки качества знаний студентов на основе нейронных сетей позволит:

1) производить распределённый мониторинг результативности обучении;

2) на основе распределённого мониторинга выделять наиболее слабые стороны обучающихся, тем самым рекомендовать модифицировать учебный процесс таким образом, чтобы ликвидировались пробелы в знаниях обучающихся;

3) предоставлять возможность оценки результатов тестирования.

Для эксперимента были выбраны студенты специальности «Математическое обеспечение и администрирование информационных систем» Курского государственного университета.

Для апробации разработанной системы оценки качества знаний студентов на основе нейронных сетей на примере дисциплин «Параллельное программирование» и «Теория вычислительных процессов и структур» были созданы простейшие онтологии предметных областей изучаемого курса.

Для проверки качества знаний обучающихся на протяжении курса обучения был разработан банк тестовых заданий, состоящий из 500 единиц. Каждое тестовое задание включало в себя все характеристики, указанные в главе II для тестовых заданий на основе экспертных оценок.

Для проведения педагогического эксперимента были определены контрольные и экспериментальные группы студентов для исследования по дисциплине «Параллельное программирование»:

- группа №1 (экспериментальная) - 34 человека;

- группа №2 (контрольная) - 34 человека;

- группа №3 (экспериментальная) - 39 человек;

- группа №4 (контрольная) - 38 человек.

Для исследования по дисциплине «Теория вычислительных процессов и структур группы №1 и №3 стали контрольными, а №2 и №4 экспериментальными.

Студенты были разбиты на группы с учётом набранных баллов в зачётной книжке, то есть равные по успеваемости. Группы №1 и №2 - 2007 учебный год, группы №3 и №4 - 2008 учебный год.

Группы №1 и №3 по эксперименту для предмета «Параллельное программирование» обучали с использованием преподавателем системы оценки качества знаний студентов на основе нейронных сетей в целях модификации учебного процесса, группы №2 и №4 без использования данной системы. Для дисциплины «Теория вычислительных процессов и структур» группы №1 и №3 по эксперименту обучались без использования преподавателем системы оценки качества знаний студентов на основе нейронных сетей в целях модификации учебного процесса, группы №2 и №4 с использованием данной системы.

На основе банка заданий в течение обучения была сгенерирована серия тестов с одинаковыми характеристиками.

Обучение было разделено на 3 этапа, после каждого из которых проводилось тестирование по пройденному материалу.

Перед вторым этапом, с учётом результатов тестирования, каждому студенту экспериментальной группы были предложены лабораторные задания на темы, в которых он показал слабые знания. Таким образом, был осуществлён индивидуальный подход к представлению материала. Также в связи с низким баллом по объектно-ориентированным технологиям и теории формальных языков и трансляций для экспериментальных групп были внесены изменечия в содержание обучения: два учебных часа лекционных занятий группа посвятила данным предметам.

Перед третьим этапом преподавателем была произведена подборка тем для самостоятельного изучения индивидуально для каждого студента экспериментальных групп, показавшего наиболее слабые результаты по определённым темам.

В таблицах 1 и 2 представлены результаты итогового тестирования по дисциплинам «Параллельное программирование» и «Теория вычислительных процессов и структур».

Таблица 1. Результаты итогового тестирования по предмету «Парал-

Группа Процент студентов показавших отрицательные результаты

№1 5,88

№2 26,47

„Ч»3 7,69

№4 36,84

Таблица 2. Результаты итогового тестирования по предмету «Теория

Группа Процент студентов показавших отрицательные результаты

Х»1 29,41

№2 5,88

№3 30,77

№4 10,53

С опорой на полученные после третьего этапа тестирования результаты в экспериментальных группах каждому студенту был предложен список тем, на которые обучающийся должен обратить особое внимание при итоговом тестировании. Кроме того, по данным тестирования были отмечены характерные ошибки каждого студента. На темы №10 и №11 было уделено больше времени в ходе практических занятий и использованы другие методы представления материала, тем самым было изменено содержание обучения. В группах №2 и №4 по предмету «Теория вычислительных процессов и структур» темам №5 и №6 было уделено дополнительное внимание, были рассмотрены дополнительные практические примеры на занятиях.

Результаты итогового тестирования представлены на диаграммах (Рис.

3-6).

Рисунок 3. Данные после итогового этапа по дисциплине «Параллельное программирование» (Группы №1 и №2).

120,00% [ V «в:!^™«®^-.--: "- -,. ^-.. -. --. -- '"-

1 2 3 4 5 6 7 8 g 10 11 12 13 14 15 16 17 Дидактические единицы

Рисунок 4. Данные после итогового этапа по дисциплине «Параллельное программирование» (Группы №3 и №4).

Дидактические единицы

Рисунок 5. Данные после итогового этапа по дисциплине «Теория вычислительных процессов и структур» (Группы №1 и №2).

120,00% 1 ..... ■ . ..... -------- • . . |.......

1 2 3 4 5 6 7 8 9 10 11 12 13 Дидактические единицы

Рисунок б. Данные после итогового этапа по дисциплине «Теория вычислительных процессов и структур» (Группы №3 и №4)..

По результатам всего эксперимента был модифицирован лекционный материал наиболее проблемных тематик.

Итоговый контроль на основе тестирования показал, что усвоение предмета в группах существенно отличаются. В экспериментальных группах №1 и № 3 отрицательные результаты показали всего 2 и 3 студента соответственно по дисциплине «Параллельное программирование» в отличие от контрольных групп №2 и №4, где пробелы в образовании обнаружились сразу у 9 и 12 ст} дентов соответственно. Схожая картина наблюдалась и по дисцип-дине «Теория вычислительных процессов и структур», где в эксперимен-

тальных группах №2 и №4 отрицательные результаты показали 2 и 4 студента соответственно в отличие от контрольных групп №1 и №3, где пробелы обнаружились у 10 и 12 студентов соответственно. Исходя из этого следует отметить, что использование системы оценки качества знаний студентов на основе нейронных сетей подтвердило гипотезу о возможности производить мониторинг результативности обучения и на его базе выделять наиболее слабые стороны обучающихся. Это позволит рекомендовать модифицировать учебный процесс таким образом, чтобы успеваемость обучающихся повысилась.

На основе пройденных тестов были построены портреты обучающихся с помощью системы оценки качества знаний студентов на основе нейронных сетей.

Для подтверждения гипотезы о возможности оценки результатов тестирования студентам было предложено сдать традиционный экзамен, для оценивания было выбрано по 10 человек из каждой группы.

Результаты традиционного экзамена с оценками по системы оценки качества знаний студентов на основе нейронных сетей представлены в работе. Среднее отклонение составило менее 0,1 балла, что подтвердило гипотезу о возможности использования системы оценки качества знаний студентов на основе нейронных сетей в качестве контроля, в том числе и при итоговом тестировании.

Основные результаты теоретических и экспериментальных исследований, проведенных в диссертационном исследовании в соответствии с поставленной целью, могут быть сформулированы следующим образом:

1. Исследование современных образовательных подходов к оценке качества знаний студентов выявили необходимость внедрения последних достижений в области искусственного интеллекта для повышения эффективности контрольно-оценочного процесса.

2. Построение системы оценки качества знаний студентов на основе нейронных сетей должно основываться на следующих компонентах: подсистеме оценки результатов тестирования, подсистеме перенастройки весовых коэффициентов, подсистеме экспертной корректировки, подсистеме ввода тестовых заданий, подсистеме построения портрета обучающегося, подсистеме мониторинга качества знаний, подсистеме генерации тестов, подсистеме построения онтологий.

3. Организационно-педагогическими условиями эффективности системы оценки качества знаний студентов на основе нейронных сетей являются:

1) чёткая формализация и построение онтологии предметной области;

2) создание тестовых заданий многократно превосходящих по количеству обучающихся;

3) создание тестовых заданий с характеристиками:

- формулировка или текстовое сопровождение,

- вид,

- связи с областями знаний на основе построенной онтологии,

- время, требуемое на выполнение (в среднем),

- сложность,

- трудность,

- актуальность,

- дополнительный материал;

4) выделение и задание основных характеристик эталонной модели обучающегося;

5) проведение в рамках учебного процесса распределённого мониторинга качества знаний обучающихся.

4. Корректирующие воздействия для адаптивного управления обучением могут быть основаны на онтологии образовательной области и результатах оценки качества знаний студентов.

5. Разработан программный комплекс системы оценка качества знаний студентов на основе нейронных сетей и проведена его апробация на примере предметов «Параллельное программирование» и «Теория вычислительных процессов и структур» для студентов, обучающихся по специальности «Математическое обеспечение и администрирование информационных систем». Подтверждена эффективность использования системы в учебном процессе.

Вместе с тем, выполненная работа не претендует на исчерпывающую полноту разработки системы оценки качества знаний студентов. Дальнейшего углубленного изучения требуют такие аспекты проблемы, как: разработка методики использования системы оценки качества знаний студентов на основе нейронных сетей в области самообразования; исследования в области учёта личностных качеств обучающихся и их влияние на качество знаний.

Основные положения и результаты исследования отражены в научных журналах, включённых в Перечень ведущих рецензируемых научных издании ВАК России:

1. Жуйков, В.В. Построение системы оценки качества знаний на основе этапов системного анализа [Текст] / В.В. Жуйков // Вестник Российского университета дружбы народов. Серия «Информатизация образования». -2008. - №3. - С. 49-55. - 0,45 пл.

2. Жуйков, В.В. Информатизация контроля и оценки результатов обучения [Текст] / В.В. Жуйков // Вестник Российского университета дружбы народов. Серия «Информатизация образования». - 2009. - №1. - С. 39-43. -0,35 п.л.

А также в следующих публикациях автора:

3. Жуйков, В.В. Применение нейронных технологий в системе оценки качества знаний [Текст] / В.В. Жуйков //Актуальные вопросы преподавания математики и информатики: Сборник научных трудов Третьей международной научно-практической конференции. Биробиджан, 16 апреля 2008г. - Биробиджан: Изд-во ДВГСГА, 2008. - С. 168-171. - 0,25 пл.

4. Жуйков В.В. Подсистема построения портрета обучающегося в рамках системы оценки качества знаний [Текст] / В.В. Жуйков // Вестник московского городского педагогического университета. Серия «Информатика и информатизация образования» - Москва: МГПУ, Йошкар-Ола: МГУ, 2008г. -№1(11)-С. 198-199.-0,2 пл.

5. Жуйков В.В. Подсистема экспертной корректировки системы оценки качества знаний [Текст] / В.В. Жуйков // Тестирование в сфере образования: проблемы и перспективы развития: материалы Всероссийской научно-практической конференции. 19-21 мая 2008г. / Отв. ред. Г.П. Карлов. - Красноярск: СибГТУ, 2008г. - С. 342-345. - 0,3 п.л.

6. Жуйков В.В. Подсистема перенастройки весовых коэффициентов системы оценки качества знаний [Текст] / В.В. Жуйков // Вестник московского городского педагогического университета. Серия «Информатика и информатизация образования» / Москва: МГПУ, Йошкар-Ола: МГУ, 2008г. -№1(11),-С. 196-197.-0,25 п.л.

7. Жуйков В.В. Использования тестового контроля для проверю! уровня усвоения дидактических единиц [Текст] / В.В. Жуйков // Информационные технологии в образовании: Материалы II Международной научно-практической конференции «Информационные технологии в образовании (ИТО-Черноземъе -2008)». Курск, 8-11 декабря 2008г. 4.2. - Курск: Изд-во КГУ, 2008г. - С. 27-29. - 0,2 п.л.

8. Жуйков В.В. Внедрение интеллектуальных технологий в систему оценки качества знаний на основе моделей представления знаний [Текст] / В.В. Жуйков // Информационные технологии в образовании: Материалы П Международной научно-практической конференции «Информационные технологии в образовании (ИТО-Черноземье -2008)». Курск, 8-11 декабря 2008г. 4.2. - Курск: Изд-во КГУ, 2008. - С. 29-33. - 0,3 п.л.

Жуйков Виктор Викторович

Система оценки качества знаний студентов на основе нейронных

сетей

Автореферат

Лицензия ИД № 06248 от 12.11.2001 Подписано в печать «19» мая 2009 г. Формат 60x84/16. Печать офсетная. Бумага офсетная. Тираж 100. Заказ № 2030

Изд-во Курского государственного университета 305000, г. Курск, ул. Радищева, д. 33

Отпечатано в лаборатории информационно-методического обеспечения

КГУ

Содержание диссертации автор научной статьи: кандидата педагогических наук, Жуйков, Виктор Викторович, 2009 год

Введение

Глава 1. Анализ современных подходов к оценке качества знаний в профессиональном образовании

1.1 Состояние проблемы оценки качества знаний в профессиональном образовании

1.2 Мониторинг качества знаний и его задачи

1.3 Анализ основных подходов к оценке качества знаний

1.4 Выводы

Глава 2. Создание системы оценки качества знаний на основе системного подхода

2.1 Междисциплинарный характер исследований при построении системы оценки качества знаний на основе этапов системного анализа

2.2 Искусственные нейронные сети как математический аппарат для создания систем контроля и оценки качества знаний

2.3 Система оценки качества знаний студентов на основе нейронных сетей с использованием системного подхода

2.4 Практическое применение электронного ресурса контроля и оценки качества знаний на примере предметов параллельное программирование и теория вычислительных процессов и структур

2.5 Выводы

Введение диссертации по педагогике, на тему "Система оценки качества знаний студентов на основе нейронных сетей"

Актуальность темы диссертации.

Проблема системы оценки качества знаний студентов получила теоретическую разработку в трудах многих исследователей. Вопросы построения систем контроля и оценки знаний интересовали многих учёных в разных областях знания. Так, в области обучения информатике студентов вуза этим занимались Д.С. Костылёв, Л.Ю. Заикина, в области профессионально-педагогического образования — Ф.М Калимуллин, в области повышения качества познавательной деятельности в образовательном процессе — Л.П. Тихонова, в области подготовки учащихся профильных школ — И.Р. Павлова, Н.М. Скотникова. В разработку проблемы управления качеством подготовки студентов внесли значительный вклад В.П. Беспалько, Н.Ф. Ефремова, A.A. Аветисов, А .Г. Бермус, П.И. Образцов, C.B. Шелапутина, М.М. Поташник. Исследованиями управления качеством в образовательных системах национального уровня занимались H.A. Селезнева, А.И. Субетто, Г.В. Гутник. Вопросы методологии построения образовательных технологий были в сфере научных интересов JL Андерсона, Н.В. Апатовой, В.П. Беспалько, В.И. Боголюбова, В.В. Гузеева и др. Исследованиям в области построения рейтинго3 вых систем контроля и качества обучения посвящены труды С.Н. Дуброва, Ю.В. Попова, В.П. Подлеснова, Е.С. Брискина, В.И. Садовникова, И.Р. Павловой, H.A. Воронковой. Вопросы в области построения систем контроля и качества обучения на основе тестовых технологий интересовали О.Д. Юнее-ва, М.Б. Шашкина, Н.Д. Нестеренко, Г.Н. Хубаев, O.A. Маркова.

Анализ существующих источников информации, посвященных контролю и оценке результатов обучения, вскрывает целый ряд противоречий: существование предпосылок в необходимости создания системы оценки качества знаний студентов на основе нейронных сетей, с одной стороны, и недостаточное внимание вопросам реализации и методики использования системы в профессиональном образовании — с другой; существование необходимости использования в области оценки качества знаний студентов последних достижений в области нейронных сетей, с одной стороны, и отсутствие исследований в данной области, с другой стороны; существование необходимости создания модели обучающегося относительно предметной области и отсутствие методики и информационных средств решения данной задачи.

Научно-практические потребности и выявленные противоречия позволили определить проблему исследования: каковы теоретические основы и педагогические условия моделирования и применения системы оценки качества знаний студентов на основе нейронных сетей?

Цель исследования — разработка и апробация математической модели системы оценки качества знаний студентов на основе нейронных сетей.

Объект исследования — образовательный процесс в высшей школе.

- при решении многокритериальной задачи генерации контрольно-оценочного материала будет использована ЭВМ;

- обеспечивается управление процессом оценки качества знаний студентов на основе нейронных сетей.

Исходя из гипотезы и цели исследования, были поставлены следующие задачи:

1) проанализировать состояние системы оценки качества знаний студентов в профессиональном образовании;

2) разработать математическую модель системы оценки качества знаний студентов на основе нейронных сетей;

Методологическую основу исследования составляют работы в области системного анализа (A.B. Антонов, Н.П. Бусленко, В.Н. Волкова, A.A. Денисов, Ф.И. Перегудов, Ф.П. Тарасенко); работы в области тестового контроля качества учебных достижений обучающихся (B.C. Аванесов, Б.В. Володин, В.Н. Бочаров, В.И. Васильев, Г.А. Епанчинцева, К.Т. Кузовлева, Н.И. Пак, A.JI. Симонова); работы в области измерения качества знаний (A.A. Аветисов, Т.С. Анисимова); работы в области управления качеством образования (А.Г. Бермус, П.Л. Брусиловский); работы в области нейронных сетей (A.B. Гаврилов, В.А. Головко, А.Н. Горбань, В.В. Круглов, В.В. Борисов).

Теоретической основой исследования явились: идеи и теории тестового контроля качества учебных достижений обучающихся (B.C. Аванесов, В.Н. Бочаров, А.Н. Майоров);

-теории в области мониторинга качества знаний профессионального образования (А.И. Кукуев, А.Н. Майоров, A.A. Макаров);

-теории педагогических измерений (A.A. Аветисов, В.П.Беспалько, Т.С. Анисимова, Н.М. Розенберг, Г.Н. Хубаев); теория системного анализа (A.B. Антонов, Н.П. Бусленко, В.Н. Волкова, A.A. Денисов, Ф.И. Перегудов, Ф.П. Тарасенко, Э.В. Попов, И.Б. Фоминых, В.Н. Спицнадель);

-теории качества профессионального образования (В.П.Беспалько, O.E. Лебедев, И.Я. Лернер, В.Д. Шадриков); теория нейронных сетей (A.B. Гаврилов, В.В. Круглов, В.В. Борисов, Ф. Уоссерман); теории педагогических систем (В.П.Беспалько, O.E. Лебедев);

-фундаментальные теории кибернетики (В.И. Арнольд, Р. Аткинсон, А.И. Захаров, A.M. Матюшкин, А.Н. Колмогоров);

-теории управления качеством профессионального образования (А.Г. Бермус, Н.Ф. Ефремова, Г.В. Гутник, В.А. Качалов, Э.М. Короткое, М.М. Поташник, А.И. Субетто);

- педагогические и психологические теории целостного развития личности (Н.Ф.Талызина, Ю.К. Бабанский, Е.А. Климов, П.Г. Марквард, В.В. Сериков).

Методы исследования:

-эмпирические: наблюдение, педагогический эксперимент, мониторинг;

- диагностические: беседа, тестирование, контрольные задания;

- квалиметрические: статистические методы (шкалирование, методы математической статистики).

Организация исследования. Исследование состояло из нескольких этапов.

Положения, выносимые на защиту:

1) формализация и построение онтологии предметной области;

2) создание тестовых заданий многократно превосходящих по количеству обучающихся;

3) создание тестовых заданий с характеристиками:

- формулировка или текстовое сопровождение,

- вид,

- связи с областями знаний на основе построенной онтологии,

- время, требуемое на выполнение (в среднем),

- сложность,

- трудность,

- актуальность,

- дополнительный материал;

4) выделение и задание основных характеристик эталонной модели обучающегося;

5) проведение в рамках учебного процесса распределённого мониторинга качества знаний обучающихся.

Основные результаты, полученные исследователем, и их научная новизна состоят в том, что:

- уточнено содержание понятия системы оценки качества знаний студентов в профессиональном образовании;

- разработана математическая модель системы оценки качества знаний студентов на основе нейронных сетей;

- созданы программные средства, обеспечивающие информационную поддержку мониторинга оценки качества знаний студентов на основе нейронных сетей; определены организационно-педагогические условия эффективности системы оценки качества знаний студентов на основе нейронных сетей.

Достоверность и обоснованность основных положений и выводов исследования обеспечены за счёт:

- адекватности методологии исследования его предмету, целям и задачам; экспериментальной работы и полученных в результате исследования данных, доказывающих эффективность внедрения электронного ресурса в образовательный процесс.

Апробация и внедрение результатов исследования осуществлялись в ходе педагогического эксперимента (2006-2008 г.) на факультете информатики и вычислительной техники государственного образовательного учреждения высшего профессионального образования «Курский государственный университет». Основные положения и результаты исследования опубликованы в научном журнале «Вестник Российского университета дружбы народов. Серия «Информатизация образования» и в других изданиях. Материалы исследования обсуждались и получили одобрение на международных и всероссийских научно-практических конференциях (г. Биробиджан, 16 апреля 2008г., г. Красноярск, 19-21 мая 2008г., г. Курск, 8-11 декабря 2008г.).

Заключение диссертации научная статья по теме "Теория и методика профессионального образования"

Основные результаты теоретических и экспериментальных исследований, проведенных в диссертационной работе в соответствии с поставленной целью, могут быть сформулированы следующим образом:

1) формализация и построение онтологии предметной области;

2) создание тестовых заданий многократно превосходящих по количеству обучающихся;

3) создание тестовых заданий с характеристиками: формулировка или текстовое сопровождение,

-вид, связи с областями знаний на основе построенной онтологии, время, требуемое на выполнение (в среднем), сложность, трудность, актуальность, дополнительный материал;

4) выделение и задание основных характеристик эталонной модели обучающегося;

5) проведение в рамках учебного процесса распределённого мониторинга качества знаний обучающихся.

5. Разработан программный комплекс системы оценка качества знаний студентов на основе нейронных сетей и проведена его апробация на примере предметов «Параллельное программирование» и «Теория вычислительных процессов и структур» для студентов обучающихся по специальности «Математическое обеспечение и администрирование информационных систем» Курского государственного университета. Подтверждена эффективность использования системы в учебном процессе.

Вместе с тем выполненная работа не претендует на исчерпывающую полноту разработки системы оценки качества знаний студентов. Дальнейшего углубленного изучения требуют такие аспекты проблемы, как: разработка методики использования системы оценки качества знаний студентов на основе нейронных сетей в области самообразования; исследования в области учёта личностных качеств обучающихся и их влияние на качество знаний.

Заключение

Список литературы диссертации автор научной работы: кандидата педагогических наук, Жуйков, Виктор Викторович, Курск

1. Аванесов B.C. Научные проблемы тестового контроля знаний.— М., 1994.— 143 с.

2. Аванесов B.C. Основы научной организации педагогического контроля в высшей школе.— М., 1989.— 157 с.

3. Аванесов B.C. Теоретические основы разработки заданий в тестовой форме.— М., 1995.— 95 с.

4. Аванесов B.C. Формы тестовых заданий /B.C. Аванесов.— М.: Исследоват. центр, 1991.— 35 с.

5. Аванесов B.C., Володин Б.В. Вопросы применения тестов для контроля знаний студентов // Научная организация учебного процесса.— М.: МИФИ, 1976,—вып. 3,—4.1, С. 102-107.

6. Аванесов B.C. Основы теории разработки заданий в тестовой форме.—М., ИЦПКПС, 1989.— 187с.

7. Аванесов B.C. Композиция тестовых заданий / B.C. Аванесов — М.: АДЕПТ, 1998.—217с.

8. Аванесов B.C. Методологические и теоретические основы тестового педагогического контроля: автореферат дис: д-ра пед. наук: 13.00.01 / B.C. Аванесов; С.-Петербургский гос. Уп-т.— СПб., 1994.

9. Аветисов A.A. Основные положения системно — квалиметриче-ской концепции повышения качества образования // Надежность и контроль качества.— 1999.—№ 2.— С. 57-60.

10. Айвазян С.А., Енюков И.С, Мешалкин Л.Д. Прикладная статистика: Исследование зависимостей / Под ред. С.А. Айвазяна.— М.: Финансы и статистика, 1985.— 487 с.

11. Амонашвили Ш.А. Воспитательная и образовательная функция оценки учения школьников / Ш.А. Амонашвили.— М.: Педагогика, 1984.— 296 с.

12. Анастази А. Психологическое тестирование. Т. 1,2.— М.: Педагогика, 1982.

13. Анисимова Т.С. Выявление статистических взаимосвязей в образовательном процессе / Т.С. Анисимова, A.A. Маслак // Наука Кубани.— 2003.— №2.— С. 10.

14. Анисимова Т.С. Измерение латентных переменных в образовании: монография / Т.е. Анисимова.— М.: Исследовательский центр проблема качества подготовки специалистов, 2004.— 148с.

15. Антонов A.B. Системный анализ. Учеб. для вузов/А.В. Антонов.— М.: Высш. шк., 2004.— 454 с: ил.

16. Арнольд В.И. О представлении непрерывных функций нескольких переменных в виде суперпозиции функций меньшего числа переменных // Мат. просвещение.— 1957.— № 4.— С. 41-61.

17. Аткинсон Р. Введение в математическую теорию обучения./ Под. ред. O.K. Тихомирова.— М.: Мир, 1969.— 486 с.

18. Бабанский Ю.К. Избранные педагогические труды / Ю.К. Бабан-ский.— М.: Педагогика, 1989.— 560 с.

19. Бабанский Ю.К. Методы обучения в современной общеобразовательной школе.— М., 1985.

20. Бермус А.Г. Управление качеством профессионально-педагогического образования: монография / А.Г Бермус.— Ростов-на-Дону: Изд-во РГПУ, 2002.— 301 с.

21. Беспалько В.П. и др. Системно-методическое обеспечение учебно-воспитательного процесса подготовки специалиста, Учебно-методическое пособие.— М. Высшая школа 1989.

22. Беспалько В.П. Основы теории педагогических систем. «Проблемы и методы психолого-педагогического обеспечения технических обучающих систем».— Воронеж, 1977.— 304 с.

23. Беспалько В.П. Элементы теории управления процессом обучения.—М.: Знание, 1971.— 112 с.

24. Беспалько В.П. Слагаемые педагогической технологии / В.П. Беспалько.— М.: Педагогика, 1989.— 192 с.

25. Бочаров В.Н. Проблемы создания и использования тестовых заданий в курсе информатики // Новые информационные технологии в университетском образовании.— Новосибирский техн. университет, 2000.— С. 7880.

26. Брусиловский П.Л. Выбор учебного воздействия в обучающей системе с моделями предметной области и обучающегося // Педагогические и психологические аспекты компьютеризации образования (высшая школа). Тезисы докл. 4.1.— Рига, 1988.— С. 38-40.

27. Бусленко Н.П. Моделирование сложных систем.— М., 1978.—205 с.

28. Васильев В.И., Тягунова Т.Н. Культура компьютерного тестирования: форма тестовой ситуации и формирование теста.— М.: МГУП, 2002.— 83 с.

29. Волкова В.Н., Денисов A.A. Основы теории систем и системного анализа: Учеб. Изд 2-е, перераб. и доп.— СПб.: СПбГТУ, 1999.— 512 с.

30. Гаврилов A.B. Системы искусственного интеллекта: Учеб. пособие: в 2-х ч.— Новосибирск: Изд-во НГТУ, 2001.— 4.1.— 67 с.

31. Гаврилов A.B. Системы искусственного интеллекта: Учеб. пособие: в 2-х ч.— Новосибирск: Изд-во НГТУ, 2001.

32. Головко В.А. Нейронные сети: обучение, организация, применение. Кн.4 / Общ. ред. А.И. Галушкина.— М.: ИПРЖР, 2001.— 256 с.

33. Горбань А.Н. Обучение нейронных сетей.— М.: СП ПараГраф,1991.

34. Гутник Г.В. Проектное управление качеством образования в регионе/Г.В. Гутник// Стандарты и мониторинг.— 2001.— №2.— С. 18—28.

35. Долженко О. Институциональная оценка: стратегия качества / Обзор зарубежных источников / О. Долженко // Aima mater, 1996.— №1.— С. 31-35; №2.— С. 28-31.

36. Ефремова Н.Ф., Сучкова JI.A. Централизованное тестирование как основа для педмониторинга // Развитие системы тестирования в России: Тез. докл. Всерос. науч.-практ. конф.— М., 1999,— №1.— С. 55-57.

37. Ефремова Н.Ф. Школа->тестирование->вуз // Развитие системы тестирования в России: Тез.докл. Всерос. науч.-практ. конф.— М., 2000.— С. 34-37.

38. Закон Российской Федерации «Об образовании» // Высшее образование в России.— 1992.— №3.

39. Захаров А.И., Матюшкин A.M. Проблемы адаптивных систем обучения // Кибернетика и проблемы обучения.— М.: Прогресс, 1970.— 389 с.

40. Качалов В.А. Проблемы управления качеством в вузах // Стандарты и качество.— 2000.— №5.— С. 82-85; №6.— С. 43-49; №7.— С. 6873; №9.—С. 84-88; №11.— С. 82-91; №12.—С. 82-87.

41. Качалов В.А. По поводу оценки качества / В. Качалов, Б. Пруд-ковский // Высшее образование в России.— 1999.— №2.— С. 54-58.

42. Колмогоров А.Н. ДАН, Т. 108, 1956, №2.

43. Колмогоров А.Н. О представлении непрерывной функции нескольких переменных в виде суперпозиции непрерывных функций одного переменного и сложения // Доклады АН СССР.— 1957.— Т. 114, №5.— С. 953-956.

44. Колубеева О.Н., Суханов А.Д. Стратегия развития общего и высшего образования // Известия Российской академии образования.— 2000.— №1,—С. 3-10.

45. Коротков Э. Система комплексной оценки качества образования специалиста / Э. Коротков // Высшее образование в России.— 1995.— №2.— С. 72-78.

46. Кочетков А. (Панкратова И., Шумянкова Н. Контроль знаний студентов, опыт организации //Социально-политический журнал,— М, 1995.— №1— С. 97-105.

47. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика.— М.: Горячая линия — Телеком, 2001.— 382 с.

48. Кузовлева. К.Т. Конструирование педагогических тестов на основе современных математических моделей// www.informika.ru.

49. Кукуев А.И. Педагогический мониторинг личностно-ориентированного образовательного процесса: дис: канд. пед. наук / А.И. Кукуев.— Ростов-на-Дону, 2001.— 165 с.

50. Лагутина И.Н. Тест как инструмент измерения уровня знаний // Химия в школе.— 1998.— №3,— С. 41.

51. Лебедев О. Е. Анализ педагогических проблем.— М., 1990.—134 с.

52. Лебедев О.Е. Петербургская школа. Теория и практика формирования многовариантной образовательной системы.— СПб.: Центр педагогической информации.— 1994.— 132 с.

53. Левин Б.Р. Теоретические основы статистической радиотехники.— 3-е изд.— М.: Радио и связь.— 1989.— 656 с.

54. Лернер И.Я. Базовое содержание общего образования.— М, 1991.— 137 с.

55. Лийв Э.Х. Инфодинамика. Обобщённая энтропия и негэнтро-пия.— Таллинн, 1998.— 200с.

56. Логовский А.С. Многопроцессорные и нейрокомпьютерные технологии фирмы Sundence Multiprocessor Technology, Ltd.— Нейрокомпьютер, №1, 1999.

57. Льюнг Л. Идентификация систем. Теория для пользователя: Пер, с англ, / Под ред. Я.З. Цыпкина.— М.: Наука. Гл. ред. физ.-мат. лит., 1991.— 432 с.

58. Люсин Д.В. Основы разработки и применения критериально-ориентированных педагогических тестов: Учебное пособие.— М.: Исследовательский центр Гособразования СССР, 1993.— 51 с.

59. Майоров А.Н. Мониторинг в образовании.— СПб.: Образование-культура, 1998.— 343 с.

60. Майоров А.Н. Тесты школьных достижений: конструирование, проведение, использование.— СПб.: Образование и культура, 1996.— 304 с.

61. Майоров А.Н. Теория и практика создания тестов для системы образования / А.Н. Майоров.— М.: Народное образование, 2000.— 352 с.

62. Макаров A.A. Комплексный мониторинг качества образования.— М.: ИЦПКПС, 1998.—265 с.

63. Марквард П.Г. Вопросы психологии и педагогики в учебном процессе технического вуза / Н.Г. Марквард.— М., 1967.

64. Международная стандартная классификация образования (МСКО). Международные нормативные акты ЮНЕСКО.— М.:ИЦПКПС, 1998.— 62 с.

65. Наводнов В.Г. Математические модели САПР ПИМ: Препринт №4/97.— Йошкар-Ола. Научно-информационный центр государственной аккредитации, 1997.

66. Назаров C.B. Компьютерные технологии обработки информации.— М.: Финансы и статистика, 1999.

67. Новые образовательные системы и технологии обучения в вузе: Межвуз. сб. науч. тр./ВолгГТУ; Редкол.: Ю.В. Попов (отв.ред.) и др.— Волгоград, 2003.— 180 с. ISBN 5-230-04222-2.

68. Основы вузовской педагогики / под ред. Н.В. Кузьминой, В.И. Урклина.— Л.: Изд-во ЛГУ, 1972.— 308 с.

69. Пак Н.И., Симонова А.Л. Методика составления тестовых заданий // Информатика и образование, 1998, № 5.— С. 27-32.

70. Пак Н.И., Филиппов В.В. К вопросу о технологии компьютерного тестирования // Информатика и образование, 1997, № 5.— С. 19-24.

71. Педагогика высшей школы: учеб. пособие.— Л.: Изд-во ЛГПИ им. А.И. Герцена, 1974.— 116 с.

72. Педагогика высшей школы / под ред. Ю.К. Бабанского.— Ростов-на-Дону: Изд-во Ростовского ун-та, 1972.— 124 с.

73. Педагогический контроль и оценка качества образования Электронный ресурс. — Режим доступа: http://www.xpt.narod.ru/FILES/HTML/XPT/materials/pedagogicheskijkontrol.ht ml.

74. Перегудов Ф.И. и др. Основы системного подхода.— Томск: ТГУ, 1976,— 127 с.

75. Перегудов Ф.И., Тарасенко Ф.П. Основы системного анализа: Учеб. 2-е изд., доп.— Томск: Изд-во HTJ1, 1991.— 396 с.

76. Перегудов Ф.И., Тарасенко Ф.П. Введение в системный анализ: Учебное пособие.— М.: Высшая школа, 1997.— 389 с.

77. Попов Э.В., И.Б. Фоминых, Е.Б. Кисель, М.Д. Шапот Статические и динамические экспертные системы.— М.: Финансы и статистика, 1996.

78. Попов Ю.В. Рейтинговая система оценки деятельности преподавателей и кафедр как способ повышения их творческой активности / Ю.В. Попов, В.П. Подлеснов, Е.С. Брискин, В.И. Садовников Электронный ресурс. — Режим доступа: http://ipk:.admin.tstu.ru.

79. Портал информационной поддержки Единого Государственного Экзамена http://www.ege.edu.ru/.

80. Поташник М.М. Управление качеством образования / М.М. Поташник и др..—М.: Педагогическое общество России, 2000.— 441 с.

81. Проверка и оценка знаний в высшей школе.— Томск: Изд-во ТГУ, 1969.—215 с.

82. Проект концепции "Федеральная система тестирования" // Первое сентября,— М.,— 2000.— №11.

83. Разработка системы рейтинг-контроля уровня усвоения знаний студентов Электронный ресурс. — Режим доступа: http://referat.niv.ru.

84. Рекомендации Международного круглого стола «Обеспечение качества высшего образования: российский опыт в международном контексте» — М //Университетская книга, 2001.— №5.— С. 14-15.

85. Роберт И. Новые информационные технологии в обучении: дидактические проблемы, перспективы использования // Информатика и образование, 1991.—№4.—С. 18-26.

86. Родионов Б.У., Татур А.О. Стандарты и тесты в образовании.— М., 1995.

87. Розенберг Н.М. Проблема измерений в дидактике.— Киев: Вища школа, 1979.— 176 с.

88. Сериков В.В. Личностный подход в образовании: концепция и технологии. Волгоград, 1994. С. 42^43.

89. Симанков B.C. Автоматизация системных исследований: Монография/ Техн. ун-т Кубан. гос. технол. ун-та.— Краснодар, 2002.— 376 с.

90. Скобелев П.О. Открытые мультиагентные системы для поддержки процессов принятия решений при управлении предприятиями // Известия Самар. науч. центра РАН.— 2001.— Янв.-июнь.— С. 71-79.

91. Спицнадель В.Н. Основы системного анализа: Учеб. пособие.— СПб.: Бизнес-пресса, 2000.— 560 с.

92. Сучкова Л.А. Централизованное тестирование как средство экспертизы качества образования: Дис. канд. пед. наук.— Ростов н/Д, 2000.— 167 с.

93. Уоссерман Ф. Нейрокомпьютерная техника. М.: Мир, 1992.

94. Хехт-Нильсен Р. Нейрокомпьютинг: история, состояние, перспективы // Открытые системы, 1998. № 4.

95. Хорошилова И.Л. Мониторинг качества образования в современной школе в 2001-2002 учебном году (Методическое письмо) / И. Хорошилова Электронный ресурс. — Режим доступа: www.belgorod.edu.ru.

96. Хубаев Г.Н. Статистический подход к построению шкалы оценок в компьютерных системах тестирования // Информационные системы, экономика, управление трудом и производством Вып 1 Ученые записки /РГЭА,— Ростов-на-Дону, 1995.

97. Хубаев Г.Н. О построении шкалы оценок в системах тестирования // Высшее образование в России.— 1996,— №1.

98. Шевченко П.А., Фомин Д.В., Черников В.М., Виксне П.Е. Архитектура нейропроцессора NeuroMatrix NM6403: Сб. докл. V Всероссийской конференции «Нейрокомпьютеры и их применение»,— М.: Радио и связь, 1999,-94 с.

99. Шишов С.Е. Мониторинг качества образования в школе / С.Е. Шишов, В.А. Кальней.— М.: Российское педагогическое агентство, 1998.— 354 с.

100. Birnbaum A. Some Latent Trait Models. In 76. Lord F.M., Novic M.R. Statistical Teories of Mental Test Scores. Reading, Mass.: Addison-Wesley, 1968.

101. Braley A.J. Intelligent Packaging in Pursuit of Customer Needs. Packaging Technology and Science.— 1993,—Vol .6.—No 3.—P. 115-121.

102. Churchland P.S. and Sejnowski T.J. The Computational Brain, Cambridge, MA: MIT Press, 1992.

103. Cybenko, G. Approximation by superpositions of a sigmoidal function // Mathematics Control, Signal & System, Vol. 2, pp. 303-314, 1989.

104. Funahashi K.I. On the approximate realization of continuous mappings by neural networks //Neural Networks, Vol. 2, pp. 183-192, 1989.

105. Gronlund N.E. Measurement and evaluation in teaching. The MacMil-lan Co., N-Y, 1985.— 56 pp.

106. Guttman L. A basis for analizing test-retest reliability. Psycho-metrika.— 1945, 10.—P. 255-282.

107. Guttman L. The guantification of a class of attributes: A theory and method of scale construction. The prediction of personal adjustment. New York: Social Science Research Council. 1941.— P. 319-348.

108. Hambleton R. K., Swamimathan H. Item Responce Theory. Principles and Applications. Boston, 1985.

109. Hecht-Nielsen R. Neurocomputing.— Mass.: Addison Wesley, 1992.— 433 p.

110. Hornik K., Stinchcomb M., White H. Multilayer feedforward networks are universal approximators // Neural Networks.— 1989. — V. 2, N. 5.— P. 359-366.

111. Kelly T.L. Selection of upper and lower groups for the validation of test items// Journal of Educational Psychology, 1939. 30.— P. 17-24.

112. Kohonen T. Self-organizing and Associative Memory.— Berlin: Springer Verlag, 1984.

113. Kohonen T. Self-organizing Maps. ~ Heidelberg: Springer Verlag,1995.

114. Kroese B. An introduction to Neural Networks.— Amsterdam University of Amsterdam, 1996.

115. Lord P.M. Application of Item Response Theory to Practical Testing Problems. Hillsdate N-J. Lawrence Erlbaum Ass., Publ. 1980.

116. Lord P.M., Novic M.R. Statistical Teories of Mental Test Scores. Reading, Mass.: Addison-Wesley, 1968.

117. Nitko A.J., Mulgrave N.W. Study Guide for educational tests and measurement: An introduction.— Harcourt Brace Jovanovich, Inc, 1983.

118. Novic M.R. The Axioms and Principle Results of Classical Test Theory / Journal of Mathematical Psychology, 1966, №3.— P. 1-18.

119. Park J., Sandberg I.W. Universal approximation using radial basis function networks // Neural Computation.— 1991.— V. 3, N. 2.— P. 246-257.

120. Rasch G. Probabilisyic Models for Some Intelligence and Attainment Tests. The Univ. Press. Chicago, 1980.

121. Ratanapan K., Daglu C.H. Implementation of ART 1 Architecture on CNAPS Neurocomputer. Application and Science of Artificial Neural Networks. 1995, SPIE, vol. 2492, pp. 103-110.

122. Rzevski G. Intelligent Systems: Issues and Trends. Intern. Conf. on Intelligent Manufacturing.— Wuhan, China.— 1995.

123. Rzevski G. Mechatronics: Designing Intelligent Machines. Butterworth-Heinemann in association with the Open University.— 1995.

124. Rzevski G., Buckland R. Value Chain Management in Space Industry // Report to DTI.— 1997.

125. Vreeswijk G.A.W. Self-government in Multi-Agent Systems: Experiments and Thought-Experiments. Technical report CS 95-03, Dept. of CS, University of Limburg.— Maastricht, The Netherlands.