Научно-методические подходы к автоматизации оценки качества обучающих тестов

Кокшарова, Елена Александровна

Темы диссертаций по педагогике » Теория и методика обучения и воспитания (по областям и уровням образования)

автореферат и диссертация по педагогике 13.00.02 для написания научной статьи или работы на тему: Научно-методические подходы к автоматизации оценки качества обучающих тестов

Автореферат

Автор научной работы: Кокшарова, Елена Александровна
Ученая степень: кандидата педагогических наук
Место защиты: Москва
Год защиты: 2010
Специальность ВАК РФ: 13.00.02

Диссертация

Автореферат диссертации по теме "Научно-методические подходы к автоматизации оценки качества обучающих тестов"

004609268

На правах рукописи

К0КШАР0ВА Елена Александровна

НАУЧНО-МЕТОДИЧЕСКИЕ ПОДХОДЫ К АВТОМАТИЗАЦИИ ОЦЕНКИ КАЧЕСТВА ОБУЧАЮЩИХ ТЕСТОВ (НА ПРИМЕРЕ ОБУЧЕНИЯ УЧИТЕЛЕЙ МАТЕМАТИКИ)

13.00.02 - теория и методика обучения и воспитания (информатизация образования)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата педагогических наук

2 3 СЕН ?ою

Москва-2010

004609268

Работа выполнена в ГОУ ВПО «Нижнетагильская государственная социально-педагогическая академия», на кафедре педагогики.

Научный руководитель: доктор педагогических наук, профессор Гейн Александр Георгиевич

Официальные оппоненты: доктор педагогических наук, профессор Пак Николай Инсебович;

кандидат педагогических наук Волков Петр Дмитриевич

Ведущая организация: ГОУ ВПО «Челябинский государственный

педагогический университет»

Защита состоится «30» сентября 2010 года в 15.00 часов на заседании диссертационного совета Д 008.004.01 при Учреждении Российской академии образования «Институт информатизации образования» по адресу: 119 121, г Москва, ул. Погодинская, д. 8.

С диссертацией можно ознакомиться в библиотеке Учреждения Российской академии образования «Институт информатизации образования».

Текст автореферата размещен на сайте <http://www.iiorao.ru>. Автореферат разослан «28» августа 2010 г.

Ученый секретарь диссертационного совета

Г.Л. Ежова

ОБЩАЯ ХАРАКТЕРИСТИКА ИССЛЕДОВАНИЯ

Актуальность исследования. Современный этап информатизации образования характеризуется переходом на качественно новый уровень, связанный с активным внедрением средств информационных и коммуникационных технологий (ИКТ) в процесс обучения. Этот процесс инициирует использование тестовых технологий в процессе обучения (Роберт И.В.).

Одним из приоритетных направлений информатизации образования является реализация возможностей информационных технологий в качестве средства автоматизации процессов контроля, коррекции результатов учебной деятельности, педагогического тестирования и психодиагностики, в качестве средства автоматизации процессов обработки результатов педагогического тестирования (Роберт И.В.).

Контроль результатов обучения и оценка качества обученности инициируют использование тестовых технологий в учебном процессе (Ивлиев М.К., Пак Н.И., Рудинский И.Д., Челышкова М.Б., Шаров А.Г., ШатоваИ.В. и др.). Реализация возможностей тестовых технологий обеспечивает получение объективной информации о достижении учащимися базового уровня знаний по учебным дисциплинам, объективное определение степени усвоения ими отдельных элементов знаний. В связи с этим тесты рассматриваются как один из основных инструментов контроля качества образования. В течение многих десятилетий тесты активно применяются в мировой педагогической практике (Анастази А., Гласс Дж. и Стэнли Дж., Ингекамп К., Клайн П. и др.), а в настоящее время занимают все более прочные позиции и в российском образовании (Грабарь М.И., Лихтциндер Б.Я., Михайлычев Е.А., Михеев В.И., Сафонцев С.А. и др.).

В современном образовательном процессе наряду с использованием контролирующего тестирования активно развивается такое направление педагогических тестовых технологий как обучающее тестирование (Кадневский В.М., Каплун O.A., Михайлова Д.А., Сеногноева H.A., Углев В.А., Федоров Е.Б и др.). Вслед за Кадневским В.М. под обучающим тестированием будем понимать совокупность мероприятий, обеспечивающих разработку и использование независимых и объективных средств оценки уровня развития индивидуальных способностей испытуемых к обучению, а также обработку и анализ полученных результатов.

предоставляет возможность выявления общих и индивидуальных пробелов в знаниях обучающегося. Кроме того, в данной разновидности теста заложена необходимость самостоятельного выбора учащимися пути решения задачи с рефлексией этого выбора, а не просто ответа на нее, как это предусмотрено в традиционных моделях теста контроля результатов обучения.

Основываясь на исследованиях АванесоваВ.С., Майорова А.Н., Кадневского В.М., Сеногноевой H.A., под обучающим тестом применительно к предметной области «математика» будем понимать педагогический инструмент (Майоров А.Н.), позволяющий диагностировать правильность построения учащимся пути решения учебной задачи до получения верного ответа на нее.

Однако, несмотря на указанные позитивные моменты, применение обучающих тестов в педагогической практике сдерживается из-за недостаточной проработанности ряда принципиальных вопросов, одним из которых является оценка качества обучающих тестов, используемых в образовательном процессе. Это связано с недостаточно развитыми научно-методическими подходами к решению вопроса о выборе параметров качества обучающего теста, что в свою очередь, обусловлено неоднозначным толкованием самого понятия «качество обучающего теста».

В работах по контролирующему тестированию (Аванесов B.C., Ильина Т.А., Майоров А.Н., Челышкова М.Б. и др.) принципиальной позицией, занимаемой всеми указанными авторами, является определение характеристик качества контролирующего теста - валидности и надежности - исключительно на основе апостериорных оценок, т.е. таких, которые могут быть получены только после проведения широкой апробации. Что же касается обучающих тестов, то одним из достижений данного направления тестирования было выделение ряда параметров, позволяющих судить о педагогических свойствах теста до того, как он будет апробирован на репрезентативной группе обучаемых (Сеногноева H.A.).

Однако вопрос о полноте выявленной совокупности параметров качества обучающего теста и об их взаимном влиянии также остается нерешенным. Кроме того, разработка любого обучающего теста сопровождается неоднократной обработкой данных теста и вычислением каждый раз значительного числа (более десяти) параметров (Кадневский В.М., Сеногноева H.A., Федоров Е.Б. и др.), что весьма затруднительно осуществлять без привлечения средств автоматизации. Надо также отметить, что улучшение по одному из параметров нередко ведет к понижению значения по другому, а представление данных теста

содержит графические составляющие, что делает эту процедуру еще более трудоемкой.

Учитывая вышеизложенное, под качеством обучающего теста будем понимать величину, описывающую совокупность взаимосвязанных параметров обучающего теста, характеризующих его свойства: нормативность, вапидность, надежность, направленность теста на обучение. Вопросы оценки качества в области контролирующего тестирования нашли свое отражение в работах Гласса Дж., Максимовой O.A., Неймана Ю.М., Челышковой М.Б., Черепанова B.C. и др. В них также рассмотрены подходы к использованию средств информационных технологий к оценке качества контрольно-тестовых материалов. Вместе с тем не уделяется должного внимания реализации возможностей информационных технологий в области оценки качества обучающих тестов.

Современный этап информатизации образования характеризуется использованием средств автоматизации (Данилюк С.Г., Павлов A.A., Романенко Ю.А., Рудинский И.Д., Сердюков В.И. и др.), в том числе и Для процессов оценки качества тестов (Окладникова C.B., Перескокова О.И., Плавинский C.JI. и др.). В исследованиях этих специалистов показано, что достижение заданного уровня качества применяемых тестов целесообразно применение средств автоматизации процессов сбора и обработки формализованной информации. Таким образом, достижение заданного уровня качества обучающих тестов базируется на формализованных параметрах, лежащих в основе автоматизации оценки качества обучающих тестов, под которой будем понимать процесс обработки на базе информационных технологий значений параметров качества обучающих тестов для установления наилучшего сочетания их значений и вывода оценки качества

В настоящее время также ощущается дефицит специалистов в области оценки качества обучающих тестов, так как на сегодняшний день педагоги не имеют того уровня обученности в данной области, который позволил бы им уверенно применять обучающие тесты в своей работе. Вместе с тем следует констатировать тот факт, что научно-методические подходы, ориентированные на обучение учителей в области оценки качества обучающих тестов с использованием средств автоматизации также недостаточно раскрыты в современных исследованиях. В этой связи необходимо обучение учителей оценке качества обучающих тестов, а также теории и практике оценки качества обучающих тестов с использованием средств автоматизации.

Вместе с тем необходимо отметить, что анализ средств автоматизации, используемых для обучения, позволяет говорить о

необходимости методической поддержки для обеспечения комфортной работы пользователя в области обучения, графического компонента для наглядного представления данных, а также функции сбора и хранения данных.

В нашем исследовании мы рассматриваем обучение учителей с использованием автоматизированной системы оценки качества обучающего теста, под которым будем понимать процесс освоения теории и практики оценки качества обучающих тестов на базе информационных технологий, направленный на объективную оценку знаний учащихся.

В связи с вышеизложенным, проблема исследования обусловлена противоречием между потенциальными возможностями информационных технологий в области автоматизации процессов выбора наилучшего сочетания значений параметров качества обучающего теста и недостаточной их реализацией в обучающем тестировании, а также недостаточной разработанностью научно-методических подходов к обучению учителей в данной области.

Таким образом, актуальность исследования заключается в необходимости реализации возможностей информационных технологий для автоматизации процесса оценки качества обучающих тестов, характеризующей нормативность, валидность, надежность, направленность теста на обучение, и методических подходов к обучению учителей в области автоматизации оценки качества обучающих тестов.

Объект исследования - оценка качества обучающих тестов, осуществляемая на базе информационных технологий.

Предмет исследования - теоретические подходы к оценке качества обучающих тестов, осуществляемой на базе информационных технологий, и методические подходы к обучению учителей математики в данной области.

Цель исследования заключается в научном обосновании состава и требований к параметрам характеристик качества обучающих тестов, в разработке структуры автоматизированной системы оценки качества обучающих тестов и создании программного обеспечения ее функционирования, а также методических подходов к обучению учителей математики в области автоматизации оценки качества обучающих тестов.

Гипотеза исследования: если научно-методические подходы к обучению учителей математики в области автоматизации оценки качества обучающих тестов будут ориентированы на формирование знаний в области определения состава параметров характеристик качества обучающего теста по математике и требований к их значениям, а также умений применять автоматизированную систему для оценки качества

обучающих тестов в соответствии с методическими рекомендациями, то это повысит уровень обученности учителей в данной области.

В соответствии с целью и выдвинутой гипотезой сформулированы задачи исследования:

1. Провести анализ научно-методических исследований в области современного состояния, перспектив разработки и использования средств оценивания качества педагогических тестов, реализованных на базе информационных технологий.

2. Теоретически обосновать состав параметров характеристик качества обучающего теста и сформулировать требования к значениям параметров.

3. Сформулировать требования к структуре и функционированию компонентов автоматизированной системы оценки качества обучающих тестов и разработать ее программную реализацию

4. Разработать структуру и содержание курса обучения учителей математики в области автоматизации оценки качества обучающих тестов.

5. Разработать методические рекомендации по применению автоматизированной системы оценки качества обучающих тестов.

6. Экспериментально проверить уровень обученности учителей математики в области оценки качества обучающих тестов на базе автоматизированной системы.

Методологическую основу исследования составляют работы в области педагогики и психологии (Бабанский Ю.К., Беспалько В.П., Гальперин П.Я., Давыдов В.В., Лернер И.Я., Никандров Н.Д., Талызина Н.Ф. и др.); тестовых технологий (Аванесов B.C., Анастази А., Гласс Дж., Грунлунд Н., Ингекамп К., Кадневский В.М., Клайн П., Майоров А.Н., Матрос Д.Ш., Михайлычев Е.А., Сеногноева H.A., Стэнли Дж., Федоров Е.Б., Хлебников В.А., Цатурова И.А., Челышкова М.Б., и др.); теории и методики информатизации образования (Ваграменко Я.А., Вострокнутов И.Е., Козлов O.A., Лапчик М.П., Латышев В.Л., Манушин Э.А., Мартиросян Л.П., Пак Н.И., Роберт И.В., Рудинский И.Д. и др.); разработки и использования автоматизированных обучающих систем (Волков П.Д., Данилюк С.Г., Кудинов В.А., Надеждин E.H., Павлов A.A., Романенко Ю.А., Сердюков В.И., Троицкая Е.А. и др.)

Методы исследования: анализ и обобщение психолого-педагогической, дидактической и методической литературы по проблеме исследования; анализ опыта по разработке и использованию возможностей информационных технологий для оценки качества педагогических тестов; анкетирование учителей; организация педагогического эксперимента и анализ полученных результатов; наблюдение за ходом внедрения

автоматизированной системы оценки качества обучающих тестов в учебный процесс.

Научная новизна и теоретическая значимость исследования заключается в: определении основных направлений использования средств информационных технологий в области педагогического тестирования; обосновании состава параметров характеристик качества обучающего теста и в формулировании требований к их значениям; разработке требований к значениям параметров обучающего теста, характеризующих нормативность, валидность, надежность и направленность теста на обучение; обосновании требований к структуре и функционированию компонентов автоматизированной системы оценки качества обучающих тестов; разработке требований к уровню обученности учителей математики в области оценки качества обучающих тестов.

Практическая значимость состоит в: программной реализации автоматизированной системы оценки качества обучающих тестов; разработке структуры и содержания курса обучения учителей математики в области оценки качества обучающих тестов с использованием автоматизированной системы; разработке методических рекомендаций по использованию автоматизированной системы оценки качества обучающих тестов.

Разработанные материалы могут быть использованы в процессе обучения будущих учителей математики, а также в процессе подготовки, переподготовки и повышения квалификации учителей-предметников.

Этапы исследования. Исследование проводилось в три этапа.

I этап (2007 - 2008 гг.) - анализ научно-методических разработок в области оценки качества педагогических тестов, реализованных на базе информационных технологий, а также методических подходов к автоматизации процесса оценки качества обучающих тестов; обоснование состава параметров характеристик качества обучающего теста и требований к их значениям.

П этап (2008 - 2009 гг.) - выявление требований к структуре и функционированию компонентов автоматизированной системы и педагогико-зргономических требований к ее программной реализации; программная реализация автоматизированной системы оценки качества обучающих тестов; разработка структуры содержания курса обучения «Автоматизированная оценка качества обучающих тестов».

Ш этап (2009 - 2010 гг.) - проведение экспериментального обучения учителей математики в рамках разработанного курса, а также тестирования учителей МОУ СОШ №23 г. Нижнего Тагила, будущих учителей математики на физико-математическом факультете ГОУ ВПО «Нижнетагильская государственная социально-педагогическая академия»,

учителей на факультете повышения квалификации преподавателей естественных наук в ГОУ ВПО «Уральский государственный университет им. A.M. Горького», статистическая обработка полученных экспериментальных данных и интерпретация результатов диссертационного исследования, формулировка выводов и разработка методических рекомендаций по применению автоматизированной системы оценки качества обучающих тестов.

Апробация результатов исследования осуществлялась на: всероссийской научно-практической конференции в Челябинске (2008 г.), форуме молодых ученых в рамках третьей межвузовской олимпиады аспирантов в Санкт-Петербурге (2009 г.), международной конференции в Новосибирске (2009 г.), УП1 международном научно-творческом форуме в Челябинске (2009 г.). Результаты исследования докладывались и обсуждались на заседаниях кафедры педагогики, кафедры математики и методики обучения математики ГОУ ВПО «Нижнетагильская государственная социально-педагогическая академия» (2007 - 2010 гг.). Результаты работы подтверждены свидетельствами о регистрации: в Отраслевом фонде алгоритмов и программ при ФГНУ «Государственный координационный центр информационных технологий» Федерального агентства по образованию, в объединенном фонде электронных ресурсов «Наука и образование» при Государственной академии наук Российской академии образования.

Внедрение результатов исследования. Результаты исследования внедрены и используются в рамках учебного процесса ГОУ ВПО «Нижнетагильская государственная социально-педагогическая академия» на физико-математическом факультете по двум специальностям, в ГОУ ВПО «Уральский государственный университет им. A.M. Горького» на факультете повышения квалификации преподавателей естественных наук, в МОУ СОШ №23 г. Нижнего Тагила.

Обоснованность и достоверность проведенного исследования, его результатов и выводов определяются: теоретической и методологической обоснованностью исходных данных; опорой на теоретические разработки в области психологии и педагогики; использованием средств информационных технологий; применением комплекса методов, соответствующих целям и задачам исследования; разносторонними экспериментальными данными; соблюдением логики эксперимента; математико-статистической обработкой полученных данных; согласованностью полученных выводов с основными положениями современной концепции информатизации образования.

Положения, выносимые на защиту:

1. Теоретические аспекты автоматизации оценки качества

обучающего теста основаны на реализации требований к составу параметров характеристик качества тестов и к их значениям, а также требований к структуре и функционированию компонентов автоматизированной системы.

2. Методические подходы к обучению учителей в области автоматизации оценки качества обучающих тестов, основаны на реализации требований к уровню обученности учителей в области оценки качества обучающих тестов с использованием автоматизированной системы, структуры и содержания курса обучения учителей в данной области и опираются на методические рекомендации по применению автоматизированной системы.

Структура диссертации.

Диссертация состоит из введения, двух глав, заключения, библиографии и приложения.

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обоснована актуальность темы исследования, выявлена проблема исследования, определены его объект, предмет, сформулирована цель, выдвинута гипотеза, определены задачи, научная новизна, теоретическая и практическая значимости работы, сформулированы положения, выносимые на защиту.

В первой главе содержится анализ научно-методической литературы в области оценки качества педагогических тестов, реализованных на базе информационных технологий, который выявил, что большинство разработок для оценки качества педагогических тестов, реализованных на базе информационных технологий, применяются лишь на этапе заключительной обработки экспериментальных данных, так как качество контролирующего тестового материала может быть выявлено только после широкой апробации на испытуемых. Что же касается обучающего тестирования, то параметры обучающих тестов (уровень сложности минимальный - это минимальное значение из уровней сложности путей теста, уровень сложности максимальный - это максимальное значение из уровней сложности путей теста, степень равномерности - это разность между максимальным и минимальным уровнями свернутости теста, уровень альтернативности минимальный -это минимальное значение из отношений числа верных альтернатив действия к их общему числу в этом действии, уровень альтернативности максимальный - это максимальное значение из отношений числа верных альтернатив действия к их общему числу в этом действии), определяющие валидность и надежность обучающего теста, могут быть вычислены априорно.

Кроме валидности и надежности для обучающих тестов рассмотрена группа параметров, связанная с уровнем и характером усвоения учащимися изучаемого материала, а также группа параметров, определяющих нормативность обучающего теста. В число параметров этих групп входят: минимальный уровень свернутости теста - это наименьшее число из уровней свернутости действия; максимальный уровень свернутости теста - это наибольшее число из уровней свернутости действия; длина теста - это число, равное сумме уровней свернутости всех шагов действий теста; ширина теста - это максимальный шаг действия; степень разветвленности теста - это количество путей в тесте и ряд других характеристик.

Выявление характеристик, не только учитывающих структуру процесса обучения, но и отвечающих в обучающих тестах за степень обученности, является необходимым условием для определения качества обучающего теста. Для построения параметра, описывающего данную характеристику, в описании альтернатив, предлагаемых учащемуся для построения пути решения задачи, выделены шаги, на которых реализуются II и Ш этапы формирования умственных действий (по Гальперину П.Я.), поэтому в качестве значения параметра, названного нами направленностью теста на обучение, взято отношение числа вопросов, относящихся к указанным этапам, к общему числу вопросов в тесте. Таким образом, обоснован состав параметров характеристик качества обучающего теста по математике и требования к их значениям.

На основании проведенного анализа методических подходов к автоматизации процесса оценки качества обучающих тестов теоретически обоснована необходимость разработки системы, обеспечивающей автоматизированную оценку качества обучающих тестовых материалов, а также необходимость обучения учителей математики ее использованию для получения качественных тестовых материалов, используемых в своей практической деятельности.

На основании технологических разработок в области оценки качества тестовых материалов и научно-педагогических исследований, посвященных обучению специалистов, сформулированы требования к структуре и функционированию компонентов автоматизированной системы оценки качества обучающих тестов. Определены педагогико-эргономические требования к автоматизированной системе, которые заключаются в следующем: информационное наполнение системы сообразно целям ее использования; обеспечение возможности автоматизации процессов сбора, обработки и накопления информации; возможность индивидуального темпа работы с системой; централизованное хранение разработанных тестовых материалов;

автоматизация вывода информации о тесте в печатном виде.

С учетом требований была разработана система автоматизированной оценки качества обучающих тестов, обеспечивающая разработку и диагностику качества обучающих тестов и являющаяся основным средством, используемым для подготовки учителей. Ее структура представлена двумя функциональными блоками: администрирования и пользовательским, включающими в себя технологические модули, отвечающие за отдельные функции системы, что позволяет осуществлять технологическую адаптацию интерфейса и разделить функциональные возможности. Программная реализация автоматизированной системы представлена в тексте диссертационного исследования.

Во второй главе с целью формирования структуры содержания курса обучения учителей математики сформулированы требования к знаниям и умениям, отвечающим целям и задачам подготовки в данной области: а) умения в области разработки обучающих тестов, используя знания о параметрах качества, влияющих на эффективность использования тестов; б) знания в области принципов разработки обучающих тестов и параметров, влияющих на качество тестов; в) владение навыками оценки качества обучающих тестов на базе автоматизированной системы и использование методических рекомендаций по его улучшению.

На основе вышеизложенного была разработана линейная структура содержания подготовки учителей в области оценки качества обучающих тестов на базе автоматизированной системы на примере курса «Автоматизация оценки качества обучающих тестов», включающая изучение следующих тематических разделов: основные теоретические подходы к рассмотрению обучающих тестов; параметры качества обучающих тестов и их определение; интерпретация результатов оценки качества обучающих тестов и их анализ для эффективного использования тестов в образовательном процессе; методика работы с автоматизированной системой оценки качества; разработка и оценка качества обучающих тестов на базе автоматизированной системы.

Разработаны методические рекомендации по использованию автоматизированной системы для оценки качества обучающих тестов состоящие из: рекомендаций по установке и настройке системы; рекомендаций по содержательному наполнению обучающих тестов и структурированию заданий в тесте; рекомендаций по использованию обучающего теста в зависимости от значений параметров качества и вывода резюме системы, а также описание как пользоваться сведениями системы о направлениях корректировки качества разработанных обучающих тестов на примере одного из тестов.

Экспериментальная проверка уровня обученности учителей математаки в области оценки качества обучающих тестов на базе автоматизированной системы в рамках курса «Автоматизация оценки качества обучающих тестов» проводилась на базе МОУСОШ № 23 г. Нижнего Тагила, ГОУ ВПО «Нижнетагильская государственная социально-педагогическая академия», ГОУ ВПО «Уральский государственный университет им. A.M. Горького» на факультете повышения квалификации преподавателей естественных наук, в три этапа. В эксперименте участвовало 27 учителей из экспериментальной группы и 19 из контрольной. Для оценки результатов подготовки по разработаному курсу, адаптировав предложенную В.П. Беспалько систему уровней освоения действий, были заданы теоретические уровни обученности: репродуктивный, адаптивный, эвристаческий и творческий, выражающиеся в требованиях к знаниям, умениям и навыкам.

На первом, констатирующем, этапе эксперимента был определен первоначальный уровень подготовки обучаемых в области оценки качества обучающих тестов. В качестве метода для определения уровня подготовки применялось тестарование, включающее два блока вопросов, которые оценивались по 10-балльной шкале. Вопросы первого блока (с 1 по 10) были направлены на проверку теоретических знаний, необходимых для овладения прохождения курса обучения. Вопросы 2 блока (с 11 по 20) были направлены на проверку практаческих навыков в конструировании обучающих тестов.

Анализ полученных в результате тестирования данных показал, что уровень теоретических и практаческих знаний большинства обучаемых является недостаточным для разработки качественных обучающих тестов для их эффективного использования в практической деятельное™. Это позволило сделать вывод о целесообразное™ обучения учителей математаки оценке качества обучающих тестов с использованием автоматизированной системы.

Обучающий этап эксперимента состоял в обучении учителей математаки контрольной и экспериментальной групп в рамках курса «Автоматизация оценки качества обучающих тестов». В контрольной группе обучение проводилось по такой же программе, как и в экспериментальной, но без использования на практических занятиях автоматизированной системы оценки качества обучающих тестов. В экспериментальной группе учителя для оценки качества создаваемых ими тестов, пользовались системой и следовали ее рекомендациям в случае неудовлетворительного качества теста. На контрольном этапе эксперимента для оценки достигнутого учителями уровня обученности в экспериментальной группе использовались два вида итогового контроля:

тест и учебный проект по оценке качества обучающего теста и его корректировке с помощью функциональных возможностей автоматизированной системы, а в контрольной использовали только тест, поскольку работа над качеством обучающего теста на базе автоматизированной системы была исключена из их подготовки. Тест был рассчитан на 2 часа и содержал 10 заданий по практическому контролю знаний, умений и навыков, соответствующих адаптивному и эвристическому уровню обученности учителей в области оценки качества обучающих тестов. Оценивалось количество полностью выполненных заданий, при этом максимальная оценка за работу составляла 10 баллов.

С помощью критерия Вилкоксона-Манна-Уитни показано, что после обучающего этапа эксперимента уровень обученности учителей в экспериментальной группе отличается от уровня обученности учителей в контрольной. При уровне значимости а = 0,05; п, = 19; «2 = 27; Жиабл = 95,16 область принятия гипотезы Нй [112,1; 247,89]). Исходя из этого, для определения группы с более высоким уровнем обученности было произведено сравнение средних баллов, набранных учителями в

— 1 15 - 1 27 контрольной (ó = —]Tó, =6,2) и экспериментальной {х = —x¡ = 7,54) 19 „i 27

группах в результате контрольного тестирования, поэтому можно говорить

о том, что обучение с применением автоматизированной системы

повышает уровень обученности учителей. Помимо этого, для оценки

уровня практических умений и навыков учителей в экспериментальной

группе, а так же их готовности к применению автоматизированной

системы в профессиональной деятельности был осуществлен итоговый

контроль в форме учебного проекта. При выполнении учебного проекта

обучаемые самостоятельно проводили корректировку своих обучающих

тестов в соответствии с указанным системой направлением корректировки,

а также разрабатывали обучающие тесты в соответствии с требованиями к

их разработке, а также психолого-педагогических и методических

требований к их использованию. Результатами такой работы являются

новые обучающие тесты в банке автоматизированной системы, а также

описание направления их применения в сфере образования. Каждый

разработанный обучающий тест оценивался по 10-ти балльной шкале по

параметрам, отражающим требования к их разработке: обучаемый получал

до 5 баллов, если обучающий тест соответствовал психолого-

педагогическим, методическим требованиям к его качеству, а также до 5

баллов оценивалось содержательное наполнение обучающего теста и

качество рекомендаций по применению разработанного теста.

Средний балл, набранный всеми учителями в экспериментальной группе за учебный проект, составил г = 8,26. Количество учителей, получивших за учебный проект более 7 баллов, составило 23 человека из общего количества 27 человек, что составляет 85 % и свидетельствует о достижении большинством учителей эвристического уровня обученности. Для оценки показателя обученности учителей генеральной совокупности на основании проведенного выборочного исследования была рассчитана ошибка репрезентативности выборки тр = 6,9% и с использованием критерия Стьюдента <та6л вычислена вероятность достижения ими эвристического уровня обученности Ркн = Рвы6 ± ?та6л*тр = 85 % ± 14,1 % на уровне значимости 0,05.

Таким образом, эксперимент показал, что в результате прохождения курса «Автоматизированная оценка качества обучающих тестов» большинство учителей математики достигли необходимого уровня обученности и получили необходимый базовый запас знаний, умений и навыков, необходимый для самообразования в данной области.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ

1. Проведенный анализ научно-методических исследований в области современного состояния, перспектив разработки и использования средств оценивания качества педагогических тестов, реализованных на базе информационных технологий показал, что основная часть разработок в данной области направлена на осуществление автоматизации процесса некоторых промежуточных задач процедуры оценки качества, основанных преимущественно на обработке апостериорных данных, полученных после проведения апробации тестовых материалов на испытуемых. Установлено, что в области обучающего тестирования подобные системы оценки пока не разрабатывались. Выявлена необходимость разработки автоматизированной системы оценки качества обучающих тестов, назначением которой является обеспечение автоматизации деятельности по сбору, обработке и использованию информации в области оценки качества обучающих тестов.

2. Теоретически обоснован состав параметров характеристик качества обучающего теста и сформулированы требования к их значениям. Для понятий надежности и валидности сделано уточнение их содержания применительно к обучающим тестам и обоснованы соответствующие параметры, отвечающие за уровень и характер усвоения учащимися изучаемого материала: уровень сложности, степень равномерности, уровень альтернативности', а также группа параметров, характеризующих нормативность обучающего теста: уровень свернутости теста, длина, ширина, степень разветвленности и степень направленности теста на

обучение. Разработаны требования к значениям этих параметров. В результате проведенного анализа научных исследований в области педагогического тестирования определено содержание понятий «обучающий тест» и «оценка качества обучающего теста».

3. Сформулированы требования к структуре автоматизированной системы оценки качества обучающих тестов и обоснованы требования к содержательному наполнению модулей автоматизированной системы оценки качества обучающих тестов. Содержательной базой автоматизированной системы являются следующие источники: опубликованные издания, результаты нашего диссертационного исследования, информация экспертов в данной области. Обоснованы требования к функционированию системы, обеспечивающей реализацию следующих действий: ввод-вывод, прием-передача необходимой информации от пользователей и администратора; обеспечение вариативности в наглядном представлении информации; методическая поддержка для использования автоматизированной системы; назначение прав доступа к функциям и ресурсам.

Разработана программная реализация автоматизированной системы оценки качества обучающих тестов, основанная на модульной структуре и функционирующая на базе объектно-ориентированного языка программирования.

4. Разработана структура и содержание курса обучения учителей математики в области автоматизации оценки качества обучающих тестов, состоящая из следующих разделов: основные теоретические подходы к рассмотрению обучающих тестов; параметры качества обучающих тестов и их определение; интерпретация результатов оценки качества обучающих тестов и их анализ для эффективного использования тестов в образовательном процессе; методика работы с автоматизированной системой оценки качества; разработка и оценка качества обучающих тестов на базе автоматизированной системы.

5. Сформулированы требования к уровню обученности учителей математики в . области применения автоматизации оценки качества обучающих тестов, определяющие основные: а) знания в области принципов разработки обучающих тестов и параметров, влияющих на качество тестов; б) умения в области разработки обучающих тестов, используя знания о параметрах качества, влияющих на эффективность использования тестов; в) владение навыками оценки качества обучающих тестов на базе автоматизированной системы и использование методических рекомендаций по его улучшению.

6. Разработаны методические рекомендации по применению автоматизированной системы оценки качества обучающих тестов,

содержащие: рекомендации по содержательному наполнению обучающих тестов и структурированию заданий в тесте, рекомендации по использованию обучающего теста в зависимости от значений параметров качества, а также описание направлений корректировки разработанных обучающих тестов.

7. Экспериментальная проверка уровня обученности учителей математики в области оценки качества обучающих тестов в условиях использования автоматизированной системы показала, что применение разработанных методических подходов к обучению учителей в рамках данного курса обеспечивает достижение большинством обучаемых (более 70 %) базового уровня обученности в данной области, с чем согласуется расчет репрезентативности выборки Рге„ = 85 % ± 14,1 % на уровне значимости а = 0,05. Изучение данного курса позволило большинству обучаемых получить необходимый запас знаний, умений и навыков в области автоматизации оценки качества обучающих тестов, о чем свидетельствуют результаты педагогического эксперимента. Это позволяет сделать вывод о том, что применение курса позволяет повысить уровень обученности учителей в области оценки качества обучающих тестов по математике на базе автоматизированной системы.

Основное содержание диссертационного исследования отражено в следующих публикациях:

Статьи, опубликованные в ведущих рецензируемых научных журналах, определенных ВАК Минобрнауки РФ

1. Кокшарова, Е.А. Педагогическая экспертная система как средство оценки качества обучающих тестов / Е.А. Кокшарова // Вестник Челябинского государственного педагогического университета. - 2008. -№12. - Челябинск: 2008. - С. 79 - 86, (0,4).

2. Кокшарова, Е.А. Адаптация существующих понятий качества теста к обучающим тестам различных видов / Е.А. Кокшарова // Стандарты и мониторинг в образовании. - 2009. - №3. - Москва: 2009. - С. 26 - 29, (0,5).

3. Кокшарова Е.А. Выбор критериев эффективности для педагогической экспертной системы, осуществляющей оценку качества обучающих тестов / Е.А. Кокшарова // Вестник Адыгейского государственного университета. - 2009. - №12. - Майкоп: 2009. - С. 64 -67,(0,2).

4. Гейн А.Г., Кокшарова Е.А. Использование педагогической экспертной системы для оценки качества обучающих тестов / А.Г. Гейн, Е.А. Кокшарова // Информатика и образование. - 2010. - №3. - Москва: 2010.-С. 121-123,(0,2).

Статьи, опубликованные в других изданиях

5. Кокшарова, Е.А. Сравнительный анализ использования педагогической экспертной системы с точки зрения программного обеспечения / Е.А. Кокшарова // Теоретико-методологические основы совершенствования естественнонаучного и технологического образования в основной, средней школе и педвузе: Сб. статей Ш Всерос. науч. - практ. конф. - Челябинск, 2008. - С. 135 -137, (0,13).

6. Кокшарова, Е.А. Исторический обзор тестирования как средства психолого-педагогического измерения / Е.А. Кокшарова // Аспирант и соискатель №3. - Москва, 2008. - С. 57 - 61, (0,4).

7. Кокшарова, Е.А. Экспертные системы как средство повышения профессиональной компетенции педагога / Е.А. Кокшарова // Педагогические науки №6 (28). - Москва, 2007. - С. 53 - 54, (0,14).

8. Кокшарова, Е.А. Экспертная система как средство повышения качества образовательного процесса / Е.А. Кокшарова // Искусственный интеллект в XXI веке. Решения в условиях неопределенности: Сб. статей V Всеросс. науч. - технич. конф. - Пенза, 2007. - С. 86 - 87, (0,1).

9. Кокшарова, Е.А. Информационные технологии как средство повышения качества образовательного процесса / Е.А. Кокшарова // Проблемы образования в современной России и на постсоветском пространстве: Сб. статей X Междунар. науч. - практич. конф. - Пенза, 2007.-С. 398-400,(0,1).

10. Кокшарова, Е.А. Применение информационных технологий как средства личностно-ориентированного подхода в подготовке преподавателей / Е.А. Кокшарова // Технологии совершенствования подготовки педагогических кадров: теория и практика. Выпуск 12: сб. науч. тр. - Казань, 2008. - С. 26 - 28, (0,14).

Опубликованные тезисы конференций

11. Кокшарова, Е.А. Педагогическая экспертная система управления качеством обучающих тестов / Е.А. Кокшарова // Применение новых технологий в образовании: материалы XX междунар. конф. -Троицк, 2009. - С. 407 - 408, (0,13).

12. Гейн, А.Г., Кокшарова, Е.А. Проект педагогической экспертной системы оценивания качества обучающих тестов / А.Г. Гейн, Е.А. Кокшарова // Перспективы систем информатики: сб. тезисов VII междунар. конф. памяти акад. А.П. Ершова - Новосибирск, 2009. - С. 37 -38,(0,12).

Жг

Подписано в печать 27.08.2010. формат 60x84/16 Гарнитура Times New Roman, усл. печ. л. 1,16 Тираж 120 экз. Зак. 118

Издательский дом «Тардис» 622052 Нижний Тагил ул.3ари,18

Содержание диссертации автор научной статьи: кандидата педагогических наук, Кокшарова, Елена Александровна, 2010 год

ВВЕДЕНИЕ.

ГЛАВА 1. Теоретические аспекты автоматизации оценки качества обучающих тестов.

§1.1. Анализ научно-методических разработок в области оценки качества педагогических тестов, реализованных на базе информационных технологий.

§1.2. Анализ методических подходов к автоматизации процесса оценки качества обучающих тестов.

§1.3. Обоснование состава параметров характеристик качества обучающего теста по математике и требования к их значениям.

§ 1.4. Требования к структуре и функционированию компонентов автоматизированной системы оценки качества обучающих тестов.

§1.5. Педагогико-эргономические требования к программной реализации автоматизированной системы оценки качества обучающих тестов.

Выводы по главе 1.

ГЛАВА 2 Методические подходы к обучению учителей математики в области оценки качества обучающих тестов с использованием автоматизированной системы.

§2.1. Основные требования к уровню обученности учителей математики в области автоматизации оценки качества обучающих тестов.

§2.2. Структура и содержание курса обучения учителей математики в области автоматизации оценки качества обучающих тестов.

§ 2.3. Методические рекомендации по применению автоматизированной системы оценки качества обучающих тестов.

§ 2.4. Экспериментальная проверка уровня обученности учителей математики в области оценки качества обучающих тестов на базе автоматизированной системы.

Выводы по главе 2.

Введение диссертации по педагогике, на тему "Научно-методические подходы к автоматизации оценки качества обучающих тестов"

Контроль результатов обучения и оценка качества обученности инициируют использование тестовых технологий в учебном процессе (Ивлиев М.К., ПакН.И., Рудинский И.Д., Челышкова М.Б., Шаров А.Г., Шатова И.В. и др.). Реализация возможностей тестовых технологий обеспечивает получение объективной информации о достижении учащимися базового уровня знаний по учебным дисциплинам, объективное определение степени усвоения ими отдельных элементов знаний. В связи с этим тесты рассматриваются как один из основных инструментов контроля качества образования. В течение многих десятилетий тесты активно применяются в мировой педагогической практике (Анастази А., Гласс Дж. и Стэнли Дж., Ингекамп К., Клайн П. и др.), а в настоящее время занимают все более прочные позиции и в российском образовании (Грабарь М.И., Лихтциндер Б.Я., Михайлычев Е.А., Михеев В.И., Сафонцев С.А. и др.).

В современном образовательном процессе наряду с использованием контролирующего тестирования активно развивается такое направление педагогических тестовых технологий, как обучающее тестирование (Кадневский В.М., Каплун О.А., Михайлова Д.А., Сеногноева Н.А., Углев В.А., Федоров Е.Б. и др.). Вслед за Кадневским В.М. под обучающим тестированием будем понимать совокупность мероприятий, обеспечивающих разработку и использование независимых и объективных средств оценки уровня развития индивидуальных способностей испытуемых к обучению, а также обработку и анализ полученных результатов.

Связано это с тем, что обучающее тестирование позволяет оценить не только правильность конечного результата, но и сам путь, который выбрал учащийся для получения ответа на тестовое задание, что дает в результате объективную картину об уровне знаний учащегося, а также предоставляет возможность выявления общих и индивидуальных пробелов в знаниях обучающегося. Кроме того, в данной разновидности теста заложена необходимость самостоятельного выбора учащимися пути решения задачи с рефлексией этого выбора, а не просто ответа на нее, как это предусмотрено в традиционных моделях теста контроля результатов обучения.

Основываясь на исследованиях Аванесова B.C., Майорова А.Н., Кадневского В.М., Сеногноевой Н.А., под обучающим тестом применительно к предметной области «математика» будем понимать педагогический инструмент (Майоров А.Н.), позволяющий диагностировать правильность построения учащимся пути решения учебной задачи до получения верного ответа на нее.

Однако, несмотря на указанные позитивные моменты, применение обучающих тестов в педагогической практике сдерживается из-за недостаточной проработанности ряда принципиальных вопросов, одним из которых является оценка качества обучающих тестов, используемых в образовательном процессе. Это связано с недостаточно развитыми научно-методическими подходами к решению вопроса о выборе параметров качества обучающего теста, что, свою очередь, обусловлено неоднозначным толкованием самого понятия «качество обучающего теста».

В работах по контролирующему тестированию (Аванесов B.C., Ильина Т.А., Майоров А.Н., Челышкова М.Б. и др.) принципиальной позицией, занимаемой всеми указанными авторами, является определение характеристик качества контролирующего теста — валидности и надежности — исключительно на основе апостериорных оценок, т.е. таких, которые могут быть получены только после проведения широкой апробации. Что же касается обучающих тестов, то одним из достижений данного направления тестирования было выделение ряда параметров, позволяющих судить о педагогических свойствах теста до того, как он будет апробирован на репрезентативной группе обучаемых (Сеногноева Н.А.).

Однако вопрос о полноте выявленной совокупности параметров качества обучающего теста и об их взаимном влиянии также остается нерешенным. Кроме того, разработка любого обучающего теста сопровождается неоднократной обработкой данных теста и вычислением каждый раз значительного числа (более десяти) параметров (Кадневский В.М., Сеногноева Н.А., Федоров Е.Б. и др.), что весьма затруднительно осуществлять без привлечения средств автоматизации. Надо также отметить, что улучшение по одному из параметров нередко ведет к понижению значения по другому, а представление данных теста содержит графические составляющие, что делает эту процедуру еще более трудоемкой.

Учитывая вышеизложенное, под качеством обучающего теста будем понимать величину, описывающую совокупность взаимосвязанных параметров обучающего теста, характеризующих его свойства: нормативность, валидность, надежность, направленность теста на обучение. Вопросы оценки качества в области контролирующего тестирования нашли свое отражение в работах Гласса Дж., Максимовой О.А., Неймана Ю.М., Челышковой М.Б., Черепанова B.C. и др. В них также рассмотрены подходы к использованию средств информационных технологий к оценке качества контрольно-тестовых материалов. Вместе с тем не уделяется должного внимания реализации возможностей информационных технологий в области оценки качества обучающих тестов.

Современный этап информатизации образования характеризуется использованием средств автоматизации (Данилюк С.Г., Павлов А.А., Романенко Ю.А., Рудинский И.Д., Сердюков В.И. и др.), в том числе и для процессов оценки качества тестов (Окладникова С.В., Перескокова О.И., Сивицкий П.А. и др.). В исследованиях этих специалистов показано, что для достижения заданного уровня качества применяемых тестов целесообразно применение средств автоматизации процессов сбора и обработки формализованной информации. Таким образом, достижение заданного уровня качества обучающих тестов базируется на формализованных параметрах, лежащих в основе автоматизации оценки качества обучающих тестов, под которой будем понимать процесс обработки, на базе информационных технологий, значений параметров качества обучающих тестов для установления наилучшего сочетания их значений и вывода оценки качества.

В настоящее время также ощущается дефицит специалистов в области оценки качества обучающих тестов, так как на сегодняшний день педагоги не имеют того уровня обученности в данной области, который позволил бы им уверенно применять обучающие тесты в своей работе. Вместе с тем следует констатировать тот факт, что научно-методические подходы, ориентированные на обучение учителей в области оценки качества обучающих тестов с использованием средств автоматизации, также недостаточно раскрыты в современных исследованиях. В этой связи необходимо обучение учителей оценке качества обучающих тестов, а также теории и практике оценки качества обучающих тестов с использованием средств автоматизации.

Вместе с тем необходимо отметить, что анализ средств автоматизации, используемых для обучения, позволяет говорить о необходимости методической поддержки для обеспечения комфортной работы пользователя в области обучения, графического компонента для наглядного представления данных, а также функции сбора и хранения данных.

Объект исследования - оценка качества обучающих тестов, осуществляемая на базе информационных технологий.

В соответствии с целью и выдвинутой гипотезой сформулированы задачи исследования:

Методологическую основу исследования составляют работы в области педагогики и психологии (Бабанский Ю.К., Беспалько В.П., Гальперин П.Я., Давыдов В.В., Лернер И.Я., Никандров Н.Д., Талызина Н.Ф. и др.); тестовых технологий (Аванесов B.C., Анастази А., Гласс Дж., ГрунлундН., Ингекамп К., Кадневский В.М., Клайн П., Майоров А.Н., Матрос Д.Ш., Михайлычев Е.А., Сеногноева Н.А., Стэнли Дж., Федоров Е.Б., Хлебников В.А., Цатурова И.А., Челышкова М.Б., и др.); теории и методики информатизации образования (Ваграменко Я.А., Вострокнутов И.Е., Козлов О.А., Лапчик М.П., Латышев В.Л., Манушин Э.А., Мартиросян Л.П., Пак Н.И., Роберт И.В., Рудинский И.Д. и др.); разработки и использования автоматизированных обучающих систем (Волков П.Д., Данилюк С.Г., Кудинов В.А.,

Надеждин Е.Н., Павлов А.А., Романенко Ю.А., Сердюков В.И., Троицкая Е.А. и др.)

Научная новизна и теоретическая значимость исследования заключаются: в определении основных направлений использования средств информационных технологий в области педагогического тестирования; в обосновании состава параметров характеристик качества обучающего теста и в формулировании требований к их значениям; в разработке требований к значениям параметров обучающего теста, характеризующих нормативность, валидность, надежность и направленность теста на обучение; в обосновании требований к структуре и функционированию компонентов автоматизированной системы оценки качества обучающих тестов; в разработке требований к уровню обученности учителей математики в области оценки качества обучающих тестов.

Практическая значимость состоит: в программной реализации автоматизированной системы оценки качества обучающих тестов; в разработке структуры и содержания курса обучения учителей математики в области оценки качества обучающих тестов с использованием автоматизированной системы; в разработке методических рекомендаций по использованию автоматизированной системы оценки качества обучающих тестов.

Этапы исследования. Исследование проводилось в три этапа.

II этап (2008 - 2009 гг.) - выявление требований к структуре и функционированию компонентов автоматизированной системы и педагогико-эргономических требований к ее программной реализации; программная реализация автоматизированной системы оценки качества обучающих тестов; разработка структуры содержания курса обучения «Автоматизированная оценка качества обучающих тестов».

III этап (2009 — 2010 гг.) — проведение экспериментального обучения учителей математики в рамках разработанного курса, а также тестирования учителей МОУ СОШ № 23 г. Нижний Тагил, будущих учителей математики на физико-математическом факультете ГОУ ВПО «Нижнетагильская государственная социально-педагогическая академия», учителей на факультете повышения квалификации преподавателей естественных наук в ГОУ ВПО «Уральский государственный университет им. A.M. Горького», статистическая обработка полученных экспериментальных данных и интерпретация результатов диссертационного исследования, формулировка выводов и разработка методических рекомендаций по применению автоматизированной системы оценки качества обучающих тестов.

Апробация результатов исследования осуществлялась на Всероссийской научно-практической конференции в Челябинске (2008 г.), форуме молодых ученых в рамках третьей межвузовской олимпиады аспирантов в Санкт-Петербурге (2009 г.), Международной конференции в Новосибирске (2009 г.), VIII Международном научно-творческом форуме в Челябинске (2009 г.). Результаты исследования докладывались и обсуждались на заседаниях кафедры педагогики, кафедры математики и методики обучения математики ГОУ ВПО «Нижнетагильская государственная социально-педагогическая академия» (2007 — 2010 гг.). Результаты работы подтверждены свидетельствами о регистрации: в Отраслевом фонде алгоритмов и программ при ФГНУ «Государственный координационный центр информационных технологий» Федерального агентства по образованию, в объединенном фонде электронных ресурсов «Наука и образование» при Государственной академии наук Российской академии образования.

Положения, выносимые на защиту:

1. Теоретические аспекты автоматизации оценки качества обучающего теста основаны на реализации требований к составу параметров характеристик качества тестов и к их значениям, а также требований к структуре и функционированию компонентов автоматизированной системы.

2. Методические подходы к обучению учителей в области автоматизации оценки качества обучающих тестов основаны на реализации требований к уровню обученности учителей в области оценки качества обучающих тестов с использованием автоматизированной системы, структуры и содержания курса обучения учителей в данной области и опираются на методические рекомендации по применению автоматизированной системы.

Структура диссертации.

Диссертация состоит из введения, двух глав, заключения, библиографии и приложения.

Заключение диссертации научная статья по теме "Теория и методика обучения и воспитания (по областям и уровням образования)"

Выводы по главе 2

1. Разработана структура и содержание курса обучения учителей математики в области автоматизации оценки качества обучающих тестов, состоящая из следующих разделов: основные теоретические подходы к рассмотрению обучающих тестов; параметры качества обучающих тестов и их определение; интерпретация результатов оценки качества обучающих тестов и их анализ для эффективного использования тестов в образовательном процессе; методика работы с автоматизированной системой оценки качества; разработка и оценка качества обучающих тестов на базе автоматизированной системы.

2. Сформулированы требования к уровню обученности учителей математики в области применения автоматизации оценки качества обучающих тестов, определяющие основные: а) знания в области: принципов разработки обучающих тестов; параметров, влияющих на качество тестов; б) умения в области: разработки обучающих тестов, используя знания о параметрах качества, влияющих на эффективность использования тестов; в) владение навыками: оценки качества обучающих тестов на базе автоматизированной системы; использование методических рекомендации по его улучшению.

3. Разработаны методические рекомендации по применению автоматизированной системы оценки качества обучающих тестов, содержащие: рекомендации по содержательному наполнению обучающих тестов и структурированию заданий в тесте, рекомендации по использованию обучающего теста в зависимости от значений параметров качества, а также описание направлений корректировки разработанных обучающих тестов.

4. Экспериментальная проверка уровня обученности учителей математики в области оценки качества обучающих тестов в условиях использования автоматизированной системы показала, что применение разработанных методических подходов к обучению учителей в рамках данного курса обеспечивает достижение большинством обучаемых (более 80 %) базового уровня обученности в данной области, с чем согласуется расчет репрезентативности выборки Рген = 85 %±14,1 % на уровне значимости а = 0,05. Изучение данного курса позволило большинству обучаемых получить необходимый запас знаний, умений и навыков в области автоматизации обучающего тестирования, о чем свидетельствуют результаты проведенного анализа разработанных в рамках курса обучающих тестов. Это позволяет сделать вывод о том, что применение курса ведет к повышению уровня обученности учителей в области оценки качества обучающих тестов по математике на базе автоматизированной системы.

ЗАКЛЮЧЕНИЕ

1. Проведенный анализ научно-методических исследований в области современного состояния, перспектив разработки и использования средств оценивания качества педагогических тестов, реализованных на базе информационных технологий, показал, что основная часть разработок в данной области направлена на осуществление автоматизации процесса некоторых промежуточных задач процедуры оценки качества, основанных преимущественно на обработке апостериорных данных, полученных после проведения апробации тестовых материалов на испытуемых. Установлено, что в области обучающего тестирования подобные системы оценки пока не разрабатывались. Выявлена необходимость разработки автоматизированной системы оценки качества обучающих тестов, назначением которой является обеспечение автоматизации деятельности по сбору, обработке и использованию информации в области оценки качества обучающих тестов.

2. Обоснован состав параметров характеристик качества обучающего теста, обоснованы и сформулированы требования к значениям параметров качества обучающих тестов. Для понятий «надежность» и «валидность» сделано уточнение их содержания применительно к обучающим тестам и обоснованы соответствующие параметры, отвечающие за уровень и характер усвоения учащимися изучаемого материала; уровень сложности, степень равномерности, уровень альтернативности; а также группа параметров, характеризующих нормативность обучающего теста: уровень свернутости теста, длина, ширина, степень разветвленности и степень направленности теста на обучение. Разработаны требования к значениям этих параметров. В результате проведенного анализа научных исследований в области педагогического тестирования нами были определены содержание понятий «обучающий тест» и «оценка качества обучающего теста».

3. Обоснованы требования к структуре автоматизированной системы оценки качества обучающих тестов, обоснованы требования к содержательному наполнению модулей автоматизированной системы оценки качества обучающих тестов. Содержательной базой автоматизированной системы, на основе которой она создана, являются следующие источники: опубликованные издания, результаты нашего диссертационного исследования, информация экспертов в данной области. Обоснованы требования к функционированию системы, обеспечивающей реализацию следующих действий: ввод и вывод, прием-передача, необходимой информации от пользователей и администратора; обеспечение вариативности в наглядном представлении информации; методическая поддержка в области использования автоматизированной системы; назначение прав доступа к функциям и ресурсам.

5. Сформулированы требования к уровню обученности учителей математики в области применения автоматизации оценки качества обучающих тестов, определяющие основные: а) знания в области: принципов разработки обучающих тестов; параметров, влияющих на качество тестов; б) умения в области: разработки обучающих тестов, используя знания о параметрах качества, влияющих на эффективность использования тестов; в) владение навыками: оценки качества обучающих тестов на базе автоматизированной системы; использование методических рекомендации по его улучшению.

6. Разработаны методические рекомендации по применению автоматизированной системы оценки качества обучающих тестов, содержащие: рекомендации по содержательному наполнению обучающих тестов и структурированию заданий в тесте, рекомендации по использованию обучающего теста в зависимости от значений параметров качества, а также описание направлений корректировки разработанных обучающих тестов.

7. Экспериментальная проверка уровня обученности учителей математики в области оценки качества обучающих тестов в условиях использования автоматизированной системы показала, что применение разработанных методических подходов к обучению учителей в рамках данного курса обеспечивает достижение большинством обучаемых (более 80 %) базового уровня обученности в данной области, с чем согласуется расчет репрезентативности выборки Рген = 85 %±14,1 % на уровне значимости а - 0,05. Изучение данного курса позволило большинству обучаемых получить необходимый запас знаний, умений и навыков в области автоматизации обучающего тестирования, о чем свидетельствуют результаты проведенного анализа разработанных в рамках курса обучающих тестов. Это позволяет сделать вывод о том, что применение курса ведет к повышению уровня обученности учителей в области оценки качества обучающих тестов по математике на базе автоматизированной системы.

Список литературы диссертации автор научной работы: кандидата педагогических наук, Кокшарова, Елена Александровна, Москва

1. Аванесов B.C. Вопросы научной объективизации оценки результатов обучения / B.C. Аванесов. - М.: М-во высш. и сред. спец. образования СССР, 1976.-66 с.

2. Аванесов B.C. Композиция тестовых заданий / В. С. Аванесов. М.: Адепт, 1998.-217 с.

3. Аванесов B.C. Методические вопросы оценки знаний студентов высшей школы / B.C. Аванесов, Б.В. Володин. — М.: НИИВШ, Отдел научной информации, 1978. -48 с.

4. Аванесов B.C. Опыт построения теста для оценки знаний студентов / B.C. Аванесов, Б.В. Володин, В.И. Короза // Научная организация учебного процесса. Вып. 3. МИФИ, ч. 1 -М., 1976. С.108-117.

5. Александров Г.Н. Вопросы методики применения технических средств обучения в учебном процессе: метод, пособие / Г.Н. Александров, В. М. Гореев, В. Б. Стрелков. Уфа: Уфимский авиационный институт, 1975.-94 с.

6. Архангельский С.И. Важное условие эффективности педагогических исследований / С.И. Архангельский // Советская педагогика. 1980. - № 3. -С. 137-139.

7. Анастази А. Психологическое тестирование / А. Анастази, С. Урбина; Пер. с англ. и общ. науч. ред. А.А. Алексеева. 7. изд., междунар. - СПб. [и др.] : Питер, 2001. - 686 с. : ил.

8. Бабанский Ю.К. Оптимизация процесса обучения: Общедидактический аспект / Ю.К. Бабанский. М.: Педагогика, 1977. -254 с.

9. Бабанин J1.H. Введение в вычислительные средства и программирование / JI.H. Бабанин. М.: Московский государственный университет, 1987. - 96 с.

10. Баяндин Э.П. Критерий эффективности научно-технических разработок / Э.П. Баяндин. -М.: Экономика. 1973. 64 с.

11. Белый Ю.А., Раппопорт И.А. О методах определения действенности и надежности тестов в зарубежной педагогике // Советская педагогика. -1969.-№8.-С. 120-130.

12. Беспалько В.П. Программированное обучение: Дидактические основы / В.П. Беспалько. М.: Высшая школа, 1970. - 300 с.

13. Беспалько В.П. Учебник: теория создания и применения / В.П. Беспалько. М.: НИИ школьных технологий, 2006. — 192 с.

14. Блинов В.М. Педагогическая эффективность / В.М. Блинов. М.: Просвещение, 1986. - 202 с.

15. Братченко C.J1. Введение в гуманитарную экспертизу образования (психологические аспекты) / СЛ. Братченко. — М.: Смысл,1999. 137с.

16. Брусиловский П.Л. Интеллектуальные обучающие системы // Информатика. Информационные технологии. Средства и системы. 1990. -№ 2. - С. 3-22.

17. Бузун Д.Н., Балыкина Е.Н. Вариативность в расчете валидности и надежности дидактических тестов / Д.Н. Бузун, Е.Н. Балыкина // Информационные технологии в образовании Электронный ресурс. Режим доступа: http://ito.edu.ru/2003m/VI-0-1826.html.

18. Бухалов Б.И. О критериях оценки пед. исследований / Б.И. Бухалов, А.Г. Дубов, Т.И. Шамова. // Сов. педагогика. 1978, - № 11 - С. 90-95.

19. Бухвалов В.А. Педагогическая экспертиза школы / В.А. Бухвалов, Я.Г. Плинер. -М.: Центр «Пед. поиск», 1996. 160 с.

20. Вихман В.В. «Оценка и анализ эффективности применения информационных технологий в образовании»: Дис.канд. пед. наук: 13.00.01. Новосибирск, 2004, - 132 с.

21. Волков П.Д. Разработка и использование сетевых информационных ресурсов образовательного назначения (на примере подготовки в рамках курса «Сетевые информационные системы в образовании»): Дис.канд. пед. наук: 13.00.02 Москва, 2007. - 159 с.

22. Габай Т.В. Учебная деятельность и ее средства / Т.В. Габай. — М.: Изд-во Моск. ун-та, 1989. 255 с.

23. Гальперин П.Я., Талызина Н.Ф. Современное состояние теории поэтапного формирования умственных действий. — Вестник МГУ, серия 14. Психология. М.,1979. - № 4. - С. 54-63.

24. Гейн А .Г. Использование педагогической экспертной системы для оценки качества обучающих тестов / А.Г. Гейн, Е.А. Кокшарова // Информатика и образование. 2010. -№ 3. - С. 121-123.

25. Гершунский Б.С. Компьютеризация в сфере образования: Проблемы и перспективы / Б. С. Гершунский. М.: Педагогика, 1987. — 263 с.

26. Гершунский Б.С. Образовательно-педагогическая прогностика. Теория, методология, практика / Б.С. Гершунский. М.: Флинта; Наука, 2003.-764 с.

27. Гершунский Б.С. Прогнозирование в сфере образования: Теория и практика / Б.С. Гершунский, Рос.академ.обр-я. М.: ИТПИМИО, 1994. -209 с.

28. Глазунов А.Т. Педагогические исследования: содержание, организация, обработка результатов / А.Т. Глазунов. — М.: Издательский центр АПО, 2003.-41 с.

29. Грабарь М.И., Краснянская К.А. Применение математической статистики в педагогических исследованиях Непараметрические методы. -М.: Педагогика, 1977. -273с.

30. Джалиашвили З.О., Кондратьев В.В. Экспертная обучающая система как эвристический инструмент для формирования креативных знаний. Электронный ресурс.- Режим доступа: http://www.ito.su/200l/ito/III/2/Ш-2-11.html (2001)

31. Джарратано Д. Экспертная система: принципы разработки и программирование, 4-е изд.: Пер. с англ. / Д. Джарратано, Г. Райтли. М.: ООО «И. Д. Вильяме», 2007. - 1152 е.: ил.

32. Долинер Л.И. Адаптивные методические системы в подготовке студентов вуза в условиях информатизации образования: Дис. д-ра пед. наук. Екатеринбург: РГППУ, 2004. - 408 с.

33. Загвязинский В.И. Методология и методы психолого-педагогического исследования: Учеб. пособие для студ. высш. пед. учеб. заведений / В.И. Загвязинский, Р. Атаханов. М.: Академия, 2001. - 208 с.

34. Иванов Д.А. Экспертиза в образовании. Учебное пособие для вузов / Д.А. Иванов. М.: Академия, 2008. - 330 с.

35. Измерение качества (квалиметрия) текстильных материалов и товаров: метод, указания / С.В. Лунькова, А.Ю. Матрохин, Б.Н. Гусев. -Иваново: Ивановская государственная текстильная академия, 2004. 41 с.

36. Ивлиев М.К. Разработка тестов. Учебно-методическое пособие для преподавателей / М.К. Ивлиев. — М.: Московская академия предпринимательства, 2002. — 124 с.

37. Ильина Т.А. Тестовая методика проверки знаний и программированное обучение / Т.А. Ильина. // Советская педагогика. -1967,-№2.-С. 122-135.

38. Ильина Т.А. Педагогика. Уч. пособие для студ-ов пед. институтов / Т.А. Ильина. М., «Просвещение», 1968. - 572 с

39. Ильясов Д.Ф. Принцип регулируемого эволюционирования в педагогике / Д.Ф. Ильясов, Г.Н. Сериков. М.: Гуманит. изд. Центр ВЛАДОС, 2003.-336 с.

40. Ингенкамп К. Педагогическая диагностика / К. Ингенкамп. М.: Педагогика, 1991. - 240 с.

41. Информатизация общего среднего образования: Научно-методическое пособие / Под ред. Д.Ш. Матроса. М.: Педагогическое общество России, 2004. — 384 с.

42. Кадневский В.М. Из истории создания и применения тестов для системы образования / В.М. Кадневский // Педагогическая диагностика. -2003. -№3.- С. 39-50.

43. Кадневский В.М. Генезис тестирования в истории отечественного образования: Автореф. дис. д-ра пед. наук. Томск, 2007.

44. Кадневский В.М. Обучающие тесты и тестовые системы по истории России / В. М. Кадневский // «Школьные технологии». 2004. - № 3. -С. 170-178.

45. Каплун О.А. Формирование грамматической компетенции студентов неязыковых вузов при обучении русскому и немецкому языкам на основе применения метода обучающего тестирования: на материале темы «Имя существительное»: Автореф. дис. . кан. пед. наук.106

46. Киселева О.Ф. Роль информационных технологий в создании качественных педагогических измерителей // Информационные технологии в образовании Электронный ресурс.— Режим доступа: http://ito.edu.ru/2006/Rostov/II/4/II-4-11 .html (12.11.2007).

47. Кокшарова Е.А. Выбор критериев эффективности для педагогической экспертной системы, осуществляющей оценку качества обучающих тестов / Е.А. Кокшарова // Вестник Адыгейского государственного университета. 2009. - № 12. — Майкоп: 2009. — С. 64 — 67.

48. Кокшарова Е.А. Адаптация существующих понятий качества теста к обучающим тестам различных видов / Е.А. Кокшарова // Стандарты и мониторинг в образовании. 2009. - № 3. - С. 26-29.

49. Кудинов В.А. Принципы построения и использования экспертных обучающих систем в курсе «Теоретические основы информатики»: Дис. канд. пед. наук: 13.00.02 теория и методика обучения информатике / В. А. Кудинов. - М., 2000. - 138 с

50. Лавина Т.А. Содержание подготовки студентов педагогических вузов к применению современных информационных технологий в будущей профессиональной деятельности: Дис. . канд. пед. наук. 13.00.02 -М., 1996.- 161 с.

51. Лапчик М.П. Информатика и информационные технологии в системе общего и педагогического образования. Монография / М.П. Лапчик. -Омск: изд-во ОмГПУ, 1999. 294 с.

52. Леднев B.C. Научное образование: развитие способностей к научному творчеству: изд. 2-е, исправленное / B.C. Леднев. М.: МГАУ, 2002,- 120 с.

53. Леонтьев А.Н., Гальперин П.Я. Теория усвоения знаний и программированное обучение // Советская педагогика. — 1964. — № 10. С. 56-65.

54. Майоров А.Н. Тесты школьных достижений: Конструирование, проведение, использование / А.Н. Майоров. М.: Народное образование. -1997.-253 с.

55. Майоров А.Н. Теория и практика создания тестов для системы образования. (Как выбирать, создавать и использовать тесты для целей образования) / А.Н. Майоров. М.: Народное образование, 2000. - 352 с.

56. Матрос Д.Ш. Управление качеством образования на основе новых информационных технологий и образовательного мониторинга / Д.Ш. Матрос, Д.М. Полев, Н.Н. Мельникова. — М.: Педагогическое общество России, 1999. 96 с.

57. Машбиц Е.И. Психолого-педагогические проблемы компьютеризации обучения / Е.И. Машбиц. М.: Педагогика, 1988. -192 с.

58. Мелкозерова И.Е. Педагогическая эффективность современных образовательных технологий с позиции личностно-ориентированного образования: Дис. канд. пед. наук: 13.00.01. — Ростов-на-Дону, 2003. -213 с.

59. Мехдиев Ш.З. Критерий качества научно-методических разработок: на материале образовательной области «биология»: Дис. канд. пед. наук: 13.00.01.-Москва, 2000- 135 с.

60. Михайлова Д.А. Обучающее тестирование как метод освоения дидактических единиц дисциплины «Теория и методика избранного спорта (спортивная борьба)» в вузах физической культуры: Дис. . канд. пед. наук: 13.00.08, СПб, 2008 - 241 с.

61. Мкртычян Г.А. Психолого-педагогическая экспертиза в образовании (Теория и практика): Дис. . д-ра психол. наук: 19.00.07. Н. Новгород, 2002-351 с.

62. Морев И.А. Образовательные информационные технологии. Ч. 3: Дистанционное обучение: Учебное пособие. / И.А. Морев. — Владивосток: Изд-во Дальневост. ун-та, 2004. — 150 с.

63. Нейлор К. Как построить свою экспертную систему: пер. с англ. / К. Нейлор. М.: Энергоатомиздат, 1991. — 286 с.

64. Нейман Ю.М. Введение в теорию моделирования и параметризации педагогических тестов / Ю.М. Нейман, В.А. Хлебников. М.: Прометей, 2000,- 168 с.

65. Новиков A.M. Методология. / A.M. Новиков, Д.А. Новиков. М.: СИНТЕГ. - 668 с.

66. Окладникова С.В. Модели оценки качества тестовых материалов на этапе разработки: Автореферат дис. . канд. техн. наук: 05.13.10 -Астрахань, 2008. — 21 с.

67. Пак Н.И. Нелинейные технологии обучения в курсах информатики и информационных технологий: Дис. . д-ра пед. наук: 13.00.02. -Красноярск, 2000 — 246 с.

68. Пермяков О.Е., Максимова О.А. Формализация экспертного оценивания качества тестовых материалов с позиций системного подхода // Вестник педагогических инноваций 2006. - № 3 (7). - С. 157—178.

69. Погорелов С.Т. Актуальность проблемы педагогической экспертизы. Сущность, структура, содержание педагогической экспертизы. Электронный ресурс. Режим доступа http://www.irro.ru/index.pl?ss=4&getFile=D3AFE587DD14382666.

70. Полонский В.М. Оценка знаний школьников / В.М. Полонский. М.: Знание, 1981.-96 с.

71. Полонский В.М. Словарь по образованию и педагогике / В. М. Полонский. — М.: Высшая школа., 2004. — 512 с.

72. Роберт И.В. Современные информационные и коммуникационные технологии в системе среднего профессионального образования М., 1999.-80 с.

73. Роберт И.В., Прозорова Ю.А., Касторнова В.А. Основные понятия Единого информационного образовательного пространства // Ученые записки ИИО РАО, 2002, вып. 6. С. 3-13.

74. Роберт И.В. Современные информационные технологии в образовании: дидактические проблемы; перспективы использования / И. В. Роберт. М.: Школа-пресс, 1994

75. Роберт И.В. Экспертно-аналитическая оценка качества программных средств учебного назначения / И. В. Роберт // Педагогическая информатика. 1993. -№ 1. - С.54-62.

76. Селиванов М.Н. Качество измерений: Метрологическая справочная книга / М.Н. Селиванов, А. Э. Фридман, Ж. Ф. Кудряшова. JL: Лениздат, 1987. - 295 е., ил.

77. Сеногноева Н.А. Показатели тестов учебной деятельности как технологическая основа их конструирования // Открытое образование. — 2005,-№4.-С. 19-26

78. Сеногноева Н.А. Обучающие тесты: Инновационная педагогическая технология: монография / Н. А. Сеногноева. Нижний Тагил: Нижнетагильская государственная социально-педагогическая академия, 2005.- 155 с.

79. Сеногноева, Н. А. Технология конструирования тестов учебной деятельности как средства оценивания результатов обучения: Дис. д-ра пед. наук. Киров: ВГГУ, 2006. - 403 с.

80. Сериков В.В. Личностно ориентированное образование // Педагогика. 1994. -№ 5. - С. 16-21.

81. СинявинаО.В. Методические подходы к обучению учителей начальных классов преподаванию информатики младшим школьникам в аспекте информатизации образования: Дис. . канд. пед. наук: 13.00.02 -Москва, 2006

82. Скаткин М.Н. Методология и методика педагогических исследований: (В помощь начинающему исследователю) / М.Н. Скаткин. -М.: Педагогика, 1986. 152 с.

83. Скворский В.Я. Критерии экспертизы как предмет исследования / В.Я. Скворский // Научно-техническая информация. Сер. 1. 1995. - № 7. -С. 22-26.,

84. Смолин Д.В. Экспертная система для обучения VIPES Электронный ресурс.- Режим доступа: http://altnet.ru/~mcsmall/index.htm

85. Станкевич В.А. Педагогическая эффективность средств и методов обучения: на примере учебных предметов географического цикла: Дис.канд. пед. наук: 13.00.01 Владикавказ, 1998. — 143с.

86. Стариченко Б.Е. Оптимизации школьного образовательного процесса средствами информационных технологий: Дис. . д-ра пед. наук. 13.00.01 Екатеринбург, 1999.-353 с.

87. Талызина Н.Ф. Методика составления обучающих программ: Учебн. пособие / Н.Ф. Талызина. М.: Изд-во МГУ, 1980. - 46 с.

88. Толковый словарь терминов понятийного аппарата информатизации образования / под ред. И.В. Роберт, Т.А. Лавина. М.: ИИО РАО, 2009. -98 с.

89. Углев В.А. Модели и методы построения систем обучающего компьютерного тестирования на основе экспертных систем с элементами нечеткой логики: Автореферат канд. техн. наук: 05.13.11. Красноярск, 2009,- 19 с.

90. Федоров, Е.Б. Тестирование как средство управления учебным процессом при обучении математике в специализированных классах: Дис. . канд. пед. наук. 13.00.02 М., 1992. - 109 с.

91. Федорова, В.А. Педагогические функции тестов в современной школе: Дис. . канд. пед. наук: 13.00.01. Москва, 2003. — 234 с.

92. Формирование знаний и умений на основе теории поэтапного усвоения умственных действий (Сб. статей) / Под ред. П. Я. Гальперина и Н. Ф. Талызиной. М.: Изд-во Моск. ун-та, 1968. - 135 с.

93. Хамханова Д.Н. Основы квалиметрии: учеб. пособие / Д.Н. Хамханова. Улан-Удэ: Восточно-сибирский государственный технологический университет, 2003. - 143 с.

94. Хлебников В.А. Краткий обзор развития педагогического тестирования в России: Монография Электронный ресурс. / В. А. Хлебников. Режим доступа: http://oim.ru/reader@nomer=571.asp (20 дек. 2006)

95. Хлебников В.А. Система оценки учебных достижений учащихся / В. А. Хлебников // Педагогика. 2006. -№ 10. - С.21-28.

96. Цатурова И.А. Из истории развития тестов в СССР и за рубежом. Монография / И.А. Цатурова. Таганрог: Изд-во ТРТИ, 1969. - 128 с.

97. Челышкова М.Б. Адаптивное тестирование в образовании (теория, методология, технология) / М.Б. Челышкова. — М.: Исследовательский центр проблем качества подготовки специалистов, 2001. — 165 с.

98. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей: Уч. пособие / М.Б. Челышкова. — М.: Исслед. Центр проблем качества подготовки специалистов, 1995. 32 с.

99. Челышкова М.Б. Теория и практика конструирования педагогических тестов. Уч. пособие / М.Б. Челышкова. — М.: Логос, 2002. -431 с.

100. Черепанов B.C. Экспертные оценки в педагогических исследованиях / B.C. Черепанов. М., Педагогика, 1989. - 152 с.

101. Шухман А.Е. Совершенствование содержания подготовки педагогических кадров к применению информационных и коммуникационных технологий в профессиональной деятельности: Дис.канд. пед. наук: 13.00.02. Москва, 2000. - 149 с.

102. Экспертная оценка качества педагогических программных средств вычислительной техники / В.И. Сопин. Л., ВНИИ профтехобразования, 1990.-45 с.

103. Экспертные системы. Принципы работы и примеры. / Р. Форсайта. -М.: Радио и связь, 1987. 224 е., ил

104. ЯсвинВ.А. Образовательная среда: от проектирования к моделированию / В.А. Ясвин. М.: Смысл, 2001. — 235с.