автореферат и диссертация по педагогике 13.00.08 для написания научной статьи или работы на тему: Верификация тестовых заданий для контроля уровня знаний студентов в ВУЗе

Автореферат диссертации по теме "Верификация тестовых заданий для контроля уровня знаний студентов в ВУЗе"

00305862 1 flp ш:п p^coiJHLii

Mficjibtbaii ä in!,пия \иатольевн,)

ВЕРИФИКАЦИЯ ТЕСТОВЫХ ЗАДАНИЙ ДЛЯ КОНТРОЛЯ УРОВНЯ 31341ШЙ С 1 v ДЫМОВ ß ВУЗе

Спеши? tsbuotrb 13,00 03 теория ¡1 мегоянк'1 нрофессионачьиого обр5воваш1Я

ApTOpf^J- И \'J

JÜCieprjlUä.ä ÜJ CCIdln^HHi' \ЧгИ»Й tlfUfilJJ

1.пилтаг<1 ие/Д<110гн<1ески\ нячь

Muckiiii

2üi)7

003058621

Работа выполнена в Московском социально-гуманитарном институте на кафедре педагогики

Научный руководитель:

доктор физико-математических наук Налбандян Овнк Гагикович

Официальные оппоненты:

доктор педагогических наук Карелина Мария Юрьевна

Ведущая организация: Федеральный институт развития образования Министерства образования и науки Российской Федерации

Защита состоится 23 мая 2007г в 13 00 на заседании диссертационного совета Д 212 136 04 при Московском государственном гуманитарном университете им МА Шолохова по адресу 109240, Москва, В Радищевская, д 16/18

С диссертацией можно ознакомиться в библиотеке Московского государственного гуманитарного университета им М А Шолохова

Автореферат разослан апреля 2007г

кандидат педагог ических наук Ермакова Наталья Михайловна

Ученый секретарь диссертационного совета, кандидат педагогических наук, доцент

Дармодехина

Общая характеристика исследования

Актуальность темы исследования Высшее образование саодня является важнейшей составляющей развития государства, и без достижения высокого качества образования невозможно ожидать продвижения науки, культуры, искусства, производства, то есть всего того что делает государство сильным Одной из важнейших задач, составляющих совершенствование системы образования, согласно «Концепции модернизации Российского образования до 20 Ш года» является «обеспечение современного качества образования на основе сохранения его фундаментальности и соответствия актуальным и перспективным потребностям личности, общества и государства» При этом особая роль отводится укреплению и модернизации материально-технической базы и инфраструктуры образовательных учреждений, внедрению современных компьютерных технологий

Современные компьютерные технологии не отрицают классические традиционные средства обучения ц должны гармонично дополнять их, обеспечивая высокую эффективность учебного процесса Для решения поставленных задач необходима разработка специальных срёйств обучения, адаптированных к компьютерным технологиям компьютерных обучающих программ, систем интерактивного взаимодействия, многоуровневых информационных систем, тренажеров, демонстрационных материалов и систем контроля качества обучения

Совершенствование управления и контроля качества являются важнейшими направлениями Федеральной программы развития образования в России В реализации контроля качества обучения существуют две взаимодополняющих составляющих Первая составляющая заключается в контроле самого процесса обучения Этот подход охватывает все аспекты учебного процесса - учебные планы и программы, квалификацию педагогических кадров, наличие учебной литературы и учебно-методических пособий, функционирование учебных лабораторий и баз проведения практики Особое внимание уделяется воспитательной работе и научной деятельности, творческой ашосфере и условиям для самореализации и самоактуализации личностных качеств, саморазвития личности как творца собственной жизни, развития ценностных ориентации и духовности студента

Вторая составляющая заключается в контроле результатов обучения Этот подход, предпола1ая определенную свободу в методах и средствах достижения, во главу угла ставит требование, чтобы в, результате обучения студент обладал теми знаниями, умениями, навыками и иными качествами, которые востребованы обществом и которые соответствуют всем стандартам высшего образования В основе второй составляющей лежит выявление и анализ динамики развития каждого студента в процессе обучения с целью не только выявления успешности обучения и пригодности студента для дальнейшей профессиональной деятельности, но и целесообразности введения корректирующих мероприятий в учебный процесс , -

Кроме того, классические формы контрольных мероприятий мо1"ут порождать ряд проблем

- непреднамеренное приспособление педагогов к уровню знаний студентов, - в результате одна и та же оценка по дисциплине в различных вузах может соответствовать различным, порой даже несопоставимым, уровням знаний,

- впечатление, пусть даже зачастую неоправданное, о возможной субъективности экзаменатора, что существенно снижает положительную мотивацию студентов к учебе,

- существенная выборочность контролируемого материала, понижающая надежность результатов,

- низкая помехоустойчивость, связанная с влиянием психологических аспектов взаимодействия студента и экзаменатора,

- невысокая технологичность, ставящая под сомнение возможность непрерывного контроля в процессе обучения

Решение этих проблем во многом связано сегодня с развитием тестоло-гии, как новой отрасли научного знания, которая появилась в начале XX века на стыке психолог ии, педагогики, социологии и других поведенческих наук. Педагогическая тестология, согласно концепции В С Аванесова, призвана заниматься вопросами разработки тестов и их применением для объективного контроля знаний, умений, навыков, представлений студентов Она является прикладным направлением научной педагогики Анализ результатов исследований зарубежных (Д Вилфорд, К Ингенкамп) и отечественных (В С Аванесов, В П Беспалько, В В Борисова, Ю Ф Гущин, М И Иродов, Н В Дрантусова, Г С Ковалева, В Г Кузнецов, О Б Логинова, А Н Майоров, О Г. Налбандян, Е В Оганесян, В И Огорелков, Е Н Перевощикова, В М Соколов, В С Черепанов, М Б Мельникова, И А Цатурова и др ) исследователей показал, что компьютерные тесты являются одним из наиболее мощных, надежных и объективных методов определения учебных успехов и достижений

Несмотря на недостатки, связанные с неизбежной формализацией взаимоотношений «экзаменатор-испытуемый», тестирование обладает рядом очевидных преимуществ Компьютерное тестирование позволяет стандартизовать уровень требований, предъявляемых к знаниям студентов, обеспечить объективность и надежность результатов, детально контролировать все составляющие знаний студента Высокая технологичность компьютерного тестирования позволяет эффективно организовать контроль знании студентов на всех этапах обучения

К созданию тестов привлекаются лучшие специалисты, обладающие высоким научным потенциалом, а I акже опытом практической и педагогической работы В настоящее время уже разработаны тысячи комплексов тестовых заданий, базирующихся как на вербальном, так и на аудио- и визуальном представлении материала и активно использующих современные компьютерные техночогии Однако содержание тестового задания полностью опре-

деляется видением автора, то есть в значительной мере оказывается субъективным

Верификация тестовых заданий, основанная на экспертной оценке профессионалов, зачастую обнаруживает несоответствие позиций разных специалистов, различия в терминологии, в необходимом уровне сложности и трудности задании и даже в выборе верного варианта решения задания Широкое применение компьютерного тестирования требует создания системы объективной верификации применяемых комплексов тестовых заданий, то есть определения основных характеристик комплекса и его применимости в качестве инструмента для контроля знаний студентов В основе системы подобной верификации могут лежать результаты тестирования репрезентативного контингента студентов с применением математических методов анализа

Указанные сложности в разработке комплексов тестовых заданий, в частности, неэффективность и неоднозначность эксперт ных оценок, позволили сформулировать тему исследования «Верификация тестовых заданий для контроля уровня знаний студентов в вузе»

Проблема исследования - обеспечение объективного контроля знаний студентов путем разработки высокотехнологичной системы верификации тестовых заданий с высокой степенью их надежности и валидности

Цель исследования - теоретическое обоснование и практическая реализация системы верификации комплексов тестовых заданий для контроля уровня знаний студентов в вузе

Объект исследования - результаты компьютерного тестирования уровня знаний студентов заочной формы обучения различных специальностей Московского социально-гуманитарного института

Предмет исследования - система верификации комплексов тестовых заданий методами статистического анализа полученных результатов тестирования репрезентативной группы студентов

Гипотеза исследования статистический анализ результатов тестирования уровня знаний студентов может позволить объективно определить степень трудности, параметры адекватности и устойчивости каждого тестового задания и комплекса тестов для контроля процесса, результатов обучения и формирования структуры знаний студентов Задачи исследования.

1 Из>чить и систематизировать теоретические основания тестологии и методы математического анализа

2 Разработать методику и компьютерные программы аккумуляции и статистического анализа результатов тестирования

3 Апробировать разработанную методику верификации комплексов тестовых заданий на материалах компьютерного тестирования студентов на различных этапах учебного процесса

4 Установит ь объективные критерии введения рейтинга заданий с целью адаптации комплекса к задачам учебного процесса и увеличения валидности комплекса в целом

5 Внедрить систему верификации комплексов тестовых заданий, включающую в себя аккумуляцию и анализ результатов тестирования, формирование заключений и рекомендаций, как по каждому тестовому заданию, так и по комплексам в целом для специалистов, разрабатывающих тесты Логика исследования соответствует названным задачам Для получения достоверных результатов были использованы следующие теоретические и эмпирические методы анализ психолого-педагогической, математической, методической и нормативно-правовой литературы по проблеме исследования, анализ социологических характеристик студенческого контингента, компьютерное тестирование и соотнесение результатов тестирования с успеваемостью и социологическими характеристиками студентов, методы математической статистики

Методологическая основа исследования - положения о закономерностях образовательного процесса и их сущности (Ю К Бабанский, В И Загвязинский, И Я Лернер, В Г Осовский, М Н Скаткин, В А , Сластёнин, М И Махмутов и др ), теории педагогических систем, закономерностей их функционирования, развития и управления (В П Беспааько, А П Беляева, Л В Загрекова, Н В Кузьмина, В Н Максимова, С А Маврин, Л Ф Спирин, В А Сластенин, В П Симонов, В Н Шамардин и др ), проблемы качества образования, его сущности, совершенствования контроля за его обеспечением (В С Аванесов, В П Беспалько, В А Караковский, В С Лазарев, А М Моисеев, В В Николина, Г1 И Пидкасистый, М М Поташник, В М , Соколов, О Г Хомерики, Б А Ямбург и др), теории тестологии и педагогической квалиметрии (В С Аванесов, А Анастази, К Ингенкамп, Д Н Кеттелл В И Огорелков, Г С Ковапева, А Н Майоров, Е А Михайлычев, Е Н Перевощикова, М Б Челышкова и др ), положения о конструировании и технологизации учебного процесса (В П Беспалько, Г А Бордовский, Н М Зверева, В А Извозчиков, М В Кларин, В М Монахов, Г К Селевко, М А Тарасов, М А Чошанов и др )

База исследования- Московский социально-гуманитарный институт и его филиалы в гг Сальск, Ейск, Новороссийск, Ярославль, Ржев, Нефтеюганск, Казань, Набережные Челны, Селятино, Новомосковск, Пермь, Егорьевск

Организация и этапы исследования'

Первый этап (1998 - 2000) - осмысление и актуализация проблемы создания и верификации комплексов тестовых заданий, методических основ тестологии, дистантных и дистанционных технологий в системе заочного обучения студентов

Второй этап (2001-2003) - работа над научной концепцией исследования, разработка системы компьютерною тестирования, компьютерных программ аккумуляции и статистического анализа результатов тестирования

Третий этап (2004-2005) - проведение констатирующего эксперимента, анализ полученных результатов Уточнение на их основе цели и задач исследования, конкретизация гипотезы и объекта исследования

Четвертый этап (2006-2007) - обобщение и теоретическое осмысление полученных результатов, формирование выводов совершенствование и внедрение системы компьютерного тестирования и верификации комплексов тестовых заданий, оформление диссертации

На защиту выносятся следующие положения.

1 Статистический анализ результатов тестирования студентов позволяет объективно определить такие важные характеристики, как степень трудности, степень адекватности и параметры устойчивости каждого тестового задания, а также помехоустойчивость и валндность всего комплекса тестов

2 Система верификации тестов позволяет на основе объективных критериев производить отбор заданий и формирование комплексов тестовых заданий, соответствующих цели и педагогической задаче тестирования

3 Верификация комплексов тестовых заданий на основе статистического анализа результатов тестирования студентов является необходимым этапом в реализации компьютерного тестирования Система верификации должна являться перманентно функционирующей составной частью научно-методического обеспечения учебного процесса

Научная новизна исследования:

1 Впервые обоснована концепция адекватной трудности тестовых заданий Определена значимость параметра адекватности в таких характеристиках комплексов тестовых заданий, как дифференцирующая способность и ва-лидность

2 Обоснована концепция устойчивости формируемых знаний, определяемых тестовым заданием, и охарактеризованы значимые параметры тестовых заданий, важные для повышения эффективности учебного процесса

Теоретическая значимость исследования

1 Проведен теоретический анализ взаимосвязи качественных характеристик и статистических параметров тестовых заданий Систематизирована структура статистических параметров тестовых заданий

2 Доказано, что статистические параметры тестовых заданий являются основой для введения объективных, научно обоснованных рейтингов тестовых заданий, ориентирующих комплекс на основную цель и педагогическую задачу тестирования

3 Разработана структура системы тестирования, включающая в себя компьютерное тестирование, регистрацию и анализ результатов, верификацию и коррекцию тестовых заданий на различных Э1апах изучения дисциплины, а также при тестировании остаточных знаний

Практическая значимость исследования

1 Разработана универсальная технология верификации тестов, позволяющая производить отбор заданий и формирование комплексов тестовых заданий

2 Высокотехнологичная система компьютерного тестирования и верификации комплексов тестовых заданий может использоваться для контроля знаний студентов, а также в учебном процессе в качестве тренировочного материала

3 Верифицированные в результате исследования комплексы тестовых заданий по ряду дисциплин учебного плана подготовки студентов заочной формы обучения по специальностям «Логопедия», «Психология», «Бухгалтерский учет, анализ и аудит», «Государственное и муниципальное управление» подготовлены для практического использования в системе высшего образования

Достоверность и обоснованность результатов исследования обеспечивается исходными методологическими положениями, которые соответствуют современным тенденциям педагогической науки и Концепции модернизации образования, репрезентативным объемом экспериментальною лтериала, широкой географией базы исследования и применением методов математической статистики

Апробация и внедрение результатов исследования. Материалы диссертационного исследования были представлены на заседаниях Ученого совета и кафедры педагогики Московского социально-гуманитарного института, на международных конференциях «Новые технологии в образовании, науке и экономике» (Шарджа, ОАЭ, январь 2006, Террачина. Италия, май 2006), «Негосударственный сектор высшего образования проблемы развития» (Москва, 2005), симпозиуме с международным участием «Логопедия XXI века» (Санкт-Петербург, 2006) и других совещаниях и конференциях, посвященных проблемам качества обучения

Результаты исследований внедрены в Московском социально-гуманитарном институте

Публикации Основное содержание исследования отражено в 6 публикациях автора Объем опубликованных работ по теме диссертации - 1,1 п л

Структура работы соответствует логике научного исследования и состоит из введения, трех глав, заключения, и списка литературы Основное содержание работы изложено на 122 страницах текста, включая 11 таблиц и 18 рисунков

Основное содержание работы

Во введении обосновывается актуальность темы, определяются проблема, цель, объект, предмет, гипотеза, задачи, методологические и теоретические основы, методы исследования, его научная новизна, теоретическое и практическое значение, положения, выносимые на защиту

В первой главе диссертации «Современное состояние педагогической тестологии» рассматриваются теоретические основы педагогических тестов и технологии педагогического тестирования как средства эффективного функционирования системы образования и обеспечения качества образования Каждое высшее учебное заведение должно стремиться, в первую очередь, к формированию правильных индивидуальных структур знаний, в которых не было бы пробелов (разрывов в знаниях), и на этой основе повышать уровень подготовки Уровень знаний в значительной степени зависит от личных усилий и способностей студентов, в то время как структура знаний заметно зависит от правильной организации учебного процесса, от индивидуализации

обучения, от мастерства преподавателя, от объективности контроля - в общем, от всего того, что составляет качество учебного процесса

Проанализированы исторический и современный аспекты развития тестовой теории и технологии Раскрывается сущность педагогических тестов, их функции, содержание, структура, формы и виды Дается анализ состояния проблемы тестирования в современной образовательной практике В диссертации проанализирована научная литература по истории применения педагогических тестов в мировой практике В основе усовершенствования и модернизации учебного процесса должны лежать новейшие достижения педагогической науки, а также данные объективного коитротя результатов обучения При этом особую значимость приобретает проблема внедрения тестирования в учебный процесс, как эффективного и высокотехнологичного метода контроля знаний студентов

В диссертации рассматриваются понятия теории тестов В структуре подготовленности большое место занимают знания, умения, навыки и представления, интеллектуальное, физическое и культурное развитие, творческие способности, воспитанность и уровень развития эмоционально-чувственной сферы Педагогическая тестология - это прикладная теория педагогики Ключевыми понятиями тестологии, как одной из методических теорий, являются измерение, тест, содержание и форма заданий, надежность и вапидность результатов измерения Кроме того, в тестологии используются такие понятия статистической на>ки, как выборочная и генеральная совокупность, средние показатели, вариация, корреляция, регрессия и др В диссертации проанализированы основные позиции зарубежных и отечественных ученых-педагогов по определению сущности понятия «тест»

Тестирование проверяет уровень знаний, который чаще всего ассоциируется с балловым результатом Чем больше правильных ответов, тем выше индивидуальный тестовый балл студента и, соответственно, уровень знаний Однако балловый результат во многом зависит от самого теста Разработанные различными авторами комплексы тестовых заданий могут радикально отличаться друг от друга степенью сложности и трудности заданий, Шубиной охвата учебных тем, теоретической или практической направленностью и другими характеристиками, в совокупности составляющими структуру комплекса Тестирование различными комплексами может привести к различным, порой даже не коррелирующим друг с другом, результатам Поэтому, для применения тестирования в учебном процессе необходима верификация комплексов тестовых заданий, то есть определение всей совокупности характеристик комплекса, его надежности и валидности Экспертная верификация комплексов очень трудоемка и страдает выраженным субъективизмом, поэтому основными преимуществами предложенной методики верификации тестовых задании, основанной на статистическом анализе результатов тестирования репрезентативной группы студентов, явпяются объективность и технологичность

Во второй главе диссертации «Формирование репрезентативной группы» определены принципы формирования и требования к параметрам репрезентативной группы

Основой верификации комплексов тестовых заданий является статистический анализ результатов тестирования репрезентативной группы студентов Для выполнения условий репрезентативности группа тестируемых студентов, на наш взгляд, должна удовлетворять следующим условиям

1 В группе должны быть репрезентативно представлены все значимые категории студентов, для определения знаний которых предназначен верифицируемый комплекс

2 Группа должна обладать широким распределением уровня знаний студентов

3 В группе не должны содержаться подгруппы со встречным (противоположно ориентированным) распределением по структуре знаний В случае наличия таких подгрупп анализ должен проводиться для каждой подгруппы отдельно

4 Г руппа в целом, а также каждая подгруппа в отдельности, должны обладать достаточно высокой адекватностью результатов тестирования

По формальным признакам можно установить и другие категории студентов, хотя установление репрезентативности для каждой категории может привести к чрезмерному требованию к количеств) тестируемых Кроме того, априори неизвестно распределение студентов по категориям и ориентация на равномерное распределение по категориям может привести к неадекватной ориентации комплекса заданий Поэтому, в первую очередь, необходимо определить значимые категории студентов, то есть категории, принадлежность к которой существенно влияет на структуру знаний и результаты тестирования

Анализ контингента студентов и результаты исследования позволяют нам выделить разные категории студентов, отличающиеся

- уровнем предыдущего образования, который, на наш взгляд, может оказывать влияние на систематизацию знаний и практических навыков, позволяющих решать теоретические и практические задачи по профилю подготовки,

- курсом обучения В процессе обучения не только накапливается определенный объем знаний, но и изучаются смежные дисциплины, формируется более глубокое понимание основ предмета, формируются ассоциативные связи между разрозненными знаниями и уровень знаний повышается Возможное некоторое уменьшение объема знаний со временем, прошедшим после их изучения, компенсируется возрастанием уровня знаний, то есть способностью решать более сложные задачи, и приобретением знаний, имеющих глубокий и устойчивый характер,

- регионом обучения Мы определяем 3 группы регионов г Москва, крупные промышленные центры (I Казань, г Пермь и т п ), мелкие и средние города (г Сапьск г Ейск и т п ) Деление было произведено неслучайно, так

как по нашему мнению, уровень знаний, усвоение материала и качество обучения студентов в крупных городах и поселках в значительной мере отличаются

В диссертационной работе приводится формирование репрезентативных групп студентов по результатам тестирования по дисциплинам «Дислалия» «Общепрофессионального блока» учебного плана специальности «Логопедия» и «Философия» блока «Общие гуманитарные и социально-экономические дисциплины» всех специальностей В тестировании по дисциплине «Дислалия» всего приняли участие 710 студентов, а по дисциплине «Философия» - 867 студентов

В процессе работы использовались специально разработанные компьютерные программы для проведения тестирования, аккумуляции и статистического анализа результатов

Для определения значимых категорий студентов из объективных критериев результатов тестирования нами выделялись следующие

- пороговый уровень знаний, определяемый как отношение количества заданий, успешно пройденных студентом, к общему числу предъявленных ему заданий,

- параметр адекватности результатов тестирования студента, определяемый как коэффициент корреляции между результатами ответа студента на каждое задание и результатами ответов всей группы (всей категории) на те же задания

Самое большое отличие наблюдается в группах, сформированных в зависимости от курса обучения и по уровню предыдущего образования Эти различия свидетельствуют о том. что принадлежность студентов к этим категориям вносят существенный вклад в результаты обучения и должны, несомненно, учитываться при организации учебного процесса Однако априорное разделение студентов по этим категориям недостаточно обосновано, поскольку отличие результатов тестирования между категориями много меньше индивидуальных различий

На Рисунке 1 представлено распределение студентов по пороговому уровню знаний и по адекватности результатов

\

05 -04 -0 3 02 -0 1 0 01 02 03 04 05 06 07

08

09

распр по пороговому уровню знании

распр по адекватности

Рисунок 1 Распределение студентов по пороговому уровню знаний и по адекватности результатов

По пороговому уровню знаний можно выделить три группы студентов

1 Основная группа студентов со средним уровнем знаний порядка 0,5

2 Группа студентов с высоким уровнем знаний

3 Группа студентов с низким уровнем знаний

По адекватности результатов можно выделить две группы студентов

1 Основная группа студентов с довольно узким распределением адекватности результатов

2 Группа студентов с низким и отрицательным значением адекватности результатов

По результатам исследования сформирован контингент из 628 студентов специальности «Логопедия», не содержащий групп со встречным распределением в структуре знаний и являющийся репрезентативной группой для верификации комплекса тестовых заданий по дисциплине «Диелалия» Количество студентов в группе и количество предъявленных им заданий обеспечивают достаточную точность результатов статистического анализа

По результатам тестирования по дисциплине «Философия» разпичие результатов студентов разных специальностей как по пороговому уровню знаний, гак и по адекватности также незначительны Таким образом, специальность студента является значимым параметром для структуры знаний студентов, однако это различие не существенно для верификационного анализа и в процессе верификации комплекса тестовых заданий по дисциплине «Философия» студенты различных специальностей могут рассматриваться как единая группа

В третьей главе диссертации «Верификация комплексов тестовых заданий» раскрывается обобщение и теоретическое осмысление констатирующего эксперимента, анализ полученных результатов

Для того чтобы комплекс тестовых заданий являлся адекватным инструментом для определения уровня и структуры знаний студентов, необходимо выполнение ряда условий Комплекс тестовых заданий должен

- равномерно охватывать все разделы дисциплины в соответствии с учебной программой, т е быть репрезентативным по содержанию,

- обладать широким распределением заданий по степени трудности как по комплексу в целом, так и по каждому разделу изучаемой дисциплины,

- иметь высокую степень адекватности, то есть результаты тестирования должны эффективно дифференцировать студентов по уровню знаний,

- характеризоваться высокой устойчивостью, ю есть выявляв знания, основанные не на механическом запоминании отдельных разрозненных фактов, но на глубоком понимании основ предмета,

- быть «помехоустойчивым», то есть в основном исключающим влияние вероятностных факторов на результат тестирования, в частности, влияние варианта задания и ответов «наугад»,

- являться достаточно объемным, чтобы исключить возможность «натаскивания», достаточно разнообразным по форме заданий и формулировок, чтобы, в частности, избежать быстрой утомляемости тестируемых,

- иметь высокую степень валидности, то есть результаты тестирования должны отражать именно те знания и навыки студента, которые не только необходимы для дальнейшего прогресса обучения, но и характеризовали бы студента как будущего специалиста

Выделяют две группы методов анализа заданий экспертные н математические Сразу же после написания заданий их анализ проводится экспертными методами, которые позволяют оценить, в какой степени задания соответствуют по содержанию предмету измерения, те действительно ли задания позволяют измерить именно те знания, умения и навыки, для которых разрабатывается тест

После разработки и проведения экспертного анализа заданий получается первый вариант теста Как правило, этот вариант бывает еше очень несовершенным Чтобы повысить его качество, используются математические методы Для применения этих методов нужен эмпирический материал - результаты реальной проверки (апробации) теста в студенческих группах После тестирования осуществляется анализ тестовых заданий с использованием математических методов Только после этого окончательно решается вопрос о включении toi о или иного задания в состав теста

Предложенная нами методика верификации тестовых заданий основана на статистическом анализе результатов тестирования репрезентативной группы сгудентов Она позволяет для каждого задания комплекса объективно определить следующие параметры

1 Параметр трудности задания

2 Параметр адекватност и задания

3 Параметр устойчивости уровня знаний

Что касается комплекса тестовых заданий в целом, го нами определяются следующие параметры

1 Динамический диапазон балловой трудности комплекса, определяемый как дисперсия параметра балловой трудности заданий

2 Адекватность комплекса, определяемая как среднее значение параметров адекватности заданий, составляющих комплекс

3 Устойчивость комплекса, определяемая как среднее значений параметров устойчивости заданий, составляющих комплекс

4 Помехоустойчивость (надежность)

5 Валидность

В диссертационной работе проведен анализ результатов'тестирования, позволяющий определить параметры каждого тестового задания и> комплекса тестовых заданий в целом

Трудность задания является традиционным показателем при анализе задания Трудность заданий теста - это характеристика задачи (пункта) теста, отражающая статистический уровень ее решаемости в данной выборке стандартизации Решаемость заданий меняется в пределах от 0 до 1 Его значения тем больше, чем ниже трудность задания Показателем пороговой трудности заданий является доля лиц выборки, не решивших задание

40 35

0

5

, - - ' 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9

0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0

'Дислалия'

"Информатика1

70

70

0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9

0 0,1 0,2 0,3 0,4 0,5 0 6 0,7 0,8

Социология

-•—"Философия'

Рисунок 2 Распределение заданий по параметру трудности

Для определения уровня знаний трудность заданий должна варьироваться в широком диапазоне, по возможности, перекрывающем диапазон уровня знаний студентов Легко видеть, что исследованные комплексы тестовых, заданий (Рисунок 2) обладают различным распределением заданий по трудности Выраженная неравномерность распределения некоторых комплексов может привести к искажению результатов тестирования

Однако не всегда низкая решаемость задания адекватна его истинной трудности Такая неадекватность зачастую возникает вследствие несогласованности терминологии при использовании заданий, разработанных разными авторами, применения некорректных формулировок, проявления частных точек зрения, а ¡акже вследствие чисто механических ошибок и опечаток В процентном отношении количество таких заданий, как правило, невелико, однако именно они вызывают наибольшее число спорных моментов и подрывают доверие ко всему комплексу

Анализ результатов тестирования репрезентативной группы позволяет определить параметр адекватности заданий и предлагаемых вариантов ответа всему комплексу Параметр адекватности задания ат определяется как коэффициент корреляции между результатами группы студентов по данному заданию и результатами той же группы студентов по всему комплексу Фактически, параметр адекватности задания показывает, насколько эффективно данное задание участвует в формировании распределения студентов по уровню знаний

Следует отметить, что не в каждом комплексе тестовых заданий содержится достаючное число заданий с высокой степенью адекватности (Рисунок 3) Заметим, что в некоторых из исследованных комппексов основная часть заданий характеризовалась близким к нулю значением адекватности

50

50

-1 -0,6 -и,2 и,» т

-1 -0,6 -0,2 0,2 0,6

'Дислалия'

' Основы неирофизиолсии и высшей неовной деятельности

--е—'» 5-

-1 -0,6 -0,2 0,2 0,6 1

-1 -0,6 -0,2 0,2 0,6 1 -"— "Культурология"

"Демография'

Рисунок 3 Распределение заданий по параметру адекватности

Задания с отрицательной степенью адекватности (если это не результат обособленной группы) должны быть переработаны или исключены из комплекса Задания с близкой к нулю степенью адекватности, результаты по которым не коррелируют с уровнем знаний студентов, характеризуют разрозненные знания, полученные не системным образом Такие задания, не дифференцируя тестируемых по уровню знаний, характеризуют объем знаний и наиболее приемлемы при критериально-ориентированной оценке результатов тестирования Задания с высокой степенью адекватности, по которым группа выступает как единый коллектив, характеризуют знания, полученные в результате целенаправленною учебного процесса Таким образом, легкие задания с малой адекватностью характеризуют тщательность самостоятельного изучения студентом дисциплины и объем полученной информации Трудные адекватные задания характеризуют уровень знаний, полученных в результате учебного процесса

Еще одним параметром, характеризующим задания является параметр устойчивости знаний /„,, проверяемых данным вопросом Степень устойчивости уровня знаний по данному заданию, определяется как коэффициент корреляции решаемости задания со временем, прошедшим с момента изучения студентом данной дисциплины

Устойчивость заданий является показателем, характеризующим дочго-временность знаний, проверяемых данным заданием На Рисунке 4 представлено распределение заданий по параметру устойчивости знаний

-0,9 0,7 -0,5 -0 3 -0,1 0 1 0,3 0,5 0 7 0 9

* Основы нейрофизиологии и высшей нервной деятельности

20

0 9 0,7 0 5 -0,3 -0,1 0,1 0,3 0,5 0,7 0,9

■"*"• Правоведение

Рисунок 4 Распределение заданий по параметру устойчивости

Задания с выраженной отрицательной устойчивостью (время жизни знаний менее одного семестра) следует исключить из комплекса, поскольку такие знания не могут являться основой ни для дальнейшего успешного обучения, ни, тем более, дальнейшей профессиональной деятельности Задания с близким к нулю значением параметра устойчивости характеризуют знания, необходимые для успешного продолжения учебы Задания с высоким значением параметра устойчивости характеризуют знания, необходимые для дальнейшей профессиональной деятельности

Статистический анализ результатов тестирования репрезентативной группы студентов позволяв! для каждого задания комплекса определить следующие параметры степень трудности, адекватность и устойчивость Однако, взаимосвязь этих параметров также не очевидна В некоторых комплексах более адекватными оказываются трудные задания, в некоторых - наоборот,

более легкие Аналогично, не наблюдается априорная закономерность во взаимосвязи степени трудности и устойчивости заданий, а также во взаимосвязи адекватности и устойчивости заданий Таким образом, ни по одному из этих параметров невозможно априори установить остальные характеристики задания и ни один из этих параметров в отдельности не может в полном объеме являться критерием пригодности задания для поставленной педагогической задачи Только сочетание указанных параметров может охарактеризовать степень валидности задания

На Рисунке 5 представлено распределение заданий комплексов по комбинированному параметру

50

-0 6 0 3 -01 0 1 0,3 0 6

-"Дислалия"

07

-1 -08 -06 -04 -02 0 0,2 0,4 0 в 0 3 1

—— "Философия"

Рисунок 5 Распределение заданий по комбинированному параметру

Комбинированный параметр может служить критерием соответствия задания поставленной педагогической цели Часть комплекса, с заданиями с малым значением комбинированного параметра, более приемлема для оперативного контроля объема и тщательности изучения дисциплины, в то время как часть комплекса с высоким значением комбинированного параметра пригодна для контроля остаточных знаний студентов Задания с отрицательным значением комбинированного параметра следует признать не пригодными для тестирования Эти задания нуждаются в дополнительной экспертной оценке, переработке или удалении из комплекса

Тестирование преследует цель получить как можно более полную и детальную информацию об уровне и структуре знаний студентов Вместе с тем, количество заданий, предъявляемых студенту, ограничивается возможной усталостью и потерей внимания студента Поэтому к каждому заданию предъявляется требование в эффективном определении уровня и структуры знаний Это требование входит в противоречие с требованием о лаконичности тестового задания, отсутствии неявных формулировок и несформулиро-

ванных заданий Поэтому создание эффективных тестовых заданий, трудность которых не сопряжена со сложностью, является серьезной проблемой Чаще всего встречаются малоэффективные простые задания, затрагивающие лишь один минимальный элемент информации например, термин, дату события, фамилию ученого, принадлежность к той или иной классификации и тд Для того чтобы воссоздать картину знаний студента, необходимо предъявить ему большое количество таких заданий Другой крайностью являются задания, представляющие сложную многоступенчатую задачу, для решения которой необходимы не только знания по тестируемой дисциплине, но и умения и навыки из других дисциплин Свою лепту в сложность этой проблемы вносит и специфика изучаемой дисциплины, ее логическая и дидактическая взаимосвязь с другими дисциплинами Однако в создании эффективных тестовых заданий есть значительный резерв, связанный с введением рейтинга (балловой оценки) предъявляемых вариантов ответа

В подавляющем большинстве тестов все задания, независимо от степени их сложности, имеют одинаковый рейтинг (1,0), а все варианты ответов делятся всего на две категории - верные и неверные При такой системе результаты студента оцениваются по количеству верных ответов независимо от степени трудности задания Установление рейтинга, пропорционально! о степени трудности задания, существенно уменьшает ошибку, связанную со случайным выбором предъявляемых заданий, когда одному студенту могут попасться более трудные задания, а другому — более легкие Разумеется, для более адекватного и оперативного определения уровня знаний необходимо ввести балловый рейтинг верных ответов, учитывающий как трудность, так и содержательную значимость задания Например, при контроле уровня остаточных знаний нам представляется более целесообразным устанавливать рейтинг, пропорциональный параметру соответствия цели »■„,

Реитинг не является абсолютной характеристикой задания В самом понятии оценка есть элемент субъективности Рейтинг тестовых заданий тем или иным образом соотносится с целью тестирования В соответствии с целью тестирования задания могут быть ориентированы на тот или иной аспект структуры знаний, например, на теоретические знания или практические навыки, на знания устойчивого характера, на глубину или объем знаний Однако необходимо, чтобы даже волевым образом ориентированный рейтинг устанавливался не на основе субъективной экспертной оценки, а на основе объективных параметров заданий

Надежность или помехоустойчивость - одна из важнейших характеристик теста, которая отражает точность педаготических измерений и степень постоянства результатов тестирования Степень постоянства результатов тестирования означает стабильность во времени и предсказуемость ответов на задания теста, когда правильный ответ на каждый вопрос повышает вероятность правильного ответа на другие вопросы (внутритестовая надежность) Надежность теста, как правило, определяется после окончания анализа задач и составления окончательной формы теста

Помехоустойчивость комплекса тестовых задании определяется как погрешность в оцениваемом параметре, возникающая в силу случайной или систематической ошибки измерения или анализа результатов измерения Она определяется экспериментальным путем как статистический разброс результатов многократного измерения параметров того же объекта, например, ра!-брос результатов многократного тестирования одного и того же студента

Однако в самой сути этого способа кроется по1 решность, связанная с нестабильностью (усталость, обучаемость) самого объекта и при оценке помехоустойчивости комплекса по результатам тестирования целесообразно про* анализировать основные источники погрешности

- погрешность самого задания,

- погрешность, связанная с вероятностью случайного выбора верного ответа,

- погрешность, связанная со случайным характером выбора предъявляемых заданий

Определение статистических характеристик каждого задания комплекса позволяет оценить все эти составляющие общей погрешности комплекса При количестве предъявляемых студенту заданий, равном 60, помехоустойчивость исследуемых комплексов тестовых заданий составила около 95%

Одним из важнейших параметров, характеризующим комплекс тестовых заданий, является его вапидность Она опредепяется как численный параметр, характеризующий, в какой степени тест отражает именно те свойства и качества объекта, для которых он предназначен

Теоретическое определение (тем более предсказание) валидности теста невозможно поэтому она определяется исключительно экспериментальным путем Комплекс тестовых заданий является как бы измерительным прибором и существуют два метода его сертификации (валидизации)

Первый из них - эго метод эталонного прибора Его сущность заключается в том, что один и тот же объект одновременно измеряется как исследуемым, так и другим, эталонным, прибором, результаты которого широко признаны и не подвергаются сомнению Если эталонный прибор имеет ограниченную вапидность, то вапидность исследуемого прибора, естественно, от-считывается от уровня валидности эталона В применении к комплексу тестовых задании валидизация методом эталонного прибора заключается в одновременном определении уровня знаний того же студента (группы студентов) как исследуемым комплексом тестовых заданий так и классическим методом (например, устный или письменный экзамен) Проблемы в валидизации тестов этим методом заключаются не только в технических сложностях реализации, но и в невысокой валидности классических форм контроля Классические формы контроля во многом зависят от личности экзаменатора, его научного и педагогического опыта и эрудиции, степени доброжелательности и беспристрастности Не секрет, что один и тот же студент может получить различные оценки у разных экзаменаторов Таким образом, в методе эталонного прибора невысокая валидность классических форм контроля искусственно занижает валидность комплекса тестовых заданий

Более технолог ичным представляется нам метод эталонного объекта Ею сущность заключается в том, что исследуемым прибором измеряется объект, параметры которого являются эталоном В применении к комплексу тестовых заданий валидизация методом эталонного объекта заключается в определении исследуемым комплексом уровня знаний группы лиц, уровень знаний которых является ориентиром или эталоном для основной массы студентов

На Рисунке 6 представлено распределение результатов тестирования основной массы студентов и эталонной группы исследуемыми комплексами при рейтинге заданий [1,0]

-ю о о.2 °>б 0.8 1

Основная группа студентов - - Эталонная группа студентов

Рисунок 6 Распределение результатов тестирования при рейтинге заданий [I 0] по дисциплине «Основы генетики»

Валидность теста, определяемая как средний результат эталонной группы, оказалась равна 0,71 для дисциплины «Основы генетики» Статистический анализ позволяет путем отбраковки заданий и введения рейтинга повысить качество комплекса После удаления неадекватных заданий и присвоения оставшимся заданиям рейтинга, пропорционального произведению параметров трудности и адекватности задания, валидность комплекса увеличилась до значения 0,74

Статистический анализ результатов тестирования репрезентативной группы студентов позволяет определить все значимые характеристики комплексов тестовых заданий и определить пути их улучшения Процедура верификации должна быть не одноразовым мероприятием, а перманентной составляющей методического обеспечения учебного процесса По результатам проведенного исследования в Московском социально-гуманитарном институте разработана и внедрена система верификации комплексов тестовых заданий Верификация комплексов тестовых заданий осуществляется по различным учебным дисциплинам Института

В заключении подведены итоги исследования, сформулированы главные выводы, полученные в результате теоретического анализа проблемы и

экспериментальной работы, соотнесены положения гипотезы и результатов исследования.

Результаты исследования дают возможность сделать следующие выводы

1 Разработанная методика аккумуляции и статистического анализа результатов тестирования, а также специализированные компьютерные программы, обеспечивают оперативную верификацию тестовых заданий

2 Основанная на статистическом анализе результатов тестирования, универсальная высокотехнологичная система верификации позволяет

- определить параметры трудности, адекватности и устойчивости каждого задания,

- выявить степень адекватной трудности заданий и их соответствие той или иной педагогической цели,

- оценить помехоустойчивость и валидность комплекса

3 Объективные критерии введения рейтинга заданий способствуют адаптации комплекса к задачам учебного процесса и увеличению валидности комплекса в целом

4 Внедренная в учебный процесс система верификации комплексов тестовых заданий, включающая в себя аккумуляцию и анализ результатов тестирования, позволяет сформировать заключения и рекомендации, как по каждому тестовому заданию, так и по комплексам в целом

Публикации в научных ж\риалах и изданиях, в которых, согласно перечню, утвержденному Президиумом ВАК, должны быть опубликованы результаты диссертации на соискание ученой степени кандидата педагогических наук

1 Метельская Т А Формирование валидных комплексов тестовых заданий /Экономический вестник Ростовского государственного университета 4 номер, июнь 2006г Г 122-127/

Научные статьи, тезисы доюшдов, программы, методические рекомендации

2 Борисова В В , Матвеева О В , Метельская Т Л , Оганесян Е В Исследование и коррекция структуры профессиональных знаний студентов-дефекюлогов на примере дисциплина «Дислалия»/Лотопедия XXI века Материалы симпозиума с международным участием - СПб НОУ «СОЮЗ», 2006 -С 7-9

3 Борисова В В . Матвеева О В , Метельская Т А Определение характеристик тестовых заданий методами корреляционного анализа/Инновационные методы и средства оценки качества образования Материалы конференции МГУП, М , 2006 С 40-42

4 Борисова В В , Метельская Т А , Налбандян О Г , Оганесян Е В Система верификации тестовых заданий методами статистического анализа/Инновационные методы и средства оценки качества образования Материалы конференции МГУП, М , 2006 С 42-44

5 Борисова В В , Матвеева О В , Метельская Т А , Налбандян О Г , Оганесян Е В Применение корреляционного анализа в проблеме верификации тестовых заданий/ Новые технолгии в образовании, науке и экономике труды ХИ-го международного симопзиума (Шарджа, ОАЭ, январь-февраль 2006 г ), М , 2006 - С 39-43

6 Борисова В В , Метельская Т А Анализ структуры знаний студентов методом динамического тестирования/ Новые технология в образовании, науке и экономике Труды Х1\;-го международного симпозиума (Террачина, Италия, 06- 13 мая 2006 г ), М , 2006 - С 13-18

Подписано в печать 23 03 2007 Печать на ризогрофе Объем -1,5 п л Формат 60x90/16 Гарнитура «Times New Roman» Тираж 150 экз Заказ № 65

Отпечатано в типографии «Графа 2007» г Москва, Шарикоподшипниковская,4 Тел 108-02-75

Содержание диссертации автор научной статьи: кандидата педагогических наук, Метельская, Татьяна Анатольевна, 2007 год

ВВЕДЕНИЕ

ГЛАВА 1. Современное состояние педагогической тестологии

§1.1. Качество образования

§1.2 Тестирование - как контроль знаний

§1.3. Краткий исторический обзор применения тестов в мировой практике

§1.4. Исходные понятия теории тестов

§1.5. Нетрадиционные тесты

§1.6. Классификация тестов

§1.7. Принципы разработки тестов

ГЛАВА 2. Формирование репрезентативной группы

§2.1 Принципы формирования и требования к параметрам репрезентативной группы

§2.2. Категории студентов

§2.3. Статистические характеристики категорий студентов

§2.3.1. Уровень предыдущего образования

§2.3.2. Курс обучения

§2.3.3. Регион обучения

§2.3.4.Специальность

§2.3.5. Возможность существования подгрупп по неявным категориям

§2.4. Описание эксперимента по тестированию

§2.4.1. Формирование подгрупп по уровню предыдущего образования

§2.4.2. Формирование подгрупп по курсу обучения

§2.4.3. Формирование подгрупп по региону обучения

§2.4.4. Формирование подгрупп по специальности

§2.4.5.Формирование подгрупп по неявным категориям

§2.5. Репрезентативный контингент тестируемых студентов

ГЛАВА 3. Верификация комплексов тестовых заданий

§3.1. Основные преимущества комплексов тестовых заданий

§3.2. Формирование комплексов тестовых заданий

§3.3. Статистическая обработка результатов тестирования

§3.3.1 Трудность и рейтинг заданий

§3.3.2 Адекватность заданий

§3.3.3 Устойчивость заданий

§3.4. Комбинированные параметры и условия отбора заданий

§3.5. Эффективность и рейтинг заданий

§3.6. Надежность и валидность тестовых комплексов

§3.6.1 Надежность тестовых комплексов

§3.6.2 Валидность тестовых комплексов

§3.7 Система компьютерного тестирования и верификации тестовых заданий

Введение диссертации по педагогике, на тему "Верификация тестовых заданий для контроля уровня знаний студентов в ВУЗе"

Одним из основных факторов успешного развития общества является эффективное функционирование его социальной сферы и, в частности, системы образования. Высшее образование сегодня является важнейшей составляющей системы образования, определяющей не только современное состояние общества, но и перспективы его развития на многие годы вперед. Стремительное развитие общества поставило перед высшим образованием новую задачу: сегодняшние выпускники должны быть способны успешно решать не только насущные проблемы, но и проблемы, которые встанут перед обществом в будущем. Именно эта задача определяет значимость качества обучения в наиболее широком и глубоком его понимании.

Актуальность темы исследования. Эффективное функционирование системы образования является одним из основных факторов успешного развития общества, и совершенствование системы образования выдвигается на одно из первых мест среди направлений развития России. Высшее образование сегодня является важнейшей составляющей развития государства, и без достижения высокого качества образования невозможно ожидать продвижения науки, культуры, искусства, производства, то есть всего того, что делает государство сильным. Одной из важнейших задач, составляющих совершенствование системы образования, согласно «Концепции модернизации Российского образования до 2010 года» является «обеспечение современного качества образования на основе сохранения его фундаментальности и соответствия актуальным и перспективным потребностям личности, общества и государства». При этом особая роль отводится укреплению и модернизации материально-технической базы и инфраструктуры образовательных учреждений, внедрению современных компьютерных технологий.

Современные компьютерные технологии не отрицают классические традиционные средства обучения и должны гармонично дополнять их, обеспечивая высокую эффективность учебного процесса. Для решения поставленных задач необходима разработка специальных средств обучения, адаптированных к компьютерным технологиям: компьютерных обучающих программ, систем интерактивного взаимодействия, многоуровневых информационных систем, тренажеров, демонстрационных материалов и систем контроля качества обучения.

Совершенствование управления и контроля качества образования является одним из важнейших направлений Федеральной программы развития образования в России. В реализации контроля качества обучения существуют две взаимодополняющих составляющих. Первая составляющая заключается в контроле самого процесса обучения. Этот подход охватывает все аспекты учебного процесса - учебные планы и программы, квалификация педагогических кадров, наличие учебной литературы и учебно-методических пособий, функционирование учебных лабораторий и баз проведения практики. Особое внимание уделяется воспитательной работе и научной деятельности, творческой атмосфере и условиям для самореализации и самоактуализации личностных качеств, саморазвития личности как творца собственной жизни, развития ценностных ориентаций и духовности студента.

Вторая составляющая заключается в контроле результатов обучения. Этот подход, предполагая определенную свободу в методах и средствах достижения, во главу угла ставит требование, чтобы в результате обучения студент обладал теми знаниями, умениями, навыками и иными качествами, которые востребованы обществом и которые соответствуют Государственному образовательному стандарту. В основе второй составляющей лежит выявление и анализ динамики качеств каждого студента в процессе обучения с целью не только выявления успешности обучения и пригодности студента для дальнейшей профессиональной деятельности, но и введения корректирующих мероприятий в учебный процесс.

Кроме того, классические формы контрольных мероприятий порождают ряд проблем:

- приспособление педагогов к уровню знаний студентов. В результате одна и та же оценка по дисциплине в различных вузах может соответствовать различным, порой даже несопоставимым, уровням знаний.

- впечатление, пусть даже зачастую неоправданное, о необъективности экзаменатора, что существенно снижает положительную мотивацию студентов к учебе. существенная выборочность контролируемого материала, понижающая надежность результатов;

- низкая помехоустойчивость, связанная с влиянием психологических аспектов взаимодействия студента и экзаменатора;

- низкая технологичность классических форм, ставящая под сомнение возможность непрерывного контроля в процессе обучения.

Решение этих проблем во многом связано сегодня с развитием тестологии, как новой отрасли научного знания, которая появилась в начале XX века на стыке психологии, педагогики, социологии и других поведенческих наук. Педагогическая тестология, согласно концепции В.С.Аванесова, призвана заниматься вопросами разработки тестов и их применением для объективного контроля знаний, умений, навыков, представлений студентов. Она представляет собой прикладное направление научной педагогики. Анализ результатов исследований зарубежных (Д.Вилфорд, К.Ингенкамп) и отечественных (В.С.Аванесов, В.П.Беспалько, В.В.Борисова, Ю.Ф.Гущин, М. И Иродов, Н. В. Дрантусова, Г.С.Ковалева, В.Г.Кузнецов, О.Б.Логинова, А.Н.Майоров, В.И.Огорелков, Е.Н.Перевощикова, В.М.Соколов, В.С.Черепанов, М.Б.Челышкова, И.А.Цатурова и др.) ученых-педагогов показал, что компьютерные тесты являются одним из наиболее мощных, надежных и объективных методов определения учебных успехов и достижений.

Несмотря на очевидные недостатки, связанные с неизбежной формализацией взаимоотношений экзаменатор-студент, тестирование обладает рядом столь же очевидных преимуществ. Компьютерное тестирование позволяет стандартизовать уровень требований, предъявляемых к знаниям студентов, обеспечить объективность и надежность результатов, детально контролировать все составляющие знаний студента. Высокая технологичность компьютерного тестирования позволяет эффективно организовать контроль знаний студентов на всех этапах обучения:

К созданию тестов привлекаются лучшие специалисты, обладающие высоким научным потенциалом, а также опытом практической и педагогической работы. В настоящее время разработаны тысячи комплексов тестовых заданий, базирующихся как на вербальном, так и на аудио- и визуальном представлении материала и активно использующих современные компьютерные технологии. Однако содержание тестового задания полностью определяется видением автора, то есть в значительной мере оказывается субъективным. Очевидно, что представления разных авторов о студенческом контингенте могут существенно отличаться и быть довольно далеки от реального контингента.

Верификация тестовых заданий, основанная на экспертной оценке специалистов, зачастую обнаруживает несоответствие позиций разных специалистов, различия в терминологии, в необходимом уровне сложности и трудности заданий и даже в выборе верного варианта решения задания. Широкое применение компьютерного тестирования требует создания системы объективной верификации применяемых комплексов тестовых заданий, то есть определения основных характеристик комплекса и его применимости в качестве инструмента для контроля знаний студентов. Основой системы объективной верификации комплексов тестовых заданий могут являться результаты тестирования репрезентативного контингента студентов с применением математических методов анализа.

Указанные проблемы в разработке и верификации комплексов тестовых заданий, в частности, неэффективность и неоднозначность экспертных оценок, позволили сформулировать проблему исследования. Она состоит в необходимости разработки и внедрения системы объективной верификации комплексов тестовых заданий. Это обусловило выбор темы «Верификация тестовых заданий для контроля уровня знаний студентов в вузе».

Проблема исследования - обеспечение объективного контроля знаний студентов путем разработки высокотехнологичной системы верификации тестовых заданий с высокой степенью их надежности и валидности.

Цель исследования - теоретическое обоснование и практическая реализация системы верификации комплексов тестовых заданий для контроля уровня знаний студентов в вузе.

Объект исследования - результаты компьютерного тестирования уровня знаний студентов заочной формы обучения различных специальностей Московского социально-гуманитарного института.

Предмет исследования - система верификации комплексов тестовых заданий методами статистического анализа полученных результатов тестирования репрезентативной группы студентов.

Гипотеза исследования: статистический анализ результатов тестирования уровня знаний студентов может позволить объективно определить степень трудности, параметры адекватности и устойчивости каждого тестового задания и комплекса тестов для контроля процесса, результатов обучения и формирования структуры знаний студентов.

Задачи исследования:

1. Изучить и систематизировать теоретические основания тестологии и методы математического анализа.

2. Разработать методику и компьютерные программы аккумуляции и статистического анализа результатов тестирования.

3. Апробировать разработанную методику верификации комплексов тестовых заданий на материалах компьютерного тестирования студентов на различных этапах учебного процесса.

4. Установить объективные критерии введения рейтинга заданий с целью адаптации комплекса к задачам учебного процесса и увеличения валидности комплекса в целом.

5. Внедрить систему верификации комплексов тестовых заданий, включающую в себя аккумуляцию и анализ результатов тестирования, формирование заключений и рекомендаций, как по каждому тестовому заданию, так и по комплексам в целом для специалистов, разрабатывающих тесты.

Логика исследования соответствует названным задачам.

Для получения достоверных результатов были использованы следующие теоретические и эмпирические методы: анализ психолого-педагогической, математической, методической и нормативно-правовой литературы по проблеме исследования, анализ социологических характеристик студенческого контингента, компьютерное тестирование и соотнесение результатов тестирования с успеваемостью и социологическими характеристиками студентов, методы математической статистики.

Методологическая основа исследования - положения о закономерностях образовательного процесса и их сущности (Ю.К. Бабанский, В.И.Загвязинский, И.Я.Лернер, Е.Г.Осовский, М.Н.Скаткин,

B.А., Сластенин, М.И.Махмутов и др.); теории педагогических систем, закономерностей их функционирования, развития и управления (В.П.Беспалько, А.П.Беляева, Л.В.Загрекова, Н.В.Кузьмина, В.Н.Максимова,

C.А.Маврин, Л.Ф.Спирин, В.А.Сластенин, В.П.Симонов, В.Н.Шамардин и др.); проблемы качества образования, его сущности, совершенствования контроля за его обеспечением (В.С.Аванесов, В.П.Беспалько, В.А.Караковский, B.C. Лазарев, А.М.Моисеев, В.В.Николина, П.И.Пидкасистый, М.М.Поташник, В.М., Соколов, О.Г.Хомерики,

Е.А.Ямбург и др.); теории тестологии и педагогической квалиметрии (В.С.Аванесов, А.Анастази, К.Ингенкамп, Д.Н.Кеттелл, В.И.Огорелков, Г.С.Ковалева, А.Н.Майоров, Е.А.Михайлычев, Е.Н.Перевощикова, М.Б.Челышкова и др.); положения о конструировании и технологизации учебного процесса (В.П. Беспалько, Г.А.Бордовский, Н.М.Зверева, В.А.Извозчиков, М.В.Кларин, В.М. Монахов, Г.К.Селевко, М.А.Тарасов, М. А.Чошанов и др.).

База исследования: Московский социально-гуманитарный институт и его филиалы в гг. Сальск, Ейск, Новороссийск, Ярославль, Ржев, Нефтеюганск, Казань, Набережные Челны, Селятино, Новомосковск, Пермь, Егорьевск.

Организация и этапы исследования:

Первый этап (1998 - 2000) - осмысление и актуализация проблемы создания и верификации комплексов тестовых заданий, методических основ тестологии, дистантных и дистанционных технологий в системе заочного обучения студентов.

Второй этап (2001-2003) - работа над научной концепцией исследования, разработка системы компьютерного тестирования, компьютерных программ аккумуляции и статистического анализа результатов тестирования.

Третий этап (2004-2005) - проведение констатирующего эксперимента, анализ полученных результатов. Уточнение на их основе цели и задач исследования, конкретизация гипотезы и объекта исследования.

Четвертый этап (2006-2007) - обобщение и теоретическое осмысление полученных результатов, формирование выводов, совершенствование и внедрение системы компьютерного тестирования и верификации комплексов тестовых заданий, оформление диссертации.

На защиту выносятся следующие положения:

1. Статистический анализ результатов тестирования студентов позволяет объективно определить такие важные характеристики, как степень трудности, степень адекватности и параметры устойчивости каждого тестового задания, а также помехоустойчивость и валидность всего комплекса тестов.

2. Система верификации тестов позволяет на основе объективных критериев производить отбор заданий и формирование комплексов тестовых заданий, соответствующих цели и педагогической задаче тестирования.

3. Верификация комплексов тестовых заданий на основе статистического анализа результатов тестирования студентов является необходимым этапом в реализации компьютерного тестирования. Система верификации должна являться перманентно функционирующей составной частью научно-методического обеспечения учебного процесса.

Научная новизна исследования:

1. Впервые обоснована концепция адекватной трудности тестовых заданий. Определена значимость параметра адекватности в таких характеристиках комплексов тестовых заданий, как дифференцирующая способность и валидность.

2. Обоснована концепция устойчивости формируемых знаний, определяемых тестовым заданием, и охарактеризованы значимые параметры тестовых заданий, важные для повышения эффективности учебного процесса.

Теоретическая значимость исследования:

1. Проведен теоретический анализ взаимосвязи качественных характеристик и статистических параметров тестовых заданий. Систематизирована структура статистических параметров тестовых заданий.

2. Доказано, что статистические параметры тестовых заданий являются основой для введения объективных, научно обоснованных рейтингов тестовых заданий, ориентирующих комплекс на основную цель и педагогическую задачу тестирования.

3. Разработана структура системы тестирования, включающая в себя компьютерное тестирование, регистрацию и анализ результатов, верификацию и коррекцию тестовых заданий на различных этапах изучения дисциплины, а также при тестировании остаточных знаний.

Практическая значимость исследования:

1. Разработана универсальная технология верификации тестов, позволяющая производить отбор заданий и формирование комплексов тестовых заданий.

2. Высокотехнологичная система компьютерного тестирования и верификации комплексов тестовых заданий может использоваться для контроля знаний студентов, а также в учебном процессе в качестве тренировочного материала.

3. Верифицированные в результате исследования комплексы тестовых заданий по ряду дисциплин учебного плана подготовки студентов заочной формы обучения по специальностям «Логопедия», «Психология», «Бухгалтерский учет, анализ и аудит», «Государственное и муниципальное управление» подготовлены для практического использования в системе высшего образования.

Достоверность и обоснованность результатов исследования обеспечивается исходными методологическими положениями, которые соответствуют современным тенденциям педагогической науки и Концепции модернизации образования, репрезентативным объемом экспериментального материала, широкой географией базы исследования и применением методов математической статистики.

Апробация и внедрение результатов исследования. Материалы диссертационного исследования были представлены на заседаниях Ученого совета и кафедры педагогики Московского социально-гуманитарного института, на международных конференциях: «Новые технологии в образовании, науке и экономике» (Шарджа, ОАЭ, январь 2006; Террачина, Италия, май 2006), «Негосударственный сектор высшего образования: проблемы развития» (Москва, 2005), симпозиуме с международным участием «Логопедия XXI века» (Санкт-Петербург, 2006) и других совещаниях и конференциях, посвященных проблемам качества обучения.

Результаты исследований внедрены в Московском социально-гуманитарном институте.

Публикации. Основное содержание исследования отражено в 6 публикациях автора. Объем опубликованных работ по теме диссертации -1,1 п. л.

Заключение диссертации научная статья по теме "Теория и методика профессионального образования"

Результаты исследования дают возможность сделать следующие выводы:

1. Разработанная методика аккумуляции и статистического анализа результатов тестирования, а также специализированные компьютерные программы, обеспечивают оперативную верификацию тестовых заданий.

2. Основанная на статистическом анализе результатов тестирования, универсальная высокотехнологичная система верификации позволяет:

- определить параметры трудности, адекватности и устойчивости каждого задания;

- выявить степень адекватной трудности заданий и их соответствие той или иной педагогической цели;

- оценить помехоустойчивость и валидность комплекса.

3. Объективные критерии введения рейтинга заданий способствуют адаптации комплекса к задачам учебного процесса и увеличению валидности комплекса в целом.

4. Внедренная в учебный процесс система верификации комплексов тестовых заданий, включающая в себя аккумуляцию и анализ результатов тестирования, позволяет сформировать заключения и рекомендации, как по каждому тестовому заданию, так и по комплексам в целом.

ЗАКЛЮЧЕНИЕ

Статистический анализ результатов тестирования репрезентативной группы студентов позволяет определить все значимые характеристики комплексов тестовых заданий и определить пути их улучшения. Процедура верификации должна быть не одноразовым мероприятием, а перманентной составляющей методического обеспечения учебного процесса. По результатам проведенного исследования в Московском социально-гуманитарном институте разработана и внедрена система верификации комплексов тестовых заданий. Верификация комплексов тестовых заданий осуществляется по различным учебным дисциплинам Института.

Список литературы диссертации автор научной работы: кандидата педагогических наук, Метельская, Татьяна Анатольевна, Москва

1. Аванесов B.C. Основы научной организации педагогического контроля в высшей школе. Учебное пособие. - М.: Исследовательский центр, 1989-167 с.

2. Аванесов B.C. Композиция тестовых заданий. 1,2 и 3 изд.; 3 изд. М.: Центр тестирования 2002г. 217с.

3. Аванесов B.C. Математические модели педагогического измерения. Научное издание. М.: Иссл. центр проблем качества подготовки специалистов, 1994. 26с.

4. Аванесов B.C. Методологические и теоретические основы тестового контроля". Дисс. докт. пед. наук. СПб госуниверситет, 1994.-339с.;

5. Аванесов B.C. Основы научной организации педагогического контроля в высшей школе. М.: Иссл. центр, 1989. -167с.

6. Аванесов B.C. Теоретические основы разработки заданий в тестовой форме. Пособие для профессорско-преподавательского состава высшей школы. М.: МГТА, 1995.-95с.

7. Аванесов B.C. Тесты: история и теория // Управление школой. 1999. №14.

8. Аванесов В.С.Научные проблемы тестового контроля знаний. М.: Учебные центр при исследовательском центре проблем качества подготовки специалиста, 1994. -135с.

9. Азарьева В. В. Разработка брэнда высшего учебного заведения как элемент построения системы менеджмента качества / В. В. Азарьева // Университетское управление: практика и анализ. 2004. - № 2(30). С. 110-113.

10. Ю.Батарышева A.B. Тестирование. М., Дело, 1999.

11. П.Беспалько В. П. Педагогика и прогрессивные технологии обучения: Учеб. пособие. М., 1995.

12. Беспалько В.П. Педагогика и прогрессивные технологии обучения. -М., 1995.

13. Богданова О.Ю., Челышева Т.В., Чертов В.Ф. Основы художественной культуры. Литература: Тестовые задания / Под ред. H.A. Селезневой, В.П. Беспалько. М.: Гуманит. изд. центр ВЛАДОС, 1999. - 128 с.

14. Бодалев A.A., Столин В.В. Общая психодиагностика. СПб.,2002.

15. Болотов В.А. ЕГЭ: равные условия, возрастающие возможности // Школьное обозрение.2004. №3.

16. Болотов В.А. Единый государственный экзамен как элемент становления системы независимой оценки качества образования в Российской Федерации/ Вестник образования. 2004.№ 23.

17. Болотов В.А. Единый государственный экзамен: на пути к созданию системы независимой оценки качества образования// Высшее образование сегодня. 2004. №11.

18. Болотов В.А. Основные подходы к созданию общероссийской системы оценки качества образования в Российской Федерации // Вопросы образования. 2004. № 3.

19. Борисова В.В. Определение структуры знаний студентов методом динамического тестирования. /Экономический вестник Ростовского государственного университета 4 номер, июнь 2006г. С. 128-134/

20. Борисова В.В, Метельская Т.А., Налбандян О.Г., Оганесян Е.В. Система верификации тестовых заданий методами статистического анализа/Инновационные методы и средства оценки качества образования: Материалы конференции. МГУП, М., 2006. С.42-44.

21. Борисова В.В., Матвеева О.В., Метельская Т.А. Определение характеристик тестовых заданий методами корреляционного анализа/Инновационные методы и средства оценки качества образования: Материалы конференции. МГУП, М., 2006. С.40-42.

22. Борисова В.В., Метельская Т.А. Анализ структуры знаний студентов методом динамического тестирования/ Новые технологии в образовании, науке и экономике: Труды Х1У-го международного симпозиума (Террачина, Италия, 06- 13 мая 2006 г.), М., 2006. С. 1318

23. Борисова В.В. Дислалия.: Самостоятельная работа студента-логопеда: Учебное пособие / В.В.Борисова., Н.Н.Година Е.В.Оганесян., и др. -М.: НАНОО «МСГИ», 2005. 5,6 п.л. (Автору принадлежит 2,4 п.л.).

24. Бурмистрова Е. В. Оценка качества образовательных услуг / Е. В. Бурмистрова // Университетское управление: практика и анализ. -2004.-№2(30). С. 114-115.

25. Бэрон Р., Ричардсон Д. Агрессия. СПб., 1997.

26. Васильев В.И. Философия адаптивного тестирования. М.: МГУП, 2002.

27. Васильев В.И., Глухов В.В., Тягунова Т.Н. Оптимальная оценка уровня учебных достижений тестируемых М.: МГУП, 2002.

28. Васильев В.И., Киринюк A.A., Тягунова Т.Н. Требование к программно-дидактическим тестовым материалам и технологиям компьютерного тестирования. -М.,2005. 29с.

29. Васильев В.И., Красильников В.В., Плаксий С.И., Тягунова Т.Н. Оценка качества деятельности образовательного учреждения. М.: ИКАР, 2005

30. Васильев В.И., Красильников В.В., Плаксий С.И., Тягунова Т.Н. Статистический анализ многомерных объектов произвольной природы. М.,2004 . -С.272-318.

31. Васильев В.И., Тягунова Т.Н. Теория и практика формирования программно-дидактических тестов. М.: МЭСИ, 2001.

32. Вилфорд Д. Современная типология педагогических тестов // Тесты в образовании. Вып.1. 1999.

33. Виноградова Т. В., Семенов В. В. Сравнительное исследование познавательных процессов у мужчин и женщин: роль биологических и социальных факторов // Вопросы психологии. 1993. N 2.

34. Вопросы тестирования в образовании. 2003. № 6.

35. Вроейнстийн А. И. Оценка качества высшего образования. М., 2000.

36. Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии. М.: Прогресс. 1976-495 с.

37. Гребнев JI. С. Управление содержанием гуманитарного образования в России: Правовой, целевой и технологический аспекты. М., 2000.

38. Гриншпун Б. М. Дислалия. — М. 1989

39. Дрантусова Н. В. Оценка качества как необходимый элемент (этап) управления в высшем образовании / Н. В. Дрантусова, Е. А. Князев // Университетское управление: практика и анализ. -1999. № 1(8). С.

40. Ефремова Н.Ф. Современные тестовые технологии в образовании. М., 2003.

41. Инновационные методы и средства оценки качества образования: Материалы конференции. МГУП, М., 2006.

42. Иродов М. И. Создание системы управления качеством подготовки специалистов в ВУЗе / М. И. Иродов, С. В. Разумов // Университетское управление: практика и анализ. 2003. - № 2(25). С. 90-95.

43. Итоги абитуриентского централизованного тестирования 2002 года: Сб. науч.-метод. ст. Екатеринбург, 2003.

44. К концепции построения внутривузовской системы обеспечения качества образовательного процесса в ОмГУ / В. В. Дубицкий, И. А. Огородникова, И. Ф. Перепеча и др. // Университетское управление: практика и анализ. 2003. - № 2(25). С. 96-100.

45. Караушев В.Ф, Терентьева Л.В., Тягунова Т.Н. Проектирование банка программно-дидактических тестовых заданий. М., 2005. - 64 с.

46. Качество образования: конференция и школа повышения квалификации // Университетское управление: практика и анализ. -2003. № 2(25). С. 59.

47. Кельчевская Н. Р. Интеграция высшей школы и промышленности как основа формирования человеческого капитала / Н. Р. Кельчевская, Л. А. Романова // Университетское управление: практика и анализ. 2004. -№3(31). С. 59-62.

48. Кларин М. В. Инновационные модели обучения в зарубежных педагогических поисках. М.,1989.

49. Клецина И. С. Тендерная социализация. Учебное пособие. СПб., 1998.

50. Кликунов Н. Д. Системные риски, порождаемые развитием дистанционного высшего образования в России / Н. Д. Кликунов // Университетское управление: практика и анализ. 2003. - № 5-6(28). С. 78-80.

51. Кон И. С. Обсуждение темы "Проблемы и перспективы развития тендерных исследований в бывшем СССР" // Тендерные исследования, N 5 (2/2000): Харьковский центр тендерных исследований. С. 27-33.

52. Кортов С. В., Солонин С. И. Развитие системы управления качеством образования в УГТУ // Университетское управление: практика и анализ. 2000. № 3. С. 42-45.

53. Костенко К. И. Моделирование информационной системы оценки качества образования / К. И. Костенко, С. Д. Некрасов // Университетское управление: практика и анализ. 2003. - № 3(26). С. 77-83.

54. Крайг Г. Психология развития. СПб., 2000.

55. Краковский Ю. М. Процедура выбора новых специализаций / Ю. М. Краковский, В. К. Карнаухова // Университетское управление: практика и анализ. 2003. - № 5-6(28). С. 81-83.

56. Ланда Л.Н. Алгоритмизация в обучении. М., Просвещение, 1966

57. Левшина В. В. Развитие методологии создания системы менеджмента качества вуза / В. В. Левшина // Университетское управление: практика и анализ. 2003. - № 2(25). С. 60-63.

58. Либин А. В. Дифференциальная психология: на пересечении европейских, российских и американских традиций. М., 1999.

59. Майоров А. Н. Теория и практика создания тестов для системы образования: (Как выбирать, создавать и использовать тесты для целей образования). М., 2000.

60. Мальцев А. В. Педагогическое тестирование: Метод, разработка. Екатеринбург, 1998.

61. Мальцев А. В. Предметно-ориентированное педагогическое тестирование / А. В. Мальцев // Известия Уральского государственного университета. 2004. - № 33. - С. 247-256.

62. Мельничук Д. А. Рейтинг субъектов деятельности национального аграрного университета Украины / Д. А. Мельничук, И. И. Ибатуллин, А. В. Шостак // Университетское управление: практика и анализ. -2004.-№3(31). С. 44-58.

63. Метельская Т.А. Формирование валидных комплексов тестовых заданий. /Экономический вестник Ростовского государственного университета 4 номер, июнь 2006г. С. 122-127/

64. Мониторинг качества образования: теория и практика: Сб. ст. Екатеринбург, 2000.

65. Налбандян О.Г., Оганесян Е.В. Дистантное обучение и дистанционные технологии в образовании / Новые технологии в образовании-2. Труды международного симпозиума (Черногория, 2002.) Инф.-изд. центр Всемир. тех. ун-та, М., 2002. С. 65-68

66. Nalbandya H., Oganesyan Е. Computerized educational system distance training of logopedics /Abstract. XXIVth World Congress Of the IALP. Amsterdam, august 23-27,1998, p. 169

67. Нейман Ю.М. Теория и практика шкалирования. Вопросы тестирования в образовании, №1. М., 2001.

68. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М., 2000.

69. Некрасов С. Д. Проблема оценки качества профессионального образования специалиста / С. Д. Некрасов // Университетское управление: практика и анализ. 2003. - № 1(24). С. 42-45.

70. Немов P.C. Психология. Кн. 1. Общие основы психологии. М., 1995.

71. Никитина Н. Ш. Методика проектирования системы менеджмента качества образования в вузе на основе логико-структурного подхода / Н. Ш. Никитина // Университетское управление: практика и анализ. -2003.-№2(25). С. 70-78.

72. Никитина Н. Ш. Технология непрерывной аттестации студентов как элемент системы мониторинга качества образования в вузе / Н. Ш. Никитина // Университетское управление: практика и анализ. 2003. -№ 5-6(28). С. 84-88.

73. Нохрина H.H. Система тестового контроля// Высшее образование в России.-2002.-№ 1.

74. Нохрина H.H. Структурная модель диагностики гуманитарной подготовленности студентов технических специальностей// Человек и общество: на рубеже тысячелетий: Межд. сб. науч. трудов/ Под ред. О.И. Кирикова. В. 17. - Воронеж, 2002.

75. Парамонова Л.Г. Дислалия. Логопедия для всех. — М.; СПб., 1997

76. Переверзев В. Ю. Критериально-ориентированное педагогическое тестирование: Учеб. пособие. М., 2003.

77. Плаксий С.И. Парадоксы высшего образования. М.,2005.

78. Попова Л. Психологические исследования и тендерный подход // Женщина. Тендер. Культура. М., 1999. С. 119-130.

79. Правдина О. В. Логопедия. — М., 1969. С. 82-85,98-104

80. Прокопьев В. П. Проблема идентификации оценки качества классического университетского образования и рейтинга Министерства образования РФ / В. П. Прокопьев, С. А. Рогожин // Университетское управление: практика и анализ. 2003. - № 5-6(28). С. 63-75.

81. Психологическая диагностика: Учебник для вузов / Под ред. М.К. Акимовой, K.M. Гуревича. СПб., 2005. - С. 81-88.

82. Рогожин С. А. Материально-техническое обеспечение учебного процесса — необходимое условие качества образования / С. А. Рогожин // Университетское управление: практика и анализ. 2004. -№ 4(32). С. 19-26.

83. Родионов Б. У., Татур А. О. Стандарты и тесты в образовании. М., 1995.

84. Рубинштейн С.Л. О природе мышления и его составе// Хрестоматия по общей психологии: Психология мышления. М., 1981.

85. Рузаев Е. Н. Менеджмент качества образовательных услуг и менеджмент знаний в высшей школе / Е. Н. Рузаев, П. Е. Рузаева // Университетское управление: практика и анализ. 2004. - № 1(29). С. 56-60.

86. Сахарчук Е. И. Организационный механизм управления качеством подготовки специалистов в педвузе / Е. И. Сахарчук // Университетское управление: практика и анализ. 2004. - № 3(31). С. 63-67.

87. Селезнев Б. И. Модель организации подготовки специалистов в области высоких технологий / Б. И. Селезнев, И. С. Телина // Университетское управление: практика и анализ. 2003. - № 5-6(28). С. 89-94.

88. Системы качества в образовании / Под общ. ред. Ю. П. Адлера. М., 2000.

89. Скок Г. Б. Некоторые нормы качества деятельности преподавателя / Г. Б. Скок // Университетское управление: практика и анализ. 2003. -№ 3(26). С. 84-90.

90. Скок Г. Б. Управление качеством образования в университете на основе мнения потребителя образовательных услуг / Г. Б. Скок, Е. А. Лебедева // Университетское управление: практика и анализ. 2001. -№3(18). С.

91. Соболев В. С. Концепция, модель и критерии эффективности внутривузовской системы управления качеством высшего профессионального образования / В. С. Соболев, С. А. Степанов // Университетское управление: практика и анализ. 2004. - № 2(30). С. 102-110.

92. Солонин С. И. Качество образования: проблемы и задачи изменения внутренней среды ВУЗа / С. И. Солонин, С. В. Кортов // Университетское управление: практика и анализ. 2003. - № 2(25). С. 64-69.

93. Управление качеством образования: Практикоориентированная монография и методическое пособие / Под ред. М. М. Поташника. М., 2000.

94. Феклистов И. Ф. Статистические проблемы качества ресурсного потенциала вузов России / И. Ф. Феклистов, П. М. Золин // Университетское управление: практика и анализ. 2004. - № 4(32). С. 7-18.

95. Хватцев М.Е. Логопедия. — М., 1959. — С. 85—94; 96—108.

96. Челышкова М. Б. Теория и практика конструирования педагогических тестов: Учеб. пособие. М., 2002.

97. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей. М., Исследовательский центр проблем качества подготовки специалистов, 1995.

98. Челышкова М.Б. Теория и практика конструирования педагогических тестов. М.: Исследовательский центр проблем качества подготовки специалистов, 2001. - 410

99. Шмелев А.Г и др. Основы психодиагностики. Учебное пособие для студентов педвузов. М.,-1996. -С.309-320.

100. Ш.Щеглов П. Е. Качество высшего образования. Риски при подготовке специалистов / П. Е. Щеглов, Н. Ш. Никитина // Университетское управление: практика и анализ. 2003. - № 1(24). С. 46-59.

101. Щеглов П. Е. Профессиональный портрет специалиста в системе управления качеством образования в вузе / П. Е. Щеглов, Н. Ш. Никитина // Университетское управление: практика и анализ. 2004. -№ 1(29). С. 48-56.

102. Якунин В. А. Педагогическая психология. СПб., 1998.

103. Ямбург, Е.А. Школа для всех. Адаптивная модель. Теоретические основы и практическая реализация. М. Новая школа. 1997. -352с.