Повышение эффективности адаптивного тестирования качества обучения студентов в вузах гуманитарного профиля

Горбачев, Василий Тимофеевич

Темы диссертаций по педагогике » Теория и методика профессионального образования

автореферат и диссертация по педагогике 13.00.08 для написания научной статьи или работы на тему: Повышение эффективности адаптивного тестирования качества обучения студентов в вузах гуманитарного профиля

Автореферат

Автор научной работы: Горбачев, Василий Тимофеевич
Ученая степень: кандидата педагогических наук
Место защиты: Москва
Год защиты: 2006
Специальность ВАК РФ: 13.00.08

Диссертация

Автореферат диссертации по теме "Повышение эффективности адаптивного тестирования качества обучения студентов в вузах гуманитарного профиля"

На правах рукописи

ГОРБАЧЕВ Василий Тимофеевич

ПОВЫШЕНИЕ ЭФФЕКТИВНОСТИ АДАПТИВНОГО ТЕСТИРОВАНИЯ КАЧЕСТВА ОБУЧЕНИЯ СТУДЕНТОВ В ВУЗАХ ГУМАНИТАРНОГО ПРОФИЛЯ

Специальность 13.00.08 - Теория и методика профессионального образования

Автореферат диссертации на соискание ученой степени кандидата педагогических наук

Москва-2006

Работа выполнена на кафедре педагогики Военного университета

Научный руководитель:

кандидат психологических наук, профессор Богуславский Виктор Владимирович

Официальные оппоненты:

доктор педагогических наук, профессор Руденко Юрий Семенович

Защита диссертации состоится 30 июня 2006 года в 11.00 часов на заседании диссертационного совета (Д.215.005.05) при Военном университете (123001, г. Москва, ул. Большая Садовая, 14)

С диссертацией можно ознакомиться в библиотеке Военного университета

Автореферат разослан 29 мая 2006 года

Ученый секретарь диссертационного совета

кандидат педагогических наук, доцент Муравлев Дмитрий Петрович

Ведущая организация:

Военная академия РВСН им. Петра Великого

кандидат педагогических наук

Т.С. Сливин

I. ОБЩАЯ ХАРАКТЕРИСТИКА ИССЛЕДОВАНИЯ

Актуальность исследования. Современные реформы в сфере российского образования предъявляют высокие требования к уровню подготовки специалистов в вузах, мониторингу качества обучения студентов, использованию инновационных технологий в учебном процессе, в т.ч. в тестовом контроле уровня учебных достижений обучаемых.

Результаты проведенного диссертационного исследования свидетельствуют, что обновление традиционных подходов к контрольно-оценочной деятельности обусловлено рядом выявленных факторов: расширением содержания образования в условиях информатизации общества; ростом численности студентов, повлекшим использование менее трудоемких педагогических технологий контрольно-оценочной системы; реализацией Государственного образовательного стандарта высшего профессионального образования (ГОС ВПО), требующего динамических оценок качества подготовки обучаемых; введением системы компьютерного тестирования при аттестационной экспертизе вузов Федеральной службой по надзору в сфере образования и науки; несоответствием цели аттестации и низкой эффективности традиционных тестов.

Актуальность исследования адаптивного тестирования, как наиболее объективной аттестационной процедуры, определяется также недостаточной изученностью ее процессуальной стороны, предполагающей: организационно-методическую подготовку преподавателей, содержание тестирования, анализ и интерпретацию результатов, корректировку контрольно-оценочного аппарата. Наиболее остро эта проблема ощущается в вузах гуманитарного профиля, что обусловлено спецификой разработки тестовых материалов по дисциплинам общего гумани-■ тарного и социально-экономического цикла ГОС ВПО.

К настоящему времени в педагогической теории и практике накоплен определенный опыт исследования современных инновационных подходов в оценке качества обучения студентов1.

' Абрамян Г.В. Опыт разработки и использования адаптивных тестовых заданий в системе заочного обучения с элементами дистанционной технологии // Тезисы докл. Все-рос. конф. Развитие системы тестирования в России. Ч. 2. - М.: МПГУ, 1999. - С. 101102; Аванесов B.C. Методологические и теоретические основы тестового педагогического контроля: Дис. ... д-ра пед. наук. — М., 1994; Беспалько В.П. Педагогика и прогрессивные технологии обучения. - М., 1995. - С. 41-62; Васильев В.И., Тягунова Т.Н. Основы культуры адаптивного тестирования. - М., 2003; Гусева А.И. Адаптивные методики тестирования. - М., 2002; Донкарев A.B. Компьютерная диагностика усвоения знаний на основе проблемно-модульного обучения: Дис. ... канд. пед. наук. - Воронеж,

Вместе с тем, анализ современного состояния научной разработки проблемы адаптивного тестирования показывает, что сегодня у педагогов еще нет единого подхода к проблемам тестологии, оценочного инструментария инновационных технологий в учебном процессе. Так, недостаточные знания методики разработки тестовых материалов выявлены у 72% преподавателей; отсутствие твердых навыков работы с компьютером и прикладными программами у 67% участников опроса; отсутствие современного программно-аппаратного обеспечения для компьютерного тестирования в половине экспериментальных вузов. В то же время, по ответам заведующих кафедрами: тестовые задания в учебном процессе используют 73% кафедр; считают метод тестирования относительно эффективным 46% опрошенных; высокую эффективность тестового контроля подтверждают 27% респондентов.

Несмотря на имеющиеся педагогические исследования.в этой области и выявленные практические трудности по использованию тестового контроля, проблема повышения эффективности адаптивного тестирования качества обучения студентов в вузах гуманитарного профиля в прямой постановке не рассматривалась.

2001; ИзотоваН.В. Корректирующий контроль как фактор повышения качества обучения в вузе (на материале предметов гуманитарного цикла): Дис. ... канд. пед. наук. -М., 2004; Лаврентьева Н.Б. Педагогические основы разработки и внедрения модульной технологии обучения: Автореф. дис. ... д-ра пед. наук. - М., 1999; Майорова Н.Л. Тестирование как педагогическое средство измерения успешности обучения: Дис. ... канд. пед. наук. - Ярославль, 2000; Мураилев Д.П. Совершенствование образовательного процесса вуза на основе новых информационных технологий: Автореф.. дис. ...канд. пед. наук. — М., 1999; Переверзев В.Ю. Моделирование процесса критериально-ориентированного педагогического тестирования курсантов вузов: Автореф. дис. ... канд. пед. наук. - М., 2000; Попова О.В. Педагогические основы проектирования адаптивных технологий профессионального образования: Автореф. дис. ... д-ра пед. наук. -Кемерово, 2002; Руденко Ю.С. Современные педагогические технологии в образовательном процессе вуза / Педагогика высшей военной школы. - М., 2001; Степанов С.С. Оценка уровня учебных достижений на основе тестирования. Часть 1. Программно-дидактические тесты: разработка тестовых материалов, проверка знаний, проведение аттестационных испытаний. — М„ 2004; ТягуноваТ.Н. Философия и концепция компьютерного тестирования. - М., 2003; Ушакова Л.С. Рейтинговая система контроля знаний и педагогическая диагностика как средства управления учебным процессом в профессиональном образовании: Автореф. дис. ... канд. пед. наук. - М., 2000; Мельникова М.Б. Теоретико-методологические и технологические основы адаптивного тестирования в образовании: Дис. ... д-ра. пед. наук. - М., 2001; Шапкин И.Н. Опыт построения внутривузовского мониторинга контроля качества подготовки студентов (на примере внедрения технологии компьютерного тестирования в МИЭМП) // 4-я научно-методическая конференция «Инновационные методы и средства оценки качества образования». - М., 2006 и др.

Актуальность проблемы, теоретическая и практическая значимость, а также недостаточная научная разработанность в педагогике высшей школы обусловили ее выбор в качестве темы диссертационного исследования.

Объектом исследования является тестовый контроль качества обучения, а его предметом - педагогическая сущность, структура и пути повышения эффективности адаптивного тестирования качества обучения студентов в вузах гуманитарного профиля.

Цель исследования заключается в том, чтобы на основе теоретического обоснования сущности, содержания и опытно-экспериментального исследования адаптивного тестирования качества обучения студентов выявить пути повышения его эффективности в вузах гуманитарного профиля.

Задачи исследования:

1. Выявить теоретические и прикладные педагогические положения адаптивного тестирования качества обучения студентов вузов.

2. Провести опытно-экспериментальное исследование эффективности адаптивного тестирования качества обучения студентов в вузах и разработать педагогическую модель компьютерного адаптивного тестового контроля.

3. Обосновать педагогические пути повышения эффективности адаптивного тестирования качества обучения студентов в вузах гуманитарного профиля.

В качестве гипотезы исследования выдвинуто положение о том, что в условиях образовательного процесса вузов наблюдается противоречие между необходимостью в постоянной объективной информации об уровне учебных достижений студентов и ограниченными возможностями использования традиционных методов педагогического контроля, неэффективным применением адаптивного тестирования качества обучения студентов.

Предполагается, что разрешить данное противоречие возможно на основе внедрения в тестовый контроль уровня учебных достижений студентов педагогической модели компьютерного адаптивного тестирования качества обучения студентов, отражающей организационно-методические основы процесса тестового контроля; совершенствования педагогической подготовки преподавателей к применению современных компьютерных тестовых методик; использования модульно-рейтинговой оценки качества обучения в образовательном процессе вуза; совершенствования программно-аппаратного обеспечения мониторинга состояния качества обучения студентов.

Методологические и теоретические основы исследования базировались на положениях диалектического, аксеологического, компаративного и других подходов, позволивших раскрыть суть педагогических явлений и процессов во взаимосвязях и взаимообусловленности с опорой на систему принципов (объективности, единства исторического и логического, теоретического и эмпирического, личности и деятельности); на общенаучном подходе (системный, комплексный, процессуальный, содержательно-функциональный и др.); на методы математической статистики и моделирования; на научных основах педагогической диагностики, культуры адаптивного тестирования, их применение к процессу компьютерного адаптивного тестового контроля качества обучения студентов в вузах.

Теоретические основы диссертации составили исследования по общей теории обучения высшей школы (Ю.К. Бабанского, A.B. Барабан-щикова, П.П. Блонского, А.К. Быкова, В.И. Вдовюка, М.А. Лямзина, Ю.С. Руденко, Г.А. Шабанова)'; по методологии и методике исследования педагогических проблем (И.А. Алехина, A.B. Барабанщикова, В.Н. Герасимова, В.П. Давыдова, Н.И. Конюхова, В.И. Марченкова, Н.Ф. Феденко)2; по диагностическим измерениям успешности обучаемых в учебной деятельности (В.В. Богуславского, П.Н. Городова, С.И. Денисенко, П.П Дерюгина, Е.В Лобановой)3; об инновационных технологиях

1 См.: Бабанский Ю.К. Оптимизация процесса обучения: (Общий дидактический аспект). -М, 1977; Барабанщиков A.B. Педагогические основы обучения советских воинов: Дис. ... д-ра пед. наук. - М., 1968; Блонский П.П. Избранные педагогические и психологические сочинения: В 2 т. / Под ред. А.И. Петровского. - М., 1979. Т.1. - С. 100-144; Т. 2. -С. 288-399; Быков А.К. Совершенствование педагогической техники преподавателей высших военных училищ: Дис. ... канд. пед. наук. - М., 1994; Вдовюк В.И., Шабанов Г.А. Педагогика высшей школы: современные проблемы. — М., 1996; Лямзин М.А. Развитие теории и практики военно-педагогической подготовки курсантов (слушателей) военных ВУЗов: Дис.... д-ра пед. наук. - М., 1997.

2 См.: Алехин И.А. Теория и практика развития военного образования в России: Дис. ... д-ра пед. наук. - М., 2004; Барабанщиков A.B., Давыдов В.П., Конюхов Н.И., Фе-

денко Н.Ф. Методика исследования проблем военной педагогики и психологии. - М., 1987; Давыдов В.П. Исследование путей повышения эффективности воспитания курсантов высших военно-учебных заведений в процессе обучения: Дис. ... д-ра. пед. на-

ук. - М., 1977; Марченков В.И., Герасимов В.Н., Алехин И.А. Педагогика: Учебник. -М„ 2002.

5 См.: Богуславский В.В. Развитие и формирование мотивации учебной деятельности курсантов военных училищ МВД СССР (психологическое исследование): Дис. ... канд. псих. наук. - М., 1988; Городов П.Н. Педагогические основы оценки и учета результатов воспитания курсантов: Дис.... канд. пед. наук. - М., 1972; Денисенко С.И. Особенности использования тестовых методик для контроля учебной деятельности студентов // Инно-

в педагогическом процессе (В.П. Беспалько, H.JI. Майоровой, Д.П. Муравлева, Ю.С. Руденко, С.С. Туевой и др.)'; о культурологических аспектах, методологии и технологии адаптивного тестирования (B.C. Аванесова, В.И. Васильева, Т.Н. Тягуновой, М.Б. Челышковой )2 и др.

Методика и экспериментальная база исследования. Решение задач исследования осуществлялось автором на основе комплексного использования эмпирических, теоретических и экспериментальных методов. Ведущими теоретическими методами явились: анализ (логический, сравнительный), обобщение, конкретизация, прогнозирование, моделирование. Из эмпирических методов использовались: беседы, педагогическое наблюдение, анкетирование, экспертное оценивание, тестирование, анализ результатов деятельности, обобщение педагогического опыта, констатирующий и формирующий эксперименты, педагогический консилиум, метод статистической обработки экспериментальных данных.

Опытно-экспериментальное исследование проводилось на базе Московского института экономики, менеджмента и права (МИЭМП) и его филиалов. Значительную часть исследования составили данные, полученные в других вузах: Военном университете МО РФ, Московском университете МВД России, Академии права и управления Минюста РФ, Московском новом юридическом институте (МНЮИ) и его филиалах, Экономико-правовом институте (ЭПИ).

Исследование осуществлялось в три взаимосвязанных этапа.

вации в образовании. - 2003. - № 3. - С. 84-94; Дерюгин ГШ. Педагогическая диагностика межличностных отношений в военно-морских коллективах: Дис. ... канд. пед. наук. - М., 1991; Лобанова Е.В. Совершенствование контроля учебной деятельности курсантов в ВУЗе: Дис.... канд. пед. наук. - М., 2000.

1 См.: Беспалько В.П. Педагогика и прогрессивные технологии обучения. - М., 1995. — С. 41-62; Майорова Н.Л. Тестирование как педагогическое средство измерения успешности обучения: Дис. ... канд. пед. наук. — Ярославль, 2000; Муравлев Д.П. Совершенствование образовательного процесса вуза на основе новых информационных технологий: Автореф. дис. ...канд. пед. наук. — М., 1999; Руденко Ю.С. Реализация межпредметных блочно-модульных технологий обучения в высших учебных заведениях // Вестник Российского нового университета. Серия «Психология. Педагогика. Образование». - М.: РосНОУ, 2004. - Вып. № 3. - С 107-112; ТуеваС.С. Повышение эффективности использования компьютерных технологий в обучении студентов гуманитарных вузов. Автореф. дис. ... канд. пед. наук. — М., 2002. . ..

1 См.: Аванесов B.C. Методологические и теоретические основы тестового педагогического контроля: Дис.... д-ра пед. наук. - М., 1994; Васильев В.И., Тягунова Т.Н. Основы культуры адаптивного тестирования. - М., 2003; Челышкова М.Б. Теоретико-методологические и технологические основы адаптивного тестирования в образовании:

Дис.....д-ра. пед. наук. -М., 2001.

На первом (подготовительном) этапе (2002-2003 гг.) проведен анализ разработки проблемы адаптивного тестирования качества обучения студентов вузов, осуществлены сбор и обобщение исследовательских материалов в научных и литературных источниках. Исследовались история возникновения и развития проблемы адаптивного тестирования качества обучения студентов и возможные педагогические пути повышения его эффективности.

На третьем (заключительном) этапе (2005-2006 гг.) проводились обобщение полученных результатов исследования, систематизация и качественно-количественный анализ экспериментальных данных, формулирование теоретических выводов и выработка практических рекомендаций, осуществлялось литературное оформление результатов исследования. Ведущими методами на данном этапе исследования были: самоотчет и самоанализ деятельности, педагогический' консилиум, метод статистической обработки данных, сравнительный анализ, теоретическое обобщение.

Общий объем проделанной работы. В ходе исследования изучено более 250 литературных источников (диссертаций, монографий, научных статей, учебников, учебных пособий и др.), в том числе 68 докторских и кандидатских диссертаций по различным аспектам педагогической диагностики и дидактики высшей школы. Проанализированы программно-дидактические тестовые материалы по 48 дисциплинам, 27 документов по организации и применению инновационных технологий в образовательном процессе, 48 учебных программ, тематических планов и учебно-методических материалов по общим гуманитарным и социально-экономическим дисциплинам. Опрошено в беседах, опросах-интервью, анкетах 76 преподавателей, 19 заведующих кафедрами гума-

нитарных дисциплин по проблемам организации, содержания и методики контроля качества обучения студентов. В компьютерном тестовом контроле качества обучения были задействованы 658 обучаемых, проведено более 1500 сеансов тестирования студентов (курсантов, слушателей) вузов, обеспечена педагогическая подготовка 27 преподавателей к применению современных компьютерных тестовых методик.

Научная новизна исследования заключается в следующем:

- осуществлен анализ современного состояния проблемы адаптивного тестирования качества обучения в педагогической теории и практике, обоснованы его сущность, содержание и структура в вузах гуманитарного профиля;

- разработана и апробирована педагогическая модель компьютерного адаптивного тестирования качества обучения студентов в образовательном процессе вузов, определены критерии и показатели оценки эффективности компьютерного адаптивного тестирования качества обучения студентов;

- выявлены педагогические пути повышения эффективности адаптивного тестирования качества обучения студентов вузов гуманитарного профиля.

• Положения, выносимые на защиту:

1. Сущность адаптивного тестирования как научно обоснованный процесс целеустремленных и динамичных субъект-объектных отношений по подготовке и проведению специально разработанной, оптимизированной аттестационной процедуры, позволяющей объективно отразить значения латентных параметров обученности и структуры когнитивной деятельности студентов, внесению полифуркационных корректив в их дидактическую модель на основе интерпретации результатов педагогической диагностики; содержание процесса адаптивного тестирования качества обучения студентов представляющее совокупность элементов тестового контроля (целеполагания, тестирования, интерпретации, коррекции) как интегральную целостность результата интеллектуальной деятельности участников тестового контроля; структура процесса представляющая составные элементы адаптивного тестирования в их взаимосвязи и взаимозависимости: субъекты и объекты (руководящий состав вуза, преподаватели, учебно-вспомогательный состав и студенты), цели и задачи (управления качеством обучения), функции (диагностическая, обучающая, организующая и воспитывающая), принципы (объективности, связи контроля с образованием, обучением и воспитанием, справедливости и гласности, научности и эффективности, сис-

тематичности и всесторонности), средства и формы его реализации, виды контроля и результаты.

2. Педагогическая модель компьютерного адаптивного тестирования качества обучения студентов, включающая модули: целеполагания, содержания, субъект-объектных отношений, технологий, тестирования, измерения, корректировки мониторинга качества обучения, а также, критерии и показатели оценки эффективности адаптивного тестирования: организационно-целевой (нормативно-правовой, дидактико-технологический, информационно-методический, мотивационно-деятельностный), содержательно-процессуальный (программно-аппаратная обеспеченность, темпо-временная масштабированность, надежность тестирования, модульность тестовых композиций), результативно-практический (объективность, валидность, мобильность, интерпретируемость и коррелируемость), инновационно-профессиональный (информационная культура преподавателя, использование тестовых технологий, разработка банков тестовых заданий, педагогическая подготовленность к проведению компьютерного адаптивного тестирования).

3. Педагогические пути повышения эффективности адаптивного тестирования качества обучения студентов в вузах гуманитарного профиля: совершенствование педагогической подготовки преподавателей к применению современных компьютерных тестовых методик; использование модульно-рейтинговой оценки качества обучения в образовательном процессе вуза; совершенствование программно-аппаратного обеспечения мониторинга качества обучения студентов.

Теоретическая значимость исследования состоит в решении научной задачи повышения эффективности адаптивного тестирования качества обучения студентов в вузах гуманитарного профиля на основе внедрения разработанной диссертантом педагогической модели, выявленных и проверенных педагогических путей повышения эффективности адаптивного тестирования. Обоснование сущности, содержания и структуры процесса адаптивного тестирования, разработанные критерии и показатели оценки его эффективности позволяют более адекватно отразить научные представления о современных инновационных технологиях в образовательном процессе вузов и могут служить теоретической опорой для исследования проблем, связанных с качеством обучения и диагностикой знаний студентов с использованием технологии адаптивного тестирования.

программных и нормативных изданий, регламентирующих учебную работу участников образовательного процесса. Практическую значимость имеют: разработанные автором педагогическая модель; выявленные критерий и показатели оценки эффективности адаптивного тестирования качества обучения студентов, позволяющие оценивать уровень дея-телыгостной практики его участников. Предложенные педагогические пути повышения эффективности адаптивного тестирования студентов позволяют вести мониторинг образовательного процесса с использованием тестовых технологий.

Достоверность и научная обоснованность результатов исследования обеспечивается теоретико-методологическим и методическим обоснованием концептуальной модели исследования, комплексным подходом к рассмотрению предмета и его структурно-функциональных Характеристик, использованием теоретических и эмпирических методов исследования в соответствии с замыслом и логикой опытно-экспериментальной работы, математической обработкой экспериментальных данных, их сопоставлением с результатами других исследований й процессе интерпретации.

Апробация теоретических выводов и внедрение результатов исследования осуществлялись в ходе опытно-экспериментальной работы на факультетах МИЭМП: «Юридическом», «Экономики и финансов», «Управления». Кроме того, исследованием было охвачено шесть вузов и их филиалы. Выбранная база исследования обеспечила репрезентативность и статистическую достоверность выборки, что подтверждено результатами опытно-экспериментальной работы.

Концептуальные положения исследования обсуждались и получили одобрение на Международных, Всероссийских и межвузовских научно-практических конференциях. Теоретические положения и практические рекомендации по исследуемой проблеме докладывались на заседаниях Научно-методического совета МИЭМП, на учебно-методическом сборе профессорско-преподавательского состава Московского университета МВД России, на заседании кафедры педагогики Военного университета МО РФ. Разработанные и сертифицированые банки тестовых заданий, компьютерная инструментальная среда тестирования

«ALTERNATIVE», программа спецкурса «Педагогические основы компьютерного адаптивного тестирования качества обучения студентов», опубликованные научные статьи, методические рекомендации, проведенные научно-методические семинары и мастер-классы реализованы в педагогической практике профессорско-преподавательского состава вузов.

Диссертация состоит из введения, трех глав, заключения, списка литературы и приложений. Глава 1. Научные и прикладные основы адаптивного тестирования качества обучения студентов вузов гуманитарного профиля. Глава 2. Опытно-экспериментальное исследование эффективности адаптивного тестирования качества обучения студентов вузов гуманитарного профиля. Глава 3. Педагогические пути повышения эффективности адаптивного тестирования качества обучения студентов вузов гуманитарного профиля.

II. ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Изучение научных и прикладных основ адаптивного тестирования качества обучения студентов, анализ взглядов современных ученых на исследуемую проблему показывают, что адаптивное тестирование является одним из методов педагогической диагностики, достоинствами которого являются технологичность, оперативность, диалогичность, про-гностичность и высокая чувствительность к коррекции, что позволяет рассматривать его как функционально эффективный инновационный инструмент в решении дидактической задачи.

Проведенный анализ источниковой базы позволил определить степень разработанности исследуемой проблемы. За последние 10 лет научные разработки проблем качества профессионального образования и образовательных технологий в высшей школе составляют 31,3 % и 46,3 % соответственно. В то же время, процесс адаптивного тестирования качества обучения студентов в вузах гуманитарного профиля фактически не представлен современными научными исследованиями, в практической деятельности педагоги используют зарубежные разработки, где, в основном, рассматриваются его технологические аспекты. Исследуя технологические проблемы адаптивного тестирования, ученые-педагоги оставляли без внимания его организационно-методические основы, что повлекло за собой: несоответствие уровня подготовленности преподавателей к применению современных компьютерных тестовых методик и требований к качеству образовательных услуг; низкий уровень учебно-материальной базы, информационного и программно-аппаратного обеспечения; трудности внедрения технологий тестирования (кадровые, финансовые, психологические и т.д.). Как свидетельствуют результаты исследования, до 69% опрошенных преподавателей придерживаются традиционной точки зрения, считая наиболее эффективными методами контроля качества обучения студентов контрольные работы, индивидуальные собеседования, экзамены и зачеты, основан-

ные на вербальных формах общения студента и преподавателя. В этих условиях, инновационные компьютерные технологии тестирования оказались слабо конкурентоспособными по сравнению с указанными классическими формами, что породило противоречие между необходимостью в постоянной объективной информации об уровне учебных достижений студентов и ограниченными возможностями использования традиционных методов педагогического контроля, неэффективным ■применением адаптивного тестирования качества обучения студентов.

Результаты анализа позволили выявить теоретические и прикладные положения адаптивного тестирования качества обучения студентов, обосновать его сущность, содержание и структуру, определить его место в педагогике высшей школы и ведущую роль в нем профессорско-преподавательского состава.

Сущность адаптивного тестирования качества обучения студентов в диссертации представлена как научно обоснованный и алгоритмизированный процесс целеустремленных и динамичных субъект-объектных отношений по. подготовке и проведению специально разработанной, оптимизированной аттестационной процедуры, позволяющей минимальным количеством тестовых заданий и временем объективно отразить в инструментальной форме значения латентных параметров обученности и структуры когнитивной деятельности студентов, внесению полифуркационных корректив в их дидактическую модель на основе интерпретации результатов педагогической диагностики.

Содержание процесса адаптивного тестирования качества обучения студентов представляет совокупность его элементов (целеполагания, тестирования, интерпретации, коррекции) как интегрального целостно-стного результата интеллектуальной деятельности участников тестового контроля.

Структура процесса адаптивного тестирования качества обучения студентов включает составные элементы адаптивного тестирования в их взаимосвязи и взаимозависимости: субъекты и объекты (руководящий состав вуза, преподаватели, учебно-вспомогательный состав и студенты), цели и задачи (управления качеством обучения), функции (диагностическая, обучающая, организующая и воспитывающая), принципы (объективности, связи контроля с образованием, обучением и воспитанием, справедливости и гласности, научности и эффективности, систематичности и всесторонности), средства и формы, виды контроля, а также его результаты.

Результаты проведенного исследования показали, что процесс тестового контроля состоит из различных элементов. Так, в качестве субъектов

этого процесса выступают: руководство вуза, профессорско-преподавательский состав, методисты и специалисты учебно-методического совета и факультетов, а объектами — обучаемые вуза! Субъект-объектные отношения в процессе компьютерного адаптивного тестового контроля реализуются во взаимодействии с другими элементами данного процесса, составляющими его культурное пространство, — посредством инструментальной среды тестирования (программно-аппаратного обеспечения), программно-дидактических тестовых материалов, комплекса организационно-методических мероприятий, нормативной системы (предписаний, правил, стандартов, норм, знаний, прав и ДР-)-

Проведенный анализ позволил представить процесс компьютерного адаптивного тестового контроля качества обучения студентов в виде структурно-алгоритмической модели дидактических коммуникаций, предполагающих не кратковременную процедуру, а достаточно продолжительный процесс, включающий этапы организационно-методической подготовки, процедуры тестирования, анализа и интерпретации результатов, корректировки контрольно-оценочной системы.

Результатом адаптивного тестового контроля является решение дидактической задачи по управлению учебно-познавательной деятельностью студентов, повышению качества образовательных услуг. Успешное решение дидактической задачи достигается повышением эффективности адаптивного тестирования путем совершенствования функционирования каждого элемента в культурном пространстве тестового контроля, и, в первую очередь, деятельностной практикой профессорско-преподавательского состава.

Опытно-экспериментальное исследование его эффективности осуществлялось на основе специально разработанной педагогической модели, поэтапное внедрение которой предусматривало выполнение комплекса мероприятий организационно-методического, содержательно-процессуального, функционально-технологического и результативно-интерпретационного характера, подробно рассмотренных в §1 гл.2.

На этапе констатирующего эксперимента была разработана, апробирована и внедрена педагогическая модель компьютерного адаптивного тестирования качества обучения студентов, отражающая процесс тестового контроля как срез относительно самостоятельных, но взаимодействующих и взаимозависимых модулей (компонентов), ключевой фигурой в которых выступает педагог и его инновационно-деятельностная практика (см. схема 1).

Схема 1

Педагогическая модель компьютерного адаптивного тестирования качества обучения студентов

Модуль целеполягднмя

Факторы КАТ качества обучения студентов в вузе:

- педагогические условия организации н проведения КАТ • состояние учебных средств проведения КАТ

- педагогическая подготовка ППС к использованию КАТ

Модуль содержания

- модульное структурирование содержания учебных дисциплин

- планирование, спецификация и алгоритмизации КАТ

- обеспечение содержательной вапидности ПДТМ

Мелу ль субъект-объектных отношений

• руководство вуза

• профессорско-преподавательский состав

- специалисты учебно-методического управления и факультетов

- студенты вуза

4-,

Модуль технологий

* программно-аппаратное обеспечение КАТ

- параметры тестирования

• методы, средства, формы КАТ I

- индикаторы качества обучения I

Модуль измерения - критерии и показатели оценки эффективности КАТ качества обучения студентов « уровни структурированных знаний

Модуль тестирования

■ - нормативно-ориентированное

- личностно-ориентированное

- критернально-ориентнрованное

- выборочно-ориентированное

Модуль корректировки мониторинга качества обучения

• оценка и сравнение параметрических данных; - внесение корректив в процесс обучения;

• корректировка взаимосвязи модулей в педагогической модели КАТ

В результате констатирующего эксперимента на основе обобщения данных исследования и экспертного оценивания компетентных суждений профессорско-преподавательского состава в ходе опроса, анкетирования и последующего ранжирования ответов респондентов, были разработаны и апробированы в процессе опытно-экспериментальной работы следующие критерии и показатели оценки эффективности компьютерного адаптивного тестирования качества обучения студентов (см. таблицу 1).

г Разработанная система критериев и показателей, позволила получить и обобщить экспериментальный материал и выделить следующие уровни эффективности компьютерного адаптивного тестирования качества обучения студентов: высший (76-100%) - 5; высокий (51-75%) - 4; средний (26-50%) - 3; низкий (0-25%) - 2.

Таблица 1

Критерии и показатели оценки эффективности компьютерного адаптивного тестирования качества обучения студентов_

№ п/п Критерии Показатели

1 Организационно-целевой - нормативно-правовой - дидактико-технологический - информационно-методический - мотивационно-деятельностный

2 Содержательно-процессуальный - программно-аппаратная обеспеченность - темпо-временная масштабированность - надежность тестирования - модульность тестовых композиций

3 Результата вно-практический - объективность - валидность - мобильность - интерпретируемость и коррелируемость

4 Инновационно-профессиональный - информационная культура преподавателя - использование тестовых технологий - разработка банков тестовых заданий - педагогическая подготовленность к проведению компьютерного адаптивного тестирования

Для определения качественной характеристики каждого признака с

целью их дальнейшего сопоставления все разнородные количественные

показатели были переведены в их качественные аналоги по формуле: (*-х )(Ь-1) , -1—min- ,

К1 А -Л Та>

тих: min

где ki -т категория (уровень) качества /-го показателя; х,- — количественное значение 1-го показателя; xnlax и — максимальное и минимальное значения шкалы (в процентах) оценки рассматриваемого показателя; b и а - верхняя и нижняя границы (в баллах) уровня-интервала (статусного слоя). Основной исследовательский материал был получен в ходе опытно-экспериментальной работы в экспериментальной и контрольной группах. Общее количество тестируемых составляло 252 человека, по 126 человек в экспериментальной и контрольной группах. Замеры результатов последовательной динамической оценки проводились на 3 этапах (начальном, промежуточном, заключительном).

Задачами формирующего эксперимента были экспериментальная проверка основных педагогических путей и условий повышения эф-

фективности изучаемого процесса; осуществление педагогического анализа полученных результатов, формулирование теоретических выводов и практических рекомендаций.

Исследование научных и прикладных основ адаптивного тестирования качества обучения студентов, изучение его практики в вузах гуманитарного профиля позволили разработать и реализовать программу специального курса «Педагогические основы компьютерного адаптивного тестирования качества обучения студентов». На основе полученных данных отмечено существенное превышение значений адаптивного тестирования студентов в экспериментальной группе (по сравнению с контрольной группой)" и возрастание эффективности процесса тестового контроля по этапам ее динамической оценки по сравнению с начальным и промежуточным этапами (см. рис. 1 и 2).

100.0 30,0 . 80.0 70,0 60,0 50,0 40.0 . 30,0 20.0 10,0 0,0

О 1- Организационно-целевой ЕЭ 1- Содержательно-процессуальный И 3- Результативно-практический ЕЭ_4- Инновационно-профессиональный

"ЗУ

тг

Про м ежуто чны и Этапы исследования

В6

79 79 80

% , а' i

1 1 I 1: ' 1:

заключительных

Рис. 1. Сравнительный анализ эффективности компьютерного адаптивного тестирования качества обучения студентов в экспериментальной группе

ЕЗ 1- Организационно-целевой

Е ео,о

8 50,0

40,0

& 30,0

20,0

и 10,0 —

* 0.0

Промежуточный Этапы исследования

Заключительный

Рис. 2. Сравнительный анализ эффективности компьютерного адаптивного тестирования качества обучения студентов в контрольной группе

На рисунках видно, что сформированность показателей организационно-целевого критерия достаточно четко проявляется на всех этапах

-ив экспериментальной, и в контрольной группах. Это объясняется разработанностью организационно-методических документов в вузе, которыми руководствовались все участники эксперимента.

На промежуточном и заключительном этапах в экспериментальной группе значительно выделяются показатели инновационно-профессионального критерия, что связано с реализацией автором спецкурса по педагогической подготовке преподавателей к использованию технологии компьютерного адаптивного тестирования.

Проявление высокой степени показателей содержательно-процессуального и результативно-практического критериев на заключительном этапе в экспериментальной группе обусловлено реализацией в вузе модульно-рейтинговой системы оценки в ходе рубежных тестовых контролей с использованием инструментальной адаптивной среды тестирования (ACT). Кроме того, достаточно устойчивая динамика, повышения эффективности адаптивного тестирования по различным показателям на заключительном этапе в экспериментальной группе свидетельствует о системной взаимосвязи и взаимообусловленности компонентов педагогической модели в процессе тестового контроля.

Сравнительный анализ опытно-экспериментальных данных показывает, что в экспериментальной группе достигнуты более существенные результаты, чем в контрольной, вследствие реализации педагогической модели повышения эффективности компьютерного адаптивного тестирования качества обучения студентов.

В ходе опытно-экспериментальной работы были выявлены и обоснованы основные педагогические пути повышения эффективности адаптивного тестирования качества обучения студентов в вузах гуманитарного профиля: совершенствование педагогической подготовки преподавателей к применению современных компьютерных тестовых методик оценки качества обучения; использование модульно-рейтинговой оценки качества обучения; совершенствование программно-аппаратного обеспечения мониторинга качества обучения студентов.

В соответствии с моделью совершенствование педагогической подготовки преподавателей к применению современных компьютерных тестовых методик оценки качества обучения было реализовано в ходе опытно-экспериментальной работы и осуществлялось в виде спецкурса «Педагогические основы компьютерного адаптивного тестирования качества обучения студентов» по специально разработанной модульной программе, рассчитанной на 40 часов лекционных, практических и лабораторных (практических) занятий и включавшей четыре уровня подготовки: начальный пользовательский, углубленный пользовательский, методический, инновационно-профессиональный. Продуцированным выражением повышения эффективности процесса компьютерного адап-

тивного тестирования качества обучения студентов стали качественные тестовые материалы, разработанные преподавателями вуза, инвариантные. модели педагогических тестов и др.

Исследование адаптивного тестирования показало, что эффективность модульно-рейтингового оценивания и компьютерного тестирования повышается при совместном использовании, так как они удачно дополняют друг друга: в первой хорошо разработаны методы анализа профессиональной подготовки, оценки достижения учебных целей и их структуризации, во второй - инструментальные средства для компьютерного представления дидактических материалов и контроля уровня учебных достижений. Данное положение позволяет рассматривать использование модульно-рейтинговой оценки в образовательном процессе вуза как один из существенных путей повышения эффективности адаптивного тестирования качества обучения. На основе результатов опытно-экспериментальной работы, обосновано предложение о методической и дидактической важности использования модульно-рейтинговой оценки качества обучения в образовательном процессе вуза, что и было реализовано в МИЭМП.

Совершенствование программно-аппаратного обеспечения мониторинга качества обучения студентов рассматривалось как один из важных педагогических путей повышения эффективности адаптивного тестирования. В целях оптимизации выбора компьютерных средств адаптивного тестирования качества обучения студентов был проведен комплексный анализ аналогов и подходов к рассматриваемым свойствам инструментальной среды тестирования, для чего они были сгруппированы в четыре класса характеристик: структурно-содержательные; ди-дактико-функциональные; программно-технические; проектно-.технологические.

В результате сравнения и оценки данных была выявлена программно-аппаратная оболочка ACT, которая в настоящее время официально принята Министерством образования и науки РФ как средство контроля качества обучения студентов по дисциплинам федерального компонента государственного образовательного стандарта высшего профессионального образования при проведении комплексной оценки деятельности вузов.

Таким образом, цель и задачи диссертационного исследования были реализованы, а выдвинутая гипотеза нашла свое теоретическое и эмпирическое подтверждение.

III. ТЕОРЕТИЧЕСКИЕ ВЫВОДЫ

1. Изучение педагогической практики в ряде вузов показало, что традиционные тестовые методики не отвечают потребностям вузов в

осуществлении мониторинга учебной деятельности и динамической оценки учебных достижений студентов, а инновационные технологии тестирования применяются неэффективно, особенно, в вузах гуманитарного профиля. В связи с этим, одним из перспективных направлений результативности контрольно-оценочной деятельности профессорско-преподавательского состава выступает повышение эффективности адаптивного тестирования качества обучения студентов в вузах гуманитарного профиля.

Проведенное исследование позволило обосновать адаптивное тестирование как процесс, который детерминируется содержанием, функциями, средствами, формами организации и представляет собой совокупность приемов, способов и инвариантных подходов к использованию тестовых технологий, осуществляемых на этапах целеполагания, организационно-методической подготовки, процедуры тестирования, анализа и интерпретации результатов, корректировки контрольно-оценочной системы. Структурно процесс компьютерного адаптивного тестирования качества обучения студентов включает относительно самостоятельные, но взаимодействующие и взаимозависимые модули: целеполагания, содержательный, субъект-объектных связей, технологический, измерения, адаптивного тестирования, корректировки мониторинга качества обучения студентов.

2. Динамическая оценка эффективности адаптивного тестирования по разработанным критериям в ходе опытно-экспериментальной работа позволила получить качественные и количественные данные, характеризующие сформированность и проявление основных показателей на каждом этапе процесса компьютерного адаптивного тестирования качества обучения студентов. Существенное превышение значений эффективности компьютерного адаптивного тестирования качества обучения студентов в экспериментальной группе и возрастание эффективности процесса тестового контроля на промежуточном и заключительном этапах опытно-экспериментального исследования стали возможными в результате реализации педагогической модели и выделении места и ключевой роли преподавателя в тестовом контроле.

3. Изучение историко-педагогического опыта и современной практики адаптивного тестирования качества обучения студентов в вузах гуманитарного профиля позволило выявить, экспериментально проверить и научно обосновать следующие основные педагогические пути повышения эффективности адаптивного тестирования и условия успешности их реализации:

- совершенствование педагогической подготовки преподавателей к применению современных компьютерных тестовых методик оценки качества обучения: научно-обоснованным планированием повышения

квалификации; модульным структурированием содержания учебного материала по направлениям и дидактическим единицам; оптимальным выбором компьютерных технологий обучения и контроля; обеспечением обратной связи в культурном пространстве компьютерного адаптивного тестирования качества обучения студентов.

- использование модульно-рейтинговой оценки качества обучения в образовательном процессе вуза: обеспечением модульного характера оценки учебных достижений студентов; разработкой критериев и показателей, для оптимальной шкалы оценивания качества обучения; обеспечением валидности и динамичности оценки качества обучения; определением рейтинга учебных достижений студентов.

- совершенствование программно-аппаратного обеспечения мониторинга качества обучения студентов: осуществлением компьютеризации инструментальной среды тестирования; проведением контент-анализа характеристик (структурно-содержательных; дидактико-функциональн ых; программно-технических; проектно-технологических) аналогов программных средств; реализацией требований интеропера-бельности, информационного дизайна и инвариантности типов тестовых заданий, композиций тестов и режимов тестирования.

В процессе исследования удалось провести методологический анализ в направлении инновационных подходов к использованию технологий тестирования в высшей школе, определить ближайшие и отдаленные перспективы разработки проблемы адаптивного тестирования качества обучения студентов вузов.

IV. ПРАКТИЧЕСКИЕ РЕКОМЕНДАЦИИ

Проведенное педагогическое исследование позволяет сформулировать комплекс практических рекомендаций, реализация которых будет способствовать дальнейшему повышению эффективности адаптивного тестирования качества обучения студентов, индивидуализации профессиональной подготовки обучаемых в соответствии с ГОС ВПО:

1. Органам управления высшим профессиональным образованием на основе полученных результатов исследования:

- целесообразно организовать разработку и издание учебной литературы по методике подготовки и проведения мониторинга качества обучения студентов вузов с использованием технологий адаптивного тестирования уровня учебных достижений обучаемых (§ 2 гл. 3, приложение 14);

чества обучения студентов вузов, прежде всего, гуманитарного профиля, с привлечением ученых и педагогов-практиков высшей школы (§ 3 гл. 1).

2. Руководству вузов:

- будет полезным, использовать разработанную и экспериментально апробированную педагогическую модель компьютерного адаптивного тестирования качества обучения студентов, критерии и показатели для интегративной оценки и анализа функционально-содержательных параметров, характеризующих процесс педагогического тестового контроля и принятия адекватных решений по повышению эффективности контрольно-оценочной деятельности профессорско-преподавательского состава (§ 1 гл. 2);

- целесообразно внедрить апробированную в ходе опытно-экспериментальной работы систему модульно-рейтинговой оценки качества обучения в образовательном процессе и компьютерное адаптивное тестирование уровня учебных достижений студентов(§ 2 гл. 3);

- представляется целесообразным, использовать апробированный автором в ходе опытно-экспериментальной работы комплекс документов и методических пособий как вариант для разработки организационно-методических документов и материалов по контрольно-оценочной деятельности в вузах (§ 1 гл. 2, приложения 10, 12, 13).

3. Учебно-методическим управлениям (отделам) вузов:

- представляется возможным, внедрить в систему повышения квалификации профессорско-преподавательского состава реализованную в ходе формирующего эксперимента и обеспечившую значительное приращение эффективности адаптивного тестирования качества обучения студентов программу спецкурса «Педагогические основы компьютерного адаптивного тестирования качества обучения студентов» (§ 1 гл. 3);

- целесообразно проводить комплексный анализ электронных учебных средств и отбор на образовательном рынке программных продуктов на основе разработанной и апробированной в ходе опытно-экспериментальной работы «Формы представления результатов анализа аналога программно-аппаратного средства (инструментальной среды тестирования)» (§ 3 гл. 3, приложения 7, 8).

4. Кафедрам вузов:

- целесообразно использовать в педагогической диагностике сертифицированные тестовые материалы, в том числе, разработанные автором и апробированные в ходе опытно-экспериментальной работы банки тестовых заданий и методику их разработки (§ 3 гл. 1, Приложение 10);

- представляется необходимым, обеспечить организацию и проведение научных и прикладных исследований в области адаптивного тестирования качества обучения студентов на уровне диссертационных разработок, монографий и научных статей, в том числе по перспектив-

ным направлениям научного поиска, сформулированным в данной диссертации (см. Заключение).

- будет целесообразным ежемесячно анализировать и учитывать при ежегодной аттестации работу преподавателей по совершенствованию педагогических компетенций в области использования современных методик адаптивного тестового контроля уровня учебных достижений студентов и адекватной интерпретации результатов учебно-.познавательной деятельности обучаемых (§1 и § 2 гл. 3)

5. Студентам:

- целесообразно в целях самоконтроля освоения программы высшего профессионального образования использовать апробированной в ходе опытно-экспериментального исследования метод компьютерного адаптивного тестирования уровня учебных достижений (§ 2 гл. 3).

. Результаты проведенного опытно-экспериментального исследования позволяют сформулировать перспективные направления дальнейшей разработки проблемы адаптивного тестирования качества обучения студентов: совершенствование форм и методов анализа и интерпретации результатов адаптивного тестирования на основе инвариантного применения моделей педагогических тестов; совершенствование практической направленности использования алгоритма адаптивного тестирования для индивидуализированных траекторий обучения в практике массового образования; выявление путей повышения эффективности компьютерного адаптивного тестирования качества обучения студентов с учетом специфики подготовки специалистов по профилю вузов; педагогическое обеспечение компьютерного адаптивного тестирования учебных достижений студентов в русле внедряемых инновационных технологий обучения и др.

Результаты диссертационного исследования нашли отражение в следующих публикациях автора:

1. Горбачев В.Т. Качество образования: методические аспекты использования тестирования для текущего контроля знаний студентов. // Научный вестник юридического факультета. Вып. I. - М.: МИЭМП, 2005. -С. 235-240.

2. Горбачев В.Т. Методические подходы к использованию Интернет-технологий в преподавании социально-гуманитарных дисциплин: педагогический аспект // Опыт и проблемы преподавания гуманитарных и социально-экономических дисциплин в вузах: Тезисы выступлений участников 6-й межвузовской научно-практической конференции (1 февраля 2005 г.). - М.: МГУП, 2005. - С. 16-19.

3. Горбачев В.Т. Процесс компьютерного тестового контроля: педагогическая модель. // Материалы 4-й научно-методической конференции «Инновационные методы и средства оценки качества образования», 2021 апреля 2006 г. - М.: МГУП, 2006. - С. 19-122.

4. Горбачев В.Т. Системный подход к оценке знаний студентов как фактор повышения качества подготовки квалифицированных специалистов. // Научный вестник юридического факультета. Вып. И. - М.: МИ-ЭМП, 2005. - С. 289-298.

5. Горбачев В.Т. Условия повышения эффективности адаптивного тестирования студентов: педагогический аспект. // Материалы 3-й Всероссийской научно-практической конференции «Развитие методов и средств компьютерного тестирования», Москва, 20-21 апреля 2005 г. -М., 2005. - С. 87-89.

6. Горбачев В.Т. Методические подходы к использованию Интернет-технологий в педагогической практике. // Материалы Международной научной конференции «Интеграция науки и образования: нормативно-правовое обеспечение», февраль 2005 г. - М., 2005. - С. 235-238.

7. Горбачев В.Т., КапланЛ.Н., Рошаль A.C. О проблемах компьютеризации высшего юридического образования. // Диалог общества и власти в образовательном пространстве СНГ: Международная научная конференция (30-31 марта 2006г.). - М., 2006. - C.8I-86, (личный вклад 0,2 пл.).

8. Горбачев В.Т., Рошаль A.C. Опыт компьютерного тестирования качества обучения в высшем юридическом образовании // Математические методы и информационные технологии в экономике, социологии и образовании: сборник статей XVI Международной научно-технической конференции. - Пенза, 2005. - С.299-301, (личный вклад 0,2 п.л.).

9. Горбачев В.Т., Столяров И.И. Методико-педагогические основы дистанционного обучения. // Научный вестник юридического факультета. Вып. I. - М.: МИЭМП, 2005. - С. 215-229, (личный вклад С. 215-225).

10. Отечественная история. Учебно-методические материалы / Сост. Горбачев В.Т. - М.: МИЭМП, 2005. - С. 1-34.

11. Рейтинговая система учета и оценки успеваемости: методика применения / Сост. O.A. Орчаков, В.Т. Горбачев. - М.: МИЭМП, 2006. - 45с. (личный вклад 0,5п.л.).

Общий объем публикаций - 8,2 п.л.

В.Т. Горбачев

Подписано в печать 29.05.06 г. Зак. 221 Формат 60x84/16. Объем 1,5 п.л. Тираж 100 Типография Военного университета

Содержание диссертации автор научной статьи: кандидата педагогических наук, Горбачев, Василий Тимофеевич, 2006 год

ВВЕДЕНИЕ '

ГЛАВА 1. НАУЧНЫЕ И ПРИКЛАДНЫЕ ОСНОВЫ АДАПТИВНОГО ТЕСТИРОВАНИЯ КАЧЕСТВА ОБУЧЕНИЯ СТУДЕНТОВ ВУЗОВ ГУМАНИТАРНОГО ПРОФИЛЯ

1.1. Характеристика современного состояния разработки проблемы адаптивного тестирования качества обучения студентов в педагогической теории и практике.

1.2. Обоснование сущности, содержания и структуры процесса адаптивного тестирования качества обучения студентов в высшей школе.

1.3. Анализ практики адаптивного тестирования качества обучения студентов в вузах.

ГЛАВА 2. ОПЫТНО-ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ АДАПТИВНОГО ТЕСТИРОВАНИЯ КАЧЕСТВА ОБУЧЕНИЯ СТУДЕНТОВ ВУЗОВ ГУМАНИТАРНОГО ПРОФИЛЯ

2.1. Организация, содержание и методика исследования эффективности адаптивного тестирования качества обучения студентов.

2.2. Критерии и показатели оценки эффективности адаптивного тестирования качества обучения студентов.

2.3. Анализ результатов опытно-экспериментального исследования по повышению эффективности адаптивного тестирования качества обучения студентов.

ГЛАВА 3. ПЕДАГОГИЧЕСКИЕ ПУТИ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ АДАПТИВНОГО ТЕСТИРОВАНИЯ КАЧЕСТВА ОБУЧЕНИЯ СТУДЕНТОВ ВУЗОВ ГУМАНИТАРНОГО ПРОФИЛЯ

3.1. Совершенствование педагогической подготовки преподавателей к применению современных компьютерных тестовых методик оценки качества обучения.

3.2. Использование модульно-рейтинговой оценки качества обучения в образовательном процессе вуза.

3.3. Программно-аппаратное обеспечение мониторинга качества обучения студентов вузов.

Введение диссертации по педагогике, на тему "Повышение эффективности адаптивного тестирования качества обучения студентов в вузах гуманитарного профиля"

Актуальность исследования. В последние годы в сфере высшего профессионального образования широкое применение получило компьютерное 1 тестирование в ходе комплексных оценок деятельности высших учебных заведений1, все более высокие требования предъявляются к использованию различных инновационнь1х технологий в учебном процессе и качеству подготовки специалистов в вузах гуманитарного профиля . Появилась настоятельная потребность в обновлении традиционных подходов к педагогической диагностике, контрольно-оценочной деятельности профессорско-преподавательского состава. В педагогической практике эту ситуацию порождает противоречие между возрастающими запросами общества, и государства в качественном образовании и невозможностью добиться такового без объективизации контроля знаний учащихся. Объективированная оценка отдаленных результатов качества обучения детерминирует мониторинг учебной деятельности, который, в свою очередь, требует адекватного инструментария и современных методик, основанных на технологии тестирования.

Объективная необходимость формирования и совершенствования культурного пространства адаптивного тестирования3 качества обучения студентов обусловливается недостаточной изученностью процессуальной стороны компьютерного тестового контроля, что не позволяет достаточно 1 эффективно реализовывать интегративно-модульные технологии образования, осуществлять систематический мониторинг учебной деятельности и динамическую оценку учебных достижений студентов, применять адекватный педагогический инструментарий и современные методики, основанные на инновационных технологиях тестирования, оптимизировать траекторию

1 См.: Горбачев В.Т. Условия повышения эффективности адаптивного тестирования студентов: педагогический аспект. // Материалы 3-й Всероссийской научно-практической конференции «Развитие методов и средств компьютерного тестирования», Москва, 20-21 апреля 2005 г. - М., 2005.

2 См.: ТуеваС.С. Повышение эффективности использования компьютерных технологий в обучении студентов гуманитарных вузов. Автореф. дисс. канд. пед. наук. - М., 2002.

3 См.: Васильев В.И., Тягунова Т.Н. Основы культуры адаптивного тестирования. - М., 2003. подготовки специалистов в вузах гуманитарного профиля в рамках государственного образовательного стандарта высшего профессионального образования (ГОС ВПО).

В сфере образования создается информационное пространство тестовых проверок, которое можно представить как совокупность позиционеров (разработчиков, экспертов, педагогов, тестируемых и т. п.), единой информационной сети, обеспечивающей объединение телекоммуникационных ресурсов, локальных компьютерных сетей и персональных компьютеров пользователей, средств коммуникаций и связи в целостную систему тестовых испытаний1.

В этой связи, ряд современных ученых (В.И. Васильев, A.A. Киринюк, В.В. Красильников, С.И. Плаксий, Т.Н. Тягунова) подчеркивают необходимость наполнения педагогического образовательного пространства реалиями современности, принципиального изменения управления качеством образования, обеспечения непрерывного мониторинга оценки уровня подготовки студентов и качества образовательной деятельности2.

Исследование проблемы адаптивного тестирования качества обучения студентов вузов гуманитарного профиля способствует повышению эффективности использования современного информационно-технологического потенциала образовательных учреждений, обеспечению подготовки специалистов в соответствии с требованиями ГОС ВПО и рынка образовательных услуг. ■

Актуальность исследования технологии тестирования для высшей школы диктуется сложными междисциплинарными задачами, которые приходится решать профессорско-преподавательскому; составу в процессе разработки и применения программно-дидактических тестовых материалов (ПДТМ), формировании (составлении) и использовании программно-дидактических тестов (ПДТ). Существующие трудности в практике внедрения средств

1 См.: Васильев В.И., Тягунова Т.Н. Основы культуры адаптивного тестирования. - М., 2003.

2 См.: Васильев В.И., Красильников В.В., Плаксий С.И., Тягунова Т.Н. Оценка качества деятельности образовательного учреждения. - 2005. тестового педагогического контроля обусловлены слабой подготовкой преподавателей в теории и практике применения педагогических тестов, в особенности, по дисциплинам общего гуманитарного и социально-экономического цикла.

Анализ научной педагогической литературы, материалов научных форумов1, а также практическая работа автора диссертации в составе государственных комиссий по проведению компьютерного тестирования в аттестационных экспертизах вузов позволяет предположить, что сегодня у педагогов еще нет единого подхода к проблемам тестологии, у профессорско-преподавательского состава нет вывереннрго инструментария для оценочной деятельности при использовании инновационных технологий в учебном процессе.

Следует отметить, что недостаточная разработка педагогических аспектов конкретной проблематики адаптивного тестирования является существенной причиной разрыва между потенциальными и реальными возможностями инновационных технологий для оптимального мониторинга и эффективной диагностики знаний студентов. Наиболее остро эта проблема ощущается в вузах гуманитарного профиля, рост числа которых обусловлен потребностями общества в увеличении спектра предоставляемых образовательных услуг. Важным средством репрезентации высших образовательных учреждений на рынке образовательных услуг стала диверсификация предлагаемых ими образовательных программ. При этом самыми распространенными стали л экономические и юридические специальности , предполагающие обязательное изучение предметов общего гуманитарного и социально-экономического цикла, что составляет около 30 % от всех дисциплин федерального компонента

1 См.: Материалы 1-й, 2-й и 3-й Всероссийских научно-практических конференций «Развитие методов и средств компьютерного тестирования», Москва, 2003-2004-2005 гг.; Материалы 4-й научно-методической конференции «Инновационные методы и средства оценки качества образования», 20-21 апреля 2006 г. М., 2006.

2 ГребневЛ.С. Общество, учебные заведения, академические свободы (образование в России: грань тысячелетий). Образование в России; Федеральный справочник. М., 2003. государственного образовательного стандарта высшего профессионального образования (второго поколения)1.

Оценивая общее состояние разработки проблемы адаптивного тестирования, следует отметить, что к настоящему времени в педагогической теории и практике накоплен определенный опыт по проблемам современных инновационных подходов в оценке качества обучения студентов и деятельности образовательного учреждения, в целом (Аванесов B.C., Беспалько В.П., Васильев В.И., Войтов А.Г., Воробейчикова О.В., Гребнев Л.С., Гусева А.И., Донкарев A.B., Зайчикова Т.Н., Изотова Н.В., Красильников В.В., Лаврентьева Н.Б., Майорова Н.Л., Нейман Ю.М., Образцов П.И., Плаксий С.И., Попова О.В., Степанов С.С, Тягунова Т.Н., Ушакова Л.С., Челышкова М.Б. и др-)2

Вопросам совершенствования образовательного процесса в высшей школе, поиску педагогических путей повышения эффективности обучения студентов вузов гуманитарного профиля, проблемам дидактического моделирования содержания обучения, разработки программно-дидактических тестовых материалов (ПДТМ) по циклу общих гуманитарных и социально

1 Государственный образовательный стандарт высшего профессионального образования. Специальность 021100 - Юриспруденция. - М., 2000.

2 Аванесов B.C. Методологические и теоретические основы тестового педагогического контроля: Дис. . д-ра пед. наук. - М., 1994.; Беспалько В.П. Педагогика и прогрессивные технологии обучения. - М., 1995.'; Васильев В.И., Тягунова Т.Н. Основы культуры адаптивного тестирования. - М., 2003.; Васильев В.И., Красильников В.В., Плаксий С.И., Тягунова Т.Н. Оценка качества деятельности образовательного учреждения. -M., 2005.; Войтов А.Г. Тестология. - М.: Эндемик, 2004.; Воробейчикова О.В. Компьютерная технология адаптивного структурированного тестирования в образовании: Автореф. дис. . канд. техн. наук. - Томск, 2002.; ГребневЛ.С. Развитие тестовых технологий в России. // Всероссийская научно-методическая конференция, Москва, 21-22 ноября 2002 г. - М., 2002.; Гусева А.И. Адаптивные методики тестирования. - М., 2002.; Донкарев A.B. Компьютерная диагностика усвоения знаний на основе проблемно-модульного обучения: Дис. . канд. пед. наук. - Воронеж, 2001.; Зайчикова Т.Н. Технология педагогического тестирования как средство эффективного управления функционированием и развитием образовательной системы региона: Дис. . канд. пед. наук. - М., 2003.; Изотова Н.В. Корректирующий контроль как фактор повышения качества обучения в вузе (на материале предметов гуманитарного цикла): Дис. . канд. пед. наук. - М., 2004.; Лаврентьева Н.Б. Педагогические основы разработки и внедрения модульной технологии обучения: Автореф. дис. . д-ра пед. наук. - M., 1999.; МайороваН.Л. Тестирование как педагогическое средство измерения успешности обучения: Дис. канд. пед. наук. - Ярославль, 2000.; Нейман Ю.М. Педагогическое тестирование как измерение: Учебное пособие. - М., 2002.; Образцов П.И. Психолого-педагогические аспекты разработки и применения в вузе информационных технологий обучения: Монография. - Орел, 2000.; Попова О.В. Педагогические основы проектирования адаптивных технологий профессионального образования: Автореф. дис. . д-ра пед. наук. - Кемерово, 2002.; Степанов С.С. Оценка уровня учебных достижений на основе тестирования. Часть' 1. Программно-дидактические тесты: разработка тестовых материалов, проверка знаний, проведение аттестационных испытаний. - М., 2004.; Ушакова Л.С. Рейтинговая система контроля знаний и педагогическая диагностика как средства управления учебным процессом в профессиональном образовании: Автореф. дис. . канд. пед. наук. - М., 2000.; Челышкова М.Б. Теоретико-методологические и технологические основы адаптивного тестирования в образовании: Дис. д-ра. пед. наук. - М., 2001. экономических дисциплин посвящены работы Андриенко A.B., Демидовой Л.А., Котова И.М., Лубочникова П.Г., Михалевой Т.Г., Новицкой Л.Ю. и др. авторов, в том числе, публикации диссертанта и его выступления на Международных, Всероссийских и межвузовских научно-практических и методических конференциях1.

Анализ современного состояния научной разработки проблемы адаптивного тестирования показывает, что, несмотря на имеющиеся исследования в этой области, в прямой постановке проблема повышения эффективности адаптивного тестирования качества обучения студентов в вузах гуманитарного профиля не рассматривалась. Актуальность проблемы, теоретическая и практическая значимость, а также недостаточная научная разработка и обоснование педагогических путей повышения эффективности адаптивного тестирования качества обучения студентов в вузах гуманитарного профиля обусловили выбор темы диссертационного исследования.

1 Андриенко A.B., Лубочников П.Г. Разработка программно-дидактических тестовых материалов: Учебное пособие для преподавателей. - Красноярск, 2004.; ГорбачевВ.Т. Качество образования: методические аспекты использования тестирования для текущего контроля знаний студентов. // Научный вестник юридического факультета. Выпуск I. - М., 2005.; Горбачев В.Т. Методические подходы к использованию Интернет-технологий в преподавании социально-гуманитарных дисциплин: педагогический аспект // Опыт и проблемы преподавания гуманитарных и социально-экономических дисциплин в вузах: Тезисы выступлений участников 6-й межвузовской научно-практической конференции (1 февраля 2005 г.). - М., 2005.; Горбачев В.Т. Методические подходы к использованию Интернет-технологий в педагогической практике. // Материалы международной научной конференции «Интеграция науки и образования: нормативно-правовое обеспечение», февраль 2005 г. M., 2005.; Горбачев В.Т. Системный подход к оценке знаний студентов как фактор повышения качества подготовки квалифицированных специалистов. // Научный вестник юридического факультета. Выпуск II. - М., 2005.; Горбачев В.Т. Процесс компьютерного тестового контроля: педагогическая модель. // Материалы 4-й научно-методической конференции «Инновационные методы и средства оценки качества образования», 2021 апреля 2006 г. M., 2006.; Горбачев В.Т. Условия повышения эффективности адаптивного тестирования студентов: педагогический аспект. // Материалы 3-й Всероссийской научно-практической конференции «Развитие методов и средств компьютерного тестирования», Москва, 20-21 апреля 2005 г. - M. - 2005.; Горбачев В.Т., Каплан Л.Н., Рошаль A.C. О проблемах компьютеризации высшего юридического образования. // Диалог общества и власти в образовательном пространстве СНГ: Международная научная конференция (30-31 марта 2006 г.). -М., 2006.; Горбачев В.Т., Рошаль A.C. Опыткомпьютерного тестирования качества обучения в высшем юридическом образовании // Математические методы и информационные технологии в экономике, социологии и образовании: сборник статей XVI Международной научно-технической конференции. - Пенза, 2005.; Горбачев В.Т., Столяров И.И. Методико-педагогические основы дистанционного обучения. // Научный вестник юридического факультета. Выпуск I. - М., 2005. Отечественная история. Учебно-методические материалы / Сост. Горбачев В.Т. - М., 2005.; Рейтинговая система учета и оценки успеваемости: методика применения. / Сост. O.A. Орчаков, В.Т. Горбачев. - М., 2006.; ДемидоваЛ.А. Педагогические пути повышения эффективности образовательного процесса в негосударственных вузах Российской Федерации: Автореф. дис. . канд. пед. наук. - М., 2003.; Котов И.М. Повышение эффективности обучения студентов негосударственных вузов: Автореф. дис. . канд. пед. наук. - М., 2003.; Михалева Т.Г. Составление тестовых заданий по истории: Учебное пособие. - М., 2003.; Новицкая Л.Ю. Дидактическое моделирование содержания обучения студентов юридической специальности вузов; Автореф. дис. канд. пед. наук. - М., 2005.

Объектом исследования является тестовый контроль качества обучения, I а его предметом - педагогическая сущность, структура и пути повышения эффективности адаптивного тестирования качества обучения студентов в вузах гуманитарного профиля.

1. Выявить теоретические и прикладные педагогические положения 1 адаптивного тестирования качества обучения студентов вузов.

Предполагается, что разрешить данное противоречие возможно на основе внедрения в тестовый '. контроль уровня учебных достижений студентов педагогической модели компьютерного адаптивного тестирования качества обучения студентов, отражающей организационно-методические основы процесса тестового контроля; совершенствования педагогической подготовки 1 преподавателей к применению современных компьютерных тестовых методик; использования модульно-рейтинговой оценки качества обучения в образовательном процессе вуза; совершенствования программно-аппаратного обеспечения мониторинга состояния качества обучения студентов.

Теоретические основы диссертации составили исследования по общей теории обучения высшей школы (Ю.К. Бабанского, A.B. Барабанщикова, П.П. Блонского, А.К. Быкова, В.И. Вдовюка, М.А. Лямзина, Ю.С. Руденко, Г.А.Шабанова)1; по методологии и методике исследования педагогических проблем (И.А. Алехина, A.B. Барабанщикова, B.H. Герасимова, В.П. Давыдова, Н.И. Конюхова, В.И. Марченкова, Н.Ф. Феденко)2; по диагностическим измерениям успешности обучаемых в учебной деятельности (B.B. Богуславского, П.Н. Городова, С.И. Денисенко, П.П Дерюгина, E.B Лобановой)3; об инновационных технологиях в педагогическом процессе

1 См.: Бабанский Ю.К. Оптимизация процесса обучения: (Общий дидактический аспект). - М., 1977.; Барабанщиков A.B. Педагогические основы обучения советских воинов: Дис. . д-ра. пед. наук. - M., 1968.; Блонский П.П. Избранные педагогические и психологические сочинения: В 2 т. / Под ред. А.И. Петровского. -M., 1979. Т.1. - С. 100-144.; Т. 2. - С. 288-399.; Быков А.К. Совершенствование педагогической техники преподавателей высших военных училищ: Дис. . канд. пед. наук. - M., 1994.; ВдовюкВ.И., Шабанов Г.А. Педагогика высшей школы: современные проблемы. - M., 1996.; Лямзин М.А. Развитие теории и практики военно-педагогической подготовки курсантов (слушателей) военных ВУЗов: Дис. д-ра пед. наук. - M., 1997.

2 См.: Алехин И.А. Теория и практика развития военного образования в России: Дис. . д-ра пед. наук. - М., 2004.; Барабанщиков A.B., Давыдов В.П., Конюхов Н.И., Феденко Н.Ф. Методика исследования проблем военной педагогики и психологии:.- М., 1987.; Давыдов В.П. Исследование путей повышения эффективности воспитания курсантов высших военно-учебных заведений в процессе обучения: Дис. . д-ра. пед. наук. - М., 1977.; Марченков В.И., Герасимов В.Н., Алехин И.А. Педагогика: Учебник. - М., 2002.

3 См.: Богуславский В.В. Развитие и формирование мотивации учебной деятельности курсантов военных училищ МВД СССР (психологическое исследование): Дис. . канд. псих. наук. - М., 1988.; Городов П.Н. Педагогические основы оценки и учета результатов воспитания курсантов: Дис. . канд. пед. наук. - М., 1972.;

В.П. Беспалько, H.JI. Майоровой, Д.П. Муравлева, Ю.С. Руденко, С.С. Туевой и др.)1; о культурологических аспектах, методологии и технологии адаптивного тестирования (B.C. Аванесова, В.И. Васильева, Т.Н. Тягуновой, М.Б. Челышковой )2 и др.

Методика и опытно-экспериментальная база исследования. Решение задач исследования осуществлялось автором на основе комплексного использования теоретических и эмпирических методов. Ведущими 1 теоретическими методами явились: . анализ (логический, сравнительный), обобщение, конкретизация, прогнозирование, моделирование. Из эмпирических методов использовались: беседы, педагогическое наблюдение, анкетирование, экспертное оценивание, тестирование, анализ результатов деятельности, обобщение педагогического опыта, констатирующий и формирующий эксперименты, педагогический консилиум, метод статистической обработки экспериментальных данных.

Опытно-экспериментальное исследование проводилось в Московском институте экономики, менеджмента и права (МИЭМП) и его филиалах I

Воронеж, Пермь, Рязань), в Центре дистанционного обучения Московского нового юридического института (МНЮИ) и филиалах института (Брянск, Курск, Советск, Тверь, Юбилейный) и было осуществлено в три взаимосвязанных этапа.

На первом (подготовительном) этапе (2002-2003 гг.) проведен анализ разработки проблемы адаптивного тестирования качества обучения студентов

Денисенко С.И. Особенности использования тестовых методик для контроля учебной деятельности студентов. // Инновации в образовании. - 2003. - № 3. с. 84-94.; Дерюгин П.П. Педагогическая диагностика межличностных отношений в военно-морских коллективах: Дис. . канд. пед. наук. - М., 1991.; Лобанова Е.В. Совершенствование контроля учебной деятельности курсантов в ВУЗе. - Дис. . канд. пед. наук. - М., 2000.

1 См.: Беспалько В.П. Педагогика и прогрессивные технологии обучения. - М., 1995. - С. 41-62.; Майорова Н.Л. Тестирование как педагогическое средство измерения успешности обучения: Дис. . канд. пед. наук. - Ярославль, 2000.; Муравлев Д.П. Совершенствование образовательного процесса вуза на основе новых информационных технологий: Автореф. дисс .канд. пед. наук. - М., 1999.; Руденко Ю.С. Реализация межпредметных блочно-модульных технологий обучения в высших учебных заведениях. // Вестник Российского нового университета. Серия «Психология. Педагогика. Образование.» - М.: РосНОУ, 2004. Вып. №3. - С107-112.; ТуеваС.С. Повышение эффективности использования компьютерных технологий в обучении студентов гуманитарных вузов. Автореф. диссканд. пед. наук. - М., 2002.

2 См.: АванесовВ.С. Методологические и теоретические основы тестового педагогического контроля: Дис. . д-ра пед. наук. - М., 1994.; Васильев В.И., ТягуноваТ.Н. Основы культуры адаптивного тестирования. - М., 2003.; Челышкова М.Б. Теоретико-методологические и технологические основы адаптивного тестирования в образовании: Дис. д-ра. пед. наук. -М., 2001. вузов, осуществлены сбор и обобщение исследовательских материалов в различных литературных источниках. Систематизировались научные подходы по проблеме повышения эффективности адаптивного тестирования. Исследовались история возникновения и развития проблемы компьютерного адаптивного тестового контроля и возможные педагогические пути повышения эффективности адаптивного тестирования.

На втором (основном) этапе (2003-2005 гг.) подвергались эмпирической проверке заложенные в гипотезе исследовательский замысел и педагогические пути повышения эффективности адаптивного тестирования качества обучения студентов на основе реализации в учебном процессе педагогической модели, технологической карты и алгоритма компьютерного адаптивного тестового контроля, алгоритма разработки банков тестовых заданий, блок-схемы регламента компьютерного адаптивного тестирования (КАТ). На данном этапе совершенствовалась педагогическая подготовка преподавателей к применению современных компьютерных тестовых методик, внедрялась модульно-рейтинговая оценка качества обучения студентов, совершенствовалось программно-аппаратное обеспечение его мониторинга. В рамках исследования проводились. замеры эффективности адаптивного тестирования качества обучения студентов на основе разработанных диссертантом критериев и показателей и их квантификация. Полученные результаты систематизиро1 вались, верифицировались и сопоставлялись с исходными данными. Одновременно вносились коррективы в методику ОЭР, формулировались предварительные выводы и рекомендации, а результаты исследования внедрялись в образовательный процесс. На данном этапе использовались такие 1 методы исследования, как констатирующий и формирующий педагогический эксперимент, экспертное оценивание, изучение результатов деятельности, педагогическое наблюдение, опросный метод.

На третьем (заключительном) этапе (2005-2006 гг.) проводились обобщение полученных результатов исследования, систематизация и качественно-количественный анализ экспериментальных данных, формулировка теоретических выводов и выработка практических рекомендаций. Обосновывались педагогические пути повышения эффективности адаптивного тестирования качества обучения студентов и осуществлялось литературное оформление результатов исследования. Ведущими методами на данном этапе исследования были: самоотчет и самоанализ деятельности, педагогический консилиум, метод статистической обработки данных, сравнительный анализ, теоретическое обобщение.

Общий объем проделанной работы. В ходе исследования изучено более

250 литературных источников (диссертаций, монографий, научных статей, 1 учебников, учебных пособий и др.), в том числе 68 докторских и кандидатских диссертаций по различным аспектам педагогической диагностики и дидактики высшей школы. Проанализированы программно-дидактические тестовые материалы и банки тестовых заданий по 48 дисциплинам, 27 различных документов по организации и применению инновационных технологий в образовательном процессе («Концепция модернизации российского образования на период до 2010 г.», «Программа модернизации гуманитарного и социально-экономического образования в России на 2004-2008 годы», «О расширении эксперимента по введению рейтинговой системы оценки успеваемости студентов вузов», другие ведомственные нормативные документы Министерства образования и науки РФ), 48 учебных программ, тематических планов и учебно-методических материалов по общим гуманитарным и социально-экономическим дисциплинам. Опрошено в беседах, опросах-интервью, анкетах 76 преподавателей, 19 заведующих кафедрами гуманитарных дисциплин по проблемам организации, содержания и методики контроля качества обучения студентов, проведено более 1500 сеансов тестирования студентов различных факультетов, обеспечена педагогическая подготовка 27 преподавателей к применению современных компьютерных I тестовых методик.

Научная новизна исследования заключается в следующем:

Положения, выносимые на защиту:

2. Педагогическая модель компьютерного адаптивного тестирования качества обучения студентов, включающая модули: целеполагания, содержания, субъект-объектных отношений, технологий, тестирования, I измерения, корректировки мониторинга качества обучения, а также, критерии и показатели оценки эффективности адаптивного тестирования: организационно-целевой (нормативно-правовой, дидактико-технологический, информационно-методический, мотивационно-деятельностный), содержательно-процессуальный (программно-аппаратная обеспеченность, темпо-временная масштабированность, надежность тестирования, модульность тестовых композиций), результативно-практический (объективность, валидность, мобильность, интерпретируемость и коррелируемость), инновационно-профессиональный (информационная культура преподавателя, использование I тестовых технологий, разработка банков тестовых заданий, педагогическая подготовленность к проведению компьютерного адаптивного тестирования).

Практическая значимость исследования состоит в том, что оно направлено на совершенствование деятельности преподавательского состава вузов и может быть использовано для подготовки учебно-программных и нормативных изданий, регламентирующих учебную работу участников образовательного процесса. Практическую значимость имеют: разработанные автором педагогическая модель; выявленные критерии и показатели оценки эффективности адаптивного тестирования качества обучения студентов, позволяющие оценивать уровень деятельностной практики его участников. Предложенные педагогические пути повышения эффективности адаптивного тестирования студентов позволяют вести мониторинг образовательного процесса с использованием тестовых технологий.

Достоверность и научная обоснованность результатов исследования обеспечивается теоретико-методологическим и методическим обоснованием концептуальной модели исследования, комплексным подходом к рассмотрению предмета и его структурно-функциональных характеристик, использованием теоретических и эмпирических методов исследования в соответствии с замыслом и логикой опытно-экспериментальной работы, математической обработкой экспериментальных данных, их сопоставлением с результатами других исследований в процессе интерпретации.

Апробация теоретических выводов и внедрение результатов исследования. Теоретические положения и практические рекомендации апробировались в ходе опытно-экспериментальной работы в Московском институте экономики, менеджмента и права (МИЭМП) и его филиалах, в Центре дистанционного обучения Московского нового юридического института (МНЮИ) и филиалах института. Часть исследовательской работы в плане уточнения критериев и показателей эффективности адаптивного тестирования, педагогической модели, содержания и структуры компьютерного адаптивного тестового контроля на этапах констатирующего и формирующего эксперимента проводилась в других вузах: Военном университете МО РФ, Московском университете МВД России, Академии права и управления Минюста РФ, МНЮИ, ЭПИ. Выбранная база исследования обеспечила репрезентативность и статистическую достоверность выборки, что подтверждено результатами опытно-экспериментальной работы. Основу опытно-экспериментальной работы составил педагогический эксперимент, который осуществлялся в несколько этапов. Базовым экспериментальным вузом явился Московский институт экономики, менеджмента и права I

МИЭМП), а непосредственной опытно-экспериментальной базой - его факультеты: «Юридический», «Экономики и финансов», «Управления», Центр тестирования и Центр дополнительного образования и дистанционного обучения. Выбранная база исследования обеспечила репрезентативность й статистическую достоверность выборки, что подтверждено результатами опытно-экспериментальной работы.

Концептуальные положения исследования обсуждались и получили одобрение на Международной научно-практической конференции «Интеграция науки и образования: нормативно-правовое обеспечение» (г. Москва, 2005 г.), XVI Международной научно-технической конференции «Математические методы и информационные технологии в экономике, социологии и образовании» (г. Пенза, 2005), Международной научной конференции «Диалог общества и власти в образовательном пространстве СНГ» (г. Москва, 2006 г.), 2-й и 3-й Всероссийских научно-методических конференциях «Развитие методов и средств компьютерного тестирования» (г. Москва, 2004 - 2005 гг.), 4-й научно-методической конференции «Инновационные методы и средства оценки качества образования» (г. Москва, 2006 г.), Межвузовской научно-практической конференции «Теория и практика преподавания гуманитарных I дисциплин в высшей школе» (г. Москва, 2005 г.), на совместных заседаниях кафедр и Советов факультетов МИЭМП. Содержащиеся в работе теоретические положения докладывались на заседаниях Научно-методического совета МИЭМП, на учебно-методическом сборе профессорско-преподавательского состава Московского университета МВД России, на заседании кафедры педагогики Военного университета МО. РФ. Подготовлены методические рекомендации «Рейтинговая система учета и оценки успеваемости: методика применения», разработаны банки тестовых заданий (БТЗ) по 36 дисциплинам общего гуманитарного и социально-экономического, естественно-научного и общепрофессионального циклов ГОС ВПО (10 БТЗ сертифицированы Органом по сертификации -№РОСС RU.0001.11СП13), компьютерная инструментальная среда «ALTERNATIVE» и электронные учебно-методические комплексы по дисциплинам для 1-3 курсов специальности 021100 «Юриспруденция», разработан спецкурс «Педагогические основы компьютерного адаптивного тестирования качества обучения студентов» для повышения квалификации преподавателей и вспомогательного персонала, опубликованы научные статьи, методические рекомендации, проведены мастер-классы.

Диссертация состоит из введения, трех глав, заключения, списка литературы и приложений. Глава 1. Научные и прикладные основы адаптивного тестирования качества обучения студентов вузов гуманитарного профиля. Глава 2. Опытно-экспериментальное исследование эффективности адаптивного тестирования качества обучения студентов вузов гуманитарного профиля. Глава 3. Педагогические пути повышения эффективности^ адаптивного тестирования качества обучения студентов вузов гуманитарного профиля.

Заключение диссертации научная статья по теме "Теория и методика профессионального образования"

Выводы по 3 главе. В ходе педагогического эксперимента подтверждено, что основными путями повышения эффективности адаптивного тестирования качества обучения студентов вузов гуманитарного профиля являются:

• совершенствование педагогической подготовки преподавателей к применению современных компьютерных тестовых методик оценки качества обучения. Необходимыми условиями ее успешности являются: научно-обоснованное планирование педагогической подготовки; применение комплексного подхода в реализации мероприятий педагогической целевой программы; модульное структурирование содержания учебных дисциплин (и дидактических единиц); оптимальный выбор видов современных компьютерных технологий; индивидуализация и дифференциация обучения и контроля; обеспечение обратной связи в культурном пространстве КАТ качества обучения студентов. См.: Свидетельство об официальной регистрации программы для ЭВМ № 990474. // Российское Агентство по патентам и товарным знакам (РОСПАТЕНТ): Российская Федерация. // Реестр программ для ЭВМ, 2002. 2 См.: Алексеенко A.C. II 4-я научно-методическая конференция «Инновационные методы и средства оценки качества образования»: Материалы конференции. - M., 2006.

• использование модульно-рейтинговой оценки качества обучения в образовательном процессе вуза. Основными условиями ее эффективной реализации являются: обеспечение модульного характера оценки учебных достижений студентов; разработка и построение оптимальной шкалы оценивания качества обучения; разработка системы критериев и показателей качества обучения; обеспечение валидности и динамичности оценки качества обучения; определение рейтинга учебных достижений студентов.

• совершенствование программно-аппаратного обеспечения мониторинга состояния обученности студентов, что предполагает реализацию важнейших условий его успешности: осуществление компьютеризации инструментальной среды тестирования; проведение контент-анализа характеристик (структурно-содержательных; дидактико-функциональных; программно-технических; проектно-технологических) аналогов программных средств; реализация требований интероперабельности, информационного дизайна и инвариантности типов тестовых заданий, композиций тестов и режимов тестирования.

На основании вышеизложенного, правомерно утверждать, что результаты опытно-экспериментальной работы и экспертного оценивания подтвердили правильность рабочей гипотезы о педагогических путях повышения эффективности адаптивного тестирования качества обучения студентов, среди которых автором были выделены и обоснованы в ходе педагогического исследования: совершенствование педагогической подготовки преподавателей к применению современных компьютерных тестовых методик оценки качества обучения; использование модульно-рейтинговой оценки качества обучения в образовательном процессе вуза; программно-аппаратное обеспечение мониторинга качества обучения студентов вузов.

205

Практические рекомендации:

1. Органам управления высшим профессиональным образованием на основе полученных результатов исследования:

- целесообразно организовать разработку и издание учебной литературы по методике подготовки и проведения мониторинга качества обучения студентов вузов с использованием инновационных технологий адаптивного тестирования уровня учебных достижений обучаемых (§ 2 гл. 3, приложение 14);

- представляется возможным, на основе позитивных мотивационных решений в интересах менеджмента качества образовательных услуг обеспечить квалифицированную разработку и экспертизу программно-дидактических тестовых материалов для адаптивного тестирования качества обучения студентов вузов, прежде всего, гуманитарного профиля, с привлечением ученых и педагогов-практиков высшей школы (§ 3 гл. 1).

2. Руководству вузов:

3. Учебно-методическим управлениям (отделам) вузов:

4. Кафедрам вузов:

- будет целесообразным ежемесячно анализировать и учитывать при ежегодной аттестации работу преподавателей по совершенствованию педагогических компетенций в области использования современных методик адаптивного тестового контроля уровня учебных достижений студентов и адекватной интерпретации результатов учебно-познавательной деятельности обучаемых (§ 1 и § 2 гл. 3)

5. Студентам:

Результаты проведенного опытно-экспериментального исследования позволяют сформулировать перспективные направления дальнейшей разработки проблемы адаптивного тестирования качества обучения студентов: совершенствование форм и методов анализа и интерпретации результатов адаптивного тестирования на основе инвариантного применения моделей педагогических тестов; совершенствование практической направленности использования алгоритма адаптивного тестирования для индивидуализированных траекторий обучения в практике массового образования; выявление путей повышения эффективности компьютерного адаптивного тестирования качества обучения студентов с учетом специфики подготовки специалистов по профилю вузов; педагогическое обеспечение компьютерного адаптивного тестирования учебных достижений студентов в русле внедряемых инновационных технологий обучения и др.

Список литературы диссертации автор научной работы: кандидата педагогических наук, Горбачев, Василий Тимофеевич, Москва

1. Абрамян Г.В. Опыт разработки и использования адаптивных тестовых заданий в системе заочного обучения с элементами дистанционной технологии: Тезисы докл. Всерос. конф. «Развитие системы тестирования в России». Ч.2.-М.: МПГУ, 1999.-С. 101-102.

2. Аванесов B.C. Композиция тестовых заданий: Кн. для преподавателей вузов, техникумов, для студентов и аспирантов пед. вузов. / B.C. Аванесов. / 2-е изд. испр. и доп. М.: Адепт, 1998. - С. 150.

3. Аванесов B.C. Композиция тестовых заданий. М.: Центр тестирования, 3 изд., 2002.-С. 239.

4. Аванесов B.C. Определение, предмет и основные функции педагогической диагностики // Педагогическая диагностика. 2002. - № 1. — С.41-44.

5. Аванесов B.C. Основы научной организации педагогического контроля в высшей школе: Пособие для слушателей Учебного центра Гособразования СССР. М.: МИСиС, 1989.

6. Аванесов B.C. Математические модели педагогического измерения. -М.: Исслед. центр, 1994. С. 26.

7. Аванесов B.C. Методологические и теоретические основы тестового педагогического контроля: Дис. . д-ра пед. наук. -М., 1994. С. 310.

8. Аванесов B.C. Научные проблемы тестового контроля знаний. Моногр. М.: Исследовательский центр проблем качества подготовки специалистов, 1994.- 135 с.

9. Аванесов B.C. Формы тестовых заданий: Учеб. пособие. М.: МИСиС, 1991.-С.35.

10. Акимова М.К. и др. Индивидуальность учащихся и индивидуальный подход. М.: Знание, 1992. - С. 77.

11. Алексеенко A.C. // 4-я научно-методическая конференция «Инновационные методы и средства оценки качества образования»: Материалы конференции. М.: МГУП, 2006.

12. Алехин И.А. Развитие военно-педагогической мысли России в 18-м веке: Дис. . канд. пед. наук.-М.: ВУ, 1995.

13. Амонашвили Ш.А. Обучение, оценка, отметка. М.: Знание, 1980. -С. 96.

14. Андреев A.A., Барабанщиков A.B. Некоторые проблемы разработки методики ДО. // Материалы 2-й и 3-й Всероссийских конференций по ДО. -М.: МЭСИ, 1997.

15. Андреев A.A., Барабанщиков A.B. и др. Основы применения информационных технологий в учебном процессе военных вузов: научно-методический сборник. -М.: ВУ, 1996.

16. Андреев JI.A., Солдаткин В.И. Дистанционное обучение: сущность, технология, организация. -М.: МЭСИ, 1999.

17. Андриенко A.B., Лубочников П.Г. Разработка программно-дидактических тестовых материалов: Учебное пособие для преподавателей.- Красноярск, 2004. С. 40.

18. Анохин С.М. Педагогические условия подготовки студентов к использованию компьютерных технологий. Автореф. дисс .канд. пед. наук.- М., 2000.

19. Архангельский С.И. Лекции по теории обучения в высшей школе. М.: Высшая школа, 1974. - С. 384.

20. Архангельский С.И. Лекции по теории обучения в высшей школе. М.: Высшая школа, 1974.

21. Бабанский Ю.К. Проблемы повышения эффективности педагогических исследований //Избранные педагогические труды. М.: 1989. - С. 491.

22. Бабанский Ю.К. Оптимизация процесса обучения: (Общий дидактический аспект). М.: Педагогика, 1977. - С. 256.

23. Барабанщиков A.B. Педагогические основы обучения советских воинов: Дис. . д-ра. пед. наук.-М.: ВПА, 1968.

24. Барабанщиков A.B., Давыдов В.П., Н.И. Конюхов, Н.Ф. Феденко. Методика исследования проблем военной педагогики и психологии: Учеб. пособие. М.: ВПА, 1987. - С. 136.

25. Барабанщиков A.B., Дерюгин Н.И. Военно-педагогическая диагностика. -М.: 1995.-23 с.

26. Башмаков А.И., Башмаков И.А. Разработка компьютерных учебников и обучающих систем. М.: Информационно-издательский дом «Филинъ», 2003.

27. Бельцер А.И., Ларионов А.Г., Серебряков А.Г., Шмелев А.Г. Перспективы компьютерного тестирования: валидность и надежность «Телетестинга». // Тезисы докл. Всерос. конф. «Развитие системы тестирования в России». Ч. 3. М.: МПГУ, 1999. - С. 68-69.

28. Беспалько В.П. Педагогика и прогрессивные технологии обучения. М., 1995.-С. 41-62.

29. Беспалько В.П. Программированное обучение: (Дидактич. основы). — М.: Высш. шк., 1970. С. 300.

30. Беспалько В.П., Татур Ю.Г. Системно-методическое обеспечение учебно-воспитательного процесса подготовки специалистов. М: Высшая школа, 1989.-С. 89.

31. Беспалько В.П. Мониторинг качества обучения — средство управления образованием // Мир образования. — 1996. №2. — С. 31—36.

32. Блонский П.П. Избранные педагогические и психологические сочинения: В 2 т. / Под ред. А.И. Петровского. М.: Педагогика, 1979. Т.1. — 100-144 с; Т. 2.-С. 399.

33. Бобков А.И., Далматов С.Б., Преснякова Г.В., Шашин Г.В. Принципы построения адаптивных аналоговых систем обучения и контроля знаний. Учеб. пособие. JL: Лен. инст. авиац. приборостроения, 1987. — С. 80.

34. Богуславский В.В. Развитие и формирование мотивации учебной деятельности курсантов военных училищ МВД СССР (психологическое исследование): Дис. канд. псих. наук. -М.: ВПА, 1988.

35. Большой энциклопедический словарь: философия, социология, религия, эзотермизм, политэкономия / Гл. научн. ред. и сост. С.Ю. Солодовников. — Мн.: МФЦП, 2002. С. 741.

36. Борисов И.В. Исследование эффективности использования средств программирования при обучении в ввузе: Автореф. дисс. . канд. пед. наук. -М., 1973.

37. Буранов С.Н. Педагогическая диагностика отклоняющегося поведения сержантов и солдат частей Сухопутных войск: Дис. . канд. пед. наук. М., ВПА, 1999.

38. Быков А.К. Совершенствование педагогической техники преподавателей высших военных училищ: Дис. . канд. пед. наук. — М., 1994.

39. Васильев В.И. Вступительное слово. // Материалы 3-й Всероссийской научно-практической конференции «Развитие методов и средств компьютерного тестирования», Москва, 20-21 апреля 2005 г. М., 2005.

40. Васильев В.И., Киринюк A.A., Тягунова Т.Н. Требования к программно-дидактическим тестовым материалам и технологиям компьютерного тестирования. М.: МГУП, 2005.

41. Васильев В.И., Красильников В.В., Плаксий С.И., Тягунова Т.Н. Оценка качества деятельности образовательного учреждения. М.: Издательство ИКАР, 2005.

42. Васильев В.И., Красильников В.В., Плаксий С.И., Тягунова Т.Н. Статистический анализ многомерных объектов произвольной природы. М.: Издательство ИКАР, 2004. - С. 274.

43. Васильев В.И., Малышев Н.Г., Тягунова Т.Н. Программно-педагогические тесты (система методологических правил). М.: МГУ ГА, 1999.

44. Васильев В.И., Тягунова Т.Н. Основы культуры адаптивного тестирования. М.: Издательство ИКАР, 2003.

45. Вдовюк В.И., Шабанов Г.А. Педагогика высшей школы: современные проблемы. М.: ВУ, 1996.

46. Военная дидактика. // Отв. редактор Лаптев Л.Г. М. - 2000. - 376 с.

47. Войтов А.Г. Тестология. М.: Эндемик, 2004.

48. Воробейчикова О.В. Компьютерная технология адаптивного структурированного тестирования в образовании: Автореф. дис. . канд. техн. наук. Томск, 2002.

49. Воронов В.В. Педагогика в двух словах: Конспект-пособие для студентов, педагогов и учителей. М.: Рос пед. агентство, 1997.

50. Выготский Л.С. Избранные психологические исследования. М.: Акад. Пед. наук РСФСР, 1956.

51. Герасимов В.Н. Развитие превентивной педагогической теории и практики в Вооруженных Силах России (на материалах частей и подразделений Сухопутных войск): Дис. . д-ра. пед. наук. М.: ВУ, 1996.

52. Герасимова Г.Е. Международные стандарты ИСО серии 9000:2000. Принципы и терминология. /Система менеджмента качества. М.: 2001.

53. Гершунский Б.С. Компьютеризация в сфере образования: Проблемы и перспективы. М.: Педагогика, 1987.

54. Гинецинский В.И. Основы теоретической педагогики: Учеб. Пособие. -СПб.: Изд-во СПб ун-та, 1992.

55. Гладкая И.В. Особенности контроля уровня достижений учащихся в системе развивающего обучения: Дис. . канд. пед. наук. СПб, 1999.

56. ГловаВ.И., Аникин И.В., Аджели М.А. Мягкие вычисления (soft computing) и их приложения. Казань. - 2000.

57. Голубева С.К. Содержательные и организационные аспекты информационной подготовки студентов гуманитарного направления педагогических вузов. Автореф. дисс. .канд. пед. наук. М., 1999.

58. Горбачев В.Т. Качество образования: методические аспекты использования тестирования для текущего контроля знаний студентов. // Научный вестник юридического факультета. Выпуск I. М.: МИЭМП, 2005.

59. Горбачев В.Т. Процесс компьютерного тестового контроля: педагогическая модель. // Материалы 4-й научно-методической конференции «Инновационные методы и средства оценки качества образования», 20-21 апреля 2006 г. М.: МГУП, 2006.

60. Горбачев В.Т. Методические подходы к использованию Интернет-технологий в педагогической практике. // Материалы Международной научной конференции «Интеграция науки и образования: нормативно-правовое обеспечение», февраль 2005 г. М., 2005.

61. Горбачев В.Т. Системный подход к оценке знаний студентов как фактор повышения качества подготовки квалифицированных специалистов. // Научный вестник юридического факультета. Выпуск II. М.: МИЭМП, 2005.

62. Горбачев В.Т., Каплан Л.Н., Рошаль А.С. О проблемах компьютеризации высшего юридического образования. // Диалог общества и власти в образовательном пространстве СНГ: Международная научная конференция (30-31 марта 2006 г.). М., 2006.

63. Горбачев В.Т., Столяров И.И. Методико-педагогические основы дистанционного обучения. // Научный вестник юридического факультета. Выпуск I. М.: МИЭМП, 2005.

64. Городов П.Н. Педагогические основы оценки и учета результатов воспитания курсантов: Дис. . канд. пед. наук. М.: ВПА, 1972.

65. Горонович M.B. Организационно-педагогические условия подготовки профессионально-педагогического персонала к применению модульных технологий обучения : Автореф. дис. . канд. пед. наук. М., 1999.

66. ГОСТ Р ИСО 9000:2001 Системы менеджмента качества. Основные положения и словарь.

67. Государственный образовательный стандарт высшего профессионального образования. Специальность 021100 Юриспруденция. -М., 2000.

68. Границкая A.C. Научить думать и действовать. Адаптивная система обучения в школе. -М.: Просвещение, 1991.

69. Гребнев JT.C. Информационное письмо ректорам высших учебных заведений Российской Федерации от 3.09.2002 г. № 11-56-204/ип.: http://www.AST-centre.ru.

70. Гребнев JT.C. Общество, учебные заведения, академические свободы (образование в России: грань тысячелетий). Образование в России. Федеральный справочник. М., 2003.

71. Гребнев JT.C. Развитие тестовых технологий в России: Всероссийская научно-методическая конференция, Москва, 21-22 ноября 2002 г. М., 2002.

72. Григорьев С.И. Региональные подсистемы мониторинга качества образования (опыт качественного социологического анализа // Известия РАО.-2000.-№ 1.-С. 56-63.

73. Гусева А.И. Адаптивные методики тестирования. М., 2002.

74. Давыдов H.A. Дидактические основы интенсификации межпредметных связей в процессе преподавания общественных наук с применением ЭВМ в ввузе: Автореф. дис. .канд. пед. наук. М.: ВПА, 1990.

75. Давыдов В.П. Исследование путей повышения эффективности воспитания курсантов высших военно-учебных заведений в процессе обучения: Дис. . д-ра. пед. наук. -М.: ВПА, 1977.

76. Давыдов В.П. Методика военно-педагогического исследования. М.: 1967.

77. Давыдов В.В. Теория развивающего обучения. М.: Педагогика, 1996.

78. Демидова JI.А. Педагогические пути повышения эффективности образовательного процесса в негосударственных вузах Российской Федерации: Автореф. дис. . канд. пед. наук. М., 2003.

79. Денисенко С.И. Особенности использования тестовых методик для контроля учебной деятельности студентов. // Инновации в образовании. -2003.-№3.-С. 84-94.

80. Дерюгин П.П. Педагогическая диагностика межличностных отношений в военно-морских коллективах: Дис. . канд. пед. наук. -М.: ВПА, 1991.

81. Дмитриев А.П. Методология и методы военного исследования. М.: 1973.

82. Донкарев A.B. Компьютерная диагностика усвоения знаний на основе проблемно-модульного обучения: Дис. . канд. пед. наук. Воронеж, 2001.

83. Евсигнеев А.Е. Концепция развития тестовой технологии контроля уровня обученности студентов в системе профессионального образования России: http://www.eduhmao.ru.

84. Ефимов В.Н. Дидактические основы построения системы контроля на аудиторных занятиях в вузе: Дис. . канд. пед. наук. М., 1983.

85. Загвязинский В.И. Методология и методика дидактического исследования.-М.: 1981.

86. Загрекова JI.B. Диагностика функционирования педагогической системы высшей школы: Материалы научно-практической конференции аспирантов, преподавателей вузов и общеобразовательных школ. / Под ред. Загрековой Л.В.: В 2-х ч.: Н.Новгород: НГПУ, 1998. -41.

87. Зайчикова Т.Н. Технология педагогического тестирования как средство эффективного управления функционированием и развитием образовательной системы региона: Дис. . канд. пед. наук. М., 2003.

88. Зайцева Л.В., Щербаков В.В. // 4-я научно-методическая конференция «Инновационные методы и средства оценки качества образования»: Материалы конференции. М.: МГУП. - 2006.

89. Зельницкий А.Н. Педагогические основы измерения эффективности учебных занятий с использованием ЭВМ: Автореф. дисс. . канд. пед. наук. -М., 1985.

90. ЗерновВ.А. Негосударственный сектор и вызовы современности. Материалы Международной научно-практической конференции «Интеграция науки и образования: нормативно-правовое обеспечение» 04 февраля 2005 года. М.: МИЭМП, 2005.

91. Иваненко А.Г., Терентьев Е.В. Метод контроля текущей успеваемости студентов при помощи ЭВМ. / «Организация и контроль самостоятельной учебной работы студентов». Киев. 1975.

92. Изотова Н.В. Корректирующий контроль как фактор повышения качества обучения в вузе (на материале предметов гуманитарного цикла): Дис. . канд. пед. наук. -М., 2004.

93. Ильина Т.А. Тестовая методика проверки знаний и программированное обучение. /Сов. педагогика, 1967.-№ 2.-С. 122-125.

94. Ингенкамп К. Педагогическая диагностика: Пер. с нем. М.: Педагогика, 1991.

95. Ингенкамп К. Педагогическая диагностика. -М.: Педагогика, 1991.

96. Игнатьев В.В., СаратокТ.Г. Методика тестового контроля в учебном процессе с применением ЭВМ. Куйбышев, 1986.

97. Иванов B.C. Педагогические основы эффективного управления системой военного образования в РВСН: Дис. .канд. пед. наук. М., 1999.

98. Институт информатизации образования: http://www.informika.ru.

99. Информационные технологии в системе непрерывного педагогического образования / Е.В. Баранова и др. СПб., 1996.

100. Информационно-коммуникационные технологии как образовательный ресурс. М.: АПКиПРО, 2003.

101. Информационные технологии в сфере образования. М.: Янус-К, 2004.

102. Каган В.М., Сыченков И.А. Основы оптимизации учебного процесса в высшей школе: Научно-методическое пособие. М.: Высш школа, 1987.

103. Караушев В.Ф., Терентьева Л.В., ТягуноваТ.Н. Проектирование банка программно-дидактических тестовых заданий. М.: Издательство ИКАР, 2005.

104. Коджаспирова Г.М., Петров К.В. Технические средства обучения и методика их использования. М., 2001.

105. Контроль в обучении иностранным языкам в средней школе. / Под ред. В.Л. Слободчикова. -М.: Просвещение, 1986.

106. Концепция модернизации Российского образования на период до 2010 г. Распоряжение Правительства Российской Федерации от 29.12.2001 г. № 1756 / Сборник нормативных правовых документов. Москва, 2002.

107. Концепция ФЦП «Развитие единой образовательной информационной системы на 2001-2005 гг.». ГНИИ ИТТ, 2001, http://www.informika.ru/text/goscom/ntp/fp/pfzp/prog.txt.

108. Концепция создания и развития единой системы дистанционного образования в России. //Дистанционное образование, 1997, № 2.

109. Конюхов Н.И. Научно-психологические основы использования биографических данных при изучении военнослужащих Советских Вооруженных Сил: Дис. . д-ра. пед. наук. М.: ВПА, 1988.

110. Котов И.М. Повышение эффективности обучения студентов негосударственных вузов: Автореф. дис. . канд. пед. наук. М., 2003. -24 с.

111. Кравчук Т.Н. Учебные задачи в профессиональном обучении студентов вуза с использованием компьютера. Автореф. дисс .канд. пед. наук М., 1999.

112. Краткий педагогический словарь: Учебное справочное пособие / Андреева Г.А., Вяликова Г.С., Тютькова И.А. М.: В. Секачев, 2005.

113. Кудаев М.Р. Корректирующий контроль в учебном процессе: дидактические основы построения и реализации системы: Дис. . д-ра пед. наук. Майкоп, 1998.

114. Кузнецова А.Г. Развитие методологии системного подхода в отечественной педагогике: Монография. Хабаровск: Изд-во ХК ИППК ПК, 2001.

115. Кузьмина Н.В. Методы исследования педагогической деятельности. -Л.: 1973.

116. Лаврентьева Н.Б. Педагогические основы разработки и внедрения модульной технологии обучения: Автореф. дис. . д-ра пед. наук. — М., 1999.

117. Лернер М.Я. Дидактические основы методов обучения. М.: Знание, 1981.

118. Лобанова Е.В. Совершенствование контроля учебной деятельности курсантов в ВУЗе. Дис. . канд. пед. наук. -М.: ВУ, 2000.

119. Лямзин М.А. Развитие теории и практики военно-педагогической подготовки курсантов (слушателей) военных ВУЗов: Дис. . д-ра пед. наук. -М.: ВУ, 1997.

120. Мавруничев В.И. Организационно-педагогические проблемы применения ЭВМ в учебном процессе ввузов: Автореф. дисс. . канд. пед. наук. М., 1983.

121. Майоров А.Н. Мониторинг учебной эффективности. // Школьные технологии. 2000. -№ 1.

122. Майоров А.Н. Тесты школьных достижений: конструирование, проведение, использование. СПб.: Образование и культура, 1997.

123. Майорова Н.Л. Тестирование как педагогическое средство измерения успешности обучения: Дис. . канд. пед. наук. Ярославль, 2000.

124. Максимова В.Н. Проблемный подход к обучению в школе: Метод, пособие по спецкурсу. Л.: Ленингр. гос. пед. ин-т им. А.И. Герцена, 1973.

125. Малышев Н.Г. Дистанционное обучение и бизнес в e-learning. М.: МИЭМП, 2005.

126. Марченков В.И., Герасимов В.Н., Алехин И.А.Педагогика: Учебник. -М.: ВУ, 2002.

127. Марьясов В.В. Методика контроля и оценки качества подготовки специалистов в военно-морских учебных заведениях: Автореф. дис. .канд. пед. наук. С.- П. Акад. - СПб., 1997.

128. Матушанский Г.У. Педагогическое тестирование в России. // Педагогика. 2002. - № 2. - С. 15-21.

129. Машбиц Е.И. Компьютеризация обучения: проблемы и перспективы. -М.: Знание, 1986.

130. Международный стандарт ИСО 9000:2000. Системы менеджмента качества. Основные положения и словарь.( 15.12.2000). 2001.

131. Международный стандарт ИСО 9001:2000. Системы менеджмента качества. Требования (15.12.2000). 2001.

132. Международный стандарт ИСО 9004:2000. Системы менеджмента качества. Руководство по улучшению деятельности (15.12.2000). 2001.

133. Международный стандарт ИСО 10011-1:1990. Руководящие указания по проверке систем качества.

134. Миронов A.C. Педагогическая профилактика наркомании и токсикомании среди военнослужащих частей ВВС ВМФ: Дис. . канд. пед. наук. М., ВУ, 2000.

135. Михайлычев Е.А. Система педагогической диагностики: ключевые понятия и принципы. // Педагогическая диагностика. 2002. - № 1. - 46 с.

136. Михалева Т.Г. Составление тестовых заданий по истории: Учебное пособие. -М., 2003.

137. Морозов О.Н. Педагогическая диагностика профессионализма деятельности преподавателя военно-специальных дисциплин ВУЗа: Дис. . канд. пед. наук. М., ВУ, 2002.

138. Муравлев Д.П. Совершенствование образовательного процесса вуза на основе новых информационных технологий: Автореф. дисс .канд. пед. наук.-М.: ВУ, 1999.

139. Нежурина М.И. Компетентностиый подход к построению многоуровневой программы подготовки кадров в области ИКТ // http://dlc.miem.edu.ru.

140. Нейман Ю.М. Педагогическое тестирование как измерение: Учебное пособие. М., 2002.

141. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М., 2000.

142. Нетрадиционные формы и методы обучения и контроля качества знаний. / Под ред. Н.П. Макаркина. Саранск: Изд-во Мордовского ун-та, 1994.

143. Новиков Н.И. О сократическом способе учения. Прибавление к Московским ведомостям, 1784, № 56-59.

144. Новиков В.Н. Развитие теории и практики подготовки преподавателей высшей военной школы: Дис. .д-ра пед. наук.-М., 1999.

145. Новицкая Л.Ю. Дидактическое моделирование содержания обучения студентов юридической специальности вузов: Автореф. дис. . канд. пед. наук.-М., 2005.

146. Новые педагогические и информационные технологии в системе образования / Под ред. Полат Е.С. М., 2001.

147. Носкова Т.Н. Профессиональная подготовка будущего учителя к использованию модульной технологии в процессе обучения: Теоретический и прикладной аспекты : Дис. . д-ра пед. наук. -М., 1998.

148. Об использовании дистанционных образовательных технологий: Приказ Минобрнауки России № 137 от 6 мая 2005 года. М., 2005.

149. Образование и XXI век: Информационные и коммуникационные технологии. М.: Наука, 1999.

150. Образцов П.И. Психолого-педагогические аспекты разработки и применения в вузе информационных технологий обучения: Монография. -Орел, 2000.

151. Образцов П.И., Косухин В.М. Дидактика высшей военной школы: Учебное пособие. Орел: Академия Спецсвязи России, 2004.

152. Огурцов А.П. Системные исследования. Ежегодник. М.: 1974.

153. Однокопытный В.Н. Совершенствование комплексного применения современных технических средств обучения в военно-специальной подготовке слушателей (курсантов) вузов инженерных войск. Автореф. дисс. . канд. пед. наук. М.: ВУ, 2002.

154. Оноков И.В. Система научного обеспечения эффективного использования новых информационных технологий в профессиональной подготовке специалистов: Автореф. дисс. . пед. наук. М., 2001.

155. Орчаков O.A. Основы концепции модульного обучения. Научно-методическая разработка. М.: МНЭПУ, 2000.

156. О сертификации качества педагогических тестовых материалов: Приказ Минобразования РФ № 1122 от 17 апреля 2000 года. М. - 2000.

157. Основные направления развития образовательных электронных изданийи ресурсов/УМатериалы научно-практической конференции «Современная образовательная среда-2002». М., 2002.167.; Основы андрагогики / Под. ред. И.А. Колесниковой. М., 2003.

158. Педагогика: Учеб пособие для студ. пед. вузов и пед колледжей. / Под ред. П.И. Пидкасистого. М.: Педагогическое общество России, 1998.

159. Педагогика: Учебное пособие для студентов пед. учеб. заведений. / В.А. Сластенин, И.Ф. Исаев, А.И. Мищенко, E.H. Шиянов. Изд. 3-е. - М.: Школа-Пресс, 2000.

160. Переверзев В.Ю. Моделирование процесса критериально-ориентированного педагогического тестирования курсантов вузов: Автореф. дис. . канд. пед. наук. -М., 2000.

161. Переверзев В.Ю. Критериально-ориентированные педагогические тесты для итоговой аттестации студентов: Монография. М.: Из-во НМЦ СПО Минобразования РФ, 1998.

162. Пидкасистый П.И. Педагогика: Учеб пособие для студ. пед. вузов и пед колледжей. / Под ред. П.И. Пидкасистого. М.: Российское Педагогическое Агенство, 1996.

163. Письмо Федеральной службы по надзору в сфере образования и науки от 10 июня 2004 г. N 01-17/05-01.

164. Плаксий С.И. Количественные и качественные параметры; высшего образования в России. М., 2004.

165. Подоляк Я.В. Личность и воинский коллектив: психология военного управления. М.: Воениздат, 1989.

166. Подласый И.П. Педагогика: Учеб. для студ. высш. пед. заведений. — М.: Просвещение: Гуманит-изд. центр «ВЛАДОС», 1996.

167. Поздняков А.И. Методологический анализ военно-инженерной деятельности: Автореф. дис. канд. философ, наук. М., 1979.

168. Положение о федеральной службе по надзору в сфере образования и науки: Постановление Правительства РФ от 17.06.2004 № 300.

169. Пономарева Л.Н. Технология модульного обучения как средство гуманизации профессиональной подготовки специалистов: Автореф. дис. . канд. пед. наук. -М., 2000.

170. Попов Д.И. Способ оценки знаний в дистанционном обучении на основе нечетких отношений. М: // Дистанционное образование, 2000. - № 6.

171. Попов В.В. Организационно-педагогические условия развития инновационного потенциала педагога в учреждениях дополнительного образования детей: Дис. . канд. пед. наук. Оренбург, 2003.

172. Попова O.B. Педагогические основы проектирования адаптивных технологий профессионального образования: Автореф. дис. . д-ра пед. наук. Кемерово, 2002.

173. Порядок комплексной оценки деятельности высшего учебного заведения: Приложение к приказу Министерства образования РФ от 12.11.1999 № 864.

174. Приказ Минобразования РФ от 24 февраля 2004 г. N 839.

175. Приказ Минобразования РФ от 19 апреля 2004 г. N 1782.

176. Прикот О.С. Методологические основания педагогической системологии. Дисс. .д-ра пед. наук. СПб., 1997.

177. Рейтинговая система учета и оценки успеваемости: методика применения. / Сост. O.A. Орчаков, В.Т. Горбачев. М.: МИЭМП, 2006.

178. Российское Агентство по патентам и товарным знакам (РОСПАТЕНТ): Российская Федерация. // Реестр программ для ЭВМ, 2004.

179. Решение Ученого совета МИЭМП от 29 января 2004 г., протокол № 5; Приказ ректора МИЭМП от 2004 г. № 253.

180. Роберт И.В. Теоретические основы создания и использования средств информатизации образования: Автореф. дис. .док. пед. наук. М., 1995.

181. Романова О. Оптимизация поведения предприятия в современных условиях // Проблемы теории и практики управления. 200. - № 3.

182. Романов А.Н., Торопцов B.C., Григорович Д.Б. Технология дистанционного обучения в системе заочного экономического образования. М.: ЮНИТИ-ДАНА, 2000.

183. Российский портал открытого образования: http://www.openet.ru.

184. Российский портал открытого образования: обучение, опыт, организация. / Отв. ред. В.И. Солдаткин. М.: МГИУ, 2003.

185. Руденко Ю.С. Реализация межпредметных блочно-модульных технологий обучения в высших учебных заведениях. // Вестник Российского нового университета. Серия «Психология. Педагогика. Образование.» М.: РосНОУ, 2004. Вып. № 3. С. 107-112.

186. Руденко Ю.С. Совершенствование теории и практики обучения слушателей и курсантов высших военно-учебных заведений: Автореф. дисс. докт. пед. наук.- М.:ВУ, 2002.

187. Руденко Ю.С. Современные педагогические технологии в образовательном процессе вуза / Педагогика высшей военной школы. М.: ВУ, 2001.

188. Руденко Ю.С. Формирование содержания и учебной дисциплины в ВУЗе (на материалах курса «Военная педагогика и психология»): Дис. . канд. пед. наук. М., 1995.

189. Рудычев A.A. Повышение эффективности функционирования предприятий промышленности строительных материалов на внешнем рынке / Монография. СПб.: Химия, 1998.

190. Садовничий В.А. Совещание ректоров вузов России, 27 октября 2000 г.: М.: Институт стали и сплавов, 2000.

191. Савельева С.Н. Организация контроля и коррекции учебно-познавательной деятельности обучающихся в инженерно-технических вузах: Автореф. дис. . канд. пед. наук. Брянск, 1999.

192. Свидетельство об официальной регистрации программы для ЭВМ № 990474. // Российское Агентство по патентам и товарным знакам (РОСПАТЕНТ): Российская Федерация. // Реестр программ для ЭВМ, 2002.

193. Седых С.П. Компьютерная технология подготовки и проведения учебных занятий. Автореф. дисс .канд. пед. наук. М., 1999.

194. Сертификат соответствия № РОСС RU. СП13.Н00001: Орган по сертификации качества программно-дидактических тестовых материалов и технологий компьютерного тестирования № РОСС RU. 0001.11 СП 13, 2004.

195. Свидетельство об официальной регистрации программы для ЭВМ № 2004612523 ACT-Аудит. // Российское Агентство по патентам и товарным знакам (РОСПАТЕНТ): Российская Федерация. // Реестр программ для ЭВМ, 2004.

196. Симонов В.П. Педагогический менеджмент: 50 НОУ-ХАУ в управлении педагогическими системами: Учебное пособие. Изд. 3-е, испр. и доп. - М.: Педагогическое общество России, 1999.

197. Ситник А.П., Савенкова И.Э., Крупина И.В., Крупин И.К. Андрагогические аспекты повышения квалификации педагогических кадров. -М„ 2000.

198. Скалкова Я.И. и др. Методология и методы педагогических исследований. М., 1989.

199. Скаткин М.Н. Методология и методика педагогических исследований. -М., 1986.

200. Сластенин В.А., ПодымоваЛ.С. Педагогика инновационной деятельности. М., 1997.

201. Словарь русского языка: В 4-х т. / АН СССР, Ин-т рус. яз.; Под ред А.П. Евгеньевой. 3-е изд., Т.4. С-Я. 1988.

202. Советский энциклопедический словарь / Гл. ред. А.М.Прохоров. 2-е изд. -М.: Сов. Энциклопедия, 1983.

203. Советский энциклопедический словарь. М.: Советская энциклопедия, 1984.

204. Соловов A.B. Проектирование компьютерных систем учебного назначения: Учебное пособие. Самара: СГАУ, 1995.

205. Соловков И.А. Антология педагогической мысли РоссииХУШ в. М.: Педагогика, 1985.

206. Спирин Л.Ф. Теория и технология решения педагогических задач (развивающееся профессионально-педагогическое обучение и самообразование) / Под ред. П. И. Пидкасистого. М.: Изд-во «Российское педагогическое агентство», 1997.

207. Стандарт отрасли: Педагогическое тестирование: Термины и определения: Вторая редакция. / Под ред. В.А. Хлебникова. М.: Центр тестирования Минобразования РФ, 2002.

208. Степанов С.С. Оценка уровня учебных достижений на основе тестирования. Часть 1. Программно-дидактические тесты: разработка тестовых материалов, проверка знаний, проведение аттестационных испытаний. М., 2004.

209. Столярова И.В. Педагогический контроль как фактор повышения качества обучения слушателей вузов МВД России: Дис. . канд. пед. наук. -СПб, 1999.

210. Стрикелева Л.В. Педагогические основы повышения эффективности учебного процесса в вузе с помощью применения АОС: Автореф. дис. .канд.пед.наук. Минск: БГУ, 1984.

211. Суббето А.И. Системологические основы образовательных систем. В 2-х ч. М., 1994. - 4.1. - 284 е.; 4.II.

212. Съедин С.И. Применение некоторых количественных методов конкретных психолого-педагогических исследований: Уч.-метод. Пособие. -М.: ВПА, 1974.

213. Талызина Н.Ф. Теоретические основы контроля в учебном процессе. -М.: Знание, 1983.

214. Талызина Н.Ф. Теоретические проблемы программированного обучения. -М.: Изд-во МГУ, 1969.

215. Таркаева О.П. Дидактические условия применения ЭВМ в организационной структуре учебного процесса: Автореф. дис. .канд. пед. наук.- Казань: КГПИ, 1987.

216. Тенитилов C.B. Формирование стиля педагогической деятельности в процессе становления преподавателя вуза: Автореф. дисс. канд. пед. наук. -М.: ВУ, 2001.

217. Типовое положение о военном образовательном учреждении высшего профессионального образования: Постановление Правительства РФ от 18.06.1999 № 650 (в ред. постан. Правительства РФ от 24.09.2002 № 697, от 23.12.2002 №919).

218. Толковый словарь русского языка / С.И. Ожегов и Н.Ю. Шведова. 4-е изд., - М.: РАН, 1999.

219. Трофимов А.Б. Дидактические возможности компьютерных технологий обучения курсантов в высших военно-учебных заведениях МВД России: Автореф. дис. .кан. пед. наук. СПб.: СПбЮИ МВД, 1995.

220. Туева С.С. Повышение эффективности использования компьютерных технологий в обучении студентов гуманитарных вузов. Автореф. дисс. . канд. пед. наук. М.: ВУ, 2002.

221. Тягунова Т.Н. Философия и концепция компьютерного тестирования: Моск. гос. ун-т печати. М.: МГУП, 2003.

222. Тягунова Т.Н. Методика подготовки и проведения компьютерного тестирования в аттестационных экспертизах вузов. М. -2003.

223. Тягунова Т.Н., Узденов Д.М. Культурологические аспекты в тестологии: Материалы 3-й Всероссийской научно-практической конференции «Развитие методов и средств компьютерного тестирования», Москва, 20-21 апреля 2005 г.-М., 2005.

224. Тягунова Т.Н., Щербаков В.В. // 3-я Всероссийская научно-методическая конференция «Развитие методов и средств компьютерного тестирования: Материалы конференции. М.: МГУП, 2005.

225. Устинова Л.Г. Развитие творческого потенциала студентов в условиях рейтинговой технологии обучения: Автореф. дис. . канд. пед. наук : Волгоградский гос. пед. ун-т, 2000.

226. Ушакова Л.С. Рейтинговая система контроля знаний и педагогическая диагностика как средства управления учебным процессом в профессиональном образовании: Автореф. дис. . канд. пед. наук. М., 2000.

227. Феденко Н.Ф. Очерки по психологии личности советского воина. М.: ВПА, 1966.

228. Федеральный закон: Выпуск 52. Об образовании. М.: ИНФРА-М, 2002-.

229. Федеральный портал образования: http://www.edu.ru.

230. Федоренко В.А. Методология оценки эффективности воинского воспитания: Автореф. дис. канд. философ, наук. М., 1989.

231. Филатов O.K. Информатизация современных технологий обучения в высшей школе. Автореф. дисс . докт. пед. наук. М., 2000.

232. Фролова C.B. Единство контроля и самоконтроля в педагогическом менеджменте: Дис. . канд. пед. наук. Саратов, 2000.

233. Цатурова И.Л. Из истории развития тестов в СССР и за рубежом. -Таганрог: Изд-во пед. института, 1969.

234. Челышкова М.Б. Адаптивное тестирование в образовании. М.: Информационно-издательский дом «Филинъ», 2003.

235. Челышкова М.Б. Теоретико-методологические и технологические основы адаптивного тестирования в образовании: Дис. . д-ра. пед. наук. -М., 2001.

236. Черенков В.Е. Методика организации системы повышения квалификации преподавателей к использованию средств информационных технологий в профессиональной деятельности в условиях высшей военной школы: Дис. канд. пед. наук : Тамбов, 1999.

237. Чошанов М.А. Гибкая технология проблемно-модульного обучения. -М.: Народное образование, 1996.

238. Шамардин В.Н. Диагностика и оценка качества образовательных систем. // Педагогика. 1995. - № 4. - С. 36-42.

239. Шангина Т.Н. Методические основы развития познавательной деятельности студентов гуманитарного вуза в процессе изучения информационных технологий: Автореф. дисс.канд. пед. наук. М., 1999.

240. Шацкий С.Т. Избранные педагогические сочинения. М.: Учпедгиз, 1958.

241. Шолохович В.Ф. Дидактические основы информационных технологий обучения в образовательных учреждениях: Автореф. дис. .док. пед. наук. -Екатеринбург: УГППУ. 1995.

242. Эльконин Д.Б., Зайков Л.В. Проблемы развивающего обучения. М., 1986.

243. Этезов Б.Б. // 3-я Всероссийская научно-методическая конференция «Развитие методов и средств компьютерного тестирования: Материалы конференции. М.: МГУП, 2005.

244. Юсупов Ф.М. Роль неучитываемых факторов в процедуре тестирования. // Диагностика способностей и личных черт учащихся в учебной деятельности. Саратов: Изд-во Саратовского ун-та, 1989.

245. Юцявичене П.А. Теория и практика модульного обучения. Каунас, 1989.

246. Якиманская И.С. Личностно-ориентированное обучение в современной школе. -М.: Сентябрь, 1986.

247. Якиманская И.С. Развивающее обучение. -М.: Педагогика, 1979.

248. Якунин В.А. Теория обучения: Уч.пособие. СПб.: СПб Гу, 1993.

249. Ярочкина Г.В. Педагогические основы системы контроля качества подготовки квалифицированных рабочих в профессиональных училищах и лицеях: Дис. . канд. пед наук. М., 1997.

250. Global Learning Consortium: http://www.imsglobal.org.

251. БЛАНК ЭКСПЕРТНОЙ ОЦЕНКИ степени проявления критериев и показателей эффективности КАТКО студентов на начальном (промежуточном, заключительном) этапе эксперимента вконтрольной (экспериментальной) группе

252. Дата оценки Эксперты: 1.2.3.пп Критерии Показатели Оценка показателей эффективности КАТКО Примечание1 эксперт 2 эксперт 3 эксперт I экспертных оценок Среднее значение экспертных оценок

253. Организационно-целевой Нормативно-правовой1. Дидактико-технологический

254. Информационно-методический

255. Мотивационно- ' деятельностный1. За критерий

256. Содержательно-процессуальный Программно-аппаратная обеспеченность

257. Темпо-временная масштаби-рованность1. Надежность тестирования

258. Модульность тестовых композиций1. За критерий

259. Результативно-практический Объективность1. Валидность 1. Мобильность

260. Интерпретируемость и корре-лируемость1. За критерий

261. Инновационно-профессиональный Информационная культура преподавателя

262. Использование тестовых технологий

263. Разработка банков тестовых заданий

264. Педагогическая подготовленность к проведению КАТКО студентов1. За критерий

265. ЭКСПЕРТНЫХ ОЦЕНОК ЗА КРИТЕРИИ

266. СРЕДНЕЕ ЗНАЧЕНИЕ ЭКСПЕРТНЫХ ОЦЕНОК

267. БЛАГОДАРИМ ВАС ЗА УЧАСТИЕ В ИССЛЕДОВАНИИ!1. ОЦЕНОЧНЫЙ ЛИСТ1. Дата оценки1. Кто оценивает

268. Критерии эффективности КАТКО Ранговое местопп 5 4 3 01 Организационно-целевой

269. Содержательно-процессуальный

270. Результативно-практический

271. Инновационно-профессиональный

272. Назовите и проранжируйте значимость других критериев эффективности КАТКО

273. Критерии эффективности КАТКО Ранговое местопп 5 4 3 01