Валидность педагогических тестовых измерителей как средство повышения объективности контроля обученности

Караваева, Ирина Александровна

Темы диссертаций по педагогике » Общая педагогика, история педагогики и образования

автореферат и диссертация по педагогике 13.00.01 для написания научной статьи или работы на тему: Валидность педагогических тестовых измерителей как средство повышения объективности контроля обученности

Автореферат

Автор научной работы: Караваева, Ирина Александровна
Ученая степень: кандидата педагогических наук
Место защиты: Ижевск
Год защиты: 2003
Специальность ВАК РФ: 13.00.01

Диссертация

Автореферат диссертации по теме "Валидность педагогических тестовых измерителей как средство повышения объективности контроля обученности"

На правах рукописи

КАРАВАЕВА Ирина Александровна

ВАЛИДНОСТЬ ПЕДАГОГИЧЕСКИХ ТЕСТОВЫХ ИЗМЕРИТЕЛЕЙ КАК СРЕДСТВО ПОВЫШЕНИЯ ОБЪЕКТИВНОСТИ КОНТРОЛЯ ОБУЧЕННОСТИ

13.00.0J - общая педагогика, история педагогики и образования

Автореферат

диссертации на соискание ученой степени кандидата педагогических наук

Ижевск 2003

Работа выполнена в Институте повышения квалификации и переподготовки работников образования Удмуртской Республики

Научный руководитель- доктор педагогических наук,

профессор Черепанов В С.

Официальные оппоненты- доктор педагогических наук,

профессор Мирошниченко А Л

кандидат педагогических наук, доцент Снигирева Т. А.

Ведущая организация

Вятский государственный гуманитарный университет

Защита диссертации состоится «/£» ноября 2003г в ¿ЛЗЛас на заседании диссертационного совета Д 212.275 02 по защите диссертаций на соискание ученой степени доктора педагогических наук по специальности 13.00.01 - общая педагогика, мсшрия педагогики и образования в Удмуртском государственном университете по адресу 426034, I. Ижевск, ул. Университетская 1, корпус 6.

С диссертацией можно ознакомиться в библиотеке Удмуртского государственного университета (г. Ижевск, ул. Университетская 1, корпус 2).

Автореферат разослан « 3 » (Ж"ГЛ

2003 г.

Ученый секретарь диссертационного совета, кандидат психологических наук

(

Э.Р. Хакимов

¿ъовзле

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования. К важнейшим задачам модернизации образования огаосятся обеспечение системного реформирования содержания образования, дальнейшая разработка и внедрение государственных сгандартов для всех ступеней и форм образования, развитие Национальной системы оценки качества образования, и на этой основе создание условий для объективного контроля качества знаний обучающихся.

Проблемам качества образования, методологии педагогического контроля знаний учащихся общеобразовательных школ и студентов посвящены труды B.C. Аванесова, С.И. Архангельского, В.П. Беспалько, З.Д. Жуковской, И .Я. Лернера, М.Н. Скаткина, Н.Ф. Талызиной и других исследователей. Проблемам формирования системы объективной оценки качества обучения посвящены материалы ряда Всероссийских симпозиумов «Квалиметрия человека и образования: методология и практика» (г. Москва, 1994-2002).

Возникшая на сегодняшний день необходимость обеспечения единого образовательного пространства России потребовала введения единого государственного экзамена в тестовой форме в масштабе всей страны. В этой связи особое внимание уделяется проблемам разработки и использования качественных и объективных тестовых измерителей. В традиционных; методиках проверки качества обученности учащихся, как правило, отсутствуют четкие объективные критерии оценки, преобладает субъективный характер оценочных суждений.

Анализ научной литературы позволяет утверждать, что объектив-пая оценка качества обучения возможна при использовании, прежде всего, валидных и надежных педагогических тестовых измерителей. Однако, процедуры валидизации педагогических тестов, встречающиеся в научной литературе, строятся по аналогии с более сложными инструментами психолого-педагогических и социологических исследований, объекты которых латентны и слабо формализуемы. Объективность результатов таких исследований подтверждается через привлечение сложного математико-статистического аппарата, использование которого в рамках текущего дидактического контроля нетехнологично. Для рубежного и итогового контроля тестологи предлагают использовать сертифицированные тесты, построенные на основе методов теории моделирования и параметризации педагогических тестов, которая является основой для построения надежных тестовых измерителей результатов обучения. Ва-лидность таких тестов базируется на статистических характеристиках тестовых заданий, зависящих от свойств выборки стандартизации, что не вполне обеспечивает выполнение требований образовательных стан-

i рос. национальная f библиотека

1с. Петербург ZMtfPK

дартов по учебному предмету и не гарантирует сохранение единого образовательного пространства.

Степень разработанности проблемы. Общая проблема валидно-сти эмпирического психолого-педагогического исследования сложных латентных объектов отражена в трудах А. Анастази, K.M. Гуревича, К. Ингенкампа, В.А. Дюка, Т. Кука, Д. Кэмпбелла, Я. тер Лаака, Р. Линна и других авторов.

Различные аспекты создания качественных педагогических тестовых измерителей и проведения с их помощью объективной оценки результатов обучения нашли свое отражение в работах А.Н. Майорова, Ю.М. Неймана, В.А. Хлебникова, М.Б. Челышковой и других исследователей. а также широко обсуждались на Всероссийских конференциях «Развитие системы тестирования в России» (г. Москва, 1998-2002).

Существенный вклад в решение проблемы валидности педагогических тестов внесли B.C. Аванесов, A.C. Казаринов, А.Н. Майоров, Е.А. Михайлычев. Ее решение в той или иной мере разработано в диссертационных исследованиях E.H. Лебедевой, В.А. Шухардиной и других. Однако многие исследователи не всегда используют теоретически обоснованные процедуры определения валидности педагогических контрольных материалов (в том числе и тестов), не определяют полную систему валидности для них. В связи с этим, возникает противоречие между растущей потребностью использования в учебном процессе качественных тестов, объективно контролирующих результаты обучения, и недостаточной разработанностью процедуры определения валидности для обеспечения их качества.

Указанное противоречие порождает проблему исследования, заключающуюся в обосновании необходимой и достаточной системы видов валидности и разработке квалиметрических процедур определения валидности педагогических тестов и тестовых заданий для обеспечения объективности педагогического контроля обученности.

Цель настоящего исследования состоит в разработке и обосновании системы валидности педагогических тестовых измерителей для обеспечения объективности контроля обученности учащихся.

Объект исследования - процесс педагогического контроля обученности учащихся на основе тестовых технологий.

Предмет исследования - система валидности педагогических тестовых измерителей.

Общая гипотеза исследования основана на предположении о том, что достижение объективности тестового контроля результатов обучения обеспечивается качеством инструментария педагогического контроля, опирающегося на обоснованную систему валидности теста

Производной от общей гипотезы являются следующие частные предположения о том, что:

1) внутренним фактором обеспечения объективности тестовых результатов измерения обученности является ограниченная и полная система валидности педагогического теста:

- полнота системы валидности достигается обеспечением внутренней валидности теста;

- условие ограниченности системы валидности зависит от характера объекта измерения;

2) внешним фактором обеспечения объективности результатов педагогического контроля является технологичная процедура валидизации педагогического теста, основанная на методе экспертных оценок.

В соответствии с предметом, целью и гипотезой исследования определены следующие задачи:

1. Выявить характеристики видов валидности педагогического теста в аспекте типологизации объектов педагогического контроля и объективности тестовых результатов.

2. Обосновать способы определения системы валидности педагогических тестов.

3. Определить критерии для валидизации тестовых измерителей обученнисти.

4. Установить показатели качества теста для обеспечения объективности результатов при педагогическом контроле обученности.

5. Провести экспериментальное исследование разработанной процедуры определения валидности тестовых измерителей.

Теоретико-методологическая основа исследования определяется поставленными целями и задачами и строится на разработанных теориях и методах педагогических исследований в следующих областях:

• содержания образования и стандартов в образовании (В.И. Байденко, М.В. Кларин, В.В. Краевский, И.Я. Лернер, B.C. Леднев, М.Н. Скач-кин, B.C. Цетлин),

• качества результатов эмпирического исследования (А. Анастази, Д. Кэмпбелл, A.C. Казаринов, Я. тер Лаак, К. Левин, A.A. Мирошниченко, Е.А. Михайлычев, А.И. Самыловский),

• педагогического контроля и квалиметрии (С.И. Архангельский, В.П. Беспалько, П.Я. Гальперин, Б.С. Гершунский, З.Д. Жуковская, В.А. Кальней, В.И. Михеев, В.П. Панасюк, М.М. Поташпик, H.A. Селезнева, А.И. Субетго, Н.Ф. Талызина, B.C. Черепанов, С.Е. Шишов),

• образовательной тестологии (B.C. Аванесов, А.Н. Майоров, Ю.М. Нейман, O.A. Татур, В.А. Хлебников, М.Б. Челышкова).

Ввиду того, что в педагогической тестологии пока нет однознач-

ных трактовок ряда определений и терминов, в работе используется следующий терминологический аппарат: система валидности педагогического теста (общая валидность теста), понимаемая как комплексная характеристика, состоящая из четырех основных видов (теоретической, содержательной, эмпирической и валидности теста по форме) и двух типов (внутренней и внешней).

К внешнему типу валидности относится вид валидности, направленный на обеспечение экстраполяции тестовых результатов, полученных на выборке нормирования, на всю генеральную совокупность тестирующихся. Внутренняя валидность предназначена для обеспечения связи независимых и зависимых переменных, причины и эффекта эксперимента. Валидизация трактуется как качественная процедура определения валидности теста, основанная на методе экспертных оценок.

Теоретическая валидность представлена валидностъю конструкта, или конструктной валидностъю, которая задает адекватное объекту теоретическое представление предмета измерения. Содержательная валидность отражает адекватность соответствия содержания теста теоретическому конструкту. Подвидом содержательной валидности является внешняя куррикулярная валидность, отражающая степень соответствия содержания теста структурному теоретическому конструкту. Эмпирическая валидность направлена на эмпирическое подтверждение гипотезы исследования. К ее подвидам относятся: прогностическая, критериальная, сопоставительная, соответствия, текущая валидность, а также факторная и ряд других. К валидности теста по форме относится техническая, или композиционная валидность, предназначенная для установления соотетствия структуры и формы теста принятым в тестологии нормам.

Тип валидности зависит от характера объекта измерения. Под латентным объектом педагогического контроля в педагогическом тестировании предлагается понимать уровень обученности. Структурный теоретический конструкт определяется как репрезентативное поэлементное представление контролируемого содержания учебного предмета. Под открытым объектом педагогического контроля понимается результат обучения (обученность). Обученность представляется целостным теоретическим конструктом предметного содержания, который определен структурой предмета и ограничен теоретическими подходами к его изложению.

тико-дсдуктивный метод конструирования объекта измерения); эмпирические (тестирование, метод групповых экспертных оценок); матема-тико-статистические (обработка эмпирических данных).

Этапы исследования. На первом этапе - теоретико-поисковом (1998-1999 гг.) - осуществлялся анализ отечественной и зарубежной научной литературы, диссертационных работ по теме исследования. В результате были сформулированы проблема и гипотеза исследования, разработана программа исследования.

На втором этапе - опытно-экспериментальном (2000-2001 гг) -конструировались и апробировались тестовые измерители обученности, проводилась разработка и корректировка процедуры определения ва-лидности тестовых измерителей обученности.

На третьем этапе - заключительном (2002-2003 гг.) - проводился анализ и обобщение полученных результатов экспериментального исследования, определялась степень их объективности и осуществлялось внедрение валидных тестовых измерителей в учебный процесс ряда общеобразовательных учреждений Удмуртской Республики.

Экспериментальная база исследования - подготовительное отделение Ижевского государственного технического университета.

Научная новизна исследования заключается в следующем:

- выявлено, что для латентного объекта исследования основной характеристикой качества теста является его надежность, а внешняя ва-лидность носит вероятностный характер и не может ограничиваться конечным числом ее видов;

- установлено, что для открытого объекта исследования (обученности) содержательная валидность теста является внутренней, что и позволяет обеспечить объективность тестовых результатов;

- определены специфические способы технологизации системы валидности педагогических тестов, к которым относятся: 1) выбор критерия валидизации, опирающийся на содержание теста, и 2) установление внутренней валидности теста на основе межличностного соглашения экспертов.

Теоретическая значимость исследования состоит в том, что:

- представлена зависимость объективности тестовых результатов в аспекте их соответствия определенному сконструированному объекту измерения от внутренней валидности тестового измерителя обученности;

- выявлены и обоснованы условия технологизации внутренней валидности целостного конструкта предметного содержания;

- обоснована относительно полная система валидности педагогического теста для открытого объекта педагогического контроля.

Практическая значимость исследования заключается:

- в разработке квалиметрической процедуры конструирования валидных тестовых измерителей обученности;

- в создании на основе данной технологии тестовых материалов, которые применяются для дидактического контроля обученности на подготовительном отделении Ижевского государственного технического университета и в ряде общеобразовательных учреждений Удмуртской Республики.

Предложенная процедура определения валидности педагогических тестов может быть использована при оценке текущих и итоговых знаний учащихся по математике и другим предметам в образовательных учреждениях различного типа.

На защиту выносятся следующие положения:

1. Для латентного объекта педагогического контроля (уровня обученности) основной характеристикой качества теста, построенного на основе структурного теоретического конструкта предметного содержания, является надежность; внешняя валидность носит вероятностный характер и не может ограничиваться конечным числом ее видов, а внутренняя валидность отсутствует.

2. Для открытого объекта педагогического контроля (обученности) содержательная валидность теста, построенного на основе целостного теоретического конструкта предметного содержания, является внутренней валидностью, что позволяет установить соответствие тестовых результатов данному сконструированному объекту контроля.

3. Для латентного объекта педагогического контроля система валидности педагогического теста состоит из внешних видов валидности: конструктной, куррикулярной, критериальной. Для открытого объекта педагогического контроля система валидности педагогического теста определяется внутренними видами валидности: конструктной, содержательной, критериальной. Обе системы дополняются независимой относительно ее типа технической валидностью.

4. Содержание теста как целостная модель контролируемого предметного содержания является внутренним критерием его валидиза-ции и опирается на принцип межличностного соглашения экспертов.

5. Объективность тестовых результатов достигается за счет обеспечения внутренней содержательной валидности теста и исключения субъективных факторов из процесса построения теста.

Апробация результатов исследования осущесгвлялась на научных конференциях и семинарах, а также в виде публикаций.

ях «Развитие системы тестирования в России» (г. Москва, 1999 г.,2002 г.), 5-й Российской университетско-академической научно-практической конференции (г. Ижевск, 2001 г.), региональной научно-практической конференции «Развитие системы тестирования в Удмуртской Республике» (г. Ижевск, 2001 г.), и других научно-методических конференциях. Исследование входило в план научно-исследовательских работ Уральского отделения Российской академии образования по комплексной программе «Образование в Уральском регионе: научные основы развития и инноваций» на 2001-2005 гт. (раздел 2 тема № 29).

Достоверность результатов исследования и обоснованность научных положений и выводов обеспечиваются последовательной реализацией методологической основы процесса исследования на всех его этапах; соответствием теоретических и эмпирических методов исследования предмету исследования и поставленным задачам; соответствием полученных данных положениям педагогической теории и практики в области образования.

Структура и объем диссертации.

Работа состоит из введения, трех глав, заключения, списка литературы, приложений. Общий объем текста - 173 страницы, работа включает 10 рисунков, 7 таблиц, 5 приложений.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновала актуальность темы исследования, рассматриваются основные характеристики научного аппарата: цель, объект и предмет исследования, его гипотеза и задачи; характеризуются методы и определена теоретико-методологическая основа исследования, новизна результатов, их теоретическая и практическая значимость, сформулированы защищаемые положения.

Глава первая «Система валидности педагогического теста» посвящена анализу современного состояния проблемы обеспечения качества тестирования как экспериментального педагогического исследования; объективности тестовых выводов, их соответствия объекту исследования.

Проблема построения системы валидности эмпирического исследования и обеспечения качества его результатов обсуждались в работах А. Анастази, В.А. Дюка, Т. Кука, Д. Кэмпбелла, Я. тер Лаака, К. Левина, Р. Линна, Д Мангейма, Р. Рич, Э. Мэнстида, Г. Симина.

В научной литературе по педагогическому тестированию (B.C. Аванесов, А.Н. Майоров, Ю.М. Нейман, В.С Хлебников, М.Б. Чельпл-кова) объективность тестовых результатов сводится к контролю над ус-

ловиями проведения эксперимента на различных его этапах. Это - объективность: 1) проведения эксперимента, 2) обработки данных, 3) интерпретации (К. Ингенкамп). Обозначенные условия определяются как необходимые для получения достоверных или валидных выводов и являются внешними по отношению к объекту эмпирического исследования. Объективность как соответствие результатов исследования его объекту авторами не рассматривается. Это связано прежде всего со сложностью, неопределенностью, то есть латентностью объекта исследования.

В педагогике, как и в других социальных науках, как правило, объекты исследования являются латентными, то есть недоступными для непосредственного измерения. Общность характеров объектов позволяет педагогам заимствовать методы исследования из смежных наук, таких, как социология и психодиагностика, в которых были разработаны статистические методы подтверждения достоверности гипотез.

В диссертационной работе вводится достаточное условие объективности - соответствие тестовых результатов объекту измерения через обеспечение внутренней содержательной валидности инструмента исследования (теста) на основе открытого и определенного, а не латентного объекта исследования; доказывается технологичность процедуры определения валидности теста, измеряющего открытый объект - обучен-ность; строится ограниченная и полная система валидности педагогического теста, контролирующего обученность.

В педагогической тестологии качество тестовых результатов непосредственно связывают с качеством инструментария контроля результатов обучения (дидактического теста). Анализу валидности педагогического теста, построению ее системы и обоснованию различных ее видов посвящены работы по проблемам педагогических измерений B.C. Ава-несова, К. Ингенкампа, A.C. Казаринова, А.Н. Майорова, Е.А. Михайлы-чева, А.И. Самыловского и других исследователей.

В теоретической части работы раскрывается зависимость сисгемы видов валидности теста от выбранного принципа истинности (Я. тер Jla-ак) и типа объекта исследования: латентного или открытого. Как правило, система состоит из трех основных видов: 1) валидности конструкта (теоретической), 2) содержательной, 3) прогностической (эмпирической) валидности. Показано, что иные названия валидности, встречающиеся в литературе, являются подвидами выше перечисленных. Тест обладает валидностью конструкта, если теоретический конструкт адекватно представляет объект исследования.

В теоретическом конструкте обычно выделяются независимые переменные. Управление ими в ходе эксперимента приводит к экспериментальному эффекту, который выражается количественно через фикса-

цию в результатах эксперимента посредством измерения зависимых переменных. Через содержательную валидность контролируется репрезентативность отображения содержанием теста теоретического конструкта. Содержание теста в этом случае связывает независимые и зависимые переменные, причину и эффект. Эти виды валидности выражаются качественными характеристиками (валиден - невалиден), как правило, с применением метода экспертных оценок. Экспертами оценивается, в какой степени теоретический конструкт репрезентативно представляется тестовым содержанием. Количественное подтверждение достоверности результатов представляет эмпирическая валидность, которая выражается через корреляционный коэффициент.

Анализ полноты соответствия тестового содержания теоретическому конструкту отсутствует. Неполнота представления тестовым содержанием теоретического конструкта ставит под сомнение внутреннюю связь причины и эффекта, которая требует эмпирического подтверждения. В работе теоретически показано, что для латентного объекта невозможно однозначное установление связи между ним и тестовыми результатами через содержательную валидность теста ввиду сложности объекта и ограниченной длины теста. С этой целью вводится понятие внутренней и внешней валидностей.

Для установления внутренней валидностив ходе эксперимента необходимо контролировать всевозможные внешние факторы, ей угрожающие (Д. Кэмпбелл), количество которых неопределенно. Это приводит к системе валидности теста, содержащей бесконечное количество разных видов (A.C. Казаринов). Система валидности становится неограниченной, полная валидизация невозможна, что делает процесс определения валидности теста нетехнологичным.

Внешняя валидность позволяет экстраполировать тестовые результаты на группу тестирующихся большую, чем экспериментальная (Д. Кэмпбелл) или на содержание большее, чем тестовое. Наличие внешней валидности инструментария не является достаточным условием объективности тестовых результатов.

На основе анализа определений педагогического теста для контроля результатов обучения (К. Ингенкамп, B.C. Аванесов, А.Н. Майорова, Е.А. Михайлычева, Ю.М. Нейман, В.А. Хлебников) в работе обоснована его система валидности, состоящая из четырех видов валидности: конст-руктной, содержательной, критериальной и технологической, под которой понимается соответствие формы теста принятой в дидактической тестологии норме. Такая система валидности теста достаточна тогда и только тогда, когда содержательная валидность является внутренней.

Результат проведенного исследования показал, что при измерении

латентного объекта, под которым в дидактической тестологии понимается уровень обученности (Ю.М. Нейман, В.А. Хлебников, М.Б. Челыш-кова и др.), эти виды валидности педагогического теста относятся к внешнему типу валидности. Отсутствие внутреннего типа валидности такого теста не позволяет обеспечить контроль над тем, что именно измеряет тест. На первое место в иерархии значимости показателей качества теста выходит надежность инструмента.

В исследовании показана зависимость внешнего критерия эмпирической валидизации от цели тестирования и выбранного принципа истинности (принцип когеренции, функциональности или консенсуса). Этот критерий обусловливает различия в интерпретации тестовых результатов и относит тест к одному из двух видов: нормативно- или критериально-ориентированному. Педагогический тест относится к нормативно-ориентированным при условии, что в качестве такого критерия эмпирической валидизации выбирается внутренняя норма, а именно, нормальный закон распределения величин для выборки стандартизации. Валидность такого теста обоснована принципом функциональности, что позволяет ранжировать тестирующихся по степени владения тестовым содержанием. Главной характеристикой качества становится точность как степень свободы тестовых результатов от ошибки измерения, или надежность теста.

Выбор в качестве внешнего критерия валидизации теста иных результатов измерения того же объекта, валидность которого всегда оказывается под вопросом, классифицирует его как критериально-ориентированный. В работе показано, что прогностическая или критериальная валидность результатов тестирования в процессе эмпирической валидизации понимается как их соответствие результатам другой внешней и не более валидной оценки; содержательная валидность носит характер внешней валидности ввиду его ограниченности, а основным показателем его качества становится надежность в смысле однородности отражения тестом измеряемого предметного содержания. Отсутствие внутренней валидности такого теста делает измерение относительным в аспекте неполного соответствия содержания те ста измеряемой предметной области, а значит - нетехнологичным.

В результате теоретического анализа работ по теме исследования сделан вывод о том, что объективность результатов в аспекте их соответствия объекту измерения достигается через замену латентного объекта (уровня обученности) на открытый и определенный - обученность. Обу-ченность мы определяем как результат обучения, заключающий в себе понимание системы предметного содержания как целого, представленного в разных теоретических аспектах или в одном из них. При контроле обученности предметом измерения служит содержание, определенное

Объект исследования

содержан'ие

Предмет

исследования

[е^ова!

Инструмент исолепованка

Содержание

.тсста

Внутренняя валилносн ь

Тестовые результаты

Т^етоаые

.результаты '

Валидность конструкта

Содержательная валидность

Внеш няя валидное?

Критериальная

валидность

т-

. Критерия . эмпирической - валидизации'

Субъект исследования

Рис. 1. Схема валидизадии целостного конструкта обученноети

структурой учебного предмета, ограниченное теоретическими подходами к его изложению и представленное для измерения в виде целостного теоретического конструкта. Открытый объект позволяет элиминировать субъект тестирования за пределы процесса валидизадии. что обеспечивает ограниченность и полноту системы валидности теста, технологиза-цию процесса валидизации и получение объективных тестовых результатов в аспекте их соответствия сконструированному объекту измерения (рис. Г).

Глава вторая «Объективность контроля обученноети как педагогическая проблема» посвящена поиску путей получения объективных тестовых результатов в аспекте их соответствия конструированному объекту измерения через внутреннюю содержательную валидность теста; выбору критерия валидизации теста и принципа истинности, лежащего в основе валидности; построению на этой основе процедур определения валидности педагогического теста.

В работе показано, что технологичность теоретического конструкта зависит непосредственно от выбранного объекта измерения. Принятый в современной образовательной тестологии уровень обученноети определяется структурным теоретическим конструктом, для которого характерно представление усвоенного знания в виде структуры пред-

метного содержания. Структурный теоретический конструкт отражен в спецификации теста как логическая структура предмета, подлежащая измерению. Анализ соответствующей литературы (Ю.М. Нейман, В.А. Хлебников, М.Б. Челышкова, А.Н. Майоров и др.) показал, что для полного измерения необходимо проверить знание всех элементов структуры предмета, что на практике не представляется возможным ввиду ограниченности теста. Валидность конструкта носит внешний характер. Содержание теста как репрезентативное поэлементное отражение структурного конструкта определяет содержательную валидность как курри-кулярную. Зависимость качества тестовых заданий от субъективных свойств выборки стандартизации и неполнота представления содержанием теста теоретического конструкта делают куррикулярную валидность внешней. Система валидности теста со структурным теоретическим конструктом всегда оказывается неполной из-за отсутствия внутреннего типа валидности. Присутствие субъекта тестирования (выборки стандартизации) в процедуре определения валидности теста делает ее нетехнологичной.

Результат обучения - обученность, как открытый объект измерения, не требует проверки владения всеми элементами структуры предметного содержания. Достаточным для проверки обученности оказывается владение теоретическими подходами. Валидность конструкта оказывается внутренней. Содержание теста конструируется на основе заданий, моделирующих основные подходы к изложению содержания учебного предмета (числовой и функциональный подход для школьного курса математики), и является моделью теоретического конструкта В работе на примере школьного курса алгебры и начал математического анализа проиллюстрировано построение теоретического конструкта посредством выделения двух теоретических подходов к изложению содержания курса: числового и функционального.

В данном исследовании предлагается построение содержания теста как модели теоретического конструкьа, в которой измеряемое содержание представляется не как поэлементное отображение структуры, а как целостная модель предметного содержания. Смоделированное таким образом тестовое содержание адекватно представляет теоретический конструкт, а содержательная валидность теста становится внутренней и перестает бьггь куррикулярной. Для школьного курса математики целостная модель содержания теста строится посредством моделирующих тестовых заданий двух типов: числовых и функциональных.

Поскольку объект исследования перестает быть латентным, то исчезает необходимость привлекать внешний критерий для опосредованной эмпирической валидизации. Критерий становится внутренним. Целостный теоретический конструкт определен структурой предмета, ог-

раничен теоретическими подходами предметного содержания. В то же время его модель (тестовое содержание) инвариантна относительно структуры предмета и логики его изложения, так как ее основаниями выступают наиболее общие, чем структура и логика предмета, характеристики - владение теоретическим подходом. Одновременно теоретический конструкт вариативен в аспекте наполнения модели конструкта предметным содержанием. Следовательно, существует неограниченное количество представлений теоретического конструкта в виде содержательной модели целостного предмешого содержания Каждая из таких моделей, в том числе и содержание самого теста, может выбираться в качестве внутреннего критерия валидизации, вследсшие чего критериальная валидность становится внутренней, наряду с конструктной и содержательной валидностью. Их внутренний характер обеспечивает объективность тестовых результатов в аспекте соответствия открытому объекту измерения.

Внешняя валидность тестов с целостным теоретическим конструктом рассматривается в аспекте экстраполяции результате тестирования на содержание большее, чем тестовое, а надежность, направленная на более точное описание конструкта, представляется как однородность содержания теста: чем выше содержательная валидность геста, тем выше однородность его тестовых заданий, направленная на повышение точности представления теоретического конструкта.

Рис.2. Блок-схема алгоритма валидизации педагогического теста с целостным конструктом

Техническая валидность - одинакова для обоих типов тестов. Она определяется экспертным методом посредством анализа тестовых заданий на соответствие их формы принятым в тестологии нормам.

Система валидности педагогического теста с целостным конструктом является полной. Она состоит из внутренних валидностей конструкта, содержания, критерия, а также технологической валидности.

Валидизация такого теста осуществляется экспертной группой ка основе принципа консенсуса. Блок-схема процедуры создания валидного теста с целью объективного контроля результатов обучения осуществляется в соответствии с алгоритмом, представленным на рис. 2.

В третьей главе «Экспериментальная апробация процедуры определения валидности теста для измерения обученности» иллюстрируется конструирование валидного педагогического теста и проводится анализ объективности тестовых результатов проводимого на его основе эксперимента.

Технология валидизации педагогического теста, измеряющего обученность, включена в процедуру его конструирования и состоит из трех этапов (рис.2). Целью первого этапа является построение валидного теоретического конструкта контролируемого предметного содержания. На втором этапе конструируется содержание теста, обладающего внутренней содержательной валидностыо и технической валидностью формы. Целью третьего этапа является установление валидного внутренне-

Рис.З. Диаграмма распределения час- Рис. 4. Диаграмма распределения тот выполнения заданий, контроли- частот результатов централизо-рующих обученность ванного тестирования

го критерия, основанного на содержании теста для измерения обученно-сти.

В ходе экспериментального исследования, призванного подтвердить обоснованность теоретически созданной процедуры валидизации тестовых измерителей, проводилось измерение обученное! и учащихся подготовительного отделения Ижевского государственного технического университета (п=100 человек). Тестирование осуществлялось с помощью различных типов тестов. В качестве экспериментального теста с целостным теоретическим конструктом и открытым объектом измерения использовался тест, сконструированный на основе описанной процедуры. Результаты централизованного тестирования (ЦТ) за 2002 год выступали в роли контрольных тестовых показателей измерения уровня обученности - латентного объекта. На рис. 3 представлена диаграмма распределения частот результатов экспериментального тестирования в зависимости от суммы баллов, набранных за решение моделирующих заданий (от 0 до 5 баллов). По итогам экспериментального тестирования 9 слушателей набрали в сумме 5 баллов за задания, моделирующие функциональный подход. Они и были признаны владеющими знанием предмета как целым. На рис.4 изображена диаграмма распределения частот результатов контрольного централизованного тестирования той

Баллы централизованного тестирования (от 0 до 100)

81-100

81-100 бал плов ЦТ-

«отлично»

3 4 5

Сумма баллов за моделирующие задания, контролирующие обученность (от 0 до 5)

Рис.5. Диаграмма распределения баллов за централизованное тестирование в зависимости от суммы баллов за задания, контролирующие обученность

же группы елушате лей в зависимости от полученных отметок. На рис. 5 приведена диаграмма распределения баллов централизованного тестирования в зависимости от суммы баллов за моделирующие задания. В результат юлько 9 % учащихся показали знание предметного содержания как целого (рис.3), однако они вошли в группу из 19% учащихся, получивших отметку «отлично» в ходе ЦТ (рис.4). В ходе анализа результатов тестирований нами были сделаны следующие выводы: 1) прогноз о знании предмета как целого, сделанный на основании результатов тестирования, подтвердился в 100% случаев; 2) тесты с целостным конструктом демонстрируют высокую степень различительной способности, дифференцируют учащихся по степени владения содержанием предмета и являются более объективными.

В заключении диссертации подводятся основные итоги и наме- «

чаются перспективы дальнейшею исследования.

Результаты проведенной работы позволяют сделать следующие выводы:

1. В диссертации установлена необходимость регламентации использования качественных дидактических тестов в соответствии с целями педагогического контроля и типологизацией объекта измерения. Качественные тесты, построенные на основе структурного теоретического-конструкта для измерения латентного объекта (уровня обученности), позволяют надежно ранжировать обучающихся по степени владения предъявленным тестовым содержанием; тесты с целосшым теоретическим конструктом для измерения открытого объекта (обученности), обладающие внутренней содержательной валидностью, необходимо использовать при рубежном и итоговом контроле над результатами обучения.

2. В результате проведенного исследования обоснована система валидности педагогического теста для двух типов объекта контроля. Доказана невозможность построения ограниченной и полной системы ва- * лидности педагогического теста для измерения латентного объекта контроля; представлена концептуальная модель полной и ограниченной

системы валидности тестового измерителя при педагогическом контроле обученности.

3. В работе обоснована зависимость объективности тестовых результатов от внутренней валидности тестового измерителя в аспекте их соответствия объекту педагогического контроля. Объективность тестового контроля обученности создает реальные перспективы обеспечения образовательного стандарта по предмету и сохранения единого образовательного пространства.

Выполненное исследование подтвердило правомерность выдвину-

тых в диссертации предположений и выводов. Внедрение его результатов в практику работы образовательных учреждений будет способствовать повышению объективности педагогического контроля результатов обучения.

В ходе работы над диссертацией были выявлены новые проблемы, требующие решения: 1) повышение качества обучения и интенсификации его процесса без увеличения объема структуры учебного предмета; 2) представление предметного содержания как целостного теоретического конструкта 3) отказ от обучения навыкам в пользу системных теоретических знаний по предмету; 4) углубленные исследования возможности и способов формирования теоретических знаний обучающихся.

Основное содержание диссертации отражено в публикациях:

1.Навалихина И.А. О технологии измерения адаптационной ва-лидности теста // Развитое системы тестирования в России: Тез. докл. Всерос. конф. Ч. 2. М.: Прометей, 1999. - С. 100-101.

2. Навалихина И.А. Содержательная валидность теста как основное условие объективности тестового контроля. // Развитие тестовых технологий в России: Тез. докл. Всерос. конф. М.: Центр тестирования МОРФ,2002. С. 241-242.

3. Навалихина И.А. Проблема соотношения видов валидности в структуре общей валидности теста. // Квалиметрия человека и образования: методология и практика: Материалы IX Симпозиума / Под. ред. H.A. Селезневой, А.И. Субетго. М.: Исследовательский центр проблем качества подготовки специалистов, 2000,- С. 19-21.

4. Навалихина И.А. Соотношение внешней и внутренней валидности теста в теории IRT. // Квалиметрия в образовании: методология и практика: Материалы X Симпозиума. Книга 2. М.-. Исследовательский центр проблем качества подготовки специалистов, 2002. - С.85-87.

5. Навалихина И. А. Концепция структуры валидности педагогического теста. // Проблемы квалиметрии образования и дидактической тес-тол огии: Сборник трудов направления «Измерения в педагогике». Ижевск: Изд-во ИжГТУ, 2003. - С. 88-91.

6. Навалихина И.А. Об эффективности использования нормативно-ориентированных и критериально-ориентированных тестов в аспекте ва-лидизации теста // Развитие системы тестирования в Удмуртской Республике: Материалы регион, науч.-практ. конф. / Под ред. B.C. Черепанова. Ижевск: Изд-во ИжГТУ, 2001. - С.68-69.

7. Навалихина И.А. Мониторинг качества обученности при использовании тестовой формы контроля обученности // 5-я Российская университетско-академическая науч.-практич. конф.: Тез. докл. 4.4. / Под ред. В.А. Журавлева, С.С. Савинского. Ижевск: Изд-во УдГУ, 2001 . - С. 33-35.

8. Навалихина И.А. Проблема с ста тестовых заданий при измерении лидности // Cogito. Вып. 5. Психол профессиональной деятельности: Сб. Ижевск: Изд-во УдГУ, 2001.-С.123-130

9. Навалихина И.А. Концепция с

ского теста // Проблемы квалиметрии I ______

тологии:: Сб. трудов направления «Измерения в педагогике». - Ижевск: Изд-во ИжГТУ, 2003. - С. 88-91.

10. Караваева И.А. Сравнительный анализ результатов тестирования на основе структурного и целостного конструктов // Актуальные проблемы образования в высшей школе: Сб. материалов науч.-метод. конф. УдГУ / Под ред. проф., докт. пед. наук Г.С. Трофимовой. -Ижевск: Изд-во УдГУ, 2003. - С. 88-93.

11. Навалихина И.А. Проблема формирования базисного образовательного стандарта по математике // Удмуртия накануне третьего тысячелетия: Тез. докл. науч.-практ. конф. - Ижевск: Изд-во УдГУ, 1998. -4.2, С. 125.

12. Навалихина И.А. Проблема соотношения объективности, ва-лидности и надежности в тестовом контроле с применением метода ГЭО // Жизнь в аспекте экологии и биологии: Материалы межд. совещ. «Жизнь и факторы биогенеза». - Ижевск: Изд-во УдГУ, 1999. - С. 71-73.

13. Караваева И.А. Целостный конструкт предметного содержания как предмет дидактического контроля обученности // Актуальные проблемы образования в высшей школе: Сб. материалов науч.-метод. конф. УдГУ / Под ред. проф., докт. пед. наук Г.С. Трофимовой. - Ижевск: Изд-во УдГУ, 2003.-С. 95-98.

Подписано в печать 7. 40 .2003 Бумага офсетная. Формат 60x84/16. Уч-мАЛ.ф. Усл. печ. п. 4,46 Тираж400 экз. Заказ № 824

В авторской редакции

Типография Издательства ИжГТУ. 426069, г. Ижевск, Студенческая, 7

2*0 ОКТ 2003

Содержание диссертации автор научной статьи: кандидата педагогических наук, Караваева, Ирина Александровна, 2003 год

ВВЕДЕНИЕ.

ГЛАВА 1. СИСТЕМА ВАЛИДНОСТИ ПЕДАГОГИЧЕСКОГО

ТЕСТА.

1.1. Основные классифицирующие признаки видов валидности исследования в аспекте объективности результатов.

1.2. Характеристика видов валидности теста в аспекте типологизации объектов исследования.

1.3. Технологизация валидности педагогических тестов.

Выводы по первой главе.

ГЛАВА 2. ОБЪЕКТИВНОСТЬ КОНТРОЛЯ ОБУЧЕННОСТИ КАК

ПЕДАГОГИЧЕСКАЯ ПРОБЛЕМА.

2.1. Технологичность конструкта обученности как основа объективности педагогического контроля.

2.2. Критерий валидизации целостного конструкта обученности.

2.3. Внутренняя валидность как условие объективности результатов тестового контроля обученности.

Выводы по второй главе.

ГЛАВА 3. ЭКСПЕРИМЕНТАЛЬНАЯ АПРОБАЦИЯ ПРОЦЕДУРЫ ОПРЕДЕЛЕНИЯ ВАЛИДНОСТИ ТЕСТА ДЛЯ ИЗМЕРЕНИЯ ОБУЧЕННОСТИ.

3.1. Конструирование валидного педагогического теста для измерения обученности на основе метода экспертных оценок.

3.2. Сравнительный анализ результатов эксперимента по измерению обученности.

Выводы по третьей главе.

Введение диссертации по педагогике, на тему "Валидность педагогических тестовых измерителей как средство повышения объективности контроля обученности"

К важнейшим задачам модернизации образования относятся обеспечение системного реформирования содержания образования, дальнейшая разработка и внедрение государственных стандартов для всех ступеней и форм образования, развитие Национальной системы оценки качества образования, и на этой основе создание условий для объективного контроля качества знаний обучающихся.

Проблемам качества образования, методологии педагогического контроля знаний учащихся общеобразовательных школ и студентов посвящены труды B.C. Аванесова, С.И. Архангельского, В.П. Беспалько, З.Д. Жуковской, И.Я. Лернера, М.Н. Скаткина, Н.Ф. Талызиной и других исследователей. Проблемам формирования системы объективной оценки качества обучения посвящены материалы ряда Всероссийских симпозиумов «Квалиметрия человека и образования: методология и практика» (г. Москва, 1994-2002).

Возникшая на сегодняшний день необходимость обеспечения единого образовательного пространства России потребовала введения единого государственного экзамена в тестовой форме в масштабе всей страны. В этой связи особое внимание уделяется проблемам разработки и использования качественных и объективных тестовых измерителей. В традиционных методиках проверки качества обученности учащихся, как правило, отсутствуют четкие объективные критерии оценки, преобладает субъективный характер оценочных суждений.

Анализ научной литературы позволяет утверждать, что объективная оценка качества обучения возможна при использовании, прежде всего, валидных и надежных педагогических тестовых измерителей. Однако процедуры валидизации педагогических тестов, встречающиеся в научной литературе, строятся по аналогии с более сложными инструментами психолого-педагогических и социологических исследований, объекты которых латентны и слабо формализуемы. Объективность результатов таких исследований подтверждается через привлечение сложного матема-тико-статистического аппарата, использование которого в рамках текущего дидактического контроля нетехнологично. Для рубежного и итогового контроля тестологи предлагают использовать сертифицированные тесты, построенные на основе методов теории моделирования и параметризации педагогических тестов, которая является основой для построения надежных тестовых измерителей результатов обучения. Валидность таких тестов базируется на статистических характеристиках тестовых заданий, зависящих от свойств выборки стандартизации, что не вполне обеспечивает выполнение требований образовательных стандартов по учебному предмету и не гарантирует сохранение единого образовательного пространства.

Общая проблема валидности эмпирического психолого-педагогического исследования сложных латентных объектов отражена в трудах А. Анастази, К.М. Гуревича, В.А. Дюка, К. Ингенкампа, Т. Кука, Д. Кэмпбелла, Я. тер Лаака, Р. Линна и других авторов.

Различные аспекты создания качественных педагогических тестовых измерителей и проведения с их помощью объективной оценки результатов обучения нашли свое отражение в работах А.Н. Майорова, Ю.М. Неймана, В.А. Хлебникова, М.Б. Челышковой и других исследователей, а также широко обсуждались на Всероссийских конференциях «Развитие системы тестирования в России» (г. Москва, 1998-2002).

Существенный вклад в решение проблемы валидности педагогических тестов внесли B.C. Аванесов, А.С. Казаринов, А.Н. Майоров, Е.А. Михайлычев. Ее решение в той или иной мере разработано в диссертационных исследованиях Е.Н. Лебедевой, В.А. Шухардиной и других. Однако многие исследователи не всегда используют теоретически обоснованные процедуры определения валидности педагогических контрольных материалов (в том числе и тестов), не определяют полную систему валидности для них. В связи с этим, возникает противоречие между растущей потребностью использования в учебном процессе качественных тестов, объективно контролирующих результаты обучения, и недостаточной разработанностью процедуры определения валидности для обеспечения их качества.

Объект исследования - процесс педагогического контроля обученности учащихся на основе тестовых технологий.

Предмет исследования - система валидности педагогических тестовых измерителей.

Производной от общей гипотезы являются следующие частные предположения о том, что:

- полнота системы валидности достигается обеспечением внутренней валидности теста;

- условие ограниченности системы валидности зависит от характера объекта измерения;

2) Внешним фактором обеспечения объективности результатов педагогического контроля является технологичная процедура валидизации педагогического теста, основанная на методе экспертных оценок.

В соответствии с предметом, целью и гипотезой исследования определены следующие задачи:

2. Обосновать способы определения системы видов валидности педагогических тестов.

3. Определить критерии для валидизации тестовых измерителей обученности.

• содержания образования и стандартов в образовании (В.И. Байденко, М.В. Кларин, В.В. Краевский, B.C. Леднев, И.Я. Лернер, М.Н. Скат-кин, B.C. Цетлин),

• качества результатов эмпирического исследования (А. Анастази, Д.

Кэмпбелл, А.С. Казарицов, Я. тер Лаак, К. Левин, А.А. Мирошниченко, Е.А. Михайлычев, А.И. Самыловский),

• педагогического контроля и квалиметрии (С.И. Архангельский, В.П. Беспалько, П.Я. Гальперин, Б.С. Гершунский, З.Д. Жуковская, В.А. Кальней, В.И. Михеев, В.П. Панасюк, М.М. Поташник, Н.А. Селезнева, А.И. Субетто, Н.Ф. Талызина, B.C. Черепанов, С.Е. Шишов),

• образовательной тестологии (B.C. Аванесов, А.Н. Майоров, Ю.М. Нейман, Б.У. Родионов, А.О. Татур, В.А.Хлебников, М.Б. Челышкова).

Ввиду того, что в педагогической тестологии пока нет однозначных трактовок ряда определений и терминов, в работе используется следующий терминологический аппарат: система валидности педагогического теста (общая валидностъ теста) понимается как комплексная характеристика, состоящая из четырех основных видов (теоретической, содержательной, эмпирической и валидности теста по форме) и двух типов (внутренняя и внешняя).

К внешнему типу валидности относится вид валидности, направленный на обеспечение экстраполяции тестовых результатов, полученных на выборке нормирования, на всю генеральную совокупность тестирующихся. Внутренняя валидностъ предназначена для обеспечения связи независимых и зависимых переменных, причины и эффекта эксперимента. Валидизация трактуется как качественная процедура определения валидности теста, основанная на методе экспертных оценок.

Теоретическая валидностъ представлена валидностъю конструкта, или конструктной валидностъю, которая задает адекватное объекту теоретическое представление предмета измерения. Содержательная валидностъ отражает адекватность соответствия содержания теста теоретическому конструкту. Подвидом содержательной валидности является внешняя куррикулярная валидностъ, отражающая степень соответствия содержания теста структурному теоретическому конструкту. Эмпирическая валидностъ направлена на эмпирическое подтверждение гипотезы исследования. К ее подвидам относятся: прогностическая, критериальная, сопоставительная, соответствия, текущая валидностъ, а также факторная и ряд других. К валидности теста по форме относится техническая, или композиционная валидностъ, предназначенная для установления соответствия структуры и формы теста принятым в тестологии нормам.

Методы исследования. Для решения поставленных в исследовании задач и проверки гипотезы была использована совокупность общенаучных и педагогических методов: теоретические (изучение и анализ философской, психолого-педагогической и методологической литературы по проблеме; системный подход, аналогия, моделирование, гипотетико-дедуктивный метод конструирования объекта измерения); эмпирические (тестирование, метод групповых экспертных оценок); математико-статистические (обработка эмпирических данных).

Этапы исследования. На первом этапе - теоретико-поисковом (1998-1999 гг.) — осуществлялся анализ в отечественной и зарубежной научной литературы, диссертационных работ по теме исследования. В результате были сформулированы проблема и гипотеза исследования, разработана программа исследования.

На втором этапе - опытно-экспериментальном (2000-2001 гг.) -конструировались и апробировались тестовые измерители обученности, проводилась разработка и корректировка процедуры определения валидности тестовых измерителей обученности.

Научная новизна исследования заключается в следующем:

- выявлено, что для латентного объекта исследования основной характеристикой качества теста является его надежность, а внешняя валид-ность носит вероятностный характер и не может ограничиваться конечным числом ее видов;

- определены специфические способы технологизации системы валидности педагогических тестов к которым относятся: 1) выбор критерия валидизации, опирающийся на содержание теста, и 2) установление внутренней валидности теста на основе межличностного соглашения экспертов.

Теоретическая значимость исследования состоит в том, что:

Практическая значимость исследования заключается:

- в разработке квалиметрической процедуры конструирования валидных тестовых измерителей обученности;

На защиту выносятся следующие положения:

2. Для открытого объекта педагогического контроля (обученно-сти) содержательная валидность теста, построенного на основе целостного теоретического конструкта предметного содержания, является внутренней валидностью, что позволяет установить соответствие тестовых результатов данному сконструированному объекту контроля.

4. Содержание теста как целостная модель контролируемого предметного содержания является внутренним критерием его валидизации и опирается на принцип межличностного соглашения экспертов- Объективность тестовых результатов достигается за счет обеспечения внутренней содержательной валидности теста и исключения субъективных факторов из процесса построения теста.

Апробация результатов исследования осуществлялась на научных конференциях и семинарах, а также в виде публикаций.

Основные положения и результаты исследования обсуждены на девятом и десятом Всероссийских симпозиумах по квалиметрии человека и образования (г. Москва, 2000-2002 гг.); Всероссийских конференциях «Развитие системы тестирования в России» (г. Москва, 1999 г., 2002 г.), 5-й Российской университетско-академической научно-практической конференции (г. Ижевск, 2001 г.), региональной научно-практической конференции «Развитие системы тестирования в Удмуртской республике» (г. Ижевск, 2001 г.) и других научно-методических конференциях. Исследование входило в план научно-исследовательских работ Уральского отделения Российской академии образования по комплексной программе «Образование в Уральском регионе: научные основы развития и инноваций» на2001-2005 гг. (раздел 2 тема № 29).

Заключение диссертации научная статья по теме "Общая педагогика, история педагогики и образования"

Выводы по третьей главе

1. Технология валидизации педагогического теста для измерения обученности, иллюстрированная на примере построения дидактичесого теста по математике для рубежного контроля, позволяет добиться внутреннего характера валидности тестового измерителя.

2. Целостный теоретический конструкт предметного содержания является необходимым условием технологичности валидизации теста.

3. Внутренний характер содержательной валидности позволяет экстраполировать тестовые результаты на большее, чем тестовое содержание.

4. Внутренний критерий валидизации, опирающийся на содержание теста, позволяет элиминировать субъективные характеристики тестирующихся из процесса создания теста и является достаточным условием технологизации процесса валидизации теста.

5. Внутренняя валидность инструмента (конструкта, содержания, критерия) обеспечивает объективность тестовых результатов в аспекте их соответствия объекту измерения - обученности, что подтверждается результатами экспериментального исследования.

ЗАКЛЮЧЕНИЕ

Основными целями введения в педагогическую практику государственных стандартов начального общего, основного общего и среднего (полного) образования являются сохранение единого образовательного пространства и повышение качества образования. Для этого необходимо организовать качественную и, прежде всего, объективную систему контроля над результатами обучения. Создание Национальной системы оценки качества образования в России включает в себя теоретическую разработку и практическое использование объективных тестовых средств контроля над результатами обученности на каждом уровне обучения. Применение тестовых технологий для оценивания уровня подготовленности выпускников общеобразовательных учебных заведений с целью аттестации выпускников в рамках Единого Государственного Экзамена и с целью отбора абитуриентов вузов в рамках Централизованного Тестирования вызывает необходимость получения объективных тестовых результатов, и в этой связи, требует повышения качества используемого тестового инструмента.

Основным критерием объективности экспериментального исследования, в том числе качества тестового измерителя, является его валидность. Категория валидности используется в эмпирическом исследовании для доказательства объективности или истинности его результатов. Она зависит от цели исследования и выбора критерия истинности. В научной литературе по тестологии существует чрезмерно большое количество различных названий видов валидности, их классификаций. В исследовании валидности возникают трудности, связанные с выбором необходимого и достаточного количества их видов в процессе валидизации.

Проведенный в первой главе анализ отечественной и зарубежной научной и методической литературы показал, что для валидизации экспериментального исследования необходимым является обеспечение шести основных видов валидности. Во-первых, валидности конструкта, обеспечивающей соответствие теоретического конструкта объекту исследования. Во-вторых, валидности содержания, отвечающей за репрезентативное представление содержанием теста теоретического конструкта. В-третьих, валидности прогноза (или критериальной валидности), эмпирически подтверждающей соответствие результатов исследования объекту или цели исследования. В-четвертых, внутренней валидности, устанавливающей каузальность связи причины и эффекта. В-пятых, внешней валидности, позволяющей экстраполировать результаты исследования на большую, чем экспериментальная группу. Наконец, в-шестых, валидности статистического вывода, отвечающую за адекватность интерпретации результатов исследования на основе применения статистических характеристик.

Без обеспечения внутренней валидности невозможно установить, объективность тестового измерения в аспекте адекватности его результатов характеристикам объекта. Первые три вида валидности выражают качество планирования эксперимента, а последние задают качество управления экспериментом. Остальные разновидности валидности, встречающиеся в литературе, сводятся к выделенным нами или являются их подвидами. Свое именование они получают в зависимости от специфичной цели исследования. Кроме того, их могут маркировать по названию количественного коэффициента корреляции. Имя может задаваться критерием, выбранным при определении степени валидности.

Валидность вывода экспериментального исследования в социальных науках всегда вероятностна, а значит, невозможно получение абсолютно валидных результатов. Вероятность обусловлена латентным характером объекта исследования, который задает невозможность контроля над всеми возможными факторами, угрожающими валидности вывода. Невозможно создать систему видов валидности латентного объекта исследования, которая была бы достаточной для получения объективных результатов в аспекте их адекватности. Прямой перенос методов валидизации, разработанных и используемых в социальных и психологических науках, без учета специфики объекта исследования в образовании при контроле над результатами обучения, приводит к появлению неограниченного количества видов валидности при установлении валидности результатов педагогического тестирования.

Педагогический тест как инструмент исследования является основой тестового измерения. Содержание теста служит образом объекта измерения. Это значит, что для установления объективности тестовых результатов он должен обладать внутренней содержательной валидностью.

Во второй главе выявлено, что возможность обеспечения внутренней валидности теста непосредственно зависит от характера измеряемого объекта. Современная педагогическая тестология в качестве объекта контроля за результатами обучения рассматривает уровень обученности учащихся, который носит латентный характер. Для реализации возможности измерения объект представляется в качестве структурного теоретического конструкта, отражающего структуру предметного содержания. Содержание теста репрезентативно представляет элементы структуры теоретического конструкта в соответствующих пропорциях. Содержательная валидность такого теста оказывается внешней из-за ограниченности длины теста и называется куррикулярной. Куррикулярная валидность является частным случаем содержательной валидности как соответствия содержания теста структурному теоретическому конструкту. Поскольку она зависит от статистических характеристик тестовых заданий, полученных на выборке стандартизации, постольку является внешней. Статистическая зависимость куррикулярной валидности позволяет экстраполировать тестовые результаты на большую, чем нормативная выборку, и не позволяет экстраполировать результаты на содержание большее, чем тестовое. Внешний характер куррикулярной валидности делает тестирование относительным. Вследствие отсутствия внутренней валидности тестовые результаты оказываются необъективными в аспекте их соответствия объекту измерения.

Для доказательства объективности результатов привлекают критериальную валидность как их соответствие внешнему заведомо валидному критерию. Проблема выбора валидного критерия для валидизации делает процесс нетехнологичным. Абсолютно валидный критерий не существует. В настоящее время в педагогической тестологии используются два относительных решения проблемы, обусловленных выбором внешнего критерия для эмпирической валидизации. Здесь используются количественные методы валидизации - вычисление различного рода коэффициентов корреляции, статистически подтверждающих наличие связи между результатами валидизируемого измерения и внешним критерием.

Если в качестве внешнего критерия выбирается внутренняя норма, а именно нормальный закон распределения статистических величин для выборки стандартизации, то тест называется нормативно-ориентированным. Он признается валидным на основе принципа функциональности и позволяет ранжировать тестирующихся по степени владения тестовым содержанием. Уровень обученности как объект исследования не может быть измерен, ввиду отсутствия внутренней валидности нормативно-ориентированого теста. Главной характеристикой качества становится точность как свобода от ошибки измерения, или надежность

НОТ. Зависимость тестовых результатов от субъективных свойств выборки стандартизации делает процесс валидизации нетехнологичным.

Если в качестве внешнего критерия выбираются иные результаты измерения того же объекта, отвечающие целям тестирования, валидность которого всегда остается непроясненной, то тест называется критериально-ориентированным. Критериальная валидность результатов тестирования понимается как их соответствие результатам другой, не более валидной оценки и в педагогических тестах является валидностью соответствия. Содержательная валидность критериально-ориентированного теста, построенного на основе структурного теоретического конструкта, носит характер внешней куррикулярной валидности теста ввиду его ограниченности. Отсутствие внутренней валидности критериально-ориентированного тестирования делает измерение относительным в аспекте относительного соответствия содержания теста измеряемой предметной области, а значит, нетехнологичным.

Латентный объект и структурный характер теоретического конструкта таких тестов позволяют проводить поэлементный контроль над измеряемым предметным содержанием, в том числе, стандартом. Необходимость контроля над целостным предметным содержанием, в том числе необходимость контроля над выполнением стандарта по предмету, приводит к наращиванию количества элементов, подвергающихся измерению. Что в свою очередь приводит к увеличению структуры изучаемого предмета, потере целостностности образования и, как следствие, к экстенсивному характеру обучения. Относительность и необъективность контроля не способствуют сохранению единого образовательного пространства на территории РФ при условии сохранения вариативности образовательных программ.

Отсутствие внутренней валидности теста со структурным конструктом и репрезентативным тестовым содержанием, зависимость результатов тестирования от субъективных свойств выборки стандартизации потребовали выявления наиболее общих признаков, характеризующих результаты обучения. В них должны отражаться целостность знания предмета, стандарта, которые не обусловлены статистическими характеристиками и структурой изложения предмета. Наиболее общим признаком обученности является знание теоретических подходов, представленных в содержании предмета, или знание содержания как целого.

В образовании при контроле над результатами обучения объектом измерения служит предметное содержание, определенное структурой предмета и ограниченное теоретическими подходами к его изложению. Изменение характера объекта контроля с латентного на определенный позволяет представить предметное содержание в виде целостного теоретического конструкта, но не структурной, а целостной модели объекта. В этом случае результат обучения - обученность, как открытый объект измерения, не требует проверки владения всеми элементами структуры предметного содержания. Достаточным для проверки обученности оказывается владение хотя бы одним теоретическим подходом. Содержательная валидность отражает характеристики объекта, т.е. является внутренней. Результаты тестирования становятся объективными в аспекте их соответствия объекту измерения - обученности.

Целостность конструкта и внутренний характер содержательной валидности позволяют в качестве критерия валидизации выбрать содержание самого теста как внутренний критерий, не зависящий от статистических характеристик тестовых заданий. Определение экспертной группой тестового содержания осуществляется в соответствии с принципом межличностного соглашения. В содержании теста сохраняется зависимость от теоретического конструкта, что наделяет тестовые результаты внутренним характером.

Результаты эксперимента по применению валидных тестов для измерения обученности учащихся, созданных с применением технологии их валидизации, подтверждают обоснованность теоретических положений об объективности тестовых результатов. В 100 % случаев результаты тестирования, полученные с помощью валидного теста, построенного в соответствии с целью измерения, подтвердили прогноз успеха на абитуриентских испытаниях при традиционном контроле тестами централизованного тестирования. Этот результат устанавливает высокую степень различительной способности тестов, построенных на основе технологичного целостного конструкта.

Возможность объективного измерения тестами, созданными на основе целостного конструкта, позволит, на наш взгляд, повысить качество обучения, не увеличивая объема структуры предмета, интенсифицировать процесс обучения, то есть перейти от знаний, умений, навыков, предъявляемых в рамках деятельностного подхода, к системным теоретическим знаниям. Возможность объективного контроля, не зависящего от статистических характеристик, создает реальные перспективы обеспечения образовательного стандарта и сохранения единого образовательного пространства страны, используя многообразие программ и методик преподавания, сложившееся к настоящему моменту.

В ходе исследования выявлен ряд проблем. На наш взгляд, нет границ применения таких тестов для целей рубежного и итогового тестирования, однако ограничены возможности их конструирования. Во-первых, не все содержательные единицы и не каждого учебного предмета поддаются построению целостного конструкта. Поскольку целью изучения отдельных дисциплин является не формирование теоретического знания, а закрепление определенных навыков, постольку в ряде случаев необходимо корректировать цели обучения. Во-вторых, соответственно новым целям необходима корректировка содержания ряда предметов, зафиксированного в стандарте. Другими словами, стандарт по предмету необходимо представить в виде целостного теоретического конструкта для интенсификации обучения. В-третьих, обеспечение интенсивности обучения и возможности контроля над теоретическим знанием, необходимо требует привлечения ученых-дидактов с целью создания новых методов и методик обучения, базирующихся на целостном конструкте предметного содержания.

Список литературы диссертации автор научной работы: кандидата педагогических наук, Караваева, Ирина Александровна, Ижевск

1. Аванесов B.C. Основы научной организации педагогического контроля в высшей школе. М.: Изд-во МИСиС, 1989. - 166 с.2 . Аванесов B.C. Форма тестовых заданий. М.: 1991.-33 с.3 . Аванесов B.C. Математические модели педагогического измерения.

2. М.: Исследовательский центр проблем качества подготовки специалистов, 1994. 25 с.4 . Аванесов B.C. Научные проблемы тестового контроля знаний. М.:

3. Анастази А. Психологическое тестирование: Книга 1. М.: Педагогика, 1982.-320 с.

4. Анастази А. Психологическое тестирование: Книга 2. М.: Педагогика, 1982. 336 с.

5. Андреев С.С., Серебрякова Л.А. Роль централизованного тестирования при региональном мониторинге качества образования // Развитие системы тестирования в России: Тез. докл. Всерос. конф. 4.1. М.: Прометей, 2000. С. 12-14.

6. Архангельский С.И. Учебный процесс в высшей школе, его закономерные основы и методы. М.: Высшая школа, 1980. 368 с.

7. Атаханов Р. Математическое мышление и методики определения уровня его развития / Под ред. В.В. Давыдова. Москва, Рига, 2000. -208 с.

8. Бабанский Ю.К. Интенсификация процесса обучения. М.: Знание, 1987.-80 с.

9. Бершадский М.Е., Гузеев В.В. Дидактические и психологические основания образовательной технологии. М.: Центр «Педагогический поиск», 2003. 256 с.

10. Гершунский Б.С. Перспективы развития теории оптимизации в педагогике // Проблемы развития и методики оптимизации педагогического процесса: Сб.науч.тр. / Редкол.: М.М.Поташник (отв.ред.) и др. М.: Изд-во АПН СССР, 1989. С.4-14.

11. Гессен С.И. Основы педагогики. Введение в прикладную философию / Отв.ред. и сост. П.В.Алексеев. М.: Изд-во «Школа-Пресс», 1995.-448 с.32 . Гласс Дж., Стенли Дж. Статистические методы в педагогике и психологии. М.: Прогресс, 1976. -495 с.

12. Грабарь М.И., Краснянская К.А. Применение математической статистики в педагогических исследованиях. Непараметрические методы. М.: Педагогика, 1997. 135 с.

13. Гузеев В.В. Планирование результатов образования и образовательная технология. М.: Народное образование, 2000. — 240 с.35 . Гуревич К.М. Профессиональная пригодность и основные свойства нервной системы. М.: Наука, 1970.

14. Давыдов В.В. Виды обобщения в обучении: Логико-психологические проблемы построения учебных предметов. М.: Педагогическое общество России, 2000. 480 с.

15. Джарол Б. Мангейм, Ричард К. Рич. Политология. Методы исследования. М.: Изд-во «Весь мир», 1999. 544 с.

16. Дьяченко В.К. Новая дидактика. М.: Народное образование, 2001. -496 с.

17. Карпенко Д.С., Карпенко О.М., Шлихунова Е.Н. Автоматизированная система мониторинга эффективности усвоения знаний и качества тестовых заданий // «Инновации в образовании», 2001.-№2. С. 69-85.

18. Каспржак А.Г., Левит М.В. Базисный учебный план и российское образование в эпоху перемен. М.: МИРОС, 1994. 144 с.52 . Качество знаний учащихся и пути его совершенствования / Под ред. М.Н.Скаткина, В.В. Краевского. М.: Педагогика, 1978. 208 с.

19. Квалиметрия человека и образования: методология и практика. Теория и практика квалиметрического маниторинга образования в России: Материалы 8-го Всероссийского Симпозиума. М.:

20. Исследовательский центр проблем качества подготовки специалистов, 1999. -Ч. 1-3.

21. Кирьяков Б.С. Педагогическая модель интеллектуального воспитания школьников. Рязань: Изд-во «Рус. слово», 2002. 208 с.58 . Китаев Н.Н. Групповые экспертные оценки. М.: Знание, 1975. 64 с.

22. Кларин М.В. Инновационные модели обучения в зарубежных педагогических поисках. М.: Арена, 1994. 222 с.

23. Кларин М.В. Инновации в обучении: метафоры и модели: Анализ зарубежного опыта. М.: Наука, 1997. 223 с.

24. Коджаспирова Г.М., Коджаспиров А.Ю. Педагогический словарь. М.: Изд-во «Академия», 2001. 176 с.

25. Краевский В.В. Методология педагогического исследования. Самара: Изд-во СамГПИ, 1994.- 165 с.

26. Краснянская К.А., Кузнецова JI.B. Оценка математической подготовки школьников по результатам международного тестирования. М.: Просвещение, 1995. 96 с.

27. Лаак Я. тер Психодиагностика: проблемы содержания и методов. М.: Издательство «Институт практической психологии», Воронеж: НПО «МОДЭК», 1996. 384 с.

28. Левин К. Разрешение социальных конфликтов. СПб.: Издательство «Речь», 2000, 408 с.

29. Левин К. Теория поля в социальных науках.: Пер. с англ. СПб.: «Сенсор», 2000. 368 с.

30. Лернер И.Я. Дидактические основы методов обучения. М.:

31. Педагогика, 1981. 185 с. 7 5 . Лернер И.Я. Качества знаний учащихся. Какими они должны быть?

32. Методы математической статистики в психологии: Методическое пособие для психологов / Сост. А.А. Абдулхаков. Ижевск: Изд-во ИУУ, 1999.-68 с.

33. Микешина J1.A. Философия познания. Полемические главы. М.: Прогресс Традиция, 2002. - 624 с.

34. Мирошниченко А.А. Информационно-семантическое структурирование учебного материала (на примере школьного курса физики): Автореф. дис . канд.пед.наук. Ижевск: Изд-во УдГУ, 1995. -22 с.

35. Мирошниченко А.А. Профессионально-ориентированные структуры учебных элементов. Глазов: Изд-во ГГПИ, 1999. 68 с.

36. Навалихина И.А. Содержательная валидность теста как основное условие объективности тестового контроля. // Развитие тестовых технологий в России: Тез. докл. Всерос. конф. М.: Центр тестирования МО РФ, 2002. С. 241-242.

37. Навалихина И.А. Соотношение внешней и внутренней валидности теста в теории IRT. // Материалы X Симпозиума Квалиметрия в образовании: методология и практика. Книга 2. М.: Исследовательский центр проблем качества подготовки специалистов, 2002. С.85-87.

38. Навалихина И.А. Об эффективности использования нормативно-ориентированных и критериально-ориентированных тестов в аспекте валидизации теста // Развитие системы тестирования в Удмуртской

39. Республике: Материалы регион, науч.-практ. конф. / Под ред. B.C. Черепанова. Ижевск: Изд-во ИжГТУ, 2001. С.68-69.

40. Овчинников В.В. Оценивание учебных достижений учащихся при проведении централизованного тестирования. М.: Центр тестирования МО РФ, 2001.-27 с.

41. Осмоловская И.М. Организация дифференцированного обучения в современной общеобразовательной школе. М.: Изд-во «Институт практической психологии»; Воронеж: Изд-во НПО «МОДЭК», 1998. -160 с.

42. Отраслевой стандарт. Педагогические тесты. Термины и определения. Москва, 2001.-23 с.

43. Оценка качества подготовки выпускников основной школы по математике / Г.В. Дорофеев, J1.B. Кузнецова, Г.М. Кузнецова и др. М.: Дрофа, 2000. 80 с.

44. Панасюк В.П. Научные основы проектирования педагогических систем внутришкольного управления качеством образовательного процесса. СПб.-М., 1997. 297 с.

45. Педагогический мониторинг качества образования / Под ред. В.И. Андреева. Казань: Изд-во КГУ, 1999. 266 с.

46. Подготовка учителя математики: Инновационные подходы / Под ред. В.Д. Шадрикова, М.: Гардарики, 2002. 383 с.

47. Поташник М.М. Качество образования: проблемы и технология управления. М.: Педагогическое общество России, 2002. 352 с.

48. Развитие системы тестирования в России: Тез. докл. I Всеросс. конф. (Москва, ноябрь 1999 г.). М.: Прометей, 1999. 4.1 - 99 е., 4.2 -120 е., Ч.З - 70 с.

49. Развитие системы тестирования в России: Тез. докл. II Всеросс. конф. (Москва, ноябрь 2000 г.). М.: Прометей, 2000. 4.1 - 78 е., 4.2 -79 е., Ч.З - 100 е., 4.4 - 108 е., 4.5 - 57 с.

50. Самыловский А.И. Тест как объективный измерительный инструмент в образовании // «Вопросы тестирования в образовании». 2001. №1. С. 10-39.132 . Саранцев Г.И. Методика обучения метематике в средней школе. М.: Просвещение, 2002. 224 с.

51. Сафонцев С.А. Критериально-ориентированное тестирование // «Педагогическая диагностика». 2002. №1. С. 77-80.

52. Семин Ю.Н. Учебные тезаурусы теоретической и прикладной механики. Ижевск: Изд-во ИжГТУ, 2001. 76 с.

53. Серебрякова Л.А. Мониторинг качества общего среднего образования в региональной системе: Автореф. дис.канд. пед. наук. Великий Новгород: НГУ, 2000. 21 с.

54. Сидоренко Е.В. Методы математической обработки в психологии. СПб.: ООО «Речь», 2000. 350 с.14 0.Сидорина Т.В. Теоретические основы экспертирования образовательных систем: Автореф. дис . д-ра пед. наук. Киров: ВГПУ, 2001.-43 с.

55. Скаткин М.Н. Проблемы современной дидактики. М.: Педагогика, 1980.-96 с.

56. Современный словарь иностранных слов: Ок. 20000 слов. М.: Рус. яз., 1992.-740 с.14 6.Сохор A.M. Логическая структура учебного материала. М.: Педагогика, 1974. 192 с.

57. Талызина Н.Ф. Теоретические основы контроля в учебном процессе. М.: Знание, 1983. 96 с.

58. Талызина Н.Ф. Управление процессом усвоения знаний (психологические основы). М.: Изд-во МГУ, 1984. 345 с.152 . Талызина Н.Ф. Педагогическая психология. М.: Издательский центр «Академия», 2001. 288 с.

59. Теоретические основы содержания общего среднего образования / Под ред. В.В. Краевского и И.Я. Лернера. М.: Педагогика, 1983. 352 с.

60. Теоретические проблемы современного школьного учебника: Сб.науч.тр. / Отв.ред. И.Я. Лернер и Н.М. Шахмаев. М.: Изд-во АПН СССР, 1989.- 172 с.

61. Требования к знаниям и умениям школьников: Дидактико-методический анализ / Под ред. А.А. Кузнецова. М.: Педагогика, 1987. 176 с.15 6. Управление качеством образования / Под ред. М.М. Поташника. М.: Педагогическое общество Росии, 2000. 448 с.

62. Холодная М.А. Психология интеллекта парадоксы исследования. Томск: Изд-во Том.ун-та. Москва: Изд-во «Барс», 1997. 392 с.

63. Цетлин B.C. О структуре учебника // Теоретические проблемы современного школьного учебника: Сб.науч.тр. / Отв. ред. И.Я. Лернер и Н.М. Шахмаев. М.: Изд-во АПН СССР, 1989. С. 22-34.

64. Челышкова М.Б. Адаптивное тестирование в образовании (теория, методология, технология). М.: Исследовательский центр проблем качества подготовки специалистов, 2001. 165 с.

65. Челышкова М.Б. Методические рекомендации по разработке педагогических тестов для комплексной оценки подготовленности студентов в вузе. М., 1995. 77 с.

66. Черепанов B.C. Теоретические основы педагогической экспертизы: Дис. .д-рапед. наук. М.: АПН СССР, 1991.-351 с.17 0. Черепанов B.C. Экспертные методы в педагогике. Пермь: Изд-во ПГПИ, 1988.-84 с.

67. Черепанов B.C. Экспертные оценки в педагогических исследованиях. М.: Педагогика, 1989. 152 с.172 . Чернова Ю.К. Квалитативные технологии обучения. Тольятти: Изд-во Фонда «Развитие через образование», 1998. 149 с.

68. Шухардина В.А. Адаптивные тесты как средство индивидуализации педагогического контроля качества знаний учащихся: Дис.канд.пед.наук. Ижевск, УдГУ, 2002. 174 с.

69. College Publishing Co, 1979. 18 8. Cronbach L.J., Meehl P.E. Construct Validity in Psychological Tests.

70. Psychological Bulletin, 52, 281-302, 1955. 18 9.Emberley P.C. The Restoration and Renewal of Core Curricula //

71. Providence. Providence, 1996. - Vol. 3, N 3. - P. 250-270. 190 . Linn R.L. Educational Measurement. (Third Edition). American Council on Education. London: MacMillan, 1989.

72. Lord F.M. Applications of Item Response Theory to Practical Testing Problems. Hillsdale, N-J: Erlbaum, 1980.

73. Lord F.M., Novick M.R. Statistical Theory of Mental Test Scores. Reading, Mass.: Addison Wesley, 1968.

74. Rasch G. Probabilistic Models for some Intelligence and Attainment Test. Copenhagen: Danish Institute for Educational Research, 1960.1. Анкета

75. Анализ качества содержания тестовых заданий Уважаемый эксперт!

76. Подготовительное отделение ИжГТУ проводит исследование по определению качества тестовых измерительных материалов по математике, предназначенных для рубежного контроля над обученностью слушателей подготовительного отделения.

77. Просим Вас оценить тестовые задания с точки зрения соответствия их содержания целостному теоретическому конструкту контролируемого раздела математики. С этой целью заполните, пожалуйста, предложенную таблицу:

78. Анализ качества содержания теста

79. Ф задание, 3 уровня сложно- от уровня технимодели- сти 3 балла. ческой сложнорующие сти)функцио- нальный подход. 1. А1 . 1. В 12 1. СПАСИБО!