Единый государственный экзамен как современная форма оценки учебных достижений

Караваева, Любовь Викторовна

Темы диссертаций по педагогике » Общая педагогика, история педагогики и образования

автореферат и диссертация по педагогике 13.00.01 для написания научной статьи или работы на тему: Единый государственный экзамен как современная форма оценки учебных достижений

Автореферат

Автор научной работы: Караваева, Любовь Викторовна
Ученая степень: кандидата педагогических наук
Место защиты: Москва
Год защиты: 2007
Специальность ВАК РФ: 13.00.01

Диссертация

Автореферат диссертации по теме "Единый государственный экзамен как современная форма оценки учебных достижений"

003054356

1вах рукописи

Караваева Любовь Викторовна

ЕДИНЫЙ ГОСУДАРСТВЕННЫЙ ЭКЗАМЕН КАК СОВРЕМЕННАЯ ФОРМА ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ

(дидактическая характеристика)

13.00.01 - общая педагогика, история педагогики и образования

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата педагогических наук

Москва 2007

003054356

Работа выполнена на кафедре педагогических измерений Исследовательского центра проблем качества подготовки специалистов Московского института стали и сплавов (технологического университета)

Научный руководитель

доктор педагогических наук, доцент Челышкова Марина Борисовна

Официальные оппоненты:

доктор педагогических наук, профессор Ефремова Надежда Федоровна

доктор педагогических наук, профессор Легостаев Иван Иванович

Новгородский государственный университет имени Ярослава Мудрого

Защита состоится 22 февраля 2007 года в 16 часов на заседании диссертационного совета К.212.075.01 при Исследовательском центре проблем качества подготовки специалистов Московского института стали и сплавов (технологического университета) по адресу: 105318, г, Москва, Измайловское шоссе, д.4.

С диссертацией можно ознакомиться в библиотеке Исследовательского центра проблем качества подготовки специалистов.

Автореферат разослан 20 января 2007 г.

Ученый секретарь диссертационного совета ^ ^¿еу^^я^ "НА Морозова

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования.

Необходимость и актуальность объективного контроля качества образования является одной из важнейших задач, зафиксированных в Федеральной целевой программе развития образования на 2006 - 2010 годы и Концепции модернизации российского образования на период до 2010 года. Формирование национальной системы обеспечения качества образования, разработка и совершенствование государственных образовательных стандартов, внедрение в учебный процесс новых образовательных технологий и другие процессы, протекающие в образовании в настоящее время, вызывают потребность в повышении точности и обоснованности оценок подготовленности обучающихся в силу того, что педагогическая оценка является не только одним из показателей качества образования, но одним из факторов, влияющих на повышение этого качества.

В связи с этим, особую важность приобретают исследования, направленные на совершенствование контрольно-оценочных процессов на основе аппарата и методов теории педагогических измерений с целью обеспечения высокой объективности данных о качестве учебных достижений, их сопоставимости в сравнительном и прогностическом анализе при проведении мониторинга и накоплении информации о качестве образования. Актуальны также исследования, нацеленные на разработку научных подходов к интерпретации результатов педагогических измерений, поскольку в период проведения эксперимента по введению единого государственного экзамена (ЕГЭ) у руководителей образовательных учреждений, органов управления образованием разных уровней, у учителей и самих учащихся сформировалась потребность в объективной информации о качестве образования.

ЕГЭ является одним из основных механизмов функционирования общероссийской системы оценки качества образования (ОСОКО), создание которой согласно решению Государственного Совета Российской Федерации в марте 2006 года входит в число ключевых направлений образовательной политики в стране. Эксперимент по введению ЕГЭ проводится в России с 2001 года в соответствии с утвержденным правительством Российской Федерации Планом действий в области социальной политики и модернизации экономики на 2000-2001 годы и соответствующими постановлениями Правительства Российской Федерации. Основной его целью является введение формы независимой оценки уровня учебных достижений обучающихся с использованием заданий стандартизированной формы (контрольные измерительные материалы), выполнение которых позволит установить уровень учебных достижений обучающихся по освоению федерального компонента государственного образовательного стандарта среднего

(полного) общего образования.

Анализ результатов эксперимента показывает, что ЕГЭ оказывает существенное влияние на систему образования, выполняя роль связующего и регулирующего звена между общеобразовательными учреждениями и профессиональными учебными заведениями, обеспечивая единство требований к качеству подготовки выпускников системы общего образования. Результаты ЕГЭ закладывают информационную базу, которая может использоваться для сравнительных оценок качества образования (на федеральном и региональном уровнях и на уровне отдельного образовательного учреждения) и прогнозирования тенденций для повышения обоснованности принятия оперативных и стратегических управленческих решений.

Эксперимент по введению ЕГЭ переходит в завершающую фазу. Правительством Российской Федерации внесен на рассмотрение Государственной Думы Федерального Собрания Российской Федерации проект федерального закона «О внесении изменений в Закон Российской Федерации "Об образовании" и Федеральный закон "О высшем и послевузовском профессиональном образовании" в части введения единого государственного экзамена», принятый Государственной Думой в первом чтении 20 октября 2006 г.

Такая постановка вопроса вызывает необходимость проведения глубокого анализа и теоретического обоснования ЕГЭ как современной формы оценки учебных достижений в условиях высокой объективности (надежности) и валидности. В частности, в развернутом научном обосновании нуждаются процедуры оценивания качества эмпирических данных (оценка надежности и валидности), шкалирования результатов, требования к инструментарию ЕГЭ (контрольным измерительным материалам), анализу и интерпретации данных ЕГЭ в режиме мониторинга для управления качеством образования. Таким образом, актуальность проведения данного диссертационного исследования обусловлена необходимостью решения современных образовательных и социальных проблем, непосредственно связанных с проведением государственной политики в области образования.

Многие аспекты оценочной деятельности уже освещены в педагогической науке -среди них: история развития педагогической оценки знаний в России и ее современное состояние (В.М Полонский, С.А.Стинова и др.); развитие оценочной деятельности учителя и учащихся в учебно-воспитательном процессе (Н.В.Селезнев и др); методика контроля готовности к профессиональной деятельности студентов средних специальных учебных заведений (Л.Г.Семушина и др.) и многие другие. Однако проблема оценки учебных достижений в форме ЕГЭ ранее не выступала в качестве специального самостоятельного

предмета исследования.

В данном исследовании ЕГЭ рассматривается как современная форма оценки учебных достижений, основанная на использовании инновационных измерителей - КИМ. В отличие от традиционных средств контроля и оценки учебных достижений КИМ разрабатываются по специальной технологии, опирающейся на теорию педагогических измерений, и отвечают научно обоснованным критериям качества, выдвигаемым теорией педагогических измерений и обеспечивающим высокую объективность и обоснованность результатов выпускников.

Таким образом, основу научных подходов к созданию КИМ и их применению в ЕГЭ закладывает теория педагогических измерений, систематические исследования в области которой ведутся В.С.Аванесовым, В.А.Болотовым, Н.Ф.Ефремовой, В И.Звонниковым, Г.С Ковалевой, В.Ж.Куклиным, В Г.Наводновым, Н.Н.Найденовой, Ю.М.Нейманом, А.О.Татуром, В.А.Хлебниковым, М.Б.Челышковой, А.Г.Шмелевым и др., а также многочисленными учеными за рубежом.

Несмотря на многолетние исследования в области педагогических измерений по направлениям, связанным с научным обоснованием подходов к созданию КИМ и использованию результатов ЕГЭ в режиме мониторинга, на сегодняшний день все еще существуют не решенные вопросы, проблемный характер которых усугубляется рядом противоречий между:

- современными подходами к трактовке качества образования и традиционными методиками разработки тестов с выбором ответов, ориентированных на приоритет проверки умений репродуктивного уровня;

- введением инновационных форм заданий в практику ЕГЭ, увеличивающих разброс результатов измерений за счет экспертных методов, и требованиями теории педагогических измерений, обуславливающими необходимость обеспечения высокой надежности измерений и максимальной стандартизации оценочных процедур;

потребностью в повышении качества процесса и результатов обучения и недостаточностью разработки научных подходов к получению объективной информации о качестве образования, отвечающей требованиям теории педагогических измерений (в т.ч. высокой надежности, валидности и сопоставимости);

- потребностью в накоплении и использовании статистической информации, полученной по данным ЕГЭ, для управления качеством образования и отсутствием

разработанных в достаточной степени методик ее сбора, обработки, шкалирования, анализа и интерпретации в условиях сопоставимости данных в рамках систем мониторинга качества образования.

Разрешение данных противоречий, заключающиеся в выявлении сущностной основы единого государственного экзамена как современной формы оценки учебных достижений и определило основную проблему настоящего исследования.

Объект исследования, оценка в системе образования.

Предмет исследования: единый государственный экзамен как современная форма оценки учебных достижений.

Цель исследования: на основе обобщения и систематизации эмпирических данных, полученных в ходе проведения ЕГЭ, теоретически обосновать ЕГЭ как современную форму итоговой оценки учебных достижений, обеспечивающую высокую надежность и валидность результатов измерения.

Гипотеза исследования единый государственный экзамен обеспечивает оценку учебных достижений выпускников с высокой надежностью и валидностью, если его научная организация строится в парадигме сочетания количественных и качественных уровней измерения; для измерений в ЕГЭ используется научно-обоснованный инструментарий, эффективные методы шкалирования и выравнивания; обработка, анализ и интерпретация результатов ЕГЭ основывается на современной методологии педагогических измерений (теории ЩТ), а получаемая информация позволяет проводить лонгитюдные исследования в режиме мониторинга.

Цель исследования и выдвинутая гипотеза определили следующие задачи исследования:

- проанализировать и обобщить основную литературу по проблеме исследования, выявить основные тенденции совершенствования оценки учебных достижений и определить место единого государственного экзамена в системе современных оценочных средств и методов, интегрирующих количественные и качественные оценки подготовленности учащихся,

- обобщить и систематизировать дидактические требования к инструментарию, процедурам шкалирования, анализа и интерпретации результатов ЕГЭ,

спроектировать модель мониторинга, обеспечивающую эффективное использование информации для управления качеством образования

Методологическую основу исследования составили:

- фундаментальные исследования по проблемам качества образования и его сущности (В.И.Байденко, В.П Беспалько, В А.Караковский, В.А.Качалова, В.С.Лазарев, О.Е.Лебедева, А.М.Моисеев, В.В.Николина, П.И.Пидкасистый, М.М.Поташник, Н.А.Селезнева, В.М.Соколов, А.И.Субетто, О.Г.Хомерики, В Д.Шадрикова, Е.А.Ямбург и

др);

- современная методология конструирования и применения тестов в образовании -Item Response Theory (В.И.Звонников, Г.С.Ковалева, В.Г.Наводнов, Н.Н.Найденова, Ю.М.Нейман, А.О.Татур, М.Б.Челышкова, А.Г.Шмелев, A.Birnbaum, R.Hambleton, J.Keeves, F.Lord, G.Rasch, D.Weiss и др.);

- научные исследования по проблемам единого государственного экзамена (В.А Болотов, Н Ф Ефремова В.И.Звонников, Г.С.Ковалева, В.Ж.Куклин, М.Б Челышкова,

A.Г.Шмелев и др.);

- исследования по проблемам оценки и контроля (В.С.Аванесов, Ю.Ф.Гущин,

B.А Кальней, Г.С.Ковалева, А.С.Королев, В.Ф.Одоевский, Н.И.Пирогов, В М.Полонский, П.Г.Редкин, К.Д.Ушинский, С Е.Шишов и др.);

- исследования в области мониторинга качества образования (Т.И.Алексеева, В.И.Андреев, В.А.Кальней, В.Ж.Куклин, А Н.Майоров, С.Е.Шишов и др.);

методологические основы управления образовательными системами (В.П Беспалько, В.Н.Бураков, ЭМ.Коротков, В.С.Лазарев, А А.Макаров, Н.Д.Малахов, Д.А.Новиков, М.В.Рыжаков, П.И.Третьяков и др.);

В соответствии с логикой диссертационного исследования для решения поставленных задач и проверки гипотезы использованы следующие методы исследования: анализ литературы, обобщение, моделирование, статистические методы анализа данных, сравнение, индукция и дедукция, научное доказательство, абстрагирование.

На защиту выносятся следующие положения:

1. Единый государственный экзамен является современной формой государственной (итоговой) аттестации, обеспечивающей высокую надежность (по Кронбаху), валидность (прогностическую и содержательную) результатов оценивания учебных достижений при выполнении требований теории педагогических измерений (репрезентативность отображения требований ГОС в содержании КИМ, высокая дифференцирующая способность заданий КИМ, адекватность трудности заданий КИМ подготовленности выборки выпускников, оптимальная длина КИМ, высокая гомогенность содержания заданий и т.д.).

2. Модель мониторинга учебных достижений, предложенная в работе, обеспечивает эффективное использование данных в управлении качеством образования, если используемые результаты педагогических измерений (единого государственного экзамена и иных оценочных процедур) удовлетворяют условиям комплексности и сопоставимости, что достигается в случае выполнения приведенных в работе дидактических и технологических требований к процедурам шкалирования и выравнивания, структурирования информации в соответствии с уровнями управления образованием, учету дополнительных факторов социально-экономического характера и стандартизации методик интерпретации полученных результатов.

Научная новизна и теоретическая значимость исследования состоит в следующем:

- показано, что оценки уровня учебных достижений выпускников в ЕГЭ могут быть интерпретированы в контексте современных дидактических требований к содержанию среднего (полного) общего образования, поскольку задания КИМ ориентированы на проверку различных уровней деятельности, в том числе, на проверку творческих умений выпускников;

- получены оценки надежности и валидности результатов ЕГЭ, установлено их соответствие требованиям теории педагогических измерений,

- показано, что оценки учебных достижений, получаемые в процессе государственной (итоговой) аттестации в форме ЕГЭ, закладывают информационную базу ОСОКО в форме образовательной статистики, отвечающей требованиям объективности, сопоставимости и прогностичности,

- предложена модель мониторинга данных ЕГЭ с учетом информационных потребностей различных уровней управления качеством образования;

- обоснована целесообразность совместного использования данных ЕГЭ и результатов, полученных при проведении иных измерительных процедур (портфолио, тестов практических умений, кейс-измерителей)

Практическая значимость исследования заключается в разработке совокупности методик для оценивания надежности и валидности данных ЕГЭ, шкалирования баллов выпускников в условиях сопоставимости данных по вариантам КИМ одного года и по годам. Разработаны практические рекомендации по анализу и интерпретации результатов ЕГЭ для работников органов управления образованием, методистов и школьных преподавателей в режиме мониторинга данных ЕГЭ.

Апробация результатов

Результаты проведенного исследования обсуждались на заседаниях кафедры

педагогических измерений Исследовательского центра и докладывались на научных

конференциях, совещаниях, семинарах и симпозиумах: межрегиональных совещаниях-семинарах по подготовке и проведению эксперимента по введению единого государственного экзамена (г.г. Краснодар, Великий Новгород, 2002 г., г.Хабаровск, 2005 г.); региональной научно-практической конференции «Единый государственный экзамен в региональной системе управления качеством образования» (г.Ростов на Дону, 2003 г.); региональных конференциях и семинарах (гт.Якутске, 2005 г., Волгограде, 2002 г.); на XI Симпозиуме «Квалиметрия в образовании: методология, методика, практика» (г.Москва, 2006 г.); Всероссийском совещании-семинаре ответственных секретарей приемных комиссий высших учебных заведений по вопросам организации приема в вузы (г.Москва, 2006 г.); на VII Региональной научно-практической конференции «Профессиональная ориентация и методики преподавания в системе школа-вуз в условиях перехода к единой форме государственной аттестации выпускников общеобразовательных учреждений» (г.Москва, 2006 г.); на II международной конференции «Оценка качества образовательных достижений в системе общего образования» (г.Москва, 2006 г.).

Основные этапы исследования

На первом этапе (2002 - 2003 гг.) проводился теоретический анализ литературы по проблемам контроля и оценивания учебных достижений, в том числе методами теории педагогических измерений, изучался отечественный опыт по созданию систем мониторинга качества образования. Этап носил аналитико-поисковый и научно-исследовательский характер, на нем осуществлялась подготовка теоретической базы исследования, формулировалась проблема, определялись цели и задачи исследовательской работы, исследовался опыт первых лет эксперимента по введению ЕГЭ для выявления возможностей использования данных ЕГЭ в управлении качеством образования, фиксировались позитивные и негативные последствия применения данных тестирования при выработке решений на различных уровнях управления образованием.

На втором этапе исследования (2004 - 2005 гг.), имеющем аналитико-синтетический характер, интегрировался и обобщался практический опыт, были получены основные теоретические результаты (с использованием системного подхода), анализировался банк эмпирических данных и данных анкетирования, проводилась разработка и апробация методик для использования данных ЕГЭ в управлении качеством образования.

На третьем этапе (2006 г) выполнялась работа по определению направлений практического использования полученных результатов, их апробации, подведению итогов исследования и их оформлению в виде диссертационной работы

Структура диссертации: Диссертация состоит из введения, двух глав,

заключения, списка литературы, приложений.

СОДЕРЖАНИЕ РАБОТЫ Во введении обоснована актуальность темы диссертации, определены предмет, объект, цели, гипотеза и задачи исследования, раскрыты теоретические и методологические основы, а также научная новизна, теоретическая и практическая значимость, указаны методы исследования, сформулированы основные положения, выносимые на защиту

В первой главе «Теоретические основы, формы и средства оценки учебных достижений в системе общего образования» дается краткий исторический обзор подходов к формированию оценочных категорий в педагогическом контроле, рассматриваются формы и средства оценки учебных достижений, педагогические условия реализации их позитивных возможностей в информационном обеспечении системы образования.

Отдельные теоретические представления об оценке сложились достаточно давно, в конце XVIII - начале XIX века. Их основа была заложена в работах педагогов того времени (В Ф.Одоевский, Н.И.Пирогов, КД.Ушинский и др.) и касалась, в основном, оценки репродуктивных знаний учащихся (по образцу, предложенному педагогом). В целом, в XVIII и XIX веках оценка чаще всего рассматривалась исключительно в контексте принуждения к обучению, с ее помощью подводился итог определенным этапам обучения и акцентировались воспитательные воздействия на учащихся.

По мере развития педагогической науки представления о ведущих функциях оценки в процессе контроля менялись, на смену приоритета принуждения стали выходить корректирующие, развивающие и мотивирующие функции оценки. Благодаря накопленному дидактическому потенциалу к концу XX века в России, как и в других странах, пришли к необходимости поиска новых форм и средств контроля, перехода от преимущественного жесткого контроля результатов обучения к изучению запросов, сил и способностей учащихся для индивидуализации программ обучения.

В целом, проблема оценки и формирования оценочных суждений рассматриваются в отечественной науке достаточно широко. Так, работы В.Л.Беспалько, М.Л Зарецкого, М.Р.Кудаева, И.Л Лернера, Е.И.Леровского, В.М.Полонского, Н М Скаткина, С.Д Некрасова и других посвящены методологическому обоснованию процесса педагогического оценивания, рассматриваемого в контексте контролирующей, обучающей, корректирующей функций оценки и в единстве с требованиями к формируемым знаниям, умениям, навыкам обучающихся. В трудах других исследователей (Ш.А.Амонашвили, В.Т.Ананьев, Н.А.Батурин, Л.И.Божович, А.В.Захарова, А.И.Липкина, Л.И.Мнацаканян, В.А КанКалик, С Д. Некрасов, Л.А.Рыбак и др.) на первый план выходят психологические аспекты оценки, ее ориентирующая, развивающая, управляющая и воспитывающая функции, сущность оценки, структура и механизмы оценочных актов.

В современной трактовке оценка как процесс (оценивание), который реализуется в ходе контроля знаний, представляет собой измерение и определение степени выраженности выделенных желаемых признаков в принятой шкале - количественной или качественной. В зависимости от выбора шкалы различают оценки в виде оценочных суждений, которые качественно характеризуют состояние успеваемости, и оценки в виде отметки (для которых чаще всего используются числовые или символьные последовательности). В соответствии с современной трактовкой оценивание, как правило, рассматривается в мировой и отечественной науке более широко, в сочетании с общими проблемами управления качеством образования и модернизации его содержания. Во многих работах (С.И.Архангельский, В.Л.Беспалько, Т.А.Ильина, В.Г.Казанович, Б.К.Коломиец, Л В.Макарова, А.Т.Молибог, Н.М.Розенберг, Н.А.Селезнева, В.Л.Симонов, А.И.Субетто, Н.Ф.Талызина, Ю.Г.Татур и др.) определены количественные и качественные аспекты оценки, информационно-статистические методы измерения, надежность и эффективность различных видов проверочных заданий, описаны тестовые системы контроля знаний, рассмотрено использование индивидуального рейтинга, обоснованы методологические основы педагогической квалиметрии.

В конце XIX в. (1891 г.) специально образованной комиссией Министерства народного просвещения была узаконена 5-балльная система оценки. Она господствовала в российской системе образования и в XX в., не считая периода ее отмены в 1918 - 1935 гт. Эта система оценки использовалась в России на фоне общего недовольства ею, выразившегося в регулярно возобновляющихся дискуссиях педагогической общественности по поводу ее целесообразности и достаточности (70 - 80-е гг. XIX в., 20 - 30-е гг. XX в., конец 50-х - 80-е гт. XX в).

В целом динамика развития педагогической оценки знаний обучающихся в России определяется: а) постоянным последовательным увеличением количества делений шкалы оценки от четырех до девяти (период с XVIII до XX в); 6) последовательным применением в образовании России четырех шкал (в XVIII), восьми шкал с сохранением 12-балльной шкалы (в XIX в.), девяти шкал для оценки знаний обучающихся с возвращением к 10- и 12-балльным шкалам первого периода (в XX в.), в) фиксацией как единственной официально принятой с конца XIX в (1891 - 1918 гг) и затем, повторно, с 1935 г. до сих пор - 5-балльной шкалы, г) постоянным эмпирическим поиском шкал оценки знаний, альтернативных действующей 5-балльной.

С 2001 года в соответствии с постановлениями Правительства Российской Федерации от 16.02.2001 № 119 «Об организации эксперимента по введению единого государственного экзамена», от 05.04.2002 № 222 «Об участии образовательных

учреждений среднего профессионального в эксперимента по введению единого государственного экзамена» на основании Положения о проведении единого государственного экзамена (приказ Минобразования России от 09 04.2002 №1306, зарегистрирован Минюстом России 08 05.2002 № 3420) проводится эксперимент по введению ЕГЭ. В 2001 году в эксперименте участвовали только 30 тысяч выпускников из 4 субъектов Российской Федерации, а в 2006 году единый государственный экзамен сдавали уже более 900 000 выпускников из 79 регионов.

При подготовке к проведению эксперимента по введению ЕГЭ учитывался опыт по организации совмещенных экзаменов и проведению централизованного тестирования в Российской Федерации, а также опыт других стран (США, Англии, Нидерландов), которые давно используют в разных формах систему национальных единых экзаменов.

На основе результатов ЕГЭ осуществляются государственная (итоговая) аттестация выпускников общеобразовательных учреждений и вступительные испытания в учреждения среднего и высшего профессионального образования. В отличие от традиционной формы выпускных экзаменов ЕГЭ организуется по единым общероссийским экзаменационным работам (контрольным измерительным материалам), а не по материалам самого образовательного учреждения, по единой процедуре проведения и обработки результатов ЕГЭ на федеральном уровне без непосредственного участия тех, кто обучал или будет обучать, проводится единой региональной государственной экзаменационной комиссией.

Контрольные измерительные материалы призваны вьивить и объективизировать интеллектуальные способности и учебные достижения учеников, а теория педагогических измерений позволяет измерять эти качества в специально сконструированных численных значениях, которые могут быть сопоставлены между собой с помощью уровневой шкалы учебных достижений.

Измерительный инструмент включает эталонную единицу измерения, измерительное устройство, роль которого при педагогических измерениях в большинстве случаев отводится тесту и шкалу, которая служит для фиксации результатов измерения и на которой откладываются оценки измеряемой переменной.

Таким образом, суть процедуры измерения состоит в переходе от непосредственных результатов измерения к оценкам на выбранной шкале. Подобная процедура позволяет уйти от объектов измерения и сосредоточить внимание на измеряемых характеристиках. В зависимости от количества измеряемых переменных можно говорить об одномерных (одна переменная) или многомерных (более одной переменной) измерениях. Соответ-

ственно, по результатам измерения строится одна шкала или несколько шкал, число которых в последнем случае равно числу переменных измерения

Под КИМ ЕГЭ понимается система материалов, включающая следующие элементы: кодификатор, спецификацию экзаменационной работы, демонстрационную версию экзаменационной работы, экзаменационную работу с инструкцией для учащихся (в определенном количестве вариантов), ключи (правильные ответы на задания части А и В), рекомендации по проверке и оценке заданий части С.

При создании КИМ была сделана попытка реализовать современные подходы к объективной оценке подготовки учащихся с учетом традиций российской школы. Объективность оценок учащихся за выполнение экзаменационной работы обеспечивалась, прежде всего, соблюдением единых условий проведения экзамена и единых процедур проверки выполнения экзаменационных работ, а также соответствием содержания экзаменационной работы обязательному минимуму содержания общего образования и примерным программам вступительных экзаменов в высшие учебные заведения. При этом использовалась новая структура экзаменационной работы, включающей использование различных, в том числе и новых для выпускных экзаменов, типов заданий.

Экзаменационные материалы по каждому общеобразовательному предмету, кроме иностранных языков, состоят из трех частей, включающих задания различного типа и разной сложности: в части А используются задания с выбором одного ответа из четырех предложенных вариантов, в части В - задания с кратким свободным ответом (слова или числа), в части С - задания с развернутым свободным ответом (включающим словесное обоснование или сочинение-рассуждение, решение задач или доказательства и т.п.) По иностранным языкам контрольные измерительные материалы состоят из 5 частей: четырех письменных («Аудирование», «Чтение», «Лексика и грамматика», «Письмо») и одной устной («Говорение»), В первых трех разделах «Аудирование», «Чтение», «Лексика и грамматика» используются задания с выбором ответа и задания с кратким ответом, в разделе «Письмо» - задания с развернутым письменным ответом и в разделе «Говорение» - задания с развернутым устным ответом.

Проверка частей А и В осуществляется на федеральном уровне, а части С -региональными предметными комиссиями с дальнейшей обработкой в Федеральном центре тестирования. Оценка выполнения экзаменационной работы осуществляется на основе первичных баллов, полученных экзаменуемыми за выполнение заданий из всех частей работы. Для получения оценки «3» достаточно набрать определенное число баллов за выполнение заданий базового уровня или других заданий из всей работы. Для получения оценки «5» необходимо выполнить правильно задания из всех трех частей,

среди которых должно было быть хотя бы одно задание из части С.

Экзаменационные работы в рамках ЕГЭ оцениваются баллами (по стобалльной системе) и отметками (по пятибалльной системе) Установление соответствия школьных отметок и тестовых баллов осуществляется ежегодно Рособрнадзором на основе анализа статистических данных по итогам сдачи ЕГЭ по каждому общеобразовательному предмету в условиях сопоставимости.

Особое внимание при подготовке к проведению эксперимента по введению ЕГЭ уделялось валидности экзаменационных работ, их соответствию целям, специфике и объему содержания отдельных учебных предметов. Согласно теории педагогических измерений валидность рассматривается как характеристика адекватности результатов измерения поставленной цели. Валидность зависит от качества заданий; их числа; степени полноты и глубины охвата содержания учебной дисциплины в заданиях теста; баланса и распределения заданий по трудности; метода отбора заданий из общего банка, интерпретации результатов тестирования; организации сбора данных, подбора выборочной совокупности испытуемых.

Оценивание валидности всегда проводится путем соотнесения характеристик результатов измерения с внешними критериями. В качестве таких критериев могут выступать оценки экспертов при анализе содержания теста и его адекватности целям измерения (содержательная валидность), результатов по другим тестам (конструктная валидность), успешности дальнейшего обучения (прогностическая валидность). Высокая корреляция между анализируемыми результатами испытуемых и внешними критериями подтверждает высокую валидность теста.

При разработке педагогических тестов, конечно, на первом плане находится содержательная валидность, которая определяется как характеристика репрезентативности содержания теста по отношению к запланированным для проверки знаниям и умениям. Содержательная валидность работы определяется соответствием содержания заданий обязательному минимуму среднего (полного) общего образования, что обеспечивается проведением экспертизы и следованием кодификатору, а также использованием банков заданий, разработанных Федеральным институтом педагогических измерений и Федеральным центром тестирования.

Надежность экзаменационной работы в целом обеспечивалась надежностью каждого включенного в нее проверочного задания и подтверждалась достаточной стабильностью данных, которые получены при использовании этих заданий в ходе различных проверок подготовки учащихся. Для повышения надежности измерений обеспечивались высокий уровень стандартизации процедуры тестирования, четкость

выполнения инструкций, соблюдение режима информационной безопасности (создание подходящей окружающей обстановки, соблюдение дисциплины и предотвращения списывания в процессе выполнения заданий).

Приемлемые оценки надежности варьируют в довольно небольшом диапазоне и зависят от целей использования результатов измерений. Для управления качеством усвоения новых знаний в текущем учебном процессе вполне достаточно, чтоб оценки надежности колебались на уровне 0,7. При использовании тестов в рубежной или итоговой аттестации учащихся, проводимой силами школы, желательно, чтобы оценки надежности были выше и достигали, хотя бы, 0,8. Если тест разрабатывают профессионалы для внешних оценок в регионе или, например, в ЕГЭ, то к нему предъявляют более жесткие требования и значения коэффициента надежности должны превышать 0,8. Как правило, в тестологической практике надежность стандартизированных тестов в центрах тестирования колеблется в интервале (0,8; 0,9). В

целом, на надежность теста влияют многочисленные факторы, к которым, в первую очередь, относится качество средств измерения, процедур сбора эмпирических данных и репрезентативность выборок испытуемых, использованных для оценивания надежности

В частности, при анализе данных ЕГЭ в 2005 году проводились исследования факторов, влияющих на надежность измерений в ЕГЭ и рассматриваемых в контексте размерности КИМ, их длины и качества заданий. При статистическом анализе результатов ЕГЭ для выявления размерности пространства измерений и оценивании надежности приходится сталкиваться с проблемой репрезентативности Поскольку математика - один из обязательных предметов для государственной (итоговой) аттестации, то по ней можно построить квазипредставительную выборку выпускников школ России. В частности, анализ и стратификация данных генеральной совокупности участников ЕГЭ 2005 году по математике показал, что эта выборка включает выпускников пяти регионов из двух разных федеральных округов, выполнявших 12 вариантов экзаменационных заданий. Результаты выпускников из представительной выборки были подвергнуты процедуре анализа для выявления размерности пространства измерений по отдельным частям КИМ (А, В, С) и в целом. Данные анализа оказались схожими по всем 12 вариантам. Коэффициент надежности 13 заданий части А, оцененный по методу Кронбаха, оказался достаточно большим, близким к 0,8 (ОС = 0,7728), что говорит о высокой устойчивости шкалы, построенной по 12 заданиям КИМ.

Для проведения ЕГЭ в 2006 году было разработано 461 оригинальных вариантов КИМ по 11 предметам. Данные о контрольных измерительных материалах для ЕГЭ 2006 года представлены в таблицах 1 и 2.

Таблица 1

Информация о контрольных измерительных материалах для ЕГЭ 2006 года

№ п/п Предмет Время (мин) Общее число заданий Число заданий с выбором ответа (Л) Число заданий с кратким ответом (В) Число заданий с развернутым ответом (С) Макс первич балл Число оригинальных вариантов КИМ 2006 г

1 Математика 240 26 10 И 5 37 84

2 Русский язык 180 40 31 8 1 60 69

3 Физика 210 40 30 4 6 52 50

4 Химия 180 45 30 10 5 67 33

5 Биология 280 50 36 8 6 69 36

6 География 180 50 31 12 7 60 30

7 Обществознание 180 44 30 6 8 62 33

8 История 180 50 33 10 7 69 36

9 Литература 240 31 15 12 4 51 26

10 Информатика 240 32 20 8 4 40 15

11 Английский язык 170 48 28 16 4 100 19

12 Французский яз. 170 48 28 16 4 100 15

13 Немецкий язык 165 48 28 16 4 100 15

Таблица 2

Данные о качестве контрольных измерительных материалов для ЕГЭ 2006 года

№ п/п Предмет Средняя надежность теста' Средняя дифференцирующая способность заданий (в %У

с выбором ответа (А) с кратким ответом (В) с развернутым ответом (С)

1 Математика 0,9 51 55 25

2 Русский язык 0,92 38 46 44

3 Физика 0,89 42 43 34

4 Химия 0,93 48 58 60

5 Биология 0,91 40 44 42

6 География 0,91 44 50 42

7 Обществознание 0,87 37 36 41

8 История 0,92 42 54 45

9 Литература 0,85 30 54 55

10 Английский язык 0,85 34 41 46

И Информатика 0,89 42 47 59

- Надежность теста вычисляется по формуле коэффициента альфа (СгопЬасЬ) 2 - Дифференцирующая способность (индекс дискриминативности) рассчитывалась как разность двух значений трудности задания для сильной группы тестируемых, составляющих 27% от общего числа тестируемых, и трудности задания для слабой группы тестируемых (также 27%).

Средняя надежность (коэффициент ОО контрольных измерительных материалов 2006 года по всем предметам находится в пределах от 0,85 до 0,93. Средняя дифференцирующая способность заданий по всем предметам кроме математики колеблется от 30 до 60% (25-57% в 2005 году). Причем для заданий с выбором ответа она составляет 30-51% (25-51%), для заданий с кратким ответом - 36-58% (31-55%) и для заданий с развернутым ответом - 25-60% (21-57%).

Таблица 1.3

Соответствие результатов единого государственного экзамена, представленных в различных системах оценивания (в баллах по стобалльной шкале и отметках по пятибалльной шкале)

Отметки по пятибалльной шкале Число

№ Предмет 2 3 4 5 учащихся, набравших 100 баллов Средний балл

п/п Интервал стобалльной шкалы и процент учащихся, набравших соответствующие баллы

1 Русский ЯЗЫК 0-30 (7,9%) 31-49 (42,5%) 50-66 (37,3%) 67-100 (12,3%) 238 50

2 Математика 0-37(19,8%) 38-53 (39,5%) 54-71 (33,6%) 72-100(7,1%) 108 49

3 Физика 0-34 (16%) 35-51 (41,4%) 52-69 (31,1%) 70-100(11,5%) 33 50

4 Химия 0-30(15,1%) 31-49 (36,5%) 50-66 (30,5%) 67-100 (17,9%) 39 49

5 Биология 0-31 (8%) 32-49 (46,6%) 50-66 (33,5%) 67-100(11,9%) 7 49

6 История России 0-32 (13%) 33-49 (40,5%) 50-65 (31,4%) 66-100(15,1%) 22 49

7 География 0-35(15,9%) 36-51 (40,7%) 52-67 (32,3%) 68-100(11,1%) 4 49

8 Английский 0-30 (9,4%) 31-58 (26,1%) 59-83 (48,4%) 84-100(16,1%) 0 62

9 Обществознани 0-33 (8%) 34-47 (33,3%) 48-60 (37,9%) 61-100 (20,8%) 3 50

10 Литература 0-36(17,9%) 37-51(38,6%) 52-66 (32%) 67-100(11,5%) 10 50

В таблице 1.3 представлены результаты единого государственного экзамена в мае-июне 2006 года в различных системах оценивания.

Как видно из таблицы, общеобразовательная подготовка выпускников средней школы по разным предметам существенно отличается. Процент выпускников, получивших те или иные отметки по пятибалльной шкале, определяется многими факторами (соотношением первичных и тестовых баллов, полученных при обработке результатов всей совокупности испытуемых, сдававших экзамен; особенностями контрольных измерительных материалов, требованиями к обязательному уровню подготовки выпускников по данному предмету, особенностями контингента испытуемых, которые сдавали экзамен, сложившейся практикой обучения в школе и др.). Все эти факторы необходимо учитывать при интерпретации результатов экзамена, особенно при сравнении результатов по отдельным предметам или годам.

Проведенный анализ позволяет сделать вывод, что контрольные измерительные материалы, применяемые при проведении ЕГЭ, могут служить инструментом объективной оценки учебных достижений, если для достижения высокой надежности и валидности измерений, будут выполнены необходимые требования к структуре и содержанию КИМ; характеристикам заданий; выборке апробации; статистическим характеристикам результатов ЕГЭ, необходимым для использования теории 1Н.Т при выравнивании и шкалировании результатов выпускников; сопроводительным материалам экзаменационной работы; системе оценивания, процедуре проверки заданий с открытыми ответами, подготовке экспертов и обеспечению согласованности экспертных оценок.

Несмотря на свои большие возможности в обеспечении объективных и

сопоставимых оценок уровня обученности выпускников школ, ЕГЭ не дает полной информации о качестве образования, достаточной для принятия обоснованных управленческих решений, прежде всего потому, что качество образования предполагает лонгитюдное интегральное оценивание учебных достижений обучающихся, и показателей самого образовательного процесса. В этой связи, в настоящий момент особую актуальность приобретает задача создания системы мониторинга, предназначенной для проведения комплексных исследований качества российского образования и обеспечивающей полноту информации.

Во второй главе «Результаты единого государственного экзамена как информационная основа системы общего образования» дается обоснование выбора модели мониторинга результатов ЕГЭ, проводится сравнительный анализ проблем информационного обеспечения системы общего образования для оптимизации модели мониторинга результатов ЕГЭ, формулируются дидактические и технологические требования к реализации выбранной модели на федеральном и региональном уровнях.

К числу ожидаемых результатов введения ЕГЭ относится возможность формирования информационной базы системы мониторинга уровня обученности учащихся, что, в перспективе, позволит объективно оценивать различные тенденции в системе образования, различные методики и технологии, и, в конечном итоге, создать механизм повышения качества общего образования.

В общем случае мониторинг в образовании можно определить как систему постоянного сбора, обработки, анализа данных и их интерпретации с целью обеспечения общества и системы образования достоверной, достаточно полной, дифференцированной по уровням использования и значимой информацией о соответствии процессов и результатов образования нормативным требованиям, происходящих переменах в образовании и прогнозируемых тенденциях.

Другими словами можно сказать, что мониторинг - это стандартизированное наблюдение за образовательным процессом и его результатами, позволяющее создавать историю состояния объекта во времени, количественно оценивать изменение субъектов обучения и состояния образовательной системы, определять и прогнозировать направления их развития.

• В структуру элементов мониторинга в образовании можно отнести: объекты и субъекты мониторинга, комплекс показателей мониторинга, инструментарий мониторинговых обследований, системы накопления информации, процедуры анализа и переработки информации, методы педагогической интерпретации и форматы предъявления результатов, базы данных, программно-инструментальные средства

обработки данных, методики анализа данных, осуществления прогнозов дальнейшего развития образовательной системы и входящих в нее элементов

Объектом мониторинга в образовании является образовательная система и отдельные ее элементы. В связи с тем, что для разного уровней управления образованием, объектом мониторинга могут быть образовательные системы разного уровня, в работе рассматриваются основные уровни управления образованием, связанные определенной иерархией и информационными потоками: федеральный, региональный, муниципальный и школьный:

на федеральном уровне принимаются стратегические решения в области образования, определяются пути реализации основных направлений образовательной политики в соответствии с потребностями личности, общества и государства. В связи с этим на федеральном уровне важность представляет обобщенная информация о качестве образования в стране и факторах, существенно влияющих на результаты обучения.

для муниципального уровня управления качеством образования, с учетом временного фактора, важно отследить динамику среднего балла по районам и по различным предметам, проанализировать влияние социально-экономических факторов на эффективность работы школ, провести их рейтинг и др ,

для школьного уровня управления по результатам мониторинга может быть получена информация для сравнительного анализа тематической структуры усвоения содержания учебной дисциплины отдельными учащимися, на уровне класса или всей школы. Для различных групп учащихся может быть проведено сравнение результатов со средними по школе или по району, установлена степень затруднений или успешности обучения отдельных учащихся или целых классов, выявлены слабо усвоенные разделы предметов и причины таких отставаний в усвоении и т.д.

на региональном уровне управления образованием требования к качеству представляемых данных и к их сопоставимости намного выше, чем на школьном уровне, поскольку на основе данных мониторинга принимаются серьезные управленческие решения В этой связи, обязательно выполнение требований комплексности, системности подходов к представлению данных мониторинга, их высокой сопоставимости, надежности и валидности. Очень важное требование, выполнение которого необходимо при представлении результатов мониторинга, связано с обязательным учетом социальных, демографических и экономических факторов при принятии управленческих решений на основе анализа и интерпретации данных

Одной из задач при выполнении диссертационного исследования было введение ряда направлений сбора и анализа данных, не охваченных ранее и расширяющих

информационные возможности мониторинга для более полного учета влияния ЕГЭ на систему образования и прогнозирования возможных последствий введения ЕГЭ.

Поскольку единоразовый сбор данных о качестве учебных достижений (даже если он ежегодно проводится в форме ЕГЭ по всей России) не может обеспечить систему мониторинга достаточно обоснованной информацией, необходимой для принятия эффективных управленческих решений в образовании, дается обоснование необходимости принятия модели мониторинга, предполагающей систематическое участия регионов России в лонгитюдных исследованиях.

Любая модель мониторинга основана на оценивании данных по совокупности показателей, определяющих направления сбора информации В работе приоритет отдается измеряемым показателям, а само оценивание рассматривается в контексте теории педагогических измерений, которые понимаются в широком смысле, предполагающем построение по результатам измерений и качественных, и количественных шкал. Повышению точности измерений и обоснованности оценочных суждений в мониторинге способствуют классические концепции надежности и валидности, а также ряд недавних усовершенствований в разработке инструментария для сбора данных, в формировании выборочной совокупности испытуемых для проведения мониторинга, в статистических методах, позволяющих корректировать данные с учетом дополнительных факторов и снижать ошибки измерения.

Для проведения мониторинга результатов ЕГЭ была выбрана модель "вход -процесс - выход", которая включает информацию относительно процессов, протекающих в школе при обучении и воспитании учащихся, учитывает многоуровневую структуру системы обучения и отделяет характеристики школьных процессов от факторов, которые лежат за пределами влияния школы. Подобное разделение важно для статистического анализа при мониторинге.

Информация об условиях образовательного процесса, основанная на сочетании количественных и качественных оценок, должна дополнять характеристики входа и выхода для принятия более обоснованных управленческих решений о качестве образования, своевременной коррекции процесса обучения и проведения сравнительных исследований в образовании. Кроме этого, к необходимым условиям, регламентирующим общую направленность результатов исследования, следует отнести ориентацию на теоретически обоснованные методы шкалирования и выравнивания, обеспечивающие сопоставимость данных при интерпретации результатов измерений.

Разработка научно-методических подходов к шкалированию результатов ЕГЭ с выравниванием по годам является первоочередной для сегодняшнего дня, так как

накоплен обширный статистический материал по годам проведения эксперимента по введению ЕГЭ. Использование современных методов шкалирования сопоставимых данных позволит усовершенствовать не только процедуры шкалирования и выравнивания, но и повысить надежность КИМ за счет более качественной калибровки заданий предыдущих лет.

Одна из основных целей ЕГЭ - обеспечить государственную (итоговую) аттестацию - диктует выбор логики проверки экзаменационных заданий, а именно, проверку усвоения базовых предметных знаний и умений, используя для этого соответствующие типовые задания Вторая основная цель ЕГЭ - дифференциация учащихся по уровню подготовки - диктует необходимость включения заданий, повышенной и высокой сложности, требующие более полного, глубокого и прочного усвоения изученного в школе предметного материала в условиях его использования в новой для учащихся ситуации.

Особенности содержания КИМ обеспечивают достаточные возможности выделить тех учащихся, которые обладают прочной и глубокой предметной подготовкой. В то же время явно мало возможностей выделить тех учащихся, у которых достаточно высокий умственный потенциал и явные способности, например, к математике, но по тем или иным причинам недостаточная предметная подготовка. Опыт показывает, что весьма нередко при обучении в вузе такие выпускники показывают весьма высокие результаты, добирая постепенно то, что не получили в школе. Опыт российской и зарубежной школы убедительно показывает, что в рамках системы массового контроля (в том числе и в форме ЕГЭ) не может одновременно решаться указанная выше проблема. В той или иной степени она решается через олимпиады, результаты которых дают определенные преимущества при поступлении в вузы учащимся, занявшим призовые места. Следует также упомянуть зарубежный опыт использования специальных тестов (например, SAT в США) для оценки интеллектуальных возможностей (интеллектуального развития) школьников, которые могут служить, наряду с олимпиадами, эффективным средством решения поставленной проблемы.

В целом, всесторонний и объективный мониторинг качества обучения, открывающий новые возможности для государственной (итоговой) аттестации и связанного с ней определения уровня достижения выпускников требований ГОС может бьггь обеспечен совместным использованием результатов ЕГЭ и результатов, полученных при проведении иных измерительных процедур (тестов практических умений, кейс-измерителей и тп.). Результаты, полученные учащимися при использовании подобных дополнительных средств для оценки их подготовки и развития, могут сформировать

содержание «портфолио», расширяющего границы обоснованности принимаемых решений за счет учета достижений обучаемого в течение определенного промежутка времени.

Естественно, что введение ЕГЭ, как и любое другое нововведение, имеет и положительные, и отрицательные стороны. Именно эксперимент должен дать основания для выбора такой модели единого государственного экзамена, при которой положительные моменты были бы максимально использованы, а отрицательные последствия сведены к минимуму. Многое будет зависеть от качества проведения эксперимента, полноты и объективности анализа его результатов (В.Ж.Куклин).

Система мониторинга, формирующаяся в процессе проведения эксперимента, должна стать основой системы постоянного и регулярного обеспечения заинтересованных лиц информацией, необходимой для отслеживания состояния и принятия необходимых решений по обеспечению деятельности всех участников образовательного процесса.

В диссертации представлены различные возможности сочетания показателей при использовании результатов единого государственного экзамена при анализе полученных данных в различных формах с использованием графиков и таблиц, гистограмм, радиальных диаграмм и др., и их интерпретации для принятия управленческих решений. Для оценки учебных достижений школьников были использованы данные единого государственного экзамена.

В Заключении констатируется справедливость выдвинутой гипотезы исследования, что единый государственный экзамен может выступить в качестве основной формы итоговой оценки учебных достижений, обеспечивающей высокую надежность и валидность результатов измерения и будет объективной формой оценки учебных достижений при выполнении сформулированных в работе условий и обосновывается достижение поставленной цели исследования.

Основные положения диссертации нашли отражения в следующих публикациях:

1. Караваева Л.В. Мониторинг результатов единого государственного экзамена как информационная основа системы управления качеством общего образования. Журнал «Высшее образование сегодня»- М.:«Логос». 2006. - С. 15-17.

2. Караваева Л.В Использование результатов единого государственного экзамена в управлении качеством образования. Материалы XI Симпозиума «Квалиметрия в образовании: методология, методика, практика» : системы оценки и мониторинга качества образования. Сборник статей. -М.: Исследовательский центр проблем качества подготовки специалистов. 2006. - С.3-5.

3. Караваева Л.В. Особенности участия образовательных учреждений высшего профессионального образования в эксперименте по введению единого государственного экзамена в 2006 году. Сборник статей и докладов. -М.: ГОУ ВПО «Московский государственный институт радиотехники, электроники и автоматики (технический университет). 2006. - С.45-48.

4. Караваева Л.В. Анализ качества образования на основе данных единого государственного экзамена. Материалы Ш международной конференции «Оценка качества образовательных достижений в системе общего образования». Сборник статей и докладов. -М.: Федеральный институт педагогических измерений. 2006. - С.12-14.

5. Караваева Л.В. Организационно-методическое обеспечение адаптации системы начального профессионального образования к введению в ЕГЭ. Рекомендации,-М." Издательский центр АЛО. 2003. - 75 с. (В соавторстве с Рыковой Е.А., Березиной Л.Ю.. авт.вклад - 30 %).

6. Караваева Л.В. О влиянии довузовского образования на профессиональную ориентацию молодежи. Материалы региональной конференции «Непрерывное образование». Сборник статей и докладов. -Ижевск.: 1999. - С.12-14.

подписано в печать 16.01.2007

Бумага офисная. Формат 60x84/16. Гарнитура Тайме.

Усл.печ.л. 1,39. Тираж 100 экз. Заказ № ууу .

Издательство: Исследовательский центр проблем качества подготовки специалистов, 105318, Москва, Измайловское шоссе, 4. Тел. (495) 369-42-83, Е-таП:гс@гс.ес1и.ги

Содержание диссертации автор научной статьи: кандидата педагогических наук, Караваева, Любовь Викторовна, 2007 год

ВВЕДЕНИЕ

Глава I. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ, ФОРМЫ И СРЕДСТВА ОЦЕНКИ 12 УЧЕБНЫХ ДОСТИЖЕНИЙ В СИСТЕМЕ ОБЩЕГО ОБРАЗОВАНИЯ

1.1. Краткая истории развития оценки в России

1.2. Теория педагогических измерений как научный базис оценочных 18 процессов в образовании

1.3. Оценка (оценивание), её функции в системе общего образования. 23 Единый государственный экзамен как форма оценки учебных достижении.

1.4. Инновационные формы и средства оценки учебных достижений, 32 требования к качеству контрольных измерительных материалов

1.5. Надежность педагогических измерений, её связь с объективностью

1.6. Валидность педагогических измерений, её виды 45 Выводы по I главе

Глава И. РЕЗУЛЬТАТЫ ЕДИНОГО ГОСУДАРСТВЕННОГО ЭКЗАМЕНА 50 КАК ИНФОРМАЦИОННАЯ ОСНОВА СИСТЕМЫ ОБЩЕГО ОБРАЗОВАНИЯ

2.1. Модель мониторинга ЕГЭ, дидактические и технологические 50 требования к ее реализации

2.2. Роль мониторинга ЕГЭ в управлении качеством общего образовании 67 на региональном и федеральном уровнях

2.3. Методики оценивания надежности и валидности результатов ЕГЭ

2.4. Методики шкалирования и выравнивания данных ЕГЭ в условиях 99 сопоставимости по вариантам и по годам

2.5. Анализ и интерпретация данных ЕГЭ в управлении качеством 96 образования

Выводы по II главе

Введение диссертации по педагогике, на тему "Единый государственный экзамен как современная форма оценки учебных достижений"

Актуальность исследования.

Многие аспекты оценочной деятельности уже освещены в педагогической науке - среди них: история развития педагогической оценки знаний в России и ее современное состояние (В.М.Полонский, С.А.Стинова и др.); развитие оценочной деятельности учителя и учащихся в учебно-воспитательном процессе (Н.В.Селезнев и др.); методика контроля готовности к профессиональной деятельности студентов средних специальных учебных заведений (Л.Г.Семушина и др.) и многие другие. Однако проблема оценки учебных достижений в форме ЕГЭ ранее не выступала в качестве специального самостоятельного предмета исследования.

Таким образом, основу научных подходов к созданию КИМ и их применению в ЕГЭ закладывает теория педагогических измерений, систематические исследования в области которой ведутся В.С.Аванесовым, В.А.Болотовым, Н.Ф.Ефремовой, В.И.Звонниковым, Г.С.Ковалевой, В.Ж.Куклиным, В.Г.Наводновым, Н.Н.Найденовой, Ю.М.Нейманом, А.О.Татуром, В.А.Хлебниковым, М.Б.Челышковой, А.Г.Шмелевым и др., а также многочисленными учеными за рубежом.

- расширением масштабов использования научно-обоснованных методов педагогического измерения в ЕГЭ и преобладанием практики традиционного субъективного контроля в школах; современными подходами к трактовке качества образования и традиционными методиками разработки тестов с выбором ответов, ориентированных на приоритет проверки умений репродуктивного уровня;

- потребностью в повышении качества процесса и результатов обучения и недостаточностью разработки научных подходов к получению объективной информации о качестве образования, отвечающей требованиям теории педагогических измерений (в т.ч. высокой надежности, валидности и сопоставимости);

- потребностью в накоплении и использовании статистической информации, полученной по данным ЕГЭ, для управления качеством образования и отсутствием разработанных в достаточной степени методик её сбора, обработки, шкалирования, анализа и интерпретации в условиях сопоставимости данных в рамках систем мониторинга качества образования.

Объект исследования: оценка в системе образования.

Предмет исследования: единый государственный экзамен как современная форма оценки учебных достижений.

Цель исследования: на основе обобщения и систематизации эмпирических данных, полученных в ходе проведения ЕГЭ, теоретически обосновать ЕГЭ в качестве современной формы итоговой оценки учебных достижений, обеспечивающей высокую надежность и валидность результатов измерения.

Гипотеза исследования единый государственный экзамен обеспечивает оценку учебных достижений выпускников с высокой надежностью и валидностью, если его научная организация строится в парадигме сочетания количественных и качественных уровней измерения; для измерений в ЕГЭ используется научно-обоснованный инструментарий, эффективные методы шкалирования и выравнивания; обработка, анализ и интерпретация результатов ЕГЭ основывается на современной методологии педагогических измерений (теории ШТ), а получаемая информация позволяет проводить лонгитюдные исследования в режиме мониторинга.

Цель исследования и выдвинутая гипотеза определили следующие задачи исследования:

- обобщить эмпирические данные, полученные в ходе проведения единого государственного экзамена и дать дидактическую характеристику ЕГЭ как современной формы оценки учебных достижений; обобщить и систематизировать дидактические требования к инструментарию, процедурам шкалирования, анализа и интерпретации результатов ЕГЭ;

- спроектировать модель мониторинга, обеспечивающую эффективное использование информации для управления качеством образования.

Методологическую основу исследования составили:

- фундаментальные исследования по проблемам качества образования и его сущности (В.И.Байденко, В.П.Беспалько, В.А.Караковский, В.А.Качалова, В.С.Лазарев, О.Е.Лебедева, А.М.Моисеев, В.В.Николина, П.И.Пидкасистый, М.М.Поташник, Н.А.Селезнева, В.М.Соколов, А.И.Субетто, О.Г.Хомерики, В.Д.Шадрикова, Е.А.Ямбург и др.);

- современная методология конструирования и применения тестов в образовании - Item Response Theory (В.И.Звонников, Г.С.Ковалева,

B.Г.Наводнов, Н.Н.Найденова, Ю.М.Нейман, А.О.Татур, М.Б.Челышкова, А.Г.Шмелев, A.Birnbaum, R.Hambleton, J.Keeves, F.Lord, G.Rasch, D.Weiss и др-);

- научные исследования по проблемам единого государственного экзамена (В.А.Болотов, Н.Ф.Ефремова В.И.Звонников, Г.С.Ковалева, В.Ж.Куклин, М.Б.Челышкова, А.Г.Шмелев и др.);

-исследования по проблемам оценки и контроля (В.С.Аванесов, Ю.Ф.Гущин, В.А.Кальней, Г.С.Ковалева, А.С.Королев, В.Ф.Одоевский, Н.И.Пирогов, В.М.Полонский, К.Д.Ушинский, С.Е.Шишов и др.);

- исследования в области мониторинга качества образования (Т.И.Алексеева, В.И.Андреев, В.А.Кальней, В.Ж.Куклин, А.Н.Майоров,

C.Е.Шишов и др.);

- методологические основы управления образовательными системами

В.П.Беспалько, В.Н.Бураков, Э.М.Коротков, В.С.Лазарев, А.А.Макаров, Н.Д.Малахов, Д.А.Новиков, М.В.Рыжаков, П.И.Третьяков и др.);

На защиту выносятся следующие положения:

Научная новизна и теоретическая значимость исследования состоит в следующем:

- получены оценки надежности и валидности результатов ЕГЭ, установлено их соответствие требованиям теории педагогических измерений;

Апробация результатов

Результаты проведенного исследования обсуждались на заседаниях кафедры педагогических измерений Исследовательского центра и докладывались на научных конференциях, совещаниях, семинарах и симпозиумах: межрегиональных совещаниях- семинарах по подготовке и проведению эксперимента по введению единого государственного экзамена (гг. Краснодар, Великий Новгород, 2002 г., г.Хабаровск, 2005 г.); региональной научно-практической конференции «Единый государственный экзамен в региональной системе управления качеством образования» (г.Ростов-на-Дону, 2003 г.); региональных конференциях и семинарах (гг.Якутск, 2005 г., Волгоград, 2002 г.); на XI Симпозиуме «Квалиметрия в образовании: методология, методика, практика» (г.Москва, 2006 г.); Всероссийском совещании-семинаре ответственных секретарей приемных комиссий высших учебных заведений по вопросам организации приема в вузы (г.Москва, 2006 г.); на VII Региональной научно-практической конференции «Профессиональная ориентация и методики преподавания в системе школа-вуз в условиях перехода к единой форме государственной аттестации выпускников общеобразовательных учреждений» (г.Москва, 2006 г.); на II международной конференции «Оценка качества образовательных достижений в системе общего образования» (г.Москва, 2006 г.).

Основные этапы исследования

На третьем этапе (2006 г.) выполнялась работа по определению направлений практического использования полученных результатов, их апробации, подведению итогов исследования и их оформлению в виде диссертационной работы.

Структура диссертации: Диссертация состоит из введения, двух глав, заключения, списка литературы, приложений.

Список литературы диссертации автор научной работы: кандидата педагогических наук, Караваева, Любовь Викторовна, Москва

1.89 42 47 59i Надежность теста вычисляется по формуле коэффициента альфа (Стоп эасЬ).