Педагогические измерения в управлении качеством обучения

Звонников, Виктор Иванович

Темы диссертаций по педагогике » Общая педагогика, история педагогики и образования

автореферат и диссертация по педагогике 13.00.01 для написания научной статьи или работы на тему: Педагогические измерения в управлении качеством обучения

Автореферат

Автор научной работы: Звонников, Виктор Иванович
Ученая степень: доктора педагогических наук
Место защиты: Ростов-на-Дону
Год защиты: 2006
Специальность ВАК РФ: 13.00.01

Диссертация

Автореферат диссертации по теме "Педагогические измерения в управлении качеством обучения"

На правах рукописи

ЗВОННИКОВ Виктор Иванович

□0306Т2Э5

ПЕДАГОГИЧЕСКИЕ ИЗМЕРЕНИЯ В УПРАВЛЕНИИ КАЧЕСТВОМ ОБУЧЕНИЯ

Специальность 13.00.01 -общая педагогика, история педагогики и образования

АВТОРЕФЕРАТ диссертации на соискание ученой степени доктора педагогических наук

Ростов-на-Дону, 2006

003067295

Работа выполнена в ГОУ ВПО «Государственный университет управления»

Научный консультант:

доктор педагогических наук, профессор, академик РАО

БОНДАРЕВСКАЯ Евгения Васильевна Официальные оппоненты:

доктор педагогических наук профессор, член-коррсспондент РАО МОНАХОВ Вадим Макариевич;

доктор педагогических наук, профессор, член-корреспондент РАО

АНДРЕЕВ Валентин Иванович;

доктор педагогических наук, профессор

ЛЕГОСТАЕВ Иван Иванович

Ведущая организация: ГОУ ВПО «Российский университет

дружбы народов»

Защита состоится «24» января 2007 года на заседании диссертационного совета Д212.206.02 по защите диссертаций на соискание ученой степени доктора наук в Ростовском государственном педагогическом университете по адресу: 344082 г. Ростов-на-Дону, ул. Б. Садовая, 33.

С диссертацией можно ознакомиться в библиотеке Ростовского государственного педагогического университета

Автореферат разослан « __» 2006 г.

Ученый секретарь 0

диссертационного совета -''1 у П.П. Пивненко

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Современная ситуация реформирования в отечественном образовании характеризуется многими радикальными переменами, нацеленными на приведение системы образования в соответствие с потребностями развивающейся структуры национальной экономики и общества. К числу этих перемен, в первую очередь, можно отнести обновление содержания образования, обеспечение равенства доступа к качественному образованию, становление инновационных технологий обучения с преимущественной ориентацией на личностно-ориентированные аспекты, введение независимой аттестации выпускников учебных заведений на основе единого государственного экзамена, переход к новым информационным технологиям и другие инновации.

Мировой опыт показывает, что в условиях реформирования образования необходимо повышение эффективности управленческих воздействий на качество образовательного процесса и достигаемые в нем результаты. Понимание важности роли управления находит свое отражение в попытках переосмысления трактовки качества образования, в создании развернутого научного обоснования систем управления качеством и интенсивном развитии их методологического, методического и информационного обеспечения.

В.М. Монахов, В.П. Панасюк, М.М. Поташник, H.A. Селезнева, А.И. Су-бетго, и др.). Сюда же примыкают концептуально-методологические исследования, рассматривающие различные аспекты оценки качества образования, выделяющие совокупности показателей и расставляющие приоритеты в определении его критериев.

Другое направление исследований связано с попытками стандартизации целевых ориентиров и составляющих процесса управления качеством образования. К нему относятся работы по созданию государственных образовательных стандартов и систем менеджмента качества образования, основанных на стандартах ИСО 9000-2000 (О.В. Аристов, В.И. Байденко, В.А. Исаев, В.А. Качалов, С.И. Колесников, Э.М. Ко-ротков, С.К. Круглов, В.А. Нефедов, H.A. Селезнева, В.М. Соколов, В.П. Соловьев, Ю.Г. Татур, А.Н. Чекмарев, В.М. Фирсов и др.).

Третье направление — теоретико-методологические исследования в области оценки состояния, изменений и тенденций в образовании - базируется на теории педагогических измерений, получивших интенсивное развитие после начала в нашей стране эксперимента по введению единого государственного экзамена (ЕГЭ) (B.C. Аванесов, А.Е. Бах-мутский, В.Н. Белобородов, В.А. Болотов, М.Б. Гузаиров, Н.Ф. Ефремова, Г.С. Ковалева, Э.М. Коротков, О.З. Кузнецова, H.A. Кулемин, И.И. Легостаев, А.Н. Майоров, Е.А. Михайлычев, В.М. Мокосеев, В.Ю. Переверзев, С.А. Сафонцев, А.И. Севрук, А.О. Татур, М.Б. Че-лышкова, А.Г. Шмелев и др.).

зации, различные модели управления так и останутся в сфере теории, если не признать в системах управления качеством образования приоритетную роль объективного оценивания, основанного на теории педагогических измерений и обеспечивающего научную основу для анализа результатов обучения, функционирования, развития, прогнозирования и совершенствования систем управления качеством образования. Действительно, ограниченность знаний об объекте управления и о каждом из его субъектов, вызванная несовершенством информационного обеспечения управленческих процессов вне культуры педагогических измерений, не позволяет педагогам в полной мере соотнести результаты обучения с целевыми критериями, объективно оценить эффективность инновационных технологий, обоснованно определить степень и особенности управленческих воздействий, необходимых для повышения качества образования.

Анализ опыта развития образовательных систем свидетельствует о том, что интенсификация контрольно-оценочной деятельности педагогов путем использования аппарата и средств педагогических измерений позволяет не формально, а реально управлять образовательным процессом и принимать правильные управленческие решения, способствующие повышению качества образования. Таким образом, в практическом плане актуальность поставленной проблемы диссертационного исследования обусловлена необходимостью развития систем качества образования, доведения их характеристик до уровня, адекватного современным требованиям модернизации отечественного образования. Особую важность исследованию придают задачи, поставленные в Концепции модернизации отечественного образования на период до 2010 года и в Плане действий Правительства Российской Федерации в области социальной политики и модернизации экономи-

ки. В этих документах предусматривается введение независимой аттестации выпускников общеобразовательных учреждений и создание эффективной системы отбора абитуриентов вузов на основе результатов единого государственного экзамена, анализ и интерпретация которых предоставляют новые возможности для совершенствования системы управления качеством образования.

В теоретическом плане актуальность проблемы исследования определяется отсутствием должного уровня разработок по теоретико-методологическим основам педагогических измерений, рассматриваемым в контексте актуальных проблем управления качеством образования. Несмотря на широкий круг перечисленных имен ученых и новаторов-практиков, в научных работах по измерениям применительно к проблемам управления качеством образования можно выделить ряд нерешенных задач. Недостаточно представлены вопросы концептуально-методологического обоснования измерений в управлении качеством обучения и методологические подходы к измерению качества учебных достижений. Отсутствуют разработки по методологии генерализации данных педагогических измерений, необходимые для распространения результатов выборочных исследований на генеральные совокупности обучаемых и обоснованного выбора управленческих воздействий. Нет должного обоснования системы измеряемых показателей качества обучения, адекватных объективным требованиям общества, рынка труда и личностным ожиданиям обучаемого. Слабо проанализирована связь между традиционными и инновационными контрольно-оценочными процессами, рассматриваемыми как необходимые составляющие управления качеством образования. Отсутствует классификации видов современных измерителей, а отдельные выстроенные классификационные схемы давно устарели, либо не в полной

мере отвечают требованиям полноты и непротиворечивости. К качеству отдельных компонентов педагогических измерений не разработаны требования, выполнение которых необходимо для эффективного управления качеством образования.

- необходимостью моделирования процессов самоорганизации системы управления качеством обучения и недостатками традиционной контрольно-оценочной системы в образовании, ее субъективностью и низкой прогностичностью, порожденными отсутствием опоры контроля на теорию и практику педагогических измерений;

- потребностью в направленности систем управления качеством обучения на решение актуальных глобальных задач, стоящих перед отечественным образованием, и отсутствием теоретико-методологических основ анализа и интерпретации результатов педагогических измерений, необходимых для решения этих задач в процессе управления качеством обучения;

- необходимостью смещения целей учебного процесса с традиционного формирования знаний, умений и навыков на развитие мышления, интеллекта, информационной культуры и отсутствием методик разработки валидного контрольно-оценочного инструментария, пригодного для управления качеством обучения в условиях инноваций;

- потребностями внедрения технологий личностно-ориентиро-ванного обучения в учебный процесс и низким обучающим по-

тенциалом традиционных средств контроля, его авторитарностью, недостаточной информативностью и слабой индивидуализацией, препятствующей дифференциации управленческих воздействий.

Поиск путей преодоления отмеченных противоречий, недостатков и недоработок послужил основой для выбора тематики данного исследования и позволил сформулировать ведущую исследовательскую проблему. Ее суть состоит в поиске ответа на вопрос: каким образом следует увеличить теоретико-методологический потенциал теории педагогических измерений с тем, чтобы заложить эффективную контрольно-оценочную основу в современные системы менеджмента качества образования и увеличить тем самым эффективность управленческих воздействий на повышение качества обучения?

Анализ путей решения этой проблемы привел к необходимости ее некоторого сужения, в результате которого была выбрана тема исследования: «Педагогические измерения в управлении качеством обучения». Прикладные аспекты темы были конкретизированы применительно к практическим потребностям эксперимента по введению единого государственного экзамена и систем качества университетского образования. Основными особенностями исследования, предопределившими возможность получения новых результатов, являются такие свойства, как инте-гративность и междисциплинарность. В исследовании переплетаются педагогика, психология, теория педагогических измерений, теория управления образовательными системами и теория вероятности, достижения которых объединяются с методами математического моделирования и прилагаются к практике в контексте общих проблем образования.

Цель исследования - разработать фундаментальные теоретические и прикладные положения научной организации педагогических

измерений применительно к проблемам развития современных систем управления качеством образования и внедрения инновационных технологий обучения.

Объектом исследования являются контрольно-оценочные процессы, рассматриваемые в контексте проблем управления качеством образования.

Предмет исследования - теоретико-методологическое и технологическое обоснование педагогических измерений, обеспечивающее рост результативности контрольно-оценочных процессов в управлении качеством обучения.

Гипотеза исследования. В основе исследования лежит предположение о том, что педагогические измерения приобретают инновационные функции, увеличивающие эффективность управления качеством обучения, если теоретико-методологические и технологические основы измерений будут:

- обеспечивать высокую прогностичность результатов педагогических измерений в соответствии с приоритетом стратегических задач систем качества образования;

- учитывать возможность совмещения педагогических измерений с традиционными формами и методами контроля в пропорциях, необходимых для успешной реализации функций по управлению качеством образования;

- отражать общую направленность измерений не только на традиционные методы обучения, но и на современные педагогические концепции развивающего и личностно- ориентированного обучения;

- опираться на операционализируемую совокупность показателей качества обучения, нацеленную на формирование наиболее существенных характеристик профессиональной подготовки в вузе;

- включать преимущественную ориентацию средств измерения на проверку продуктивного уровня усвоения, интеллектуальных умений более высокого порядка за счет использования инновационных видов измерителей;

- включать научный апцарат для обеспечения высокой объективности, надежности и валидности результатов измерений в образовании.

Поставленная цель и сформулированные гипотезы реализуются в ходе решения следующих конкретных задач исследования:

- проанализировать и обобщить результаты научных исследований по проблемам педагогических измерений, выявить позитивные тенденции с позиций перспективных направлений для совершенствования систем управления качеством обучения;

- провести периодизацию исторического пути развития теории и методологии педагогических измерений;

- разработать концептуально-методологические основы научной организации педагогических измерений в контексте современных подходов к сочетанию различных уровней измерения и проблем создания систем управления качеством образования;

- разработать концептуальные основы систем управления качеством обучения, предполагающие интеграцию педагогических измерений и традиционных методов контроля в условиях ориентации на приоритет инновационных технологий обучения; использования операционализируемых показателей качества обучения, инновационных видов измерителей, методов самоконтроля, самокоррекции и самооценки результатов учебной деятельности;

- разработать классификационную схему традиционных и инновационных видов измерителей, дополнить и уточнить основные определения понятийно-категориального аппарата теории педагогических измерений;

- сформировать совокупность научных требований к качеству основных компонентов педагогических измерений, рассматриваемых как составляющие системы управления качеством обучения;

- сформировать совокупность измеряемых показателей качества подготовленности обучающихся, необходимую для выработки управляющих воздействий на стадии проектирования и функционирования образовательных систем;

- разработать основные теоретико-методологические й методические подходы к использованию результатов педагогических измерений в управлении качеством обучения.

Методологической основой исследования послужили:

- синергетический подход (И. Пригожин, Г. Хакен), предполагающий интеграцию и использование многих научных подходов и направлений;

- системный подход, позволяющий осуществлять анализ качества обучения, рассматривая его как совокупность свойств образовательной системы, протекающего в ней образовательного процесса и результатов обучения;

- методология социально-педагогического проектирования, служащая научной базой для проведения научно-практических исследований в области управления качеством образования.

Теоретическая база исследования:

- теория педагогических измерений (B.C. Лванесов, И.И. Jlero-стаев, Н.Ф. Ефремова, A.C. Масленников, Е.А. Михайлычев, В.Г. Наводнов, Ю.М. Нейман, М.Б. Челышкова, R.A. Berk, A. Binet, А. Birnbaum, R.N. Campbell, R. Hambleton, J.P. Keeves, F.M. Lord, G. Rasch, H. Swaminathan, E.L. Thomdike, L.L. Thur-stone, DJ. Weiss);

- педагогические концепции личностно-ориентированного обучения (М.К. Акимова, Е.В. Бондаревская, И.П. Волков, В.В. Давыдов, Л.В. Занков, E.H. Ильина, И.С. Якиманская, Е.А. Ямбург);

- общая теория управления педагогическими системами (В.П. Беспалько, Дж. Борк, У. Букович, A.B. Вебер, А.Д. Данилов, П. Джексон, В.П. Панасюк, Р. Уильяме);

- фундаментальные и прикладные теоретические исследования в области качества образования (A.B. Вроейнстийн, М.Б. Гузаиров, Н.И. Максимов, H.A. Селезнева, Ю.Г. Татур, А.Н. Чекмарев).

Методы исследования. В работе использовались общенаучные методы теоретического и эмпирического исследования и специальные методы, нацеленные на педагогические измерения и статистическое обоснование результатов исследования.

В число методов первой группы вошли классификация, сравнение, объяснение, индукция и дедукция, научное доказательство, абстрагирование и многие другие. Ко второй группе общенаучных методов эмпирического исследования можно отнести наблюдение, экспертизу, моделирование, измерение. К группе специальных методов следует отнести математическое моделирование в рамках теории IRT.

Исследование осуществлялось на протяжении нескольких этапов:

1 этап (2000-2002 гг.) - подготовительный и аналитико-поис-

ковый включал: анализ практических проблем, сложившихся в области педагогических измерений при решении задач управления качеством образования (эксперимент по введению ЕГЭ, вузовские системы менеджмента качества образования); анализ литературных источников (свыше 400 источников); постановку и обоснование проблемы диссертационного исследования; определение круга задач исследовательской работы; моделирование объектов исследования.

2 этап (2002-2005 гг.) - аналитико-синтетический, нацеленный на

обобщение практического опыта, разработку концептуаль-

ной и методологической части результатов исследования, проведение развернутого статистического анализа данных ЕГЭ по тематике исследования и смежной проблематике в рамках НИР и НИОКР Федеральной программы развития образования в России с привлечением соисполнителей из Ивановского государственного университета и Донского государственного технического университета (свыше 10 проектов), разработку и проведение анкетирования в соответствии с требованиями стандартов качества образования в Государственном университете управления, обобщение статистических данных и их интерпретацию для решения задач исследования, разработку экспериментальной авторской учебной программы «Педагогические измерения в управлении качеством образования», ее внедрение в систему повышения квалификации профессорско-преподавательского состава вузов на базе кафедры педагогических измерений Исследовательского центра проблем качества подготовки специалистов и кафедры тестологии в Российском университете дружбы народов, подготовку статей и монографии, апробацию результатов исследований на конференциях, симпозиумах и совещаниях (свыше 15).

3 этап (2005—2006 гг.) — заключительный: обобщение данных анализа, разработка выводов, подведение итогов исследования, оформление диссертационного исследования, разработка методик и рекомендаций по использованию результатов измерения в управлении качеством образования.

ства образования Ивановского государственного университета, рабочая комиссия по организации ЕГЭ, созданная в 2001 г. при Минобразования России для научного и методического сопровождения эксперимента по введению ЕГЭ.

Личный вклад автора составляет, прежде всего, его работа в статусе руководителя (проректор по качеству Государственного университета управления) и участие в создании университетской системы менеджмента качества образования, руководство научными проектами по проблемам оценки качества образования.

Автор диссертации ведет занятия по теории и методике конструирования педагогических тестов, общим проблемам педагогических измерений в различных структурах повышения квалификации управленческих, профессорско-преподавательских, педагогических и научно-исследовательских кадров системы образования во многих городах России (Москва, Иваново, Ростов-на-Дону, Краснодар и т.д.). В развитие приказа Минобразования России №1122 от 17.04. 2000 г. для подготовки лиц с целью получения дополнительной квалификации «Тесто-лог» (специалист по педагогическим измерениям)» автором разработана и издана экспериментальная учебная программа «Педагогические измерения в управлении качеством образования», предназначенная для повышения квалификации управленческих, профессорско-преподавательских, педагогических и научно-исследовательских кадров системы образования.

профессионального уровня, без которого немыслимо широкое внедрение педагогический измерений в управление качеством образования и практику образовательного процесса.

С момента начала эксперимента по введению ЕГЭ автор диссертационного исследования являлся научным руководителем 17 научно-исследовательских и экспериментальных проектов, среди которых, в первую очередь, следует назвать:

1. «Разработка государственных требований к качеству педагогических тестовых материалов», 2001.

2. «Разработка контрольных измерительных материалов по общеобразовательным предметам для проведения единого государственного экзамена в 2002-2003 годах и мониторинг эксперимента», 2002.

3. «Разработка требований к контрольным измерительным материалам на основе современных подходов к оценке качества образования и результатов первого этапа эксперимента», 2002.

4. «Разработка методики оценивания открытых заданий по предметам гуманитарного и естественно-математического циклов в рамках единого государственного экзамена», 2002.

5. «Разработка требований к контрольным измерительным материалам по каждому общеобразовательному предмету на основе современных подходов к оценке качества образования и результатов проведения единого государственного экзамена», 2003.

6. «Анализ и психолого-педагогическая интерпретация латентных характеристик подготовленности выпускников, оцениваемых в ЕГЭ по отдельным предметам», 2004.

7. «Выявление причин и факторов, приводящих к отклонению результатов выборочных совокупностей выпускников, значимо отличающихся от средних результатов по России», 2004.

8. «Разработка методики использования результатов ЕГЭ для управления качеством образования в учреждениях образова-

ния, на федеральном, региональном и муниципальном уровнях управления», 2004.

9. «Мониторинг эксперимента по введению единого государственного экзамена», 2005.

10. «Разработка научно-методических подходов к шкалированию результатов единого государственного экзамена по иностранным языкам», 2005.

По результатам исследований подготовлены и изданы учебные 4 учебных пособия, монография, научные труды, раскрывающие основные фундаментальные и прикладные аспекты теории педагогических измерений в управлении качеством образования, учебник «Контроль и оценка в современной школе», предназначенный для студентов педагогических направлений и специальной подготовки при освоении ими общей профессиональной дисциплины по современным средствам контроля и оценки в образовании.

Достоверность и обоснованность новых научных результатов исследования обеспечивалась за счет использования современных, получивших признание научной общественности источников информации в области теории педагогических измерений, теории управления и методологии Ш.Т.

Достижению должного общенаучного уровня диссертационного исследования и обоснованности его результатов способствовало использование системного подхода, соблюдение логики общенаучного подхода с опорой на методологию педагогической науки.

тику эксперимента по введению единого государственного экзамена и в учебный процесс Государственного университета управления. Научная новизна работы заключается в том, что:

- проведена периодизация исторического пути развития теории и методологии педагогических измерений. В отличие от существующих ранее работ по исследованию истории развития тестов в основу предлагаемого подхода положен анализ эволюционного пути становления и развития измерений в образовании. Благодаря этому удалось вычленить сущностные предпосылки развития теории и методологии педагогических измерений, связав их с различными социальными, экономическими и политическими изменениями в обществе в нашей стране и за рубежом;

- разработаны фундаментальные методологические положения теории научной организации измерений применительно к проблемам управления качеством образования. В частности, предложена совокупность принципов, регламентирующих научную организацию педагогических измерений, исследованы основные положения теории генерализации в контексте проблемной области исследования, определены функции измерений в управлении качеством обучения, введено представление о методологии использования измерений в управлении качеством образования и определены составляющие ее теории;

- разработана концептуальная модель количественных и качественных измерений, основанная на бипарадигмальной методологии применительно к различным уровням управления качеством образования;

- создана концепция системы управления качеством обучения, строящаяся на бипарадигмальной методологии и ориентированная на инновационные технологии обучения, операциона-лизируемые показатели качества обучения, современные виды измерителей, методы самоконтроля, самокоррекции и самооценки результатов учебной деятельности;

- создана логически исчерпывающая типология бипарадигмаль-ных моделей педагогического измерения и предложены схемы сочетания различных уровней измерения для разработки дизайна измерения;

- создана таксономическая схема видов современных измерителей, ориентированных на преимущественную проверку продуктивного уровня усвоения, интеллектуальных умений и приоритеты когнитивного обучения;

- разработаны дидактические и технологические требования к качеству компонентов педагогических измерений, рассматриваемых как составляющие систем управления качеством обучения;

- предложена совокупность измеряемых показателей качества подготовленности учащихся, необходимая для выработки управляющих воздействий на стадии проектирования и функционирования образовательных систем;

- разработаны методики сопоставимости и интерпретации результатов педагогических измерений (наблюдаемых и латентных) в управлении качеством обучения.

Теоретическая значимость работы обеспечивается решением ряда инновационных теоретических задач общенаучного и специального характера. В частности, в результате исследования:

- проведена периодизация исторического пути развития теории и методологии педагогических измерений;

- систематизированы представления о категории «качество образования», обоснованы наиболее перспективные подходы к его трактовке с позиций измерений в управлении,

- проведена систематизация и дополнение понятийного аппарата теории педагогических измерений и ее методологических основ, обеспечивающих как научную организацию самого процесса измерений, так и применение его в управлении качеством образования;

- предложены современные подходы к трактовке объективности педагогических измерений и размерности пространства измерений, объединяющие в единую систему теории надежности, валидности и размерности;

- разработаны новые копцептуальпые подходы к построению систем управления качеством обучения, отражающие особенности инновационных технологий обучения, сочетания количественных и качественных уровней измерения, современных измерителей, методов самоконтроля, самокоррекции и самооценки результатов учебной деятельности;

- обоснованы преимущества динамического подхода к оцениванию качества образования;

- выделены и структурированы совокупности показателей качества обучения для различных уровней управления, обоснована необходимость учета дополнительных факторов для анализа качества образования, предложены основополагающие показатели для различных уровней управления качеством обучения;

- разработаны типологии моделей педагогического измерения, видов современных измерителей и схем сочетания различных уровней измерения;

- разработаны и обоснованы научные требования к качеству компонентов педагогических измерений, обеспечивающие высокое качество результатов и возможность принятия на их основе обоснованных управленческих решений;

- предложены теоретические подходы к обеспечению сопоставимости результатов педагогических измерений при их использовании для сравнительных исследований в управлении качеством обучения;

- введены в оборот педагогической науки отдельные ключевые положения теории измерений и управления образовательными системами, как существующие ранее, так и предлагаемые автором исследования (цикл управления, бипарадигмальная модель измерения, бенчмаркинг и т.д.).

Практическая значимость исследования достигается за счет значительных методических и технологических наработок, нацеленных на обеспечение корректности использования результатов педагогических измерений в управлении качеством обучения, преимущественной ориентации области результатов на операционализируемые показатели качества обучения, приоритетной разработки прикладных аспектов теории педагогических измерений применительно к проблемам управления качеством обучения. В частности, в исследовании содержатся методики оценивания размерности пространства измерений, методики формирования репрезентативных выборок, подсчета коэффициента генерализации, дизайны генерализации, методики шкалирования и интерпретации данных измерения, ориентированные на эмпирические данные ЕГЭ и используемые по мере создания в практике развития эксперимента.

Большинство результатов работы внедрено в практику эксперимента по введению ЕГЭ и в практику менеджмента качества образования в Государственном университете управления. Материалы диссертации, включающие ряд методик, имеют практическую ценность для разработки систем менеджмента качества образования, деятельности управленческих структур федерального и регионального уровней в образовании. Разработашгые показатели качества учебных достижений могут быть использованы при аттестации учебных заведений, для проведения сравнительных исследований качества обучения.

Материалы исследования используются в системе повышения квалификации и дополнительного профессионального образования профессорско-преподавательского состава учебных заведений России.

На защиту выносятся:

1. Результаты анализа истории развития теории и методологии педагогических измерений. По данным анализа необходимо выделить чего

тыре периода. Первый период занимает временной интервал с конца 19-го до начала второго десятилетия 20-го века. В этот период педагогические измерения не получили самостоятельного статуса и развивались в рамках общей теории измерений, используемой в соответствии с представлениями того времени исключительно в естественных науках, а не в психологии и образовании. Ко второму периоду в истории развития измерений можно отнести временной промежуток с 1920 г. По 1945 г., начало которого можно соотнести с развитием теоретических и методологических концепций измерительных процедур во внефизических областях. Третий период продолжался с 1946 по 1980 г. и проходил под знаком доминирующей классической теории тестов. Характерной чертой третьего периода является нарастающее расширение сферы приложения теории измерений, когда центр тяжести прикладных исследований по измерениям переместился из точных наук в социальные науки па фоне создания основных положений теории ШТ.

Четвертый период развития теории и практики педагогических измерений, начавшийся в 80-х годах и продолжающийся по сей день, характеризуется интенсивным внедрением в массовое тестирование основных теоретических положений ГОТ, компьютерной техники и современных компьютерных технологий в образовательный процесс. Высокая эффективность процедур измерения, связанная с качественной калибровкой тестовых заданий, хранением их в виде банков, автоматизацией предъявления заданий в процессе обучения и контроля, компьютерным моделированием тестов, сыграла решающую роль в расширении сферы приложения теории педагогических измерений вплоть до решения на ее основе комплексных задач управления качеством образования. Характерной чертой четвертого периода является становление новой бипарадигмальной методологии, нацеленной на

научную организацию педагогических измерений в системах менеджмента качества образования.

Главный итог проведенного анализа исторического развития теории и методологии измерений в отечественном образовании — это вывод о необходимости создания в нашей стране специального полноправного направления педагогической науки - теории педагогических измерений, которая в силу междисциплинарного характера не может полнокровно развиваться в рамках классической педагогики, но без опережающего развития которой страдает сфера управления в образовании.

2. Понятийный аппарат теории педагогических измерений, который строится на типологической, классификационной основе, отвечающей требованиям полноты и непротиворечивости, и включает ряд определений. К основным определениям, сформулированным и уточненным в исследовании применительно к проблемам управления качеством обучения, относятся: педагогическое измерение, методология педагогических измерений, бипарадигмальная методология и модели педагогических измерений, процедура педагогического измерения, педагогический измеритель, стандарты качества измерителей, качество учебных достижений, управление качеством обучения, теория генерализации, опера-ционализируемый показатель качества обучения, технология измерений в системе управлении качеством образования и ряд других.

3. Совокупность принципов, обеспечивающих научную организацию измерений в управлении качеством обучения. Процесс педагогических измерений регламентируется рядом общих принципов организации контрольно-оценочных процессов и специфическими принципами, ориентирующими на эффективную организацию измерений в управлении качеством обучения. К числу важнейших специфических принципов следует отнести:

- принцип функционально-структурного строения целостной контрольно-оценочной системы, сочетающей традиционный контроль и педагогические измерения;

- принцип полноты состава процесса педагогических измерений, предполагающий включение всех необходимых компонентов измерений, выполнение полного перечня функций, налаживание всех необходимых информационных потоков;

- принцип объективности, требующий использования измерителей, технологий и процедур, обеспечивающих высокую объективность результатов измерений;

- принцип релевантности, регламентирующий соответствие характеристик компонентов педагогических измерений уровню управления качеством обучения;

- принцип динамичности при оценивании показателей качества образования, способствующий повышению обоснованности управленческих решений на основе педагогических измерений;

- принцип минимакса и контроля дисперсии, позволяющий регламентировать качество измерений.

мерения в управлении качеством обучения должны опираться на единый концептуальный подход, ориентированный на основные задачи управления в образовательной системе и предназначенный для различных целей и уровней управления: от задач макроуровня до уровня каждого учащегося. Такой концептуальный подход должен носить комплексный характер и строиться на сочетании динамического (включение временного фактора в обработку и интерпретацию результатов измерения), сравнительного (сопоставление результатов измерения по отдельным показателям качества), дифференцирующего (соотнесение баллов учащихся со среднестатистическими нормами, и последующая качественная интерпретация для установления причин смещения личностных показателей относительно статистических норм, анализом работы образовательных учреждений и принятием коррекционных мер в управлении качеством образования) и прогностического видов анализа (выявление тенденций в изменении качества образования).

Приоритетная роль в обеспечении информационной базы управления принадлежит объективным оценкам качества, основанным на аппарате теории педагогических измерений, операционализируемых показателях качества обучения, инновационных видах измерителей, преимущественной проверке продуктивного уровня усвоения, интеллектуальных умений и приоритетах когнитивного обучения.

обеспечения в русле современных тенденций интеграции количественных и качественных методов, и охватывает все главные стадии измерения: планирование, разработку дизайна и измерителей, сбор данных (проведение тестирования, анкетирования или других форм), обработку, анализ и интерпретацию данных, получение управленческих выводов для повышения качества образования.

6. Основные компоненты методологии измерений в управлении качеством образования. К ним отнесены теория надежности результатов педагогических измерений, теория валидности и теория генерализации. Последняя теория, включающая комплексный всеобъемлющий набор концепций и оценочных процедур для анализа всех аспектов надежности измерений и распространения результатов на различные совокупности объектов измерения, является необходимой методологической основой научно-обоснованного процесса измерений в управлении качеством образования. Сочетание фундаментальных положений теории генерализации и вероятностных подходов позволяет получить обоснованные надежные результаты педагогических измерений и использовать их в многообразном спектре вариантов интерпретации и выдвижения гипотез, закладывающих фундамент принятия управленческих решений.

Применение основных положений теории надежности, конструкт-ной валидизации и генерализации применительно к экспериментальной области исследования, связанной с обеспечением высокого качества КИМ для использования данных ЕГЭ в управлении качеством образования, должно базироваться на методиках, объединяющих воедино надежность и размерность пространства педагогических измерений и основанных на возможностях факторного анализа для сжатия данных. Генерализация данных ЕГЭ, основанная на предлагаемых в диссерта-

ции фасетных дизайнах, позволит выявить особенности региональных компонентов в содержании образования и создать сбалансированные КИМ, адекватные задачам управления качеством образования.

7. Дидактические и технологические требования к качеству компонентов педагогических измерений как составляющих систем управления качеством обучения. Разработанные дидактические и технологические требования к качеству компонентов педагогических измерений позволяют повысить эффективность систем управления качеством обучения. В число требований, не ранжированных по степени важности, вошли: опора на базисную методологию управления качеством; приоритет бипарадигмальной методологии и современной теории тестов; высокая объективность (надежность) и обоснованность (валидность) информации; широкое использование динамического подхода к оцениванию качества обучения; обязательность присоединения к результатам измерения дополнительной информации об оцениваемом объекте; обеспечение сопоставимости результатов измерения по различным годам; реализация инновационных функций измерений; высокая прогностичность результатов педагогических измерений и общая направленность измерений на современные педагогические концепции развивающего и личностно-ориентированного обучения; операционализируемость совокупности показателей качества обучения; преимущественная ориентация средств измерений на проверку продуктивного уровня усвоения знаний и интеллектуальных умений за счет использования инновационных видов измерителей; соответствие аппарата, используемого для обработки данных педагогических измерений, характеристикам распределений эмпирических данных; стандартизация процедур проверки, оценки, шкалирования и интерпретации эмпирических данных педагогических измерений; ус-

тойчивость шкал для отображения результатов педагогических измерений и репрезентативность выборок обучающихся.

8. Совокупность измеряемых показателей качества подготовленности учащихся, необходимая для выработки управляющих воздействий на стадии проектирования и функционирования образовательных систем и выстроенная в соответствии с уровнями управления качеством образования. Предлагаемая совокупность показателей в сочетании с набором требований, обеспечивающих в рамках бипарадиг-мальной методологии измерений корректность информационной управленческой базы. Учет разработанных в диссертации дополнительных факторов необходим при использовании результатов педагогический измерений в управлении качеством образования для выработки корректных, обоснованных, эффективных и согласованных управленческих решений. Для обоснованного отбора абитуриентов вузов на основе данных ЕГЭ к информации, собранной в процессе ЕГЭ с помощью КИМ, необходимы дополнительные данные, получаемые с помощью средств аутентичного оценивания качества учебных достижений в различных регионах с учетом временного фактора.

9. Методика анализа, шкалирования и интерпретации результатов педагогических измерений применительно к проблемам управления качеством обучения. Полученные результаты теоретического характера позволили сформулировать новые методические подходы к шкалированию, анализу и интерпретации данных ЕГЭ в условиях сопоставимости данных педагогических измерений, выявить ряд проблем, снижающих обоснованность сравнения данных массового тестирования в условиях национальных экзаменов.

Апробация работы. Основные положения диссертационного исследования отражены в публикациях автора в виде статей в журналах

и сборниках, тезисов докладов на научных конференциях и монографии «Измерения и качество образования».

Материалы исследования доложены на следующих конференциях и симпозиумах:

1. Десятый симпозиум «Квалиметрия в образовании: методология и практика», Москва, 4—5 апреля 2002 г.

2. Международная научно-практическая конференция «Качество дистанционного образования, Москва, 8 декабря 2003 г.

3. Третья Всероссийская научно-практическая конференция «Управление качеством», Москва. 10-11 марта 2004 г.

4. II Всероссийская научно-практическая конференция «Проблемы и перспективы развития экономического и управленческого потенциала России в XXI веке», Пенза, 20-21 апреля 2004 г.

5. XIV Всероссийское совещание «Проблемы качества образования», Москва, 28 мая- 2 июня 2004 г.

6. Международная научно-практическая конференция «Развитие личности в поликультурном Славянском образовательном пространстве», Кривой Рог, 23-24 сентября, 2004 г.

7. Международная научно-практическая конференция «Актуальные проблемы управления - 2004», Москва, 10-11 ноября 2004 г.

8. Международная конференция «Оценка образовательных достижений в рамках национальных экзаменов», Москва, 13-15 декабря 2004 г.

9. 18ft Annual Conference of the American Evaluation Association, Atlanta, USA, Evaluation 2004, 3-6 November.

10.19ft Annual Conference of the American Evaluation Association and CSE, Toronto, Canada, Evaluation 2005, 5-10 November.

11. 20-я Всероссийская научная конференция молодых ученых и студентов «Реформы в России и проблемы управления - 2005», Москва, 20-22 января 2005 года.

12.Четвёртая Всероссийская научно-практическая конференция «Управление качеством», Москва «МАТИ», 10-11 марта 2005 г.

13.11 Межрегиональный семинар «Построение общероссийской системы оценки качества образования». Москва, 22-23 сентября 2005 г.

14.ХХ1Х научно-методическая конференций «Научно-методическое управление качеством образования», Иваново, 23-24 ноября 2005 г.

15.Пятая Всероссийская научно-практическая конференция «Управление качеством» 9-10 марта 2006 г., ГОУ ВПО «МАТИ» - Российский государственный технологический университет им. К.Э. Циолковского.

16.Одиннадцатый симпозиум «Квалиметрия в образовании», Москва, 16-17 марта 2006 г.

Публикации. Основные результаты работы опубликованы в монографии, 4 учебных пособиях, учебнике, 72 статьях и тезисах, 2 научно-исследовательских отчетах по проблемам измерений и управления качеством образования.

Внедрение результатов исследования: Результаты исследования внедрены в практику эксперимента по введению ЕГЭ в Российской Федерации, в учебную деятельность кафедры педагогических измерений Исследовательского центра проблем качества подготовки специалистов (ИЦПКПС) и кафедры тестологии Российского университета дружбы народов (РУДН), деятельность Центра качества подготовки специалистов Государственного университета управления (ГУУ).

Структура и объем диссертации. Текст диссертации содержит пять глав, введение, заключение и 5 приложений с результатами, иллюстрирующими реализацию предлагаемых в исследовании методик. Общий объем работы составляет 378 страниц. Список литературы состоит из 348 первоисточников.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность выбранной тематики исследования; определены его цели и задачи, объект и предмет; выявлены теоретические и практические проблемы исследования; сформулирована основная гипотеза исследования; приведены методологические основы исследования, научная новизна результатов, их теоретическая и практическая значимость; перечислены основные положения, выносимые на защиту; представлены обзор методов и этапов исследования, уровень апробации результатов и заключение.

Первая глава «Теоретические основы измерений в образовании» содержит краткий обзор исторических этапов развития педагогических измерений в России и за рубежом, перечень основных компонентов и понятийный аппарат теории педагогических измерений. В главе анализируются подходы к трактовке объективности педагогических измерений, рассматриваемые в контексте перспектив применения результатов измерений в управлении качеством образования, выделяются уровни педагогических измерений и классифицируются шкалы, поднимаются проблемы размерности измерений, анализируется современное состояние теории педагогических измерений, дидактические инновации и определяются проблемные области диссертационного исследования.

В результате проведенного анализа было выделено четыре основных периода, определяющих ключевые моменты в историческом пути становления теории и методологии педагогических измерений и протекающих в условиях роста научности, развития теории создания и практики применения педагогических тестов. В исследовании определяется ряд факторов, формирующих нынешнее положение в образовании и способствующих актуализации научных исследований в сфере измерений в нашей стране. Несмотря на интенсивное продвижение

научного обоснования педагогических измерений после начала эксперимента по введению ЕГЭ и создание ряда структур, стимулирующих достижение профессионального уровня разработки педагогических тестов, в России пока не сложилось отдельного направления науки -теории педагогических измерений, которая призвана обеспечить высокое качество информации о характеристиках процесса и результатов обучения для принятия обоснованных и прогностичности управленческих решений в образовании.

Особые сложности в повышение качества результатов измерений вносит латентный характер конструктов, из-за которого измерению подвергаются не сами характеристики качества обучения, а их эмпирические референты. Поэтому процесс педагогического измерения нуждается в развернутом научном обосновании всех своих компонентов, к числу которых в первой главе диссертационного исследования отнесены: переменные измерения и их эмпирические референты, измерительные процедуры, измерительные инструменты, шкалы, процедуры обработки данных и отображения результатов измерения на шкалу, процедуры анализа и интерпретации результатов измерения.

В соответствии со сложившимися научными подходами, характеристики компонентов связываются с качеством измерений, трактуемым в классическом контексте надежности и валидности. Инновационный характер этому разделу первой главы придает подробный анализ понятий «конструктная валидность» и «объективность измерений», построенный в нетрадиционном для отечественной науки стиле с опорой на аппарат классической и современной теории тестов Ш.Т. В частности, вводятся представления о различных видах объективности измерений и подвергается критике ее упрощенное толкование, которое наносит вред развитию теории педагогических измерений и снижает доверие педагогической общественности к возможностям тестов.

Подходы к анализу конструктной валидности связываются в исследовании с выявлением размерности пространства измерений и с доказательством того, что данная совокупность заданий измеряет концептуально выделенную переменную (переменные), т.е. валидна конструкту, заявленному как цель создания теста. Хотя при измерениях в образовании чаще всего стараются рассматривать одномерные конструкты, что упрощает процесс построения шкалы, но в наше время это пе всегда оправдано содержанием тестов. Многомерность становится типичной для современных тестов учебных достижений, поскольку в них начинает доминировать стремление к выявлению разнообразных творческих аспектов подготовленности учащихся, требующих введения многомерных шкал и батарей субтестов. При многомерности следует проводить длительное итерационное исследование размерности пространства измерений с целью выявления числа латентных шкал и определения возможности их дальнейшего объединения в одну шкалу на основе группы методов многофакторного анализа путем сжатия результатов измерения при сходстве внутренних персональных данных либо применения методов многомерного шкалирования. Пути проведения такого исследования предлагаются в первой главе.

Исторический анализ теории и практики измерений, в целом, показал, что в наши дни традиционные представления о тестах претерпели существенные изменения, позволившие значительно расширить их роль в работе по повышению эффективности учебного процесса и качества обучения. На смену стандартизированным тестам с выбором ответов, утверждающим приоритет количественных методов оценивания, пришли инновационные измерители, обеспечивающие распространение теории измерений на область качественных оценок и позволяющие отразить современные требования общества к качеству образования. В

связи с этим в первой главе предлагается отказаться от традиционного определения измерений, введенного Стивенсом, и перейти к новой трактовке измерений, предложенной Логвиненко А.Д. для психологии и распространенной в диссертации на область педагогических измерений. В соответствии с современными воззрениями, педагогическое измерение предлагается трактовать как конструирование любой числовой функции, осуществляющей изоморфное отображение некоторой эмпирической структуры в специально подобранную числовую структуру, представляющую собой шкалу оценок качества учебных достижений или других конструктов, являющихся целью педагогического измерения.

Представленный в первой главе развернутый анализ типологии уровней измерения и видов шкал, используемых в образовании, подводит к выводу, который на первый взгляд представляется тривиальным, но далеко не всегда реализуется в практике образования: обработка данных педагогических измерений всегда должна опираться на аппарат, адекватный реализуемому уровню измерений (количественному или качественному) с учетом размерности и специфики оцениваемых переменных измерения. Администрацией школ вплоть до настоящего времени повсеместно используется средний балл, основанный на некорректном сложении баллов порядковой шкалы и не являющийся адекватной усредненной характеристикой качества учебных достижений.

Проведенный в первой главе обзор современного состояния теории педагогических измерений, дидактических инноваций в контрольно-оценочных процессах и в проблемных областях позволил выделить основные направления, нуждающиеся в развитии для эффективного использования измерений в управлении качеством обучения. К этим направлениям отнесены исследования по созданию фундаментальных методологических положений теории научной организации

педагогических измерений в контексте проблем управления качеством образования; исследования по теории генерализации; анализ функций измерений в управлении качеством обучения, построение концептуальной модели количественных и качественных измерений применительно к различным уровням управления качеством образования, создание типологии современных моделей педагогического измерения, создание единой таксономической схемы видов инновационных измерителей, разработка методики интерпретации результатов педагогических измерений (в частности, результатов ЕГЭ) применительно к проблемам управления качеством обучения. Эти и другие проблемы положены в основу данного диссертационного исследования, результаты которого строятся с опорой на имеющиеся отечественные и зарубежные наработки и предлагаются в следующих разделах.

Во второй главе «Процесс управления качеством образования и его научное обеспечение» вначале предлагаются результаты анализа общих подходов к трактовке качества в образовании, рассматриваются уровни управления образованием и информационные потоки между ними, дается общая характеристика показателей качества образования и выделяются показатели качества учебных достижений на различных уровнях управления качеством образования, рассматриваемые в связи с измерениями.

Проведенный анализ позволил выделить целевую парадигму качества, доминирующую в отечественном образовании и рассматривающую категорию «качество» в соответствии с государственными образовательными стандартами, но вне контекста измерений и, следовательно, в слабой связи с проблемами управления качеством образования. Применительно к проблемам данного исследования под качеством образования предлагается понимать результат образовательного

процесса, представляющий собой интегральную характеристику реально достигаемых образовательных результатов и отражающий степень соответствия результатов нормативным требованиям, социальным и личностным ожиданиям.

Процесс модернизации образования, протекающий в наши дни, выдвигает новые требования к трактовке качества, благодаря которым возник компетентностный подход, отражающий стремления участников образовательного процесса к повышению его эффективности на фоне приоритета прагматизма, но без ущерба для фундаментальности результатов обучения. Рассмотрение проблем реализации компетент-ностного подхода с позиций измерений, проведенное во второй главе, позволяет сделать вывод об отсутствии механизмов, показателей и средств измерения, допускающих трансформацию нечетких представлений о ключевых компетенциях, сложившихся в образовании, в количественные критерии и нормы.

Ориентация на инновации и повышение эффективности управления качеством образования, принятая в данном диссертационном исследовании, заставляет обратиться к процессному подходу, рассматриваемому в контексте теории управления образовательными системами. Оценка адекватности реальных процессов документированным эталонам, проводимая в образовании с учетом эффективности, результативности и степени риска принятия решений, а также компетентности педагогического персонала, позволит принимать более обоснованные управленческие решения в том случае, если удастся отойти от традиционной для отечественного образования целевой парадигмы качества и обратиться к развиваемой на западе динамической модели в сочетании с возможностями аппарата педагогических измерений.

При динамическом подходе качество трактуется как позитивные изменения в процессах и результатах образования, обусловленные со-

вершенствованием образовательной системы и отражающие новые требования общества. Значимым преимуществом динамического подхода является возможность использования оценок выявленных изменений для прогнозирования тенденций в развитии систем управления качеством образования и их анализа в зависимости от различных факторов, оказывающих влияние на динамику изменения качества образования.

Процесс управления качеством образования в диссертации предлагается рассматривать как деятельность по реализации целей образования и координации действий всех составляющих образовательной системы, процесса, его субъектов и условий осуществления. Обеспечение процесса управления достигается различными видами деятельности, включающими контролирование процесса обучения и устранение причин неудовлетворительного функционирования системы на всех стадиях обучения с целью достижения требуемого результата. Объективным оценкам качества, основанным на теории педагогических измерений, принадлежит приоритетная роль в обеспечении информационной базы процесса управления. Данные измерения являются научной основой для распознавания, анализа, функционирования, развития, прогнозирования и совершенствования систем управления качеством образования.

Обоснованное использование информации в управлении качеством образования требует выделения уровней управления, построения определенной иерархии и взаимосвязи информационных потоков и создания полной системы показателей качества образования, поддающейся операционализации в целях измерения и предлагаемой во второй главе. Такой системный подход должен носить комплексный характер, объединяя в себе с теми или иными приоритетами в зависимости от доминирующих задач и уровня управления динамический, сравнительный, дифференцирующий и прогностический виды анализа

данных измерений. Проведенный анализ информационных связей между уровнями (федеральным, региональным, муниципальным и т.д.) в системе управления качеством образования позволил выявить перечень научных требований к процессу измерений в управлении качеством обучения и выделить факторы, влияющие на корректность, обоснованность, эффективность и согласованность управленческих решений, принимаемых на основе данных педагогических измерений.

Основным результатов второй главы, имеющим важное прикладное значение для решения поставленных в диссертации задач исследования, можно считать совокупность показателей качества учебных достижений, выстроенных в соответствии с уровнями управления качеством образования. Предлагаемые показатели сопровождаются дополнительными факторами, учет которых необходим при использовании оценок в управлении качеством образования. Частный результат прикладного характера, нацеленный на проблемы эксперимента по введению ЕГЭ во второй главе, приводит к выводу о том, что к информации, собранной в процессе ЕГЭ, необходимо присоединять дополнительные данные, получаемые с помощью инновационных средств аутентичного оценивания качества учебных достижений в регионах с учетом временного фактора.

Значительное место в материале второй главы уделяется методологической базе систем менеджмента качества образования, которая должна опираться на многочисленные зарубежные и отечественные наработки по созданию инструментов управления для повышения эффективности деятельности организаций в бизнесе и производстве (стратегическое управление - Strategic Planning, всеобщий менеджмент качества -Total Quality Management, непрерывное улучшение качества — Continuous Quality Improvement и т.д.). Особое значение в системе менеджмента качества образования придается бенчмаркингу, который трактуется как

процесс выявления и распространения позитивного опыта других аналогичных организаций на собственную деятельность структуры в различных сферах, в том числе и в образовании. Во второй главе выделяется ряд условий, определяющих современную ситуацию в управлении качеством образования и способствующих широкому внедрению бенчмар-кинга не только в высшее, но и в среднее образование.

Рис. 1. Схема годичного цикла управления качеством образования

Схема годичного цикла управления качеством образования в учебном заведении, разработанная в процессе диссертационного исследования, с учетом данных ЕГЭ и результатов самообследования, протекающего в течение учебного года и включающего в число необходимых компонентов цикла бенчмаркинг, приведена на рис. 1. Аналогичная схема, но с необходимыми изменениями, отражающими специфику уровня управления, может быть реализована в муниципальном округе или регионе.

В целом, теоретические результаты первых двух глав диссертации закладывают основы концепции системы управления качеством обучения, строящейся на возможностях педагогических измерений в сочетании с традиционными формами и методами контроля и ориентированной на приоритет инновационных технологий обучения, опе-рационализируемых показателей качества обучения, инновационных видов измерителей, методов самоконтроля, самокоррекции и самооценки результатов учебной деятельности.

Результаты третьей главы диссертационного исследования, включают обзор теоретико-методологического обоснования проблем измерений в управлении качеством образования; основные цели, функции и задачи измерений в образовании; принципы научной организации и основные положения традиционной и современной теории тестов; положения бипарадигмальной методологии, разработанные автором, в сочетании с моделями и классификационной схемой бипа-радигмальных методов измерения; теоретико-методологическое обоснование использования результатов измерений в управлении качеством образования. В начале главы выявляются основные факторы, формирующие нынешнюю ситуацию в сфере управления качеством образования и способствующие актуализации исследований в области педагогических измерений. В целом эти факторы, наличествующие в той или иной степени в практике отечественного образования, порождают острую потребность в развитии методологии педагогических измерений, в ее модернизации применительно к современным проблемам управления качеством образования.

В главе выделяются три наиболее важных направления, в которых идет развитие теории научной организации измерений в управлении качеством образования. Одно из них нацелено на методологию,

закладывающую теоретические основы методов управления качеством образования, другое связано с попытками стандартизации целевых ориентиров и составляющих этого процесса, третье включает теоретико-методологические исследования в области оценки состояния, изменений и тенденций в образовании, базирующиеся на теории педагогических измерений.

Основное содержание материала главы сосредоточено вокруг третьего направления и связано с проблемой теоретико-методологического обоснования измерений в управлении качеством образования. Для этого вначале рассматриваются цели измерений в образовании, конкретизированные применительно к ситуации, когда результаты педагогических измерений применяются для принятия административно-управленческих решений в образовании и получаются с помощью итоговых тестов. Помимо общих целей тестирования, ориентированных на применение тестов в национальных экзаменах, в диссертации формулируется ряд других частных целей, наиболее актуальных для современной ситуации в образовании и достижимых только с помощью педагогических измерений при управлении процессом усвоения знаний в текущем учебном процессе.

К основным функциям измерений в исследовании отнесен ряд традиционных (диагностическая, корректирующая, обучающая, оценочная, мотивирующая и развивающая), а также ряд новых, привнесенных проблемами совершенствования процесса управления качеством образования и возрастанием роли педагогического контроля в системах менеджмента качества образования. К числу новых функций, появившихся сравнительно недавно - в начале XXI века, можно отнести информационную, сравнительную и прогностическую. В исследовании предлагается развернутый анализ инновационных функций из-

мерений, сопровождающийся описанием сфер их реализации, условий эффективного выполнения и ситуаций взаимного дополнения. Особое значение в третьей главе придается сравнительной функции измерений, проявляющейся в сопоставлении количественных и качественных результатов измерений по совокупности показателей для регионов, областей, районов, школ, отдельных преподавателей или учащихся. После функций предлагаются принципы, регламентирующие процесс измерений и носящие как общий, так и специальный характер

В качестве методологических основ педагогических измерений в третьей главе рассматриваются две теории, одна из которых получила название классической (традиционной), а другая - современной теории тестов. Классическая теория тестов обеспечивает качественный уровень измерений, неизбежно способствующий росту негативного влияния субъективного фактора на надежность и валидность результатов. Современная теория тестов преодолевает ряд недостатков классической теории и позволяет выйти на количественный уровень измерений в образовании. Ее аппарат строится на использовании вероятностных моделей, включающих оцениваемые параметры испытуемых и заданий, которые связываются с вероятностью успешного выполнения заданий теста.

Анализ эволюционного пути развития методологии педагогических измерений свидетельствует о наличии острых дебатов между сторонниками количественного или качественного подхода в измерениях, отстаивавших противоположные точки зрения на приоритет методологии конструирования измерителей, методов оценивания валидности результатов измерений, их шкалирования и интерпретации результатов измерений в практике. В главе предлагается ряд факторов, влияющих в наши дни на становление ведущей методологии измерений в отечест-

венном образовании. К их числу отнесены: растущий интерес к творческим компонентам подготовки обучаемых, необходимость отхода от традиционных заданий с выбором ответов и расширение функций педагогических измерений в управлении качеством образования; интенсивное развитие новых измерительных технологий, основанных на компьютеризации образования и облегчающих доступ к использованию различных дизайнов измерения. Рассмотрение перечисленных факторов в сочетании с практикой эксперимента по введению ЕГЭ подводит к выводу о необходимости развития инновационной методологии, получившей в диссертациогаюм исследовании название «бипа-радигмальная» и позволяющей сочетать количественные результаты тестирования с данными анкетирования, контент-анализа, результатами собеседований и др. Предлагаемая в диссертации концептуальная модель сочетания количественных и качественных измерений основана на бипарадигмальной методологии и структурирована в соответствии с различными уровнями системы управления качеством образования.

Разнообразие концептуальных и методических проблем, возникающих в рамках бипарадигмальной методологии измерений, и попытка их структуризации находят свое отражение в новом понятии -бипарадигмальные модели измерения. Согласно предлагаемому автором диссертации определению, под бипарадигмальными моделями педагогических измерений будет пониматься совокупность предположений, принципов, методов, требований и показателей качества, определяющих функционирование и развитие всех компонентов процесса и средств измерения, строящихся на сочетании количественных и качественных подходов к измерению. Типология бипара-дигмальных моделей измерения, обладающая свойствами полноты и системности, охватывающая практически весь спектр задач, решае-

мых с помощью измерений в управлении качеством образования, приводится на рис. 2.

Рис. 2. Типология бипарадигмалышх моделей измерения

В целом, бипарадигмальные модели охватывают все стадии измерений — от планирования и разработки его дизайна до анализа взаимного влияния данных измерений и их интерпретации для управления качеством образования. Здесь включены такие промежуточные стадии, как разработка измерителей, проведение тестирования или другого сбора данных, формирование выборочных совокупностей обучаемых для калибровки измерителей или сбора репрезентативных данных, шкалирование и анализ данных, их сопоставление, получение

управленческих выводов оперативного характера и прогнозирование тенденций изменения качества образования.

Эффективная реализация оценочных процессов обеспечивается определенной последовательностью получения количественных и качественных данных, собираемых на основе различных дизайнов измерения. Среди многочисленных возможных схем измерений в рамках бипарадигмальной методологии выделяют две основные, получившие название последовательного и параллельного дизайна. В последовательном дизайне качественные измерения сменяют количественные либо наоборот вначале идут количественные измерения. При параллельном дизайне количественные и качественные измерения ведутся одновременно с последующим объединением данных на основе смешанной методологии измерения. Зачастую количественные и качественные результаты, полученные при одновременном измерении, в процессе анализа подвергаются интеграции для повышения обоснованности управленческих воздействий.

Четвертая глава «Теоретико-методологические основы использования измерений в управлении качеством образования» содержит авторский подход к трактовке структуры методологического базиса, нацеленного на применение результатов педагогических измерений в управлении качеством образования и включающего теорию надежности, теорию валидности и теорию генерализации (ОепегаНгаЫШу ТЬеогу). Последнее методологическое направление является обобщением теории надежности и предназначается для обоснования качества всех компонентов педагогических измерений, рассматриваемых во взаимосвязи со случайными и систематически ошибочными компонентами. Перечисленные теории нашли свое отражение в сформировавшейся за рубежом обобщенной оценочно-аналитической деятельности, получившей название «эвалюация».

В определении автора диссертации, построенном на анализе существующих теоретических и прикладных наработок в нашей стране и за рубежом, эвалюация в образовании является интегративным понятием, которое включает все направления оценочно-аналитической деятельности: постановку целей, определение методологического подхода (как правило, с опорой на динамические методы анализа изменений характеристик обучаемых), разработку логических или математических моделей педагогических измерителей; выбор методов сбора и анализа информации (как правило, с преимущественной опорой на теорию педагогических измерений и статистические методы, но не исключающие широкое применение качественных оценок); разработку дизайна исследования; определение методов обработки и интерпретации данных анализа для принятия управленческих решений в целях повышения качества образования.

В четвертой главе автором предложены подходы к повышению надежности педагогических измерений, которые нашли свое отражение в научно-практической работе по совершенствованию методов анализа данных ЕГЭ. Эта работа проводилась под руководством автора диссертации на протяжении ряда лет и позволила выявить ряд факторов, влияющих на надежность измерений в ЕГЭ и рассматриваемых в контексте размерности КИМ, их длины и качества их заданий. Для анализа размерности использовались методы конструирования шкал с использованием многофакторного анализа с целью сжатия данных при сходстве внутренних персональных данных и применялись методы многомерного шкалирования (МББ), допускающие непохожесть субъективных атрибутивных данных. В последние годы для оценки надежности особенное значение стали приобретать внутрирейтерные способы, основанные на множественном альтернативном тестировании различных умений по предметам. В соответствии с этим подхо-

дом к оцениванию точности измерений утвердился специальный термин «внутрирейтерная надежность», используемый в том случае, если результаты традиционного тестирования учебных достижений выпускников учебных заведений по каждому предмету подтверждаются оценками освоенных навыков практической деятельности. Другой аспект применения внутрирейтерпой надежности связан с оценкой результатов выполнения учащимися заданий со свободно конструируемыми ответами, при проверке которых необходимо учитывать влияние субъективных факторов, связанных с особенностями опыта и строгости суждений отдельных экспертов.

Анализ подходов к концептуальному определению валидности, представленный в четвертой главе, позволил выделить три ее вида, имеющих наибольшее значение при использовании данных педагогических измерений в управлении качеством образования: содержательную, конструктную и прогностическую валидность. В исследовании рассматриваются альтернативные точки зрения ученых по поводу трактовки видов валидности, анализируются некоторые расхождения в классификации аспектов конструктной валидности и определении исходных предпосылок, лежащих в основе методов ее оценивания. Валидизацию педагогических измерений осложняет латентный характер переменных, из-за которого процесс операционализации при переходе от теоретических конструктов к их эмпирическим референтам носит неоднозначный характер. Поэтому, хотя процесс валидизации теста нередко содержит многочисленные вычислительные процедуры вспомогательного характера, понятие валидности относится скорее к области методологии и имеет множество аспектов рассмотрения. Теоретические проблемы валидизации раскрываются в диссертации в прикладных аспектах применительно к практике анализа качества данных ЕГЭ.

В целом, для повышения валидности педагогических измерений необходимо тщательное планирование содержания и дизайна теста, включая разработку его спецификации, подбор оптимальной трудности заданий (для обеспечения нормального закона распределения баллов по тесту), расчет оптимального времени выполнения, проведение экспертизы качества содержания отдельных заданий и всего теста, отбор наиболее валидных заданий с высокой дискриминативностью и т.д.

Значительное внимание в четвертой главе уделяется проблеме генерализации данных педагогических измерений, истокам появления этого методологического направления, развитию понятия, проблемам оценивания коэффициента генерализации в общем случае и в практике ЕГЭ. Теория генерализации обеспечивает научную базу для оценивания надежности измерения путем учета широкого диапазона компонентов измерений: конструирование тестов, подготовка бланков ответов, разработка инструкций для выполнения тестов и заполнения бланков ответов; создание методов проведения процедур тестирования и обработки их результатов; организации деятельности экзаменаторов и экспертов; обоснование рейтинговых и уровневых шкал учебных достижений и моделей измерения, а также многих других компонентов измерительных процедур, влияющих на величину ошибки измерения при принятии определенных управленческих решений. В исследовании прослеживается связь теории генерализации и теории принятия управленческих решений, выделяются точки соприкосновения и даются отличительные признаки.

Степень, в которой полученные результаты измерения относятся к генеральным оценкам группы экзаменуемых, может быть количественно определена с помощью коэффициента генерализации. В четвертой главе предлагается совокупность фасетных дизайнов, ориентиро-

ванных на проблемы управления качеством образования в рамках информационных данных ЕГЭ, и формула для подсчета коэффициента генерализации для одного из фасетов, наиболее типичного для данных ЕГЭ. По формуле производится оценка коэффициента генерализации для данных ЕГЭ за 2005 г. по математике, сформированных по репрезентативной выборке участников ЕГЭ.

Успех учебного заведения в его адаптации и развитии в новых рыночных условиях, основанных на конкурентной борьбе за лучших учащихся и лучших педагогов, во многом зависит от степени внедрения в его работу стратегического управления, практическая реализация которого строится на прогностическом анализе тенденций развития образования. Исследование в целях прогноза должно проводиться с приоритетом математико-статистических методов обработки количественных данных измерения. В частности, при прогнозировании тенденций в изменении качества образования рекомендуется использовать регрессионный анализ, методы линейного иерархического стуктурирования (HLM) и дисперсионный анализ. Статистические данные анализа, основанного на репрезентативных данных ЕГЭ, приводятся в приложениях к диссертации.

В пятой главе «Современные измерители, технологические аспекты обработки, анализа и интерпретации данных измерения в управлении качеством обучения» приводится общая типология видов современного инструментария педагогических измерений, излагаются технологические требования к характеристикам контрольных измерительных материалов ЕГЭ с позиций проблем управления качеством обучения, даются методики формирования выборочных совокупностей учащихся, обработки данных измерений, их шкалирования, выравнивания и интерпретации в управлении качеством образования.

Применительно к подходам бипарадигмальной методологии в главе строится классификационная схема измерителей, ориентированных на преимущественную проверку продуктивного уровня усвоения, интеллектуальных умений и приоритетов когнитивного обучения. Для отдельных групп измерителей разрабатываются требования, позволяющие построить устойчивые количественные или качественные шкалы при проведении измерений в образовании.

К наиболее перспективным видам измерителей, адекватным современным трактовкам качества образования, отнесены портфолио, тесты практических умений и кейс-измерители. В главе даются трактовки инновационных видов измерителей, определяются их свойства, рассматриваются достоинства и недостатки. В частности, под портфолио предлагается понимать целевую подборку работ учащегося, раскрывающую его успехи и достижения по одной или нескольким учебным дисциплинам. Подборка обязательно осуществляется на основе критериев выбора с участием самого ученика. При этом четко определяются критерии оценки достижений и тщательно подбираются свидетельства самостоятельной работы обучаемого. К достоинствам портфолио следует отнести возможность обеспечения:

• непрерывного процесса отслеживания и оценивания качества учебных достижений, осуществляющего тем самым мониторинг учебных достижений;

• многомерных представлений о различных учебных достижениях и учебной деятельности, связанных с широким спектром задач учебного процесса;

• лонгитюдных оценок, описывающих позитивную динамику изменений подготовленности, активность обучаемых в усвоении знаний, рост их компетентности, степень освоения коммуникативных и интеллектуальных умений;

• роста мотивации учебной деятельности, активизации обучающих и развивающих функций контроля, когда развитие обучаемых осуществляется путем решения учебных задач, оптимизированных по трудности применительно к подготовленности каждого обучаемого;

• оценок мыслительной деятельности учащегося, его общепредметных умений, возможностей в постановке проблем, решении нестандартных задач, понимании учебных предметов и овладении соответствующими навыками.

К недостаткам портфолио относятся значительные трудозатраты педагогов, наличие значительного субъективного компонента в оценках достижений учащихся.

В пятой главе также приводятся преимущества научно-обоснованных тестов, дается их классификация и формулируются условия эффективной реализации преимуществ инновационных измерителей. К этим условиям отнесены:

- создание современных контрольно-оценочных систем, включающих банки калиброванных тестовых заданий, программно-инструментальные средства тестового контроля, программные пакеты для статистического анализа качества тестов и шкалирования результатов тестирования, информационные базы данных для автоматизированного сбора, обработки, хранения и обобщения данных о качестве образования;

- осуществление систематической подготовки и переподготовки педагогических кадров учебных заведений по методикам конструирования тестов, компьютеризованного контроля и шкалирования.

В конце пятой главы рассматриваются специальные методы выравнивания, необходимость применения которых связана с использованием квазипараллельных вариантов, всегда несколько отличающихся по трудности. В исследовании рассматриваются методы вертикального

и горизонтального выравнивания, применение которых необходимо для обеспечения высокой сравнимости результатов при их интерпретации в управлении качеством обучения. Сравнительный анализ подходов к выравниванию проводится применительно к проблеме сопоставления данных ЕГЭ разных лет. По результатам сравнительного анализа даются рекомендации по разработке КИМ ЕГЭ и шкалированию данных ЕГЭ. Рекомендации сопровождаются данными статистической обработки результатов ЕГЭ, приведенными в приложениях к работе.

В разделе «Заключение» интегрируются основные выводы по главам диссертации и перечисляются результаты работы, полученные в соответствии с задачами исследования. В частности:

- анализ и результаты научных исследований проблем педагогических измерений в контексте совершенствования систем управления качеством обучения;

- периодизация исторического пути развития теории и методологии педагогических измерений в нашей стране и за рубежом.

- концептуально-методологические основы научной организации педагогических измерений, рассматриваемые в контексте разработанной автором бипарадигмальной методологии;

- концептуальные основы систем управления качеством обучения, предполагающие интеграцию педагогических измерений и традиционных методов контроля в условиях ориентации на приоритет инновационных технологий обучения и средств измерения;

- типология разработанных в исследовании бипарадигмальных моделей педагогического измерения, схемы сочетания различных уровней измерения;

- классификация видов современных измерителей, ориентированных на преимущественную проверку продуктивного уровня усвоения, интеллектуальных умений и приоритеты когнитивного обучения;

- дидактические и технологические требования к качеству компонентов педагогических измерений, разработанных как составляющие систем управления качеством обучения;

- совокупность предложенных в работе измеряемых показателей качества подготовленности учащихся и условия выработки управляющих воздействий на стадии проектирования и функционирования образовательных систем;

- разработанные методики сопоставимости и интерпретации результатов педагогических измерений (наблюдаемых и латентных) в управлении качеством обучения.

Основное содержание и результаты исследований по теме диссертации отражены в 83 работах, среди которых:

1. Звонников В.И. Измерения и измерители в едином государственном экзамене/ В.И. Звонников // Вестник ДГТУ. - 2004. - Том 3. №4. - 0,5 п.л.

2. Звонников В.И. Измерения и качество образования: монография/ В.И. Звонников. - М.: Логос, 2006. - 19,5 п.л.

3. Звонников В.И. Измерения и шкалирование в образовании: Учеб. пособие / В.И. Звонников. - М.: Логос, 2006. - 7 п.л.

4. Звонников В.И. Инновационные методы оценки учебных достижений студентов / В.И. Звонников // Высшее образование сегодня. - 2006. - №5. - 0,5 п.л.

5. Звонников В.И. Менеджмент качества высшего образования. Из опыта Государственного университета управления/ В.И. Звонников // Высшее образование сегодня. -2006. -№10. - 0,5 п.л.

6. Звонников В.И. Методология измерений в оценивании качества дистанционного образования / В.И. Звонников // СДО МГИУ, 2004. - 0,3 п.л.

7. Звонников В.И. Мониторинг университетского образования/В.И. Звонников // Тезисы докладов V Всероссийской научно-методической конференции «Развитие тестовых технологий в России». - Москва, 2003. - 0,5 п.л.

8. Звонников В.И. Основные направления научно-методических работ в эксперименте по введению единого государственного экзамена/В.И. Звонников // Труды симпозиума «Квалиметрия в образовании: методология и практика». - М.: Исследовательский центр проблем качества подготовки специалистов, 2002 - 0,7 п.л.

9. Звонников В.И. Педагогические измерения в оценивании качества образования / В.И. Звонников // Наука и образование. Известия южного отделения Российской академии образования и Ростовского государственного педагогического университета. - 2004. -№3. - 0,5 п.л.

10. Звонников В.И. Педагогические измерения в управлении качеством образования / В.И. Звонников // Экспериментальная учебная авторская программа. -М.: ИЦПКПС, 2004. - 1,75 п.л.

11. Звонников В.И. Прогнозирование качества подготовки специалистов / В.И. Звонников // Труды Исследовательского центра проблем качества подготовки специалистов, 2004. - 0.8 п.л.

12. Звонников В.И. Современная методология измерений в управлении качеством дистанционного образования/В.И. Звонников // Труды Международной академии открытого образования. - М.: 2004. - 0,3 п.л.

13. Звонников В.И. Современные тенденции в тестовых методах оценивания подготовленности обучаемых/В.И. Звонников // В кн. «Научно-методическое обеспечение управления качеством образования в Ивановском государственном университете»: Материалы XIX научно-методической конференции. - Иваново, 2005. - 0,4 п.л.

14. Звонников В.И. Тестовые средства для оценки качества учебных достижений на различных уровнях управления качеством образования/В.И. Звонников // Материалы Всероссийской конференции «Проблемы качества образования. Оценка и управление качеством в высшем образовании». Кн. 2. - М.: Исследовательский центр проблем качества подготовки специалистов, 2002. - 0,5 п.л.

15. Звонников В.И. Мониторинг эксперимента по введению единого государственного экзамена (аналитический отчет по данным социологического исследования) / Звонников В.И., Идиатулов Т.Т., Найденова H.H., Челышкова М.Б.// -М.: Исследовательский центр проблем качества подготовки специалистов, 2005. -4.8 пл. (авторский вклад 3.5 п.л.).

16. Звонников В.И. Использование результатов единого государственного экзамена в управлении качеством образования: учеб. пособие /Звонников В.И., Ефремова Н.Ф., Найденова H.H., Челышкова М.Б. - М.: Исследовательский центр проблем качества подготовки специалистов, 2005 5.2 пл. (авт. вклад 4,0 п.л.).

17. Звонников В.И. Проведение мониторинга качества образования: методологические рекомендации / Звонников В.И. Ефремова Н.Ф., Найденова H.H., Челышкова М.Б. - М.: ИЦПКПС, 2005. - 3.72 пл. (авт. вклад 2,0 п.л.).

18. Звонников В.И. Шкалирование и выравнивание результатов педагогических измерений: учеб. пособие / Звонников В.И., Найденова H.H., Никифоров C.B., Челышкова М.Б. - М.: Логос, 2003. - 6.0 пл. (авт. вклад 2,7 п.л.).

19. Звонников В.И. Формирование репрезентативных выборок в условиях единого государственного экзамена / Звонников В.И., Найденова H.H., Челышкова М.Б/ Под ред. В.А. Болотова // Сборник статей «Единый государственный экзамен». Вып. 2. - М.: Логос, 2004. - 0.9 пл. (авт. вклад 0,37 п.л.).

20. Звонников В.И. Концепция системы менеджмента качества образования в университете / В.И. Звонников., Нефедов В.А. // Менеджмент сегодня. - 2005. -№4. - 1.2 пл. (авт. вклад 0,6 п.л.).

21. Звонников В.И. Об актуализации работ по совершенствованию системы управления качеством в ГУУ / В.И. Звонников., Нефедов В.А. // Вестник университета. -2004. -№4. - 0.8 пл. (авт. вклад 0,4 п.л.).

22. Звонников В.И. Аудит в общероссийской системе оценки качества образования / В.И. Звонников, М.Б. Челышкова / Под ред. В.А. Болотова // Сборник статей «Единый государственный экзамен». Вып. 3. - М.: Логос, 2005. - 0,5 п.л. (авт. вклад 0,4 п.л.).

23. Звонников В.И. Единый экзамен: неудачный эксперимент или универсальное решение / В.И. Звонников., Челышкова М.Б. // Высшее образование сегодня. - 2004. - №6. - 0,8 пл. (авт. вклад 0,6 пл.).

24. Звонников В.И. Контроль и оценка в современной школе: учебник / Звонников В.И. Челышкова М.Б. - М.: Академия, 2006. -12,0 п.л. (авт. вклад 6,0 пл.).

25. Звонников В.И. О педагогических измерениях в управлении качеством образования / В.И. Звонников, М.Б. Челышкова // Материалы Всероссийской конференции ЛЭТИ. - СПб, 2003. - 0,5 п.л. (авт. вклад 0,3 пл.).

На правах рукописи

ЗВОННИКОВ Виктор Иванович

ПЕДАГОГИЧЕСКИЕ ИЗМЕРЕНИЯ В УПРАВЛЕНИИ КАЧЕСТВОМ ОБУЧЕНИЯ

Специальность 13.00.01 -общая педагогика, история педагогики и образования

АВТОРЕФЕРАТ

диссертации на соискание ученой степени доктора педагогических наук

Компьютерный набор и верстка: М.В. Королева

Ответственные за выпуск: Г.М. Дмитриенко,

Т.А. Подкопаееа,

Печатается с готового оригинал-макета

Подписано в печать 18.12.06 Бумага офисная. Формат 60x84/16. Гарнитура Times New Roman. Усл.печ.л. 3,14. Тираж 200 экз. Заказ № 745

Издательство: Исследовательский центр проблем качества подготовки специалистов, 105318, Москва, Измайловское шоссе, 4. тел. (095) 369-42-83, 369-42-84, fax: (095) 369-58-13 E-mail: rc@rc.edu.ru

Содержание диссертации автор научной статьи: доктора педагогических наук, Звонников, Виктор Иванович, 2006 год

ВВЕДЕНИЕ.

1. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ИЗМЕРЕНИЙ В ОБРАЗОВАНИИ.

1.1. Исторические аспекты развития педагогических измерений в отечественном образовании.

1.2. История развития измерений в образовании за рубежом.

1.3. Основные компоненты и понятийный аппарат в теории педагогических измерений.

1.4. Объективность педагогических измерений.

1.5. Уровни педагогических измерений и шкалы.

1.6. Постановка задачи шкалирования и шкалы.

1.7. Размерность измерений, одномерные и многомерные измерения.

1.8. Современное состояние теории педагогических измерений и проблемные области исследования.

Выводы по первой главе.

2. ПРОЦЕСС УПРАВЛЕНИЯ КАЧЕСТВОМ ОБРАЗОВАНИЯ

И ЕГО НАУЧНОЕ ОБЕСПЕЧЕНИЕ.

2.1. Качество образования в современном мире.

2.2. Качество учебных достижений, эволюция понятия и его современная трактовка в измерениях.

2.3. Уровни управления образованием и информационные потоки между ними.

2.4. Показатели качества образования (общая характеристика).

2.5. Показатели качества учебных достижений на различных уровнях управления качеством образования.

2.6. Общие проблемы управления качеством образования, их связь с измерениями.

Выводы по второй главе.

3. МЕТОДОЛОГИЧЕСКИЕ ОСНОВЫ ПЕДАГОГИЧЕСКИХ ИЗМЕРЕНИЙ

В КОНТЕКСТЕ ПРОБЛЕМ УПРАВЛЕНИЯ КАЧЕСТВОМ ОБРАЗОВАНИЯ.

3.1. Проблема теоретико-методологического обоснования измерений в управлении качеством образования.

3.2. Основные цели, функции и задачи измерений в образовании.

3.3. Принципы научной организации измерений в образовании.

3.4. Традиционная (классическая) теория тестов.

3.5. Современная методология педагогических измерений.

3.6. Бипарадигмальная методология и модели измерений в управлении качеством образования.

3.7. Классификация бипарадигмальных моделей измерения применительно к современным проблемам управления качеством образования, схемы сочетания уровней измерения.

Выводы по третьей главе.

4. ТЕОРЕТИКО-МЕТОДОЛОГИЧЕСКИЕ ОСНОВЫ ИСПОЛЬЗОВАНИЯ ИЗМЕРЕНИЙ В УПРАВЛЕНИИ КАЧЕСТВОМ ОБРАЗОВАНИЯ.

4.1. Общие направления теоретико-методологических исследований по использованию измерений в управлении качеством образования.

4.2. Эвалюация в образовании.

4.3. Научное обоснование точности педагогических измерений надежность и ее оценивание).

4.4. Валидность педагогических измерений.

4.5. Теория генерализации, ее общие положения и дизайн в управлении качеством образования.

Выводы по четвертой главе.

5. СОВРЕМЕННЫЕ ИЗМЕРИТЕЛИ, МЕТОДИЧЕСКИЕ АСПЕКТЫ ОБРАБОТКИ, АНАЛИЗА И ИНТЕРПРЕТАЦИИ

ДАННЫХ ИЗМЕРЕНИЯ В УПРАВЛЕНИИ КАЧЕСТВОМ ОБУЧЕНИЯ.

5.1. Общая типология видов современного инструментария педагогических измерений, контрольные измерительные материалы единого государственного экзамена.

5.2. Методика формирования выборочных совокупностей учащихся и оценивания генерализуемости данных измерения на примере результатов единого государственного экзамена).

5.3. Методики шкалирования и выравнивания данных тестирования по вариантам и по годам (на примере результатов единого государственного экзамена).

5.4. Методические подходы к анализу и интерпретации данных измерения в управлении качеством образования (на примере результатов единого государственного экзамена).

Выводы по пятой главе.

Введение диссертации по педагогике, на тему "Педагогические измерения в управлении качеством обучения"

В настоящее время исследования по научным проблемам управления качеством образования в нашей стране идут, по меньшей мере, в трех важных направлениях. Одно из них нацелено на методологию, закладывающую теоретические основы инновационных методов управления качеством образования и научной организации процесса управления (Адлер Ю.П., Андреев В.И., Бермус А.Г., Гузаиров М.Б., Ефремова Н.Ф., Качалов В.А., Ковалева Г.С., Майоров А.Н., Макаров А.А., Монахов В.М., Панасюк В.П., Поташник М.М., Селезнева Н.А., Субетто А.И., и др.). Сюда же примыкают концептуально-методологические исследования, рассматривающие различные аспекты оценки качества образования, выделяющие совокупности показателей и расставляющие приоритеты в определении его критериев.

Другое направление исследований связано с попытками стандартизации целевых ориентиров и составляющих процесса управления качеством образования. К нему относятся работы по созданию государственных образовательных стандартов и систем менеджмента качества образования, основанных на стандартах ИСО 9000-2000 (Аристов О.В., Байденко В.И., Исаев В.А., Качалов В.А., Колесников С.И., Коротков Э.М., Круглов С.К., Нефедов В.А., Селезнева Н.А., Соколов В.М., Соловьев В.П., Татур Ю.Г., Чекмарев А.Н., Фирсов В.М. и др.).

Третье направление - теоретико-методологические исследования в области оценки состояния, изменений и тенденций в образовании -базируется на теории педагогических измерений, получивших интенсивное развитие после начала в нашей стране эксперимента по введению единого государственного экзамена (ЕГЭ) (Аванесов B.C., Бахмутский А. Е., Белобородов В.Н., Болотов В.А., Гузаиров М.Б., Ефремова Н.Ф., Ковалева Г.С., Коротков Э.М., Кузнецова О.З., Кулемин Н.А., Легостаев И.И., Майоров А.Н., Михайлычев Е.А., Мокосеев В.М., Переверзев В.Ю., Сафонцев С.А., Севрук А.И., Татур А.О., Челышкова М.Б., Шмелев А.Г. и др.).

В целом, управление качеством образования - сложный многоаспектный процесс, научное обоснование которого предполагает взаимосвязанное развитие всех перечисленных направлений. Однако разнообразные подходы к концептуально-методологическому обоснованию качества образования, многочисленные попытки его стандартизации, различные модели управления так и останутся в сфере теории, если не признать в системах управления качеством образования приоритетную роль объективного оценивания, основанного на теории педагогических измерений и обеспечивающего научную основу для анализа результатов обучения, функционирования, развития, прогнозирования и совершенствования систем управления качеством образования. Действительно, ограниченность знаний об объекте управления и о каждом из его субъектов, вызванная несовершенством информационного обеспечения управленческих процессов вне культуры педагогических измерений, не позволяет педагогам в полной мере соотнести результаты обучения с целевыми критериями, объективно оценить эффективность инновационных технологий, обоснованно определить степень и особенности управленческих воздействий, необходимых для повышения качества образования.

На сегодняшний день состояние в сфере контроля и оценки качества образования в России крайне противоречиво, что не случайно, поскольку процесс модернизации любой системы всегда сопровождается элементами ее кризисного состояния, наличием противоречий между ее традиционным -современным и перспективным - прогнозируемым состоянием. К основным факторам такого кризисного состояния можно отнести противоречия между: - необходимостью моделирования процессов самоорганизации системы управления качеством обучения и недостатками традиционной контрольно-оценочной системы в образовании, ее субъективностью и низкой прогностичностью, порожденными отсутствием опоры контроля на теорию и практику педагогических измерений;

- потребностями внедрения технологий личностно-ориентированного обучения в учебный процесс и низким обучающим потенциалом традиционных средств контроля, его авторитарностью, недостаточной информативностью и слабой индивидуализацией, препятствующей дифференциации управленческих воздействий.

Анализ путей решения этой проблемы привел к необходимости ее некоторого сужения, в результате которого была выбрана тема исследования: «Педагогические измерения в управлении качеством обучения». Прикладные аспекты темы были конкретизированы применительно к практическим потребностям эксперимента по введению единого государственного экзамена и систем качества университетского образования. Основными особенностями исследования, предопределившими возможность получения новых результатов, являются такие свойства, как интегративность и междисциплинарность. В исследовании переплетаются педагогика, психология, теория педагогических измерений, теория управления образовательными системами и теория вероятности, достижения которых объединяются с методами математического моделирования и прилагаются к практике в контексте общих проблем образования.

Цель исследования - разработать фундаментальные теоретические и прикладные положения научной организации педагогических измерений применительно к проблемам развития современных систем управления качеством образования и внедрения инновационных технологий обучения.

- включать научный аппарат для обеспечения высокой объективности, надежности и валидности результатов измерений в образовании.

- провести периодизацию исторического пути развития теории и методологии педагогических измерений; разработать концептуально-методологические основы научной организации педагогических измерений в контексте современных подходов к сочетанию различных уровней измерения и проблем создания систем управления качеством образования;

- разработать основные теоретико-методологические и методические подходы к использованию результатов педагогических измерений в управлении качеством обучения.

Методологической основой исследования послужили:

Теоретическая база исследования:

- теория педагогических измерений (Аванесов В. С., Легостаев И.И., Ефремова Н.Ф., Масленников А.С., Михайлычев Е.А., Наводнов В.Г., Нейман Ю.М., Челышкова М.Б., Berk R.A. Binet A., Birnbaum A., Campbell R.N., Hambleton R., Keeves J. P., Lord F.M., Rasch G., Swaminathan H., Thorndike E.L., Thurstone L.L., Weiss D.J.); педагогические концепции личностно-ориентированного обучения (Акимова М. К., Бондаревская Е.В., Волков И. П., Давыдов В. В., Занков J1.B., Ильина Е.Н., Якиманская И. С., Ямбург Е. А.);

- общая теория управления педагогическими системами (Беспалько В. П., Борк Дж., Букович У., Вебер А.В., Данилов А.Д., Джексон П., Панасюк В. П., Уильяме Р.);

- фундаментальные и прикладные теоретические исследования в области качества образования (Вроейнстийн А.В., М.Б. Гузаиров, Максимов Н.И., Селезнева Н.А., Татур Ю.Г., Чекмарев А.Н.).

Исследование осуществлялось на протяжении нескольких этапов:

1 этап (2000 - 2002 гг.) - подготовительный и аналитико-поисковый включал: анализ практических проблем, сложившихся в области педагогических измерений при решении задач управления качеством образования (эксперимент по введению ЕГЭ, вузовские системы менеджмента качества образования); анализ литературных источников (свыше 400 источников); постановку и обоснование проблемы диссертационного исследования; определение круга задач исследовательской работы; моделирование объектов исследования.

2 этап (2002 -2005 гг.) - аналитико-синтетический, нацеленный на обобщение практического опыта, разработку концептуальной и методологической части результатов исследования, проведение развернутого статистического анализа данных ЕГЭ по тематике исследования и смежной проблематике в рамках НИР и НИОКР Федеральной программы развития образования в России с привлечением соисполнителей из Ивановского государственного университета и Донского государственного технического университета (свыше 10 проектов), разработку и проведение анкетирования в соответствии с требованиями стандартов качества образования в Государственном университете управления, обобщение статистических данных и их интерпретацию для решения задач исследования, разработку экспериментальной авторской учебной программы «Педагогические измерения в управлении качеством образования», ее внедрение в систему повышения квалификации профессорско-преподавательского состава вузов на базе кафедры педагогических измерений Исследовательского центра проблем качества подготовки специалистов и кафедры тестологии в Российском университете дружбы народов, подготовку статей и монографии, апробацию результатов исследований на конференциях, симпозиумах и совещаниях (свыше 15).

3 этап (2005 - 2006 гг.) - заключительный: обобщение данных анализа, разработка выводов, подведение итогов исследования, оформление диссертационного исследования, разработка методик и рекомендаций по использованию результатов измерения в управлении качеством образования.

Базой исследования явились: кафедра педагогических измерений Исследовательского центра проблем качества подготовки специалистов Московского института стали и сплавов (технологического университета), Центр качества подготовки специалистов Государственного университета управления, кафедра тестологии Российского университета дружбы народов, кафедра педагогических измерений Донского государственного технического университета, Центр качества образования Ивановского государственного университета, рабочая комиссия по организации ЕГЭ, созданная в 2001 г. при Минобразования России для научного и методического сопровождения эксперимента по введению ЕГЭ.

Автор диссертации ведет занятия по теории и методике конструирования педагогических тестов, общим проблемам педагогических измерений в различных структурах повышения квалификации управленческих, профессорско-преподавательских, педагогических и научно-исследовательских кадров системы образования во многих городах России (Москва, Иваново, Ростов-на-Дону, Краснодар и т.д.). В развитие приказа Минобразования России №1122 от 17.04. 2000 г. для подготовки лиц с целью получения дополнительной квалификации «Тестолог» (специалист по педагогическим измерениям)» автором разработана и издана экспериментальная учебная программа «Педагогические измерения в управлении качеством образования», предназначенная для повышения квалификации управленческих, профессорско-преподавательских, педагогических и научно-исследовательских кадров системы образования.

В 2001 году в России под руководством автора на базе Исследовательского центра проблем качества подготовки специалистов Московского института стали и сплавов (технологического университета) создан Центр сертификации педагогических тестовых материалов, предназначенный для производства тестов и обеспечения их высокого профессионального уровня, без которого немыслимо широкое внедрение педагогический измерений в управление качеством образования и практику образовательного процесса.

С момента начала эксперимента по введению ЕГЭ автор диссертационного исследования являлся научным руководителем 17 научноисследовательских и экспериментальных проектов, среди которых, в первую очередь, следует назвать:

1. «Разработка государственных требований к качеству педагогических тестовых материалов», 2001.

2. «Разработка контрольных измерительных материалов по общеобразовательным предметам для проведения единого государственного экзамена в 2002 - 2003 годах и мониторинг эксперимента», 2002.

8. «Разработка методики использования результатов ЕГЭ для управления качеством образования в учреждениях образования, на федеральном, региональном и муниципальном уровнях управления», 2004.

9. «Мониторинг эксперимента по введению единого государственного экзамена», 2005.

Повышению обоснованности технологических подходов, предлагаемых в диссертационном исследовании для решения ряда поставленных в нем проблем, способствовало проведение эмпирических проверок инновационных технологических разработок, их внедрение в практику эксперимента по введению единого государственного экзамена и в учебный процесс Государственного университета управления.

Научная новизна работы заключается в том, что: - проведена периодизация исторического пути развития теории и методологии педагогических измерений. В отличие от существующих ранее работ по исследованию истории развития тестов в основу предлагаемого подхода положен анализ эволюционного пути становления и развития измерений в образовании. Благодаря этому удалось вычленить сущностные предпосылки развития теории и методологии педагогических измерений, связав их с различными социальными, экономическими и политическими изменениями в обществе в нашей стране и за рубежом;

- создана концепция системы управления качеством обучения, строящаяся на бипарадигмальной методологии и ориентированная на инновационные технологии обучения, операционализируемые показатели качества обучения, современные виды измерителей, методы самоконтроля, самокоррекции и самооценки результатов учебной деятельности;

- создана логически исчерпывающая типология бипарадигмальных моделей педагогического измерения и предложены схемы сочетания различных уровней измерения для разработки дизайна измерения;

- проведена периодизация исторического пути развития теории и методологии педагогических измерений;

- разработаны новые концептуальные подходы к построению систем управления качеством обучения, отражающие особенности инновационных технологий обучения, сочетания количественных и качественных уровней измерения, современных измерителей, методов самоконтроля, самокоррекции и самооценки результатов учебной деятельности;

- обоснованы преимущества динамического подхода к оцениванию качества образования;

Большинство результатов работы внедрено в практику эксперимента по введению ЕГЭ и в практику менеджмента качества образования в Государственном университете управления. Материалы диссертации, включающие ряд методик, имеют практическую ценность для разработки систем менеджмента качества образования, деятельности управленческих структур федерального и регионального уровней в образовании. Разработанные показатели качества учебных достижений могут быть использованы при аттестации учебных заведений, для проведения сравнительных исследований качества обучения.

На защиту выносятся:

1. Результаты анализа истории развития теории и методологии педагогических измерений. По данным анализа необходимо выделить четыре периода. Первый период занимает временной интервал с конца 19-го до начала второго десятилетия 20-го века. В этот период педагогические измерения не получили самостоятельного статуса и развивались в рамках общей теории измерений, используемой в соответствии с представлениями того времени исключительно в естественных науках, а не в психологии и образовании. Ко второму периоду в истории развития измерений можно отнести временной промежуток с 1920 г. По 1945 г., начало которого можно соотнести с развитием теоретических и методологических концепций измерительных процедур во внефизических областях. Третий период продолжался с 1946 по 1980 г. и проходил под знаком доминирующей классической теории тестов. Характерной чертой третьего периода является нарастающее расширение сферы приложения теории измерений, когда центр тяжести прикладных исследований по измерениям переместился из точных наук в социальные науки на фоне создания основных положений теории IRT.

Четвертый период развития теории и практики педагогических измерений, начавшийся в 80-х годах и продолжающийся по сей день, характеризуется интенсивным внедрением в массовое тестирование основных теоретических положений IRT, компьютерной техники и современных компьютерных технологий в образовательный процесс. Высокая эффективность процедур измерения, связанная с качественной калибровкой тестовых заданий, хранением их в виде банков, автоматизацией предъявления заданий в процессе обучения и контроля, компьютерным моделированием тестов, сыграла решающую роль в расширении сферы приложения теории педагогических измерений вплоть до решения на ее основе комплексных задач управления качеством образования. Характерной чертой четвертого периода является становление новой бипарадигмальной методологии, нацеленной на научную организацию педагогических измерений в системах менеджмента качества образования.

Главный итог проведенного анализа исторического развития теории и методологии измерений в отечественном образовании - это вывод о необходимости создания в нашей стране специального полноправного направления педагогической науки - теории педагогических измерений, которая в силу междисциплинарного характера не может полнокровно развиваться в рамках классической педагогики, но без опережающего развития которой страдает сфера управления в образовании.

2. Понятийный аппарат теории педагогических измерений, который строится на типологической, классификационной основе, отвечающей требованиям полноты и непротиворечивости, и включает ряд определений. К основным определениям, сформулированным и уточненным в исследовании применительно к проблемам управления качеством обучения, относятся: педагогическое измерение, методология педагогических измерений, бипарадигмальная методология и модели педагогических измерений, процедура педагогического измерения, педагогический измеритель, стандарты качества измерителей, качество учебных достижений, управление качеством обучения, теория генерализации, операционализируемый показатель качества обучения, технология измерений в системе управлении качеством образования и ряд других.

- принцип объективности, требующий использования измерителей, технологий и процедур, обеспечивающих высокую объективность результатов измерений; принцип релевантности, регламентирующий соответствие характеристик компонентов педагогических измерений уровню управления качеством обучения;

- принцип прогностической направленности, регламентирующий наличие достаточного объема информации, накапливаемой внутри контрольно-оценочной системы, ее надежности, высокой прогностической валидности, предполагающей оценивание потенциальных возможностей объектов, учет изменяющихся потребностей и запросов внешней и внутренней по отношению к системе среды; принцип динамичности при оценивании показателей качества образования, способствующий повышению обоснованности управленческих решений на основе педагогических измерений; принцип минимакса и контроля дисперсии, позволяющий регламентировать качество измерений.

4. Концепция системы управления качеством обучения, строящаяся на возможностях педагогических измерений в сочетании с традиционной диагностикой и ориентированная на приоритет инновационных технологий обучения, операционализируемых показателей качества обучения, инновационных видов измерителей, методов самоконтроля, самокоррекции и самооценки результатов учебной деятельности. Измерения в управлении качеством обучения должны опираться на единый концептуальный подход, ориентированный на основные задачи управления в образовательной системе и предназначенный для различных целей и уровней управления: от задач макроуровня до уровня каждого учащегося. Такой концептуальный подход должен носить комплексный характер и строиться на сочетании динамического (включение временного фактора в обработку и интерпретацию результатов измерения), сравнительного (сопоставление результатов измерения по отдельным показателям качества), дифференцирующего (соотнесение баллов учащихся со среднестатистическими нормами, и последующая качественная интерпретация для установления причин смещения личностных показателей относительно статистических норм, анализом работы образовательных учреждений и принятием коррекционных мер в управлении качеством образования) и прогностического видов анализа (выявление тенденций в изменении качества образования).

5. Концептуальная модель сочетания количественных и качественных уровней измерений, основанная на бипарадигмальной методологии и выстроенная применительно к различным уровням управления качеством образования. Она включает логически исчерпывающую типологию бипарадигмальных моделей педагогического измерения, обладающую свойствами полноты и системности, восполняющую существующие пробелы в разработке теоретико-методологического обеспечения в русле современных тенденций интеграции количественных и качественных методов, и охватывает все главные стадии измерения: планирование, разработку дизайна и измерителей, сбор данных (проведение тестирования, анкетирования или других форм), обработку, анализ и интерпретацию данных, получение управленческих выводов для повышения качества образования.

Применение основных положений теории надежности, конструктной валидизации и генерализации применительно к экспериментальной области исследования, связанной с обеспечением высокого качества КИМ для использования данных ЕГЭ в управлении качеством образования, должно базироваться на методиках, объединяющих воедино надежность и размерность пространства педагогических измерений и основанных на возможностях факторного анализа для сжатия данных. Генерализация данных ЕГЭ, основанная на предлагаемых в диссертации фасетных дизайнах, позволит выявить особенности региональных компонентов в содержании образования и создать сбалансированные КИМ, адекватные задачам управления качеством образования.

8. Совокупность измеряемых показателей качества подготовленности учащихся, необходимая для выработки управляющих воздействий на стадии проектирования и функционирования образовательных систем и выстроенная в соответствии с уровнями управления качеством образования. Предлагаемая совокупность показателей в сочетании с набором требований, обеспечивающих в рамках бипарадигмальной методологии измерений корректность информационной управленческой базы. Учет разработанных в диссертации дополнительных факторов необходим при использовании результатов педагогический измерений в управлении качеством образования для выработки корректных, обоснованных, эффективных и согласованных управленческих решений. Для обоснованного отбора абитуриентов вузов на основе данных ЕГЭ к информации, собранной в процессе ЕГЭ с помощью КИМ, необходимы дополнительные данные, получаемые с помощью средств аутентичного оценивания качества учебных достижений в различных регионах с учетом временного фактора.

Апробация работы. Основные положения диссертационного исследования отражены в публикациях автора в виде статей в журналах и сборниках, тезисов докладов на научных конференциях и монографии «Измерения и качество образования».

Материалы исследования доложены на следующих конференциях и симпозиумах:

1. Десятый симпозиум «Квалиметрия в образовании: методология и практика», Москва, 4-5 апреля 2002 г.

3. Третья Всероссийская научно-практическая конференция «Управление качеством», Москва. 10-11 марта 2004 г.

5. XIV Всероссийское совещание «Проблемы качества образования», Москва, 28 мая-2 июня 2004 г.

9. 18th Annual Conference of the American Evaluation Association, Atlanta, USA, Evaluation 2004, 3-6 November.

10.19th Annual Conference of the American Evaluation Association and CSE, Toronto, Canada, Evaluation 2005, 5 - 10 November.

11.20-я Всероссийская научная конференция молодых ученых и студентов «Реформы в России и проблемы управления - 2005», Москва, 20 -22 января 2005 года.

14.XXIX научно-методическая конференция «Научно-методическое управление качеством образования», Иваново, 23-24 ноября 2005 г.

16.0диннадцатый симпозиум «Квалиметрия в образовании», Москва, 1617 марта 2006 г.

Структура и объем диссертации. Текст диссертации содержит пять глав, введение, заключение и пять приложений с результатами, иллюстрирующими реализацию предлагаемых в исследовании методик. Общий объем работы составляет 378 страниц. Список литературы состоит из 348 первоисточников.

Заключение диссертации научная статья по теме "Общая педагогика, история педагогики и образования"

ВЫВОДЫ ПО ПЯТОЙ ГЛАВЕ

В настоящее время наблюдается нарастающее усиление роли тестов и других измерителей в итоговом, входном и текущем контроле на фоне усиления общей связи между контролем и обучением. Эта тенденция лежит в русле современных взглядов на переосмысление роли контрольно-оценочной системы в образовании, когда контроль, оценка и обучение рассматриваются как взаимосвязанные и взаимопроникающие составляющие единого образовательного процесса.

При научном подходе к педагогическим измерениям данные, полученные с помощью различного инструментария, подвергаются статистическому анализу. Количественный статистический анализ основан на дескриптивное описание результатов измерений, качественный требует привлечения экспертов. Как правило, при использовании результатов измерения в управлении качеством образования также проводится корреляционный, дисперсионный (ANOVA) и факторный анализ, оценивается генерализуемость данных измерения и возможность принятия на их основе стратегических управленческих решений.

Одним из важнейших видов современного инструментария являются тесты для проверки обобщенных знаний и умений. Освоение умений по установлению межпредметных связей достигается путем обучения учащегося обобщенным способам познавательной деятельности, позволяющим решать новые задачи с опорой на известные ориентиры. Включение учащегося в процесс формирования и применения системных обобщенных знаний сопряжено с выявлением структурной организации тех

331 аспектов предметного содержания, которые отражают и воплощают в себе общие закономерности, идеи, принципы. В результате межпредметного синтеза возникает новое обобщенное понятие, представление, которое опирается на дедуктивные способы сравнения, абстрагирования, обобщения.

Проведенное исследование позволило сформулировать общие подходы к реализации сопоставимости данных педагогических измерений и выявить ряд проблем, снижающих обоснованность сравнения данных ЕГЭ внутри каждого года и разных лет. В частности, для повышения сопоставимости данных ЕГЭ необходимо продолжить работы по выполнению требований параллельности вариантов КИМ внутри одного года, увеличить число якорных заданий в каждом варианте, повысить соответствие данных ЕГЭ требованиям моделей измерения, применять итерационные методы максимального правдоподобия при переходе в интервальную шкалу и т.д.

Другим условием, выполнение которого важно для сопоставимости результатов ЕГЭ разных лет, является переход от простых методов линейного выравнивания к более сложным методам эквиперцентильного выравнивания. Однако выполнение эквиперцентильного выравнивания требует значительного увеличения объема вычислений, который невозможно выполнить в течение несколько дней, отведенных на получение шкалированных результатов ЕГЭ. По этой причине, следует подумать об изменении сроков проведения ЕГЭ. Принятый временной промежуток от окончания тестирования до выдачи результатов во многих странах, обладающих развитыми тестовыми технологиями, составляет не менее 3 недель, а не 3 дней как в ЕГЭ.

Очень важно повысить адекватность методов шкалирования результатов выпускников задачам проведения ЕГЭ. Шкалирование, которое приводит к снижению дифференцирующего эффекта КИМ для сильных выпускников, не является допустимым при решении задачи отбора абитуриентов. Анализ опыта по шкалированию результатов ЕГЭ и проблем по интерпретации данных, возникающих в среде пользователей, говорит о необходимости изменения методики шкалирования, принятой на протяжении ряда лет в ЕГЭ.

Для корректной интерпретации результатов ЕГЭ необходимо выполнение ряда требований, к числу которых относится: доступность данных интерпретации для различных уровней управления, генерализуемость, обоснованность, высокая надежность и валидность. Выполнение совокупности перечисленных технологических требований прежде всего зависит от качества КИМ, процедуры проведения ЕГЭ, шкалирования и выравнивания результатов ЕГЭ.

К технологическим требованиям, регламентирующим процедуры сбора, обработки и анализа данных относится: соответствие характера распределения данных тестирования требованиям моделей измерения, информационная безопасность, правильная кодировка результатов выпускников по заданиям части С, репрезентативности выборок испытуемых, используемых для сбора, обработки и анализа данных в управлении качеством образования

ЗАКЛЮЧЕНИЕ

Возросшие масштабы тестирования в нашей стране, введение независимой системы аттестации выпускников образовательных учреждений и единого государственного экзамена, создание в учебных заведениях систем менеджмента качества образования, обновление технологий обучения и приоритетов в трактовке качества образования актуализировали исследования теоретико-методологических и технологических основ педагогических измерений, рассматриваемых в контексте проблем управления качеством образования.

Анализ спектра научных работ по методологии педагогических измерений, оцениванию качества учебных достижений, выявлению тенденций в изменении качества образования, функционированию, развитию и совершенствованию систем управления качеством образования показал отсутствие исследований по ряду важнейших теоретико-методологических направлений, спорность отдельных подходов теоретиков, наличие спектра противоречивых результатов практиков. В связи с этим, в круг рассматриваемых в исследовании проблем вошла совокупность теоретических и методологических вопросов, инновационные пути решения которых, представленные в диссертации, предопределяют новизну полученных результатов и способствуют росту потенциала теории педагогических измерений при управленческих воздействиях в целях повышения качества образования.

Специфической чертой данного диссертационного исследования являлась его междисциплинарность, поэтому область полученных результатов базируется на отдельных положениях педагогики, теории и методологии педагогических измерений, теории управления образовательными системами, достижения которых в прикладных аспектах объединяются с методами математического моделирования, статистики, теории вероятности и прилагаются к практике единого государственного экзамена. Среди приоритетных педагогических доктрин, направлявших данное исследование, можно выделить традиционные положения дидактики о контрольно-оценочных процессах в образовании, теорию личностно-ориентированного развивающего обучения, психолого-педагогические концепции индивидуализации обучения и контроля. Теоретическая часть результатов, связанная с проблемами измерений, преимущественно ориентирована на современную методологию педагогических измерений. Совокупность методик, разработанных в диссертации, ориентирована на практику массового тестирования в эксперименте по введению ЕГЭ, проведение мониторинга и использования образовательной статистики в управлении качеством обучения.

В основу исследования было положено предположение о том, что совершенствование контрольно-оценочной деятельности педагогов на основе методов и средств педагогических измерений, способствует повышению эффективности и обоснованности решений, принимаемых в управлении качеством обучения.

Представленный в первой главе диссертации исторический и теоретический анализ проблемной ситуации вскрыл неисследованность широкого круга вопросов теории и методологии измерений, рассматриваемых в контексте проблем управления качеством образования. На основе анализа эволюционного пути становления и развития измерений в образовании в исследовании удалось провести периодизацию исторического пути развития теории и методологии педагогических измерений, обобщить результаты научных исследований по проблемам педагогических измерений, выявить позитивные тенденции с позиций перспективных направлений для совершенствования систем управления качеством обучения. Главный итог, который можно вынести из краткого исторического анализа в первой главе диссертации, - это вывод о необходимости создания в нашей стране специального полноправного направления педагогической науки - теории педагогических измерений, которая в силу междисциплинарного характера не может полнокровно развиваться в рамках классической педагогики, однако, без опережающего развития которой страдает сфера принятия управленческих решений в образовании.

Проблемы качества результатов педагогических измерений рассмотрены в контексте взаимосвязанных категорий объективности, размерности, надежности и валидности, уровней измерения, современная научная трактовка которых, во многом, отражает позиции автора исследования. По результатам рассмотрения сформирована совокупность научных требований к качеству основных компонентов педагогических измерений. В частности, в первой главе диссертации подчеркивается недопустимость упрощенного толкования объективности результатов оценочных процессов, снижающего доверие педагогической общественности к возможностям педагогических тестов, некорректность соотнесения надежности и валидности с характеристиками тестов, необходимость выбора аппарата для обработки данных измерений в строгом соответствии с размерностью пространства измерений, спецификой оцениваемых переменных, реализуемым уровнем измерений и группами допустимых математико-статистических операций. Особое внимание обращается на эффект специфической объективности, реализуемый благодаря основным положениям теории IRT, которая автором исследования выделяется в качестве приоритетной для педагогических измерений в управлении качеством образования. Использование IRT в шкалировании сырых тестовых баллов позволяет перевести результаты испытуемых в метрическую шкалу, значительно повышающую возможности сопоставления данных измерения при их использовании в управлении качеством образования.

Теоретический анализ составляющих процесса управления качеством обучения, проделанный во второй главе, позволил выявить проблемность и недостаточную разработанность этой области научного знания с позиций измерений. Как правило, сформировавшиеся в нашей стране традиционные представления о качестве учебных достижений,не допускают однозначную, пригодную для целей измерения трактовку. Дополнительные трудности в оценочные процессы привносят инновационные взгляды на качество результатов обучения, трактуемое по-разному, в зависимости от уровня управления качеством образования. В целом, проделанный анализ подводит к выводу о том, что эффективность работы по оцениванию качества учебных достижений, во многом, зависит от того, насколько правильно структурировано данное понятие, насколько оно операционализировано, представлено в виде некоторых стандартов качества и системы показателей вместе с сопутствующими количественными или качественными критериями.

Исследование возможностей IRT, проделанное во второй главе применительно к проблеме оценивания качества учебных достижений, как результатов осуществленного учебного процесса, позволил сделать заключение о перспективности использования современной теории IRT для рассматриваемого направления. Благодаря специальным математическим моделям и эффективному математическому аппарату, построенному на итерационных процессах, в рамках IRT появляется возможность перейти от внешних признаков - наблюдаемых результатов выполнения теста - к оценкам латентных параметров подготовленности испытуемых, характеризующих качество учебных достижений по различным переменным.

Сопряжение научного задела в области педагогических измерений с управленческими задачами, нацеленными на создание систем менеджмента качества образования, говорит о необходимости обновления систем контроля и оценки качества обучения в учебных заведениях и на других уровнях управления качеством образования. Системный подход к оцениванию качества образования должен быть построен на сочетании динамического, сравнительного, дифференцирующего и прогностического анализа, который в условиях сочетания и иерархии видов приобретает комплексный характер. Приоритетная роль в обеспечении информационной базы процесса управления принадлежит объективным оценкам качества, основанным на аппарате теории педагогических измерений. Данные измерения являются научной основой для распознавания, анализа, функционирования, развития, прогнозирования и совершенствования систем управления качеством образования в условиях построения определенной иерархии и взаимосвязи информационных потоков и создания полной системы показателей качества образования, поддающейся операционализации в целях измерения.

Область довольно значимых результатов исследований, представленных во второй главе, связана с введением ряда научных требований к характеристикам информационной базы, учету смещающих факторов, процедурам сбора, обработки, анализа и интерпретации данных измерения. По результатам исследования к этим требованиям отнесена необходимость применения базисной методологии управления качеством, высокая надежность и валидность результатов измерения, широкое использование динамического подхода к оцениванию качества обучения, учет всех факторов, влияющих на качество результатов обучения и обеспечение сопоставимости результатов измерения по годам. В частности сделан вывод о необходимости присоединения к информации, собранной в процессе ЕГЭ, дополнительных данных, полученных с помощью средств аутентичного оценивания качества учебных достижений в регионах с учетом временного фактора.

Основными результатами второй главы, имеющими важное прикладное значение для решения поставленных в диссертации задач исследования, можно считать совокупность показателей качества учебных достижений, выстроенных в соответствии с уровнями управления качеством образования. Предлагаемая совокупность показателей сопровождается набором требований, обеспечивающих корректность информационной управленческой базы в сочетании с разработанной в диссертации совокупностью дополнительных факторов, учет которых необходим при использовании оценок в управлении качеством образования.

В целом, теоретические результаты первых двух глав диссертации закладывают основы концепции системы управления качеством обучения, строящейся на возможностях педагогических измерений в сочетании с традиционными формами и методами контроля и ориентированной на приоритет инновационных технологий обучения, операционализируемых показателей качества обучения, инновационных видов измерителей, методов самоконтроля, самокоррекции и самооценки результатов учебной деятельности.

Результаты третьей главы диссертационного исследования нацелены на проблемы теоретико-методологического обоснования измерений в управлении качеством образования, рассматриваемых в контексте современных подходов к сочетанию различных уровней измерения и проблем создания систем управления качеством образования. Они охватывают спектр данных сравнительного анализа существующих методологий (традиционной и современной), проведенного в диссертационном исследовании применительно к проблемам научного обоснования информационного обеспечения процесса управления качеством образования. Помимо методологических проблем значительное внимание в исследовании уделено уточнению и пополнению понятийного аппарата, строящегося на типологической, классификационной основе и отвечающего требованиям полноты и непротиворечивости. Предлагаемые в третьей главе определения носят описательный характер и строятся в контексте современных методологических подходов, основанных на сочетании количественных и качественных уровней измерения.

Анализ эволюционного пути развития теорий научной организации педагогических измерений, проведенный в третьей главе, позволил расставить акценты и отдать приоритет бипарадигмальной методологии измерений, позволяющей сочетать количественные результаты тестирования с данными портфолио, анкетирования или результатами собеседования. Для предлагаемой приоритетной методологии в третьей главе диссертации приводятся принципы, часть из которых связана с основными положениями дидактики и носит общепризнанный характер, а другая - инновационный. К числу последних, разработанных автором диссертации относится принцип сочетания количественных и качественных уровней измерения, принцип минимакса и контроля, объединяющий три компонента, которые регламентируют процесс измерений и доминируют в различной степени в зависимости от уровня и стадии измерений.

К числу наиболее значимых научных результатов третьей главы можно отнести типологию бипарадигмальных моделей измерения, обладающую свойствами полноты и системности и охватывающую практически весь спектр задач, решаемых с помощью измерений в управлении качеством образования. Эта типология восполняет существующие пробелы в разработке теоретико-методологического обеспечения в русле современных тенденций интеграции количественных и качественных методов измерения. Она отвечает всем требованиям, предъявляемым к достоверным научным знаниям, охватывая все главные стадии измерения: планирование, разработку дизайна и измерителей, сбор данных (проведение тестирования, анкетирования или других форм), обработку, анализ и интерпретацию данных, получение управленческих выводов для повышения качества образования. Типология бипарадигмальных моделей дополняется схемами сочетания количественных и качественных уровней измерения, полученными среди результатов исследования.

Результаты четвертой главы охватывают новую область методологического знания, предлагаемую автором диссертации и включающую теоретические основы методов применения педагогических измерений в управлении качеством образования. В нее входят теория надежности, теория валидности и теория генерализации, составляющие в совокупности фундаментальные методологические положения теории научной организации педагогических измерений применительно к проблемам управления качеством образования, разработаны дидактические и технологические требования к качеству компонентов педагогических измерений, как составляющих систем управления качеством обучения

Исследование основных положений теории надежности применительно к прикладной области работ по обеспечению качества измерений, позволило предложить подходы, связывающие воедино надежность и размерность пространства педагогических измерений. Применение методик к данным ЕГЭ позволило реализовать возможности факторного анализа для сжатия данных при анализе размерности пространства измерений и выявить, тем самым, меру содержательного сходства заданий. Отсутствие одномерности данных по математике заставило обратиться к оцениванию коэффициента надежности по формуле Кронбаха, позволившей сделать вывод о высокой устойчивости шкалы, построенной по данным ЕГЭ. Вторым важным аспектом применения методик является возможность анализа вклада каждого задания в общую надежность теста. Проведение подобного анализа в регионах и последующая интеграция данных на федеральном уровне позволит выявить особенности региональных компонентов в содержании образования и создать сбалансированный КИМ, адекватный задачам оценивания качества образования в стране.

Исследования по проблемам валидности, проведенные в четвертой главе, были нацелены на размерность конструкта и обеспечение высокого качества содержания теста. Полученные результаты позволили сделать вывод о том, что достижение высокой конструктной валидности является главной задачей в обосновании качества педагогических измерений, от решения которой зависит и надежность и генерализуемость результатов выполнения теста. Многоаспектность оценок конструктной валидности, отмеченная в результатах исследования, заставила при разработке методики обратиться к различным источникам накопления информации, способствующей валидизации конструкта. В частности, для анализа конструктной валидности предлагается рассматривать корреляцию между результатами по новым и уже существующим, признанным тестам, применять экспертный анализ содержания тестов, использовать факторный анализ, анализировать внутреннюю согласованность теста методами корреляционного анализа и т.д.

Развернутый анализ данных ЕГЭ позволил выявить проблемы при оценивании надежности измерений. В связи с этим, в исследовании сделан вывод о необходимости обращения к теории генерализации и разработаны дизайны генерализации данных ЕГЭ применительно к различным уровням управления качеством образования.

К числу наиболее важных результатов четвертой главы следует отнести трактовку эвалюации, предлагаемую автором диссертации и рассматриваемую как спектр теоретико-методологических и практических работ по систематическому исследованию ценности и позитивности качеств обучаемых, вбирающий в себя результаты данного исследования. С позиций исследования, эвалюация в образовании является обобщенным понятием, которое включает все направления оценочно-аналитической деятельности: постановку целей, определение методологического подхода (как правило, с опорой на динамические методы анализа изменений характеристик обучаемых), разработку логических или математических моделей, выбор методов сбора и анализа информации (как правило, с преимущественной опорой на теорию педагогических измерений и статистические методы, не исключающие широкое применение качественных экспертных оценок), разработку дизайна исследования, генерализацию данных, определение методов обработки и интерпретации данных анализа для принятия управленческих решений в целях повышения качества образования. В главе предлагается типология видов эвалюации и строится концептуальная логическая модель, которая охватывает все этапы и устанавливает связи между ними, включая описание процессов взаимодействия компонентов эвалюации и планируемые формы представления данных в области краткосрочных и долгосрочных результатов.

Результаты пятой главы носят исключительно прикладной характер. В ней проводится развернутый анализ видов измерителей, аутентичных современным взглядам на переосмысление роли контрольно-оценочной системы в образовании и требованиям к учебным достижениям. К числу важнейших видов современного инструментария педагогических измерений отнесены тесты для проверки общепредметных и практических умений. Освоение умений по установлению межпредметных связей достигается путем обучения учащегося обобщенным способам познавательной деятельности, позволяющим решать новые задачи с опорой на известные ориентиры. Включение учащегося в процесс формирования и применения системных обобщенных знаний сопряжено с выявлением структурной организации тех аспектов предметного содержания, которые отражают и воплощают в себе общие закономерности, идеи, принципы. В результате межпредметного синтеза возникает новое обобщенное понятие, представление, которое опирается на дедуктивные способы сравнения, абстрагирования, обобщения. По результатам анализа в диссертации строится классификационная схема измерителей, ориентированных на преимущественную проверку продуктивного уровня усвоения, интеллектуальных умений и приоритетов когнитивного обучения.

Поскольку репрезентативность выборки является важнейшим фактором, влияющим на качество данных измерений и их генерализуемость, то в результатах пятой главы содержится методика формирования репрезентативных выборок выпускников школ, ориентированная на практические проблемы управления качеством образования на основе данных ЕГЭ. Результаты применения методики к данным массового тестирования позволяют провести сравнительный анализ качества учебных достижений и оценить коэффициент генерализуемости при использовании данных в управлении качеством образования.

Анализ подходов к шкалированию данных измерения, проведенный в пятой главе на примере данных ЕГЭ, позволил предложить методику шкалирования и выравнивания, расширяющую возможности измерений в управлении качеством образования. Полученные результаты прикладного характера позволили сформулировать общие подходы к шкалированию в условиях реализации сопоставимости данных педагогических измерений и выявить ряд проблем, снижающих обоснованность сравнения данных ЕГЭ внутри каждого года и разных лет. По данным исследования сформулированы направления совершенствования КИМ ЕГЭ. В частности, рекомендуется повысить параллельность вариантов КИМ, уменьшить число вариантов, увеличить количество якорных заданий, оптимизировав их трудность и валидность, перейти от простых методов линейного выравнивания к более сложным методам эквиперцентильного выравнивания, увеличить сроки на обработку данных, изменив время проведения ЕГЭ.

Завершающие результаты исследования нацелены на крайне актуальную область, связанную с разработкой методических подходов к использованию результатов педагогических измерений в управлении качеством обучения. Основные положения методики опираются на бипарадигмальную методологию измерений и утверждают необходимость интерпретации результатов тестирования в сочетании с другими данными о качестве учебных достижений, полученными на основе опыта общения с испытуемыми и анализа предыстории обучения каждого ученика. В целом, полученные результаты исследования позволяют интенсифицировать использование данных педагогических измерений в управлении качеством образования.

Особенностью полученных результатов исследования является отсутствие альтернативного характера его выводов, которые не отрицают существующие традиционные оценочные средства качественного уровня измерений, а лишь дополняют их, создавая необходимые предпосылки для эффективного информационного обеспечения и выполнения всех функций измерений в управлении качеством образования.

Список литературы диссертации автор научной работы: доктора педагогических наук, Звонников, Виктор Иванович, Ростов-на-Дону

1. Абутидзе З.С., Александровская J1.H., Бас В.Н. и др. Управление качеством и реинжиниринг организаций // Учебное пособие. - М.: Логос, 2003.

2. Аванесов B.C. Основы научной организации педагогического контроля в высшей школе // Учебное пособие. М.: МИСиС, 1987.

3. Алексеев Н. Г. Методические проблемы проведения массовых исследований уровня знаний учащихся: статистика и динамика // Проблемы педагогической квалиметрии. М., 1973.

4. Алферов А.Д Совместная деятельность как предмет исследования в педагогической психологии// Славянская педагогическая культура (научно-теоретический журнал Приднестровского НОЦ ЮО РАО), 2004. №3

5. Амонашвилли Ш.А. Воспитательная и образовательная функция педагогической оценки учения школьников. М., 1984.

6. Ананьев Б.Г. Психология педагогической оценки // Избранные психологические труды. М.: Педагогика, 1990.

7. Анастази А. Психологическое тестирование: Пер. с англ. В 2-х т. М.: Наука. 1985.

8. Анастази А., Урбина С. Психологическое тестирование. 7-е междунар. изд. СПб.: Питер, 2001.

9. Андреев В.И. Педагогика творческого саморазвития: Инновационный курс.// Учеб. пособие для студентов вузов, обучающихся по социал.-гуманит. спец. и группе спец. Казань.: Образование, 1996.

10. Ю.Андреев В.И. Эвристическое программирование учебно-исследовательской деятельности. // М.: Высшая школа, 1981.

11. ЬАндреев С. С., Гавриков А. Л., Сорока В. В. Тестирование как форма вступительных испытаний в университет: опыт проведения и возможности анализа // Вестник НГУ. 1997.

12. Анохина И.Г. Педагогическая поддержка как реальность современного образования // Новые ценности образования. Вып. 6. М.: Инноватор, 1996.

13. Антипова В. М., Лаптева Г. С. Мониторинг образовательной системы современной школы /- Ростов н/Д.: ИПК и ПРО, 1999.

14. Архангельский С. И. Лекции по теории обучения в высшей школе. М.: Высшая школа., 1974.

15. Бабанский Ю. К. Введение в научное исследование по педагогике. М., 1988.

16. Байденко В.И. Концептуальная модель государственных образовательных стандартов в компетентности ом формате. М.: Исследовательский центр проблем качества подготовки специалистов, 2004.

17. Балыхин Г.А. Управление развитием образования (организационно-экономический аспект). М.: Экономика, 2003.

18. Балыхина Т. М. Словарь терминов и понятий тестологии. М.: РУДН, 2000.

19. Берка К. Измерения, понятия, теория, проблемы. М.: Прогресс, 1987.

20. Бермус А.Г. Инфраструктура компетентностного подхода в профессиональном образовании // Известия международной славянской академии образования им. Я.А. Коменского. 2004. №2

21. Бермус А.Г. Критерии качества непрерывного образования.// Славянская педагогическая культура: Науч-теорет. жур. Приднестровского НОЦ ЮО РАО, 2003. №2

22. Бершадский A.M. Анализ образовательных систем с помощью новых информационных технологий. М: Исследовательский центр проблем качества подготовки специалистов , 2001.

23. Беспалько В. П. Основы теории педагогических систем. Воронеж, 1977.

24. Беспалько В. П. Педагогика и прогрессивные технологии обучения. М., 1995.

25. Бине А. Измерение умственных способностей: Пер. с фр. СПб.: Союз, 1999.

26. Битинас Б.П., Катаева JI. И. Педагогическая диагностика: сущность, функции, перспективы . М.: Педагогика, 1993.

27. Блонский П.П. Избранные педагогические и психологические сочинения: В 2-х т. / Под ред. А. И. Петровского. М.: Педагогика, 1979.

28. Богоявленская Д.Б. Психология творческих способностей: Учеб. пособие М.: Академия, 2002.

29. Болотов В.А. Основные подходы к созданию общественной системы оценки качества образования.// Единый государственный экзамен. Выпуск 3 М. : Логос, 2005

30. Болотов В.А. Шаулин В.Н., Шмелев А.Г. Единый экзамен и качество образования // Единый государственный экзамен. Научные основы, методология и практика организации эксперимента / Под ред. В.А. Болотова М.: Логос, 2002.

31. Болотов В.А., Шмелев А.Г. Развитие инструментальных технологий контроля качества образования: стандарты профессионализма и парадоксы роста // Высшее образование сегодня. 2005. №4.

32. Бондаревская Е.В. Гуманистическая парадигма личностно-ориентированного образования. // Педагогика. 1997.

33. Бондаревская Е.В. Основные положения концепции качества личностно-ориентированного образования./ Педагогика высшей и средней школы: Сб. науч. работ / Под ред. В.К Буряка. Кривой Рог: КГПУ ,2003 Вып. .8.

34. Борисенков В.П., Гукаленко О.В., Данилюк А .Я. Феномен образовательного пространства // Изв. междунар. слав. акад. образования им. Я.А. Коменского2004. №2.

35. Борк Дж. Управление знаниями. М.: Открытые системы, 2001.

36. Букович У., Уилльямс Р. Управление знаниями. Руководство к действию : Пер. с англ. М.: ИНФРА М, 2002.

37. Булдаков С.К. Социально-философские основания и логика образовательной революции: Автореф. дис. д-ра пед. наук. Н. Новгород, 2000.

38. Бурлачук Л.Ф., Морозов С.В. Словарь справочник по психодиагностике. СПб: Питер, 1999.

39. Бурмистров А.В., Науменко Г.Ю., Шаманова О.А. Использование тестовой диагностики в обучении и контроле знаний студентов по культуре речи // Развитие системы тестирования в России: Тез. докл. III Всерос. конф. М., 2001.

40. Вилфорд. Дж. Современная типология педагогических тестов // Тесты в образовании. М.,1999.

41. Власова Т.И. Возрождение духовно ориентированной парадигмы воспитания в отечественной педагогике // Известия ЮО РАО, 2004 Вып. VI, Культурные смыслы и личностно-ориентированные технологии воспитания.

42. Выготский Л.С. Избранные психологические исследования. М. Акад. пед. наук РСФСР, 1956.

43. Гавриков А.А., Зайченко О.М. и др. Педагогическое образование в университете : контекстно-методический подход. Великий Новгород, 2001

44. Гальперин П. Я. Основные результаты исследований по проблеме «Формирование умственных действий и понятий». М.: Просвещение, 1965.

45. Гершунский Б.С. Педагогическая прогностика. Киев. Изд-во КГУ,1998.

46. Гинецинский В.И. Проблема структурирования мирового образовательного пространства. М. Педагогика, 1997.

47. Гласс Дж., Стенли Дж. Статистические методы в педагогике и психологии.: Пер. с англ. М.: Прогресс, 1976.

48. Глейзер Г.Д. Новая Россия: общее образование и образующееся общество М.: Педагогика, 2000.

49. Гличев А.В., Рабинович Г.С., Примаков М.И. Прикладные вопросы квалиметрии. М.: Изд-во стандартов, 1983.

50. Глудкин О.П., Горбунов Н.М., Гуров А.И., Зорин Ю.В. Всеобщее управление качеством: Учеб. для вузов. М.: Радио и связь, 1999.

51. Горб В.Г. Педагогический мониторинг образовательного процесса как фактор повышения его уровня и результатов // Стандарты и мониторинг в образовании. М.,2000.

52. Горленко О.А., Радькова Н.О. Качество образовательных услуг в высшем учебном заведении // Сертификация и управление качеством продукции: Тез. докл. междунар. науч.- техн. конф. Брянск: БГТУ,1999.

53. Горшенина М.В. Управление качеством учебного процесса на основе международных стандартов // Системы управления качеством: проектирование, организация, методология: Материалы X симп., Квалиметрия человека и образования: методология и практика. М.:

54. Исследовательский центр проблем качества подготовки специалистов, 2002.

55. ГОСТ Р ИСО 9000-2001. Системы менеджмента качества. Основные положения и словарь. М.: Изд-во стандартов, 2001.

56. ГОСТ Р ИСО 9001-2001. Системы менеджмента качества. Требования. М.: Изд-во стандартов, 2001.

57. Грабарь М.И. Проблема измерений и проверки гипотез при мониторинге результатов обучения // Стандарты и мониторинг в образовании. М.,2000.

58. Грабарь М.И., Краснянская К. А. Применение математической статистики в педагогических исследованиях. Непараметрические методы. М.: Педагогика, 1977.

59. Гумеров Ф. М. Тестирование и конкурс абитуриентов // Развитие системы тестирования в России: Тез. докл. Всерос. конф. М., 2000.

60. Гущин Ю.Ф., Татур А.О. Психологические особенности тестовой формы контроля результатов обучения // Актуальные проблемы тестирования в образовании: Материалы науч. практ. конф. -М.,1999.

61. Данилов М.А. Взаимоотношение всеобщей методологии науки и специальной методологии педагогики // Проблемы социалистической педагогики. М., 1973.

62. Данилюк А.Я., Куликовская И.Э. Интегральные технологии преподавания педагогики в вузе. // Известия ЮО РАО и ГРПУ. Спецвыпуск. «Наука и образование». VI всерос. науч.-практ. конф., 2005.

63. Девиантное поведение и социальный контроль: Учеб. пособие /под науч. ред. А.А. Грекова. Ростов н/Д.: РГПУ, 1997.

64. Доклад Всемирного банка: Формирование общества, основанного на знании Новые задачи высшей школы. М.: Весь мир, 2003.

65. Ефремова Н.Ф. Современные тестовые технологии в образовании. М.: Логос, 2003.

66. Ефремова Н.Ф. Тестирование и мониторинг: рекомендации учителю // Стандарты и мониторинг в образовании. М., 2001.

67. Звонников В.И. Измерения и измерители в едином государственном экзамене. // Вестник ДГТУ, 2004. Т. 3, №4.

68. Измерения и качество образования. Монография. М.: Логос, 2006.

69. Звонников В.И. Измерения и шкалирование в образовании. М.: Логос, 2006.

70. Звонников В.И. Измерение качества учебных достижений студентов во внутривузовской системе управления качеством образования.// Материалы IX междунар. конф. СПб: ЛЭТИ, 2003

71. Звонников В.И. Инновационные методы оценки учебных достижений студентов.// Высшее образование сегодня . 2006. №5.

72. Звонников В.И. Информационно-методические материалы по разработке инновационных обучающих и контролирующих средств. Сборник материалов/Под редакцией Старостина Ю.Л., ГУУ, 2005.

73. Звонников В.И. Методологические проблемы управления качеством образования. В кн. Педагопка в вищо1 та середньо1 школи: Зб1рник наукових прац / гол. Ред. д.п.н. Буряк В.К. - Кривш Pir : К ДНУ, 2004

74. Звонников В.И. Методология измерений в оценивании качества дистанционного образования. С ДО МГИУ, 2004.

75. Звонников В.И. Мониторинг университетского образования. Развитие тестовых технологий в России: Тез. докл. V Всерос науч-метод.конф., М., 2003.

76. Звонников В.И. Об инновациях в тестовых методах оценивания подготовленности обучаемых.// Единый государственный экзамен в региональной системе управления качеством образования:

77. Материалы межрегион, науч.-практ. конф. В 2-х ч. 4.II. Ростов н/Д.: РОИПКиПРО, 2003.

78. Звонников В.И. О методологии измерений в управлении качеством образования. Тез. докл. XIV Всероссийского совещания. М., Исследовательский центр проблем качества подготовки специалистов 2004.

79. Звонников В.И. О некоторых подходах к оценке качества подготовленности выпускников школ. Сб. тез. докл. Всерос науч.-метод. конф. «Развитие тестовых технологий в России» /Под ред. JI.C. Гребнева М.: Центр тестирования Министерства образования РФ, 2002.

80. Звонников В.И. Основные направления научно-методических работ в эксперименте по введению единого государственного экзамена. Квалиметрия в образовании: методология и практика. М., Исследовательский центр проблем качества подготовки специалистов, 2002.

81. Звонников В.И. Параметрические модели в управлении качеством дистанционного образования.// Качество дистанционного образования. Концепции, проблемы, решения: Тез. докл. междунар. науч-практ. конф. М., 2003.

82. Звонников В.И. Педагогические измерения в вузовской системе управления качеством образования.// Система управления качеством высшего образования. Материалы III Междунар. науч.-метод. конф. Воронеж: Воронеж, гос. ун-т,, 2003

83. Звонников В.И. Педагогические измерения в оценивании качества образования. //. Изв ЮО РАО и РГПУ. «Наука и образование». 2004. №3 (II).

84. Звонников В.И. Педагогические измерения в управлении качеством образования: Экспериментальная учебная авторская программа. М.:

85. Исследовательский центр проблем качества подготовки специалистов, 2004

86. Звонников В.И. Прикладные аспекты теории педагогических измерений в управлении качеством образования.//Управление качеством: Материалы Ш Всерос. науч-практ. конф. М.: ИЦ МАТИ, РГТУ им. К.Э. Циолковского, 2004 .

87. Звонников В.И. Прогнозирование качества подготовки специалистов. . М.: Исследовательский центр проблем качества подготовки специалистов, 2004.

88. Звонников В.И. Разработка государственных требований к качеству педагогических тестовых материалов.// Материалы отчетной научно-методической конференции. СПб: ЛЭТИ, 2002.

89. Звонников В.И. Разработка методики экспертизы качества педагогических тестовых материалов.// Материалы отчетной научно-методической конференции. СПб: ЛЭТИ, 2002.

90. Звонников В.И. Сертификация педагогических тестовых материалов //Управление качеством: Материалы 4 Всерос науч-практ. конф. М.: ИЦ МАТИ, РГТУ им. К.Э. Циолковского , 2005.

91. Звонников В.И. Современная методология измерений в управлении качеством дистанционного образования. М.: Международная академия открытого образования, 2004.

92. Звонников В. И., Что такое организационная культура? // Университетская книга. 2005. .№6

93. Звонников В.И., Ефремова Н.Ф., Челышкова М.Б. Педагогические измерения в системе образования. //Педагогика 2006. №2

94. Звонников В.И., Идиатуллов Т.Т. Одномерные модели подготовленности в тестовых педагогических технологиях. //Развитие тестовых технологий в России: Материалы V Всерос науч.-метод . конф., М.: Центр тестирования Министерства образования РФ, 2003

95. Звонников В.И., Идиатуллов Т.Т. Система сертификации педагогических тестовых материалов // Управление качеством: Материалоы Ш Всерос науч.-практ. конф. М.: ИЦ МАТИ, РГТУ им. К.Э. Циолковского, 2004.

96. Звонников В.И., Найденова Н.Н., Никифоров С.В., Челышкова М.Б. Шкалирование и выравнивание результатов педагогических измерений: Учеб. Пособие. М.: Логос, 2003.

97. Звонников В.И., Нефедов В.А. ГУУ на пути к созданию системы менеджмента качества (СМК) на основе МС ИСО 9000 // Актуальные проблемы управления-2003: Материалы междунар. науч.-практ. конф. М.: ГУУ, 2003.

98. Звонников В.И., Нефедов В.А. К вопросу совершенствования систем менеджмента качества образования в государственном университете управления// Вестник университета. 2005 . №1(10).

99. Звонников В.И., Нефедов В.А. Концепция системы менеджмента качества образования в университете // Менеджмент сегодня, 2005. .№4

100. Звонников В.И., Нефедов В.А. Об актуализации работ по совершенствованию системы управления качеством в ГУУ // Вестник университета, 2004. №2(8)

101. Звонников В.И., Нефедов В.А. О построении эффективной системы менеджмента качества вуза // Управление качеством: Материалы 4 Всерос науч.-практ. конф. М.: МАТИ, 2005

102. Звонников В.И., Нефедов В.А. О совершенствовании университетской системы обеспечения качества подготовки специалистов // Управление качеством: Материалы 5 Всерос науч.-практ. конф. М.: МАТИ, 2006.

103. Звонников В.И., Нефедов В.А. От квалификационной модели обучения к парадигме компетентностного образования в России // Управление развитием персонала. 2005. №4

104. Звонников В.И, Нефедов В.А. Поможет ли Болонский процесс вступлению России в ближайшее время в Европейское пространство высшего образования // Актуальные проблемы управления 2005: Материалы междунар. науч.-практ. конф. Вып. 1. М.: ГУУ, 2005.

105. Звонников В.И., Нефедов В.А. Совершенствование систем управления ГУУ на основе международных стандартов ИСО 9000 (системы менеджмента качества) // Управление качеством:

106. Материалы Ш Всерос науч.-практ. конф. М.: ИЦ МАТИ, РГТУ им. К.Э. Циолковского, 2004 .

107. Звонников В.И., Нефедов В.А., Антонова Т.А. Последовательность работ по внедрению системы менеджмента качества в университете // Актуальные проблемы управления 2005: Материалы междунар. науч.-практ. конф. Вып 2. М.: ГУУ, 2005.

108. Звонников В.И. , Челышкова М.Б., Единый экзамен: неудачный эксперемент или универсальное решение // Высшее образование сегодня. 2004. №6

109. Звонников В.И. Челышкова М.Б. Использование результатов единого экзамена в управлении качеством образования: Учеб. пособие. М.: Исследовательский центр проблем качества подготовки специалистов, 2005.

110. Звонников В.И., Челышкова М.Б. Методологические основы управления качеством обучения // Актуальные проблемы управления-2004 : Материалы междунар. науч.-практ. конф. Вып. 5 М.:. ГУУ, 2004.

111. Звонников В.И. Челышкова М.Б. Модель индивидуализации обучения в дистанционном образовании. М.: МГИУ, 2004.

112. Звонников В.И., Челышкова М.Б. Научное обеспечение эксперимента по введению единого экзамена.// Единый государственный экзамен. Научные основы, методология и практика эксперимента/ Под ред. В.А. Болотова. М.: Логос, 2004 М.: «Логос», 2002.

113. Звонников В.И., Челышкова М.Б. Научное обеспечение эксперимента по введению единого экзамена. //Высшее образование сегодня 2002. №6

114. Звонников В.И., Челышкова М.Б. О педагогических измерениях в управлении качеством образования. Статья. Сб. научных трудов МИМ ЛИНК, вып. 11, 2004.

115. Звонников В.И., Челышкова М.Б. О проблемах измерений качества образования. Тезисы доклада. ЛЭТИ 8 декабря 2003 .

116. Звонников В.И., Челышкова М.Б. О создании системы экспертизы качества тестовых материалов в России// Современные технологии обучения «СТО-2003».: Материалы IX Междунар. конф. СПб.: ЛЭТИ, 2003.

117. Звонников В.И., Челышкова М.Б. Педагогические тесты в обеспечении качества дистанционного образования //Качество дистанционного образования. Концепции, проблемы, решения: Материалы междунар. науч.-практ. конф. М.: МГИУ, 2003

118. Звонников В.И. Челышкова М.Б. Прогнозирование качества подготовки специалистов. М.: Исследовательский центр проблем качества подготовки

119. Звонников В.И., Челышкова М.Б. Тесты как средство повышения качества дистанционного образования. Международная академия открытого образования, 2004.

120. Звонников В.И. и др. Положение о Центре качества. Положение о структурном подразделении 147-03 СМК ГУ У, М.: ГУ У, 2003.

121. Звонников В.И., Челышкова М.Б., Нефедов В.А. Документированная система менеджмента качества. Документированная процедура управления. Внутренние аудиты (проверки) системы менеджмента качества. ГОУВПО «ГУУ» Выпуск 1 /ГУУ-М., 2006

122. Звонников В.И., Челышкова М.Б., Нефедов В.А. Документированная система менеджмента качества. Документированная процедура управления. Корректирующие и предупреждающие действия. ГОУВПО «ГУУ» Выпуск 1 / ГУУ М., 2006

123. Звонников В.И., Челышкова М.Б., Нефедов В.А. Документированная система менеджмента качества. Документированная процедура управления. Управление документацией системы менеджмента качества. Общие положения. ГОУВПО «ГУУ» Выпуск 1 / ГУУ М., 2006

124. Звонников В.И., Челышкова М.Б., Нефедов В.А. Документированная система менеджмента качества. Концепция системы менеджмента качества университетского образования. ГОУВПО «ГУУ» Выпуск 1 / ГУУ М., 2006

125. Звонников В.И., Челышкова М.Б., Нефедов В.А. Документированная система менеджмента качества. Методические инструкции. Общие требования к структуре, содержанию, оформлению и утверждению должностной инструкции. ГОУВПО «ГУУ» Выпуск 1 / ГУУ М., 2006

126. Звонников В.И., Челышкова М.Б., Нефедов В.А. Документированная система менеджмента качества. Методические инструкции. Организация и порядок ведения делопроизводства. ГОУВПО «ГУУ» Выпуск 1 / ГУУ М., 2006

127. Звонников В.И., Челышкова М.Б., Нефедов В.А. Документированная система менеджмента качества. Положение об ответственном за документацию в подразделении. ГОУВПО «ГУУ» Выпуск 1 / ГУУ-М., 2006.

128. Звонников В.И., Челышкова М.Б., Нефедов В.А. Документированная система менеджмента качества. Положение о рабочей группе по совершенствованию деятельности. ГОУВПО «ГУУ» Выпуск 1 / ГУУ М., 2006.

129. Звонников В.И., Челышкова М.Б., Нефедов В.А. Документированная система менеджмента качества. Положение об уполномоченном по качеству в подразделении. ГОУВПО «ГУУ» Выпуск 1 /ГУУ-М., 2006

130. Зимняя И. А. Компетентностный подход. Каково его место в системе современных подходов к проблеме образхования? // Высшее образование, 2006, №8.

131. Иванов Д. А., Митрофанов К.Г., Соколова О.В. Компетентностный подход в образовании. Проблемы, понятия, инструментарий. М.: Академия, 2003

132. Кальней В. А., Шишов С. Е. Технология мониторинга качества обучения в системе «учитель ученик»: Метод, пособие для учителя. М.: Педаг. Общ-во России, 1999.

133. Карданская H.JI. Принятие управленческого решения. М.: Юнити, 1999.

134. Карлащук В.II. Обучающие программы. СОЛОН Р, 2001.

135. Карпова Г.Ф. Образовательная ситуация в России в первой половине XX века. Ростов н/Д: ЮО РАО, 1994.

136. Карпова Н.К. Сохадзе Г.В. Становление системы непрерывного образования // Известия ЮО РАО, 2004. Вып. V. Культурные смыслы и личностно-ориентированные технологии воспитания.

137. Качалов В. А. Проблемы управления качеством в вузах // Стандарты и качество, 2000.

138. Качество знаний учащихся и пути его совершенствования. / Под ред. М. Н. Скаткина, В. В.Краевского. М., 1978.

139. Кендалл М. Дж. Ранговые корреляции. М.: Статистика, 1975.

140. Клайн П. Введение в психометрическое программирование: Справочное руководство по конструированию тестов. Киев: ПАН Лтд, 1994.

141. Кларин М. В. Инновации в мировой педагогике. Рига, 1995.

142. Князев Е.А. Евдокимова Я.Ш. Бенчмаркинг для вузов: учеб.-метод. пособие. М.: Логос,2006

143. Ковалева Г. С. Особенности национальных экзаменов в ряде стран мира. М.: ЦКО ИОСО РАО, 2000.

144. Колин К. К. Фундаментальная информатика и качество образования. М.: .: Исследовательский центр проблем качества подготовки специалистов, 2001.

145. Коменский Я. А. Избранные педагогические сочинения в 2-х т./ Под ред. А. И. Пискунова. М.: Педагогика, 1982.

146. Коломыченко В.В. Компьютерное тестирование и его интеграция в системе управления вузом // Информационные технологии и образование./ Юж. Рус. гос. Ун-т экономики и сервиса. Волгодонск. 2002.

147. Кононов А. И. Об опыте использования системы подготовки тестовых заданий и обработки результатов вступительных испытаний // Развитие системы тестирования в России: Тез. докл. Всерос. конф. М., 1999.

148. Коротков Э.М. Управление качеством образования. Учеб. пособие для вузов. М: Академический проект, 2006.

149. Краевский В.В. Общие основы педагогики. М.: Академия, 2003

150. Крамаренко И. С. Прогнозирование уровня учебных достижений учащихся средствами мониторинга // Стандарты и мониторинг в образовании. М.,2001.

151. Кузнецов А. А. Мониторинг качества подготовки учащихся: организация // Стандарты и мониторинг в образовании. М., 2000. (172)

152. Кузьмина Н. В. Понятие «педагогическая система» и критерии ее оценки // Методы системного педагогического исследования. Л., 1980.

153. Кулемин Н. А. Тестовые технологии основа мониторинга качества образования // Развитие системы тестирования в России : Тез. докл. Всерос конф. М., 1999.

154. Кульневич С. В. Педагогика самоорганизации: феномен содержания. Воронеж, 1997.

155. Лазарев В. С. О деятельностном подходе и проектированию целей общего образования // Изв. Российской академии образования. 2000.

156. Ларичев О.И. Теория и методы принятия решений. М.: Логос, 2002.

157. Лебедев О. Е. Анализ педагогических проблем. М., 1990.

158. Легостаев И.И. Модульная концепция подготовки специалистов. СПб.: Санкт-Петербург. Ун-т, 1997.

159. Легостаев И.И. Организационно-педагогические условия нового этапа реформы образования. // Российские реформы: социальные аспекты. М.: ГУ-ВШЭ, 1998.

160. Лернер И. Я. Дидактические основы методов обучения. М.: Знание, 1981.

161. Логвиненко А.Д. Измерения в психологии: математические основы М.: Изд-во МГУ, 1993.

162. Логинов И. И. Природа диалектического знания . М.: Педагогика, 2000.

163. Майоров А. Н. Мониторинг в образовании. СПб.: Образование-культура, 1998.

164. Макаров А. А. Комплексный мониторинг качества образования. М.: Исследовательский центр проблем качества подготовки специалистов, 1998.

165. Макарова Н.В., Соколов Н.Е. Система текущего и обобщающего компьютерного тестового контроля знаний // Экономическая кибернетика. Организационные формы и методы управления в хозяйственных системах: СПб., 1998.

166. Масленников А. С. Единый государственный экзамен по математике в республике Марий Эл. Йошкар - Ола: Науч. - информ. центр, 2001.

167. Масленников А. С. Разработка методики проведения педагогических измерений уровня подготовки выпускников в условиях аттестации учебных заведений среднего и высшего профессионального образования // Сб. материалов по программе

168. Научное и научно-методическое функционирование развития системы образования В 3-х ч. М.: Прометей. 2003.

169. Мильнер Б.З. Управление знаниями. М.: ИНФРА-М, 2003.

170. Михайлычев Е.А, Карпова Г.Ф., Леонова Е.Е. Педагогическая диагностика: история, теория, современность. Ростов н/Д: ЮО РАО, 2002.

171. Михайлычев Е.А. Дидактическая тестология. М.: Народное образование, 2001.

172. Михеев В.И. Методы теории измерения в педагогике: Учеб. пособие. М.: Логос, 2003.

173. Монахов В.М. Введение в теорию педагогических технологий. Монография. Волгоград: Перемена, 2006.

174. Монахов В.М. Технологические основы проектирования и конструирования учебного процесса. Волгоград, 1995.

175. Назарова Т.С. Педагогические технологии: новый этап эволюции? М.: Педагогика, 1997.

176. Найденова Н.Н. Формирование репрезентативной выборки: Учеб. пособие. М.: Логос, 2003.

177. Нардюжев В.И., Нардюжев И.В. Алгоритмы и программное обеспечение подготовки и проведения компьютерного тестирования, обработки и анализа его результатов. М.: ИЦПКПС, 2001.

178. Нейман Ю.М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей, 2000.

179. Новый взгляд на грамотность. По материалам международного исследования PISA- 2000. М.: Логос 2000.

180. Нурминский И.И., Гладышева Н.К. Статистические закономерности формирования знаний и умений учащихся. М., 1991.

181. Орехов Е.А. Построение численной оценки вероятности правильного решения задания // Труды Центра тестирования. М.,1999.

182. Орлов А. И. Устойчивость в социально-экономических моделях. М.: Наука. 1979.

183. Орлов Ю.М. Восхождение к индивидуальности. М.: Просвещение, 1991.

184. Панасюк В. П. Методика проведения школой самообследования по качеству обеспечиваемого ею образования. СПб.; М.: ИЦПКПС,2000.

185. Панасюк В. П. Системное управление качеством образования в школе. СПб; М.: ИЦПКПС, 2000.

186. Переверзев В.Ю. Технология разработки тестовых заданий: Справочное руководство. М.: Е-Медиа . 2005.

187. Пидкасистый П. И., Портнов М. Л. Опрос как средство обучения. М.: Педагогическое общество России, 1999.

188. Пито Конти. Обучение качеству путь к успешному бизнесу: от обучения качеству к качеству обучения. // К бизнесу через качество: Сб. докл. междунар. конгр. по качеству. СПб., 1992.

189. Позднеев Б.М., Зуев М.В. Система менеджмента качества -основа обеспечения качества процессов дистанционного обучения // Телематика :. Тр. 11 Всерос науч.- метод, конф. Т.2. СПб.: Санкт-Петербург. гос. ун-т информ. технол., мех. и оптики, 2004.

190. Полат Е. С., Бухаркина М. Ю., Моисеева М. В. Новые педагогические и информационные технологии в системе образования. М.: Academia, 2000.

191. Полонский В. М. Оценка знаний школьников. М., 1981.

192. Попов В. Г., Голубков В. П. Мониторинг развития региональной образовательной системы // Стандарты и мониторинг в образовании. М.: 2001.

193. Поташник М. М., Ямбурт Е. А., Матрос Д. Ш. и др. Управление качеством образования. М.: Педаго. Общ-во России, 2000.

194. Пригожин И.Р. От существующего к возникающему: время и сложность в физических науках. М.: УРСС, 2002.

195. Равен Дж. Педагогическое тестирование: проблемы, заблуждения, перспективы. М.: Когито-Центр, 1999.

196. Пульбере А.И., Устименко С. А. Особенности управления инновационными технологиями в техническом вузе.// Славянская педагогическая культура: Науч.—техн. Журн. Приднестровского НОЦ ЮО РАО 2003. №2

197. Развитие национальной системы экзаменов: Опыт России, СНГ и США. Материалы и тезисы докл. междунар.конф. М.,2003.

198. Рекомендации Международного круглого стола «Обеспечение качества высшего образования: российский опыт в международном контексте». М.: Университетская книга, 2001

199. Роберт И. Современные информационные технологии в образовании. М. 2000.

200. Родионов Б.У., Татур А.О. Стандарты и тесты в образовании. -М.: МИФИ. 1995.

201. Рыжаков М. В. Ключевые компетенции: возможности применения. // Стандарты и мониторинг в образовании. М., 1999

202. Савельева Г.П., Никитина Н.Ш., Скок Г.Б. Примерная методика обобщения и анализа информации о качестве образования в вузе и системе его обеспечения. М.: ИЦПКПС, 2001.

203. Селевко Г.К. Современные образовательные технологии. М.: Народное образование, 1998.

204. Селезнева Н.А. Качество высшего образования как объект системного исследования: Лекция доклад. М.: ИЦПКПС, 2001,

205. Семенов Ю.Г. Организационная культура: управление и диагностика. Екатеринбург: Ин-т экономики УрО РАН, 2004.

206. Сериков В.В. Личностный подход в системе принципов современного педагогического мышления. // Славянская педагогическая культура: Науч.-теорет. жур. Приднестровского НОЦ ЮО РАО) 2003. №2

207. Сидоренко Е. Методы математической обработки в психологии. СПб.: Речь, 2000.

208. Симонов В.П. Педагогический менеджмент. 50 ноу-хау в управлении педагогическими системами. М., 1999.

209. Скаткин М.Н. Дидактика средней школы. М.: Просвещение; СПб: Питер, 1999.

210. Смирнов С.Д. Педагогика и психология высшего образования: от деятельности к личности. М.: Академия, 2005.

211. Соловьев В.П. Основные подходы к формированию модели качества в вузе//Качество, инновации, образование. М.: 2003.

212. Талызина Н.Ф. Деятельностный подход к построению модели специалиста // Вестник высшей школы. 1986. №7

213. Татур А.О. Тесты в учебном процессе // Новые технологии в обучении и контроле знаний учащихся: Материалы науч.-практ. конф М., 1999.

214. Татур А. О., Челышкова М. Б. Научно-методические проблемы создания системы тестирования в российском образовании // Развитие системы тестирования в России: Тез. докл. Всерос. конф. М., 1999.

215. Татур Ю.Г. Высшее образование: Методология и опыт проектирования. М.: Логос. 2006.

216. Ушинский К.Д. Собрание сочинений в 2 -х т. М.: Изд-во Акад. пед. наук РСФСР, 1948.

217. Филиппов В.М. Модернизация российского образования. М.: Просвещение, 2003.

218. Филиппов В. М. и др. Управление в высшей школе: опыт, тенденции, перспективы. М.: Логос, 2006.

219. Фоменко В.Т. Дидактический стандарт содержания образовательного процесса // Системный обзор современных образовательных технологий. Ростов н/Д: РГУ, 1994.

220. Формирование учебной деятельности./ Под ред. В. В. Давыдова и др. М.: Педагогика, 1982.

221. Чекмарев А. Н. TQM современный механизм повышения качества подготовки специалистов // Сертификация и управление качеством продукции: Тез. докл. междунар. науч.-техн. конф. Брянск: БГТУ. 1999.

222. Челышкова М. Б. Адаптивное тестирование в образовании (теория, методология, технология). М.: Исследовательский центр проблем качества подготовки специалистов, 2001.

223. Челышкова М. Б. Теория и практика конструирования педагогических тестов. М.: Логос, 2001.

224. Челышкова М.Б., Шмелев А.Г. Шкалирование результатов Единого госэкзамена : проблемы и перспективы. Вопросы образования, 2004. №4

225. Чепелев Т. Н. Образовательный мониторинг: формируются понятия // Стандарты и мониторинг в образовании. М., 2000.

226. Черепанов B.C. Экспертные оценки в педагогических исследованиях. М., 1989.

227. Шадриков В. Д. Качество высшего образования: понятия, концепции, практические подходы // "Обеспечение качества высшего образования: российский опыт в международном контексте. Междунар. круглый стол. М.: Университетская книга, 2001.

228. Шадриков В. Д. Психология деятельности и способности человека. М.: Логос, 1996.

229. Шамардин В. Н. Диагностика и оценка качества образовательных систем М.: Педагогика. 1995.

230. Шаталов В.Ф. Куда и как исчезли тройки? М.: Просвещение, 1990.

231. Шишов С. Е., Кальней В. А. Мониторинг качества образования в школе. М.: Педагог, общ-во России, 1999.

232. Шишов С.Е. Понятие компетенции в. контексте качества образования // Стандарты и мониторинг в образовании. М.: 1999.

233. Шмелев А. Г. Термины единого государственного экзамена. www://ege.ru

234. Шмелев А. Г. Краткий отчет о «Телетестинге-2001» mailto:mail@teletesting.ru.

235. Шторм Р. Теория вероятностей. Математическая статистика.Статистический контроль качества. М.: Мир, 1970.

236. Шукшунов В.Е., Иванченко А.Н., Потоцкий С.И. Управление вузом в современных условиях. Новочеркасск, ЮРГТУ (НПИ), 2002.

237. Шульман А. Я., Туров А. С. Методические указания для преподавателей вузов по составлению и применению тестов в системе программированного обучения. Ростов н/Д.: РГПУ, 1978.

238. Шухардина В.А. Адаптивные тесты как средство индивидуализации педагогического контроля знаний учащихся // Развитие системы тестирования в России: Тез. докл. Всерос. конф.-М., 2000.

239. Щедрин Б. М., Бурова Е. М., Галкин В .Я. Применение тестов для оценки уровня знания вопросов теории элементарной математики // Развитие системы тестирования в России: Тез. докл. III Всерос. науч. метод, конф. - М., 2001.

240. Эльконин Д. Б., Занков JL В. Проблемы развивающего обучения. М., 1986.

241. Энциклопедия психологических тестов. Личность. Мотивация. Потребность. / Под ред. А. Карелина. М., 1997.

242. Юкаева B.C. Управленческие решения: Учеб. пособие. М.: 1999.

243. Ядов В.А. Стратегия социологического исследования: Описание, объяснение, понимание социальной реальности. М., 2001.

244. Якиманская И. С. Личностно ориентированное обучение в современной школе. М.: Сентябрь, 1996.

245. Якиманская И. С. Технология личностно ориентированного образования. М.: Сентябрь, 2000.

246. Яковлев Е. В. Квалиметрический подход в педагогическом исследовании: новое видение. М.: Педагогика, 1999.

247. Якунин В. А. Педагогическая психология: Учеб. пособие: 2-е изд. СПб.: Изд-во В.А. Михайлова, 2000.

248. Якунин В. А. Теория обучения: Учеб. Пособие. СПб.: Санкт.-Петербург. гос. ун-т, 1993.

249. Ямбург Е. Ш. Теоретические основы и практическая реализация модели адаптивной школы. М., 1997.

250. Andrich D. A rating formulation for ordered response categories // Psychometrical/ 1978. № 43

251. Andrich D. Rasch G. Models for Measurement/ Sage Publ. Newbury Park, 1988.

252. Angoff W.A. Scales, norm, and equating scores. Princeton, N. J., 1984.

253. Ashworth A. and Harvey R. Assessing Quality in Further and Higher Education. London: Jessica Kingsley Publishers, 1994.

254. Automated Essay Scoring: A Cross-Disciplinary Perspective / Ed. by Mark D., Shermis J. Lawrence Erlbaum Associates, 2003.

255. Baker F.B., Al-Karni A. A comparison of two procedures for computing IRT equating coefficients. Journal of Educational Measurement, 1991. № 2 8

256. Baker, F. B. Item Response Theory: Parameter Estimation Techniques. ASC, 2004.

257. Bateson D., Nikol C., Schroeder T. Alternative Assessments and Tables of Specification for the Third International Mathematics and Science Studi. New York, 1991.

258. Berk R.A. (Eds.). A Guide to Criterion Referenced Test Construction. The John Horkins Univ. Press. - Baltimore, 1984.

259. Binet A., Simon Т. H. The Development of Intelligence in Young Children. Vineland, N Y: The Training School, 1936.

260. Birnbaum A. Some Latent Trait Models and Their Use in Inferring an Examinee's Ability. In Lord F.M. and Novick M. Statistical Theories of Test scores. Reading Mass.: Addison-Wesley, 1968.

261. Bishop Y.M., Fienberg S.E., Holland P.W. Discrete multivariate analysis. Theory and practice. Cambridge, 1975.

262. Bloom, B. S. et. al. Taxonomy of Educational Objectives: The Classification of Educational Goals. Handbook 1: Cognitive Domain. N-Y, David McKay Co., 1956.

263. Boekkooi F.,Timminga, E. The construction of parallel tests from IRT based banks //Journal of Educational Statistics.- 1991.

264. Bollen K. A. Structural Equations with Latent Variables. N-Y, Wiley & Sons.,1989.

265. Brennan J., Goedegebuure L., Shan Т., Westerheijden D. F. and Weusthof P.J. Towards a Methodology for Comparative Quality Assessment in European Higher Education. Enshede: CHEPS, 1992.

266. Bunderson, С. V., Inouye D. K., Olsen, J. B. The four generations of computerized educational measurement /In R.L. Linn (Eds.) Educational measurement (3- rd Eds.). New York: Macmillan, 1989.

267. Carroll J.D., Arabie P. Multidimensional scaling. Annual. Rev. Psychological. 31,1980.

268. Computerized Adaptive Testing: a Primer /Ed. by Howard Wainer1. McBride.- ASC, 2000.

269. Computerized Adaptive Testing: Theory and Practice /Ed. by Wim J. van der Linden and A.W. Glas. Kluwer academic publishers. London, 2003.

270. Constructing Test Items: Multiple-Choise. Constructed-Response, Performance, and Other Formats/ Steven J. Osterlind // University of Missouri-Columbia, 2004.

271. Crocker L., Algina J. Introduction to Classical and Modern Test Theory. Univ. of Florida. HBJCP, 1986.

272. Cronbach L. J. Coefficient Alpha Internal Structure of Test // Psychometrica, 1951.

273. Curriculum Frameworks for Mathematics and Science. General editor D. Robitaille. TIMMS Monograph No.l. Pacific Educational Press. -Vancouver (Canada), 1993.

274. Educational Measurement / Ed. by R. L. Linn.- N.-Y.: Macmillan. 1989.

275. Frazer M. Quality Assurance in Higher Education // Ed. by A. Craft: Proceedings of an International Conference. London: The Falmer Press, 1992.

276. Gagne R. M. The Conditions of Learning. 3 ed. Holt, Rinehart and Winston. N-Y., 1997.

277. Guttman, L. A basis for scaling qualitative data //American Sociological Review. 1944.-№9.

278. Handbook of Modern Item Response Theory /Ed. by Wim J. van der Linden and Ronald K. Hambleton. ASC, Univ. Ave. 1997.

279. Harvey L. and Green D. (1993) Defining Quality// Assessment and Evaluation in Higher Education. Vol. 18.

280. IRT from SSI: Bilog-mg Multilog. Parscale Testfast/ Edited bu Mathilda du Toit.-Scientific Software International. 2003.

281. Keeves J. P. (Eds) Educational Research Methodology, and Measurement: An International Handbook. N. - Y., Perg. Press. 1988.

282. Kelley T. L. Interpretation of Educational Measurements.- N. Y., World Books Co, 1997.

283. Kelley T. L. The Selection of Upper and Lower Groups for the Validation of Test Items. Journal of Educational Psychology. 1999.

284. Kingsbury G. G., Zara A.R. A comparison of procedures for content sensitive item selection in computerized adaptive tests //Applied Measurement in Education. - 1991. - №4.

285. Kingsbury G. G., Zara A. R. Procedures for selecting item for computerized adaptive tests // Applied Measurement in Education. 1989.

286. Kogan M. (Eds.) Evaluating Higher Education. London: Jessica Kingsley Publishers, 1998.

287. Kolen M.J., Brennan R.L. Test equating: methods and practices. Springer-Verlag, New York, 2005.

288. Lord F. M. Application of Item Response Theory to Practical Testing Problems. Hillsdale. N.-J., Lawrence Erlbaum Ass. Publ. 1980.

289. Lord F. M, Novick M. Statistical Theories of Mental Test Scores. -Addison Wesley Publ & Co., Reading, MA: 1968.

290. Lord F. M. Estimating Item Characteristic Curves Without Knowledge of Their Mathematical Form// Psychometrica. 1970.

291. Measurement and Assessment in Schools/ Eds. by Blaine R. Wortnen. Karl R. White. Xitao Fan. Ricard R. Sudweeks. 1999.

292. Mislevy R.J., Bock R.D. Bilog 3. Item analysis and test scoring with binary logistic models. Mooresville, IN: Scientific Software. 1990

293. Nieves Segovia Bonet. Quality and Innovation in Education // 43 (rd) European Quality Congress. Proceeding Book. Madrid, 9-11 June, Forum С ALIDAD, 1999.

294. Moodie G.C. (Eds) Standards and Criteria in Education. Guildford: SRHE. 1986

295. Practical considerations in computer based testing/ Parshall C., Spray. J, Kalohn J., Davey T.-Springer. New York. 2002.

296. Pettersen P.J., Kolin M.J., Hoover H.D. Scaling, norming andequating. // Educational measurement. New- York. 1989

297. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests, Copenhagen, Denmark: Danish Institute for Educational Research. -Munksgaard, Copenhagen, 1960.

298. Rasch, G. On Specific Objectivity: An Attempt of Formalizing the Generality and Validity of Scientific Statements // Danish Yearbook of Philosophy. 1997.

299. Rasch, G. On. General Laws and the Meaning of Measurement in Psychology in Proceedings of the Fourth Berkley Symposium on Mathematical Statistic and Probability. Berkley: Univ. of California Press, 1961.

300. Rasch, G. Probabilistic Model for Some Intelligence and Attainment Tests. With a Foreword and Afterworld by B.D. Wright / The. Univ. Of Chicago Press. Chicago & London, 1980.

301. Richter R. Improving Teaching Quality in German Higher Education// Higher Education Management 1994.

302. Roid G.H., Haladyna T.M. A Technology for Test-item Writing. N.Y.: Academic Press, 1982.

303. Rosenbaum P.R., Thayler D. Smoothing the joint and marginal distributions of scoret two-way contingency tables in test equating. British Journal of mathematical and statistical psychology, 1987. № 40.

304. Scaling Procedures: Issues and applications/ R. Netemeyer, W. Bearden, S. Sharma. Sage Publications Inc. 2003.

305. Scale Development Theory and Applications (Ed. by Robert F.) Sage Publications Inc. 2005.

306. Software and Books for all Your Measurement Needs // Catalog Assessment Systems Corporation. 1996.

307. Stocking M.L., Lord F.M. Developing a common metric in item response theory. Applied Psychological Measurement, 1983.

308. Stouffer S. A. a.o. The American Soldier: Adjustment During Army Life Princeton. N-J., Princeton Univ. Press, 1949.

309. Stubbs W. H. (1994) Quality in Higher Education: a Funding Council Perspective// D. Green (Eds) What is Quality in Higher Education? London :SHRE/ Open University Press., 1994.

310. Test Assessment/ W. Bruce Walsh, Nancy E. Betz.- Prentice Hall, Inc.2001.

311. Test Theory: A Unified Treatment/ Eds. by Roderick P McDonald.-Lawrence Erlbaum Associates. 1999.

312. Thorndike, R. L. Applied Psychometrics. Boston: Houghton. Miffli Co, 1982.

313. Vroeijensijn A.I. External Quality Assessment, Servant of two Masters? The Netherlands Perspective// A. Craft (Eds) In Quality Assurance in Higher Education: Proceedings of an International Conference. London: The Falmer Press., 1992

314. Vroeijenstijn A. I. and Acherman J. A. (1990) Control-Oriented Quality Assessment Versus Improvement-Oriented Quality Assessment// L.C.J. Goedegebuure, P. A. M. Maassen and D. F. Westerheijden (Eds) Op.cit.

315. VSNU (1993b) Quality of Research Protocol 1993. Utrecht: VSNU.

316. Vught F.A. Higher Education Quality Assessment in Europe, next step//Creation. 1991.

317. Vught F.A. van and Westerheijden D.F. (1993) Quality Management and Quality Assessment European Higher Education. Enschede: CHEPS

318. Weiden M. External Quality Assessment and Feasibility of Study Programs. Utrecht: VSNU., 1994.

319. Weiss, D. J. (Eds.) New Horizons in testing. N.-Y.: Academic Press, 1983.

320. Weiss. D. J. Adaptive testing by computer //Journal of Consulting and Clinical Psychology. 1985.-№53.

321. Wilson M. (Eds.). Objective measurement. Theory into practice. Ablex Publ. Corp. Norvud, N. J„ Vol. 1-4, 1991, Vol. 5, 2006.

322. Wright B.D., Stone M.H. Best Test Design. 1979. Chicago: Mesa Press - 1986.

323. Young, F.W., and R.M. Hammer, eds. Multidimensional scaling: History, Theory, and applications. Hillsdale, N.J.: Lawrence Erlbaum Assotiates, 1987.