автореферат и диссертация по педагогике 13.00.01 для написания научной статьи или работы на тему: Эвалюация в управлении качеством образования в условиях его модернизации

Автореферат диссертации по теме "Эвалюация в управлении качеством образования в условиях его модернизации"

На правах рукописи

Гуськова Марина Владимировна

ЭВАЛЮАЦИЯ В УПРАВЛЕНИИ КАЧЕСТВОМ ОБРАЗОВАНИЯ В УСЛОВИЯХ ЕГО МОДЕРНИЗАЦИИ

Специальность 13.00.01 - Обща? педагогика, история педагогики и образования

АВТОРЕФЕРАТ диссертации на соискание ученой степени доктора педагогических наук

3 МАР 2015

Великий Новгород - 2014

0055597иэ

005559705

На правах рукописи

Гуськова Марина Владимировна

ЭВАЛЮА1ЩЯ В УПРАВЛЕНИИ КАЧЕСТВОМ ОБРАЗОВАНИЯ В УСЛОВИЯХ ЕГО МОДЕРНИЗАЦИИ

Специальность 13.00.01 - Общая педагогика, история педагогики и образования

АВТОРЕФЕРАТ диссертации на соискание ученой степени доктора педагогических наук

Великий Новгород - 2014

Работа выполнена в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Новгородский государственный университет имени Ярослава Мудрого»

Научный консультант:

доктор педагогических наук, профессор Звонников Виктор Иванович

Официальные оппоненты:

Ведущая организация:

Дятлова Ксения Дмитриевна,

доктор педагогических наук, доцент, ФГАОУ ВО «Нижегородский государственный университет им. Н.И. Лобачевского», кафедра биохимии и физиологии растений (г.Нижний Новгород), профессор

Ефремова Надежда Федоровна,

доктор педагогических наук, профессор, ФГБОУ

ВО «Донской государственный технический

университет» (г. Ростов-на-Дояу),

кафедра «Педагогические измерения», заведующая

Сафонцев Сергей Александрович,

доктор педагогических наук,

ФГАОУ ВО «Южный федеральный университет»

(г.Ростов-на-Дону), кафедра психологии и

педагогики высшего образования, профессор

ФГБОУ ВПО «Омский государственный

педагогический университет»

Защита состоится «_»_2015г. в_часов на заседании

Диссертационного совета Д 212.16^.02 по защите диссертаций на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Новгородский государственный университет имени Ярослава Мудрого» по адресу: 173007, Зеликий Новгород, ул. Чудинцева, д.б.

С диссертацией можно ознакомиться в библиотеке Института непрерывного педагогического образования ФГБОУ ЕПО «Новгородский государственный университет имени Ярослава Мудрого» по адресу: 173007, Великий Новгород, ул.Чудинцева, д.б.

Автореферат разослан «_» _________ 2015 г.

Ученый секретарь

Диссертационного совета,

кандидат педагогических наук,

Доцент Е.В.Мигунова

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования. Политические, экономические и социальные тенденции, характерные для начала второго десятилетия XXI века, привели к резкому возрастанию значения проблем, связанных с повышением качества образования в условиях поиска новых подходов к росту эффективности управления образовательными системами. Само понятие «качество образования» стало предметом общественных и научных дискуссий представителей самых разных профессий, в том числе, ведущих политических деятелей нашей страны.

Большое внимание проблемам качества образования и совершенствованию процессов управления придается в директивных документах по реализации государственной политики и модернизации отечественного образования. К числу актуальных перемен, направленных на повышение качества образования, можно отнести введение федеральных государственных образовательных стандартов (ФГОС), организационные перемены в структуре -управления образовательными организациями, разработку новых подходов к оценке качества и востребованности образовательных услуг на основе механизмов сертификации квалификаций специалистов и выпускников образовательных организаций и ряд других программ по модернизации отечественного образования.

Масштабность процессов модернизации образования и их нарастающая интенсивность требуют совершенствования управленческих воздействий на качество образовательного процесса и достигаемые в нем результаты. Необходима оценка не только результатов, но и последствий инноваций для принятия обоснованных стратегических решений по совершенствованию качества образования. В данном исследовании процесс управления качеством образования предлагается рассматривать как деятельность по реализации целей образования на основе принятия оперативных и стратегических управленческих решений, координацию функционирования образовательной системы, отслеживание и прогнозирование протекающих в ней процессов, планирование условий и направлений деятельности для повышения качества образования. Росту обоснованности управленческих решений, учету

стратегических приоритетов в развитии национальной системы образования способствует эвалюация, теоретический и методологический базис которой закладывает научную основу для распознавания, анализа, прогнозирования и совершенствования процессов управления качеством образования при реализации программ и проектов по его модернизации.

Современная трактовка термина «эвалюация», предлагаемая в данном исследовании, вкладывает в него весь спектр процессов и результатов оценочно-аналитической и прогностической деятельности по системному исследованию ценности и позитивности образовательных воздействий, обеспечивающих основу принятия обоснованных управленческих решений для совершенствования качества образования. Сама область принятия решений в данной трактовке также относится к сфере эвалюации, поэтому управление качеством образования является не только сферой приложения результатов эвалюации, но и целевым ориентиром ее проведения, что обеспечивает неразрывный контекст осуществления обоих процессов. При этом предполагается, что эвалюация в образовании всегда имеет социально-педагогическую ориентацию, поскольку она включает направленность на реальную педагогическую помощь субъектам образовательного процесса, а также выявление факторов, препятствующих реализации прав личности на получение качественного образования.

Актуальность исследований по эвалюации в образовании усиливается современной парадигмой теории управления в развитии социально-экономических систем, опирающейся на стратегические приоритеты, информационно-коммуникативные ресурсы и мониторинг. В целом, можно отметить, что в практике отечественного образования складывается проблемная ситуация, под влиянием которой в научный базис управления качеством образования необходимо ввести теоретико-методологические и методические основы эвалюации, ориентирующие на использование причинно-обусловленных логических моделей, объективированных информационных потоков и инновационных оценочных технологий при реализации программ и проектов по модернизации образования.

Обобщенный характер трактовки термина «эвалюация» подразумевает "многообразие сфер приложения ее научного аппарата: эвалюация для оценки и анализа учебно-воспитательного процесса и его коррекции, эвалюация как

разновидность внутренней экспертизы и коллективной самооценки, эватоация для совершенствования политики и финансовой деятельности образовательных структур на различных уровнях управления, эвалюация в целях совершенствования управления качеством образования при реализации программ и проектов по модернизации образования. Последний аспект применения теории и методологии эвалюации является наиболее общим и непосредственно смыкается с тематикой данного исследования в части получения фундаментальных теоретико-методологических результатов, инвариантных относительно уровней образования.

Эвалюация интенсивно развивается во многих странах, обладающих высокоразвитыми системами образования. Однако в трудах зарубежных авторов преобладает прагматическая ориентация, поэтому многие теоретико-методологические проблемы эвалюации остаются вне сферы внимания. В России исследования по эвалюации пока не получили достаточного развития. Отдельные проблемы эвалюации представлены в трудах отечественных ученых, где упоминается эвалюация в контексте педагогических, социальных или экономических проблем. Тем не менее, уже на сегодняшний день в России сформировался обширный научный базис, необходимый для проведения целенаправленных исследований по эвалюации.

В этот базис входят исследования по фундаментальным проблемам качества образования, исследования по теории педагогических измерений и общим проблемам контрольно-оценочной деятельности педагогов. Сюда же можно отнести концепции построения оценочных систем на различных уровнях функционирования управления в образовании и общие педагогические аспекты совершенствования систем управления качеством образования.

Несмотря на существующий научный базис, в отечественной педагогической науке остается нерешенным целый круг вопросов, связанных с созданием теоретико-методологических и технологических основ эвалюации, обеспечивающих научную организацию всех этапов ее проведения и гарантирующих высокую объективность (надежность), обоснованность (валидность) и сопоставимость обеспечиваемой ею информации. Не в полной мере выявлены функции эвалюации и принципы ее научной организации. В недостаточной степени исследованы вопросы теории генерализации результатов эвалюации, закладывающей методологический базис для принятия

обоснованных управленческих решений прл выполнении программ и проектов по модернизации образования. Необходимо дальнейшее развитие методологических аспектов измерений в эвалюации. Не предложены модели эвалюации и не проанализированы виды связей переменных в них. Не сформулированы организационно-дидактические требования к качеству компонентов эвалюации. В трудах научного и педагогического сообщества нашей страны слабо представлен понятийный аппарат в сфере эвалюации, измерений и оценки качества результатов образования.

Отсутствует необходимое технологическое обеспечение эвалюации, включающее совокупность методик и рекомендаций ио реализации ее процессов и интерпретации результатов. В отечественной педагогической науке нет методик для проведения метаэвалюации, отсутствуют стандарты эвалюации. Не разработаны методики шкалирования, применяемые в условиях интеграции количественных и качественных результатов оценочных процессов и ориентированные на построение специальных шкал в рамках современной трактовки качества результатов образования.

В целом, результаты проведенных аналитических исследований подтверждают необходимость развития теоретико-методологической и технологической базы эвалюации, ее актуальность и значимость для создания эффективной научной основы управления качеством образования в условиях его модернизации.

Поиск путей решения перечисленных научных проблем, а также потребности образовательной практики послужили основой для выбора темы исследования «Эвалюация в управлении качеством образования в условиях его модернизации». В русле тематики была сформулирована ведущая исследовательская проблема. Ее суть состоит в поиске ответа на вопрос: как следует пополнить теоретико-методологический потенциал современной педагогической науки с тем, чтобы развить научный аппарат эвалюации и увеличить тем самым эффективность управленческих воздействий на решение актуальных глобальных задач, способствующих повышению качества отечественного образования в условиях модернизации? Фундаментальные вопросы развития теоретико-методологического обеспечения эвалюации рассматриваются в данном исследовании в контексте общих проблем управления качеством образования на всех его уровнях, а прикладные вопросы

- применительно к актуальным направлениям модернизации высшего образования в России.

В соответствии с тематикой и проблемой была определена цель исследования, выбраны его объект и предмет.

Объектом исследования является система управления качеством образования в условиях модернизации.

Предмет исследования — теоретико-методологические, дидактические и технологические основы эвалюации, закладывающие научный базис для совершенствования оперативных и стратегических управленческих воздействий на качество образования б условиях модернизации.

Цель исследования - разработка теоретико-методологических, дидактических и технологических основ, необходимых для научной организации эвалюации в управлении качеством образования в условиях его модернизации.

Гипотеза исследования. В основе исследования лежит предположение о том, что эффективность управления качеством образования в условиях его модернизации повысится, если в основе процесса осуществления управленческих воздействий будет лежать эвалюация, теоретико-методологические, дидактические и технологические основы которой:

— соответствуют приоритетным направлениям модернизации отечественного образования;

— строятся с опорой на научный аппарат современной педагогической науки и бипарадигмальную методологию измерений, регламентирующую сочетание количественного и качественного уровней измерений в эвалюации;

— обеспечивают высокую информативность оценочных процессов благодаря высокой надежности, валидности, аутентичности, сопоставимости и прогностичности результатов эвалюации;

— отражают специфику современной трактовки качества результатов образования, предопределяя необходимость использования инноваций в управлении качеством образования;

— включают научный аппарат теории генерализации для обеспечения справедливости и обоснованности управленческих решений, принимаемых по результатам эвалвдации при модернизации образования.

Поставленная цель и сформулированная гипотеза реализуются в ходе

решения следующих конкретных задач исследования:

1. Провести анализ и обобщить результаты научных исследований по рассматриваемой проблематике с целью выявления перспективных направлений развития научного аппарата образовательной эвалюации, определить этапы процесса развития эвалюации в образовании.

2. Развить методологические основы научной организации эвалюации и метаэвалюации. На основе полученных результатов сформировать подходы к обеспечению высокого качества результатов эвалюации, необходимого для принятия обоснованных решений в управлении качеством образования в условиях его модернизации.

3. Разработать концепцию эвалюации, включающую, в том числе, основные определения понятийного аппарата, подходы к построению причинно-обусловленных моделей эвалюации и определению связей между переменными различного вида, дидактических требований к компонентам эвалюации. Выделить этапы эвалюации программ и проектов и разработать механизмы их реализации.

4. Установить роль эвалюации в управлении качеством образования в контексте основных направлений его модернизации.

5. Разработать технологические подходы к проведению эвалюации и метаэвалюации, а также стандарты эвалюации, включающие, в том числе, организационно-педагогические условия применения методик.

6. Провести апробацию совокупности методик эвалюации на примере внедрения федеральных государственых образоватлъных стандартов в систему высшего образования.

Методологической основой исследования послужили компоненты новой парадигмы эвалюации (эпистемология, онтология и методология), раскрытые автором исследования на основе критического анализа философских парадигм позитивизма и постпозитивизма (Campbell, Cook, Doren, Reichardt, Rallis и др.), конструктивизма (Guba, Heshusius, Lincoln, Smith и др.), прагматизма и неопрагматизма (Brewer, Mertens, McLaughlin, Maxcy, Patton, Tashakkori, Teddlie и др.) и трансформизма (Bichler, Harding и др.). Основополагающие компоненты парадигм, включающие современные взгляды на положения о всеобщей связи и целостности реального мира, познание и его возможности, связь знания и реальности, условия достоверности и истинности, послужили в

исследовании идентификаторами для выделения исторических этапов развития эвалюации и предопределили принципы ее научной организации.

Методологическим базисом исследования являлся также синергетический подход (А.А.Ворожбитова, В.А.Игнатова, Е.Н.Князева, Ю.В.Шаронин и др.), необходимость обращения к которому была обусловлена междисциплинарным характером данной работы, построенной на интеграции многих научных направлений. В исследовании переплетается научный аппарат педагогики, психологии, теории педагогических измерений, теории управления образовательными системами и принягия управленческих решений, статистики и теории вероятности, достижения которых объединяются с методами математического моделирования и прилагаются к практике эвалюации в контексте актуальных проблем модернизации высшего образования.

В исследовании использовались системный и процессный подходы (Н.И.Аксенова, И.В.Блауберг, Г.А.Бордовский, О.В.Виханский, А.Л.Новицкий, В.Н.Садовский, С.В.Сидоров, С.А.Степанов, Ю.Г.Юдин и др.), позволившие провести анализ и систематизировать данные по трактовкам качества результатов образования, а также выстроить причинно-обусловленные логические модели эвалюзции, адекватные актуальным проблемам управления качеством образования.

Методологический базис измерений в эвалюации составили бипарадигмальпая методология (В.И.Звонников и др.), сочетающая количественный и качественный уровни измерений, и теория ГОТ (Е.Ю.Карданова, К.Т.Кузовлева, В.Г.Наводнов, Ю.М.Нейман, М.Б.Чельппкова, Е.Вакег, Я.НаглЫйоп и др.).

Привлекалась методология социально-педагогического проектирования (В.Ф.Башарин, Э.Воутилайнен, Е.П.Попова, А.И.Раев, В.В.Щербина и др.), служащая научной базой для проведения исследований в области управления качеством образования, рассматривающая педагогическую технологию как категорию дидактики н предполагающая использование совокупности исследовательских, поисковых и проблемных методов для осуществления управления социальными процессами по результату.

Значительное внимание уделялось теории генерализации (В.И.Звонников, Т.В.Третьякова, 11.Вгеппзп, Ь.СгопЬасЬ и др.), входящей в состав методологических основ педагогических измерений и рассмотренной в данном

исследовании применительно к задачам научной организации процесса принятия управленческих решений по результатам эвалюации.

Теоретической базой исследования послужили работы отечественных авторов, затрагивающие проблемы эвалюации (Л.А.Бархатенова, А.Л.Гавриков, Е.А.Галкина, Н.Н.Гомулина, Л.Н.Данилова, О.А.Ефремова, О.М.Зайченко,

B.К.Загвоздкин, В.И.Звонников, В.З.Кантор, Е.А.Макарова, В.А.Мясников, Н.Н.Найденова, Е.А.Пальмова, М.Н. Певзнер, Г.С.Поровский, Т.В.Сергеева, И.А.Тагунова, Т.В.Третьякова, М.Б.Челышкова, Р.М.Шерайзина и др.), а также результаты исследований зарубежных авторов, освещающие практико-ориентированные вопросы проведения эвалюации, этические проблемы при сообщении ее результатов, проблемы взаимосвязи эвалюации и контроля качества обучения, программы по развитию и использованию сфокусированной эвалюации (J.Altscbuld, M.Anderson, E.Babbie, D.Barlow, R.Bogdan, J.Braun,

A.Bryant, K.Charmaz, H.Chen, A.Coghlan, C.Cook, J.Cresswell, L.Deik, D.Dillman, T.Edno, D.Fetterman, E.Fowler, J.Gamson, J.Greene, T.Hedrick, G.Heiman, J.Hyde,

C.King, T.Kubiszyn, M.Langenbach, C.Lee, G.Matt, S.Maxcy, McNamee,

D.Mertens, A.Onwuegbuzie, M.Patton, L.Richardson, J.Sanders, R.Stake, S.Wood и ДР-)-

Непосредственно к работам по эвалюации примыкают исследования отечественных и зарубежных ученых но теоретическим аспектам педагогических измерений (А.Е.Бахмутский, Н.Ю.Демина, К.Д.Дятлова, Н.Ф.Ефремова, В.И.Звонников, ЕЛО. Карданова, Г.С.Ковалева, К.Т.Кузовлева, Н.А.Кулемин, А.С.Маслеиников, А.Н.Майоров, Е.А.Михайлычев,

B.Г.Наводнов, Ю.М.Нейман, В.М.Мокосеев, И.А.Морев, В.Ю.Переверзев,

C.А.Сафонцев, М.Б.Челышкова, В.В.Черненко, А.Г.Шмелев, R.de Ayala,

D.Andrich, W.Angoff, E.Baker, Á.Birnbaum, R.Brennan, R.Fischer, T.Haebara, R.Hambleton, P.Holland, M.Kolen, G.Kingsbury, F.Lord, A.Maydeu-Olivares, G.Rasch, H.Swaminathan, D.Tissen, W.van dci Linden, H.Wainer, D.Weiss, M.Wilson, L.Yao и др.).

К теоретическому базису исследования относятся работы по совершенствованию систем управления качеством образования, а также концепции построения оценочных систем в образовании, включая вопросы оценки качества достижений обучаемых, проведения мониторинга и научной организации процессов управления и принятия решений (В.Н.Аверкин,

Т.Э.Аврукина, Д.Н.Богоявленский, В.А.Болотов, И.П.Волков, Б.Л.Вульфсон,

A.З.Гасанов, В.И.Гинецинский, В.В.Давыдов, Н.Ю.Демидова, Н.П.Капустин, О.И.Ларичев, Т.Ю.Ломакина, А.Е.Марон, Л.Ю.Монахова, Э.М.Никитин, Т.Г.Новикова, А.А.Остапенко, В.П.Панасюк, В.М.Полонский, А.С.Сафонцев, П.И.Третьяков, Т.В.Третьякова, Е.В.Филюк, Т.И. Шамова и др.).

В научный базис данной работы также вошли концептуально-методологические исследования, рассматривающие фундаментальные аспекты качества образования и расставляющие приоритеты в определении его критериев, в том числе, в рамках систем менеджмента качества образования на основе стандартов ИСО 9000-2000, EQUIS или требований различных конкурсов (В.Н.Аверкин, Ю.П.Адлер, В.И.Андреев, О.В.Аристов,

B.И.Байденко, А.Г.Бермус, М.В.Богуславский, А.Л.Гавриков, Н.М.Громова, М.Б.Гузаиров, И.А.Зимняя, Д.А.Иванов, В.А.Исаев, В.А.Качалов, К.Г.Митрофанов, В.М.Монахов, П.Н.Новиков, М.М.Поташник, Н.А.Селезнева, О.Ф.Селиверстива, А.Ф.Сафронов, В.П.Соловьев, Б.И.Хасан, А.В.Хуторской, А.Н.Чекмарев, В.Д.Шадриков и др.).

Методы исследования. В работе использовались общенаучные методы теоретического и эмпирического исследования и специальные методы, нацеленные на педагогические измерения и статистическое обоснование результатов исследования.

В число методов теоретического исследования вошли классификация, сравнение, объяснение, индукция и дедукция, научное доказательство, абстрагирование и многие другие. К общенаучным методам эмпирического исследования можно отнести: наблюдение, экспертизу, моделирование, измерение, факторный и корреляционный анализ. К группе специальных методов следует отнести причинно-обусловленное моделирование, математическое моделирование (вероятностные модели теории IRT) и дисперсионный анализ ANO VA.

Экспериментальной базой исследования являлись Центр мониторинга качества образования ФГБОУ ВО «Ростовский государственный университет путей сообщения» (РГУПС, г.Ростов-на-Дону), кафедра педагогических измерений Института качества высшего образования ФГАОУ ВО «Национальный исследовательский технологический университет «МИСиС» (г.Москва), Учебно-научный центр аккредитации образовательных программ и

обеспечения деятельности учебно-методического объединения ФГБОУ ВО «Государственный университет управления (ГУУ)» (г.Москва), ФГФОУ ВО «Национальный исследовательский ядерный университет «МИФИ», ФГБОУ ВО «Российский государственный университет нефти и газа имени И.М.Губкина (г.Москва).

Исследовалие осуществлялось на протяжении трех этапов.

1 этап (2005-2010гг.) - подготовительный и аналитико-поисковый включал: -анализ практических проблем, сложившихся при решении задач управления качеством в процессе реализации программ и проектов модернизации образования (построение вузовских систем мониторинга и систем менеджмента качества образования, переход на новые ФГОС, внедрение компетентностного подхода, сертификацию квалификаций специалистов и выпускников); анализ литературных источников (свыше 400 источников); постановку и обоснование проблемы диссертационного исследования; определение круга задач исследовательской работы; моделирование объектов исследования. Предпосылками аналитической работы послужил опыт профессиональной деятельности в сфере формирования информационной среды для управления качеством образования, полученный автором диссертации в Центре мониторинга качества образования РГУПС, выступления на конференциях и совещаниях (Ш Международная научно-практическая конференция «Телеком Транс-2005» и другие).

2 этап (2011-2012гг.) - аналитико-синтетический, нацеленный на обобщение практического опыта, анализ литературы по выбранной исследовательской проблеме, разработку концептуальной и методологической части результатов исследования, проведение развернутого анализа результатов выполнения программ и проектов в рамках проектов Федеральной целевой программы развития образования на 2011-2015 годы (ФЦПРО). На этом этапе также шла подготовительная работа к апробации результатов исследования, включавшая разработку измерителей в соответствии с требованиями ФГОС в РГУПС по направлению подготовки «Менеджмент» (бакалавриат), анализ статистических данных и их интерпретацию для решения задач исследования, разработку экспериментальных авторских лекций по эвалюации, их внедрение в систему повышения квалификации тьюторов и систему повышения квалификации профессорско-преподавательского состава образовательных

организаций высшего образования на базе кафедры педагогических измерений Института качества высшего образования НИТУ МИСиС, подготовку монографии, статей, апробацию результатов исследований на конференциях, симпозиумах и совещаниях.

3 этап (2013-2014гг.) - заключительный: апробация методик, разработанных в процессе исследования, обобщение данных анализа, разработка выводов, подведение итогов исследования, подготовка монографии, оформление диссертационного исследования, разработка рекомендаций по использованию результатов исследования в управлении качеством образования, публикация результатов исследования, разработка рекомендаций по перспективному продолжению исследования.

Научная новизна работы заключается в том, что:

— выделены этапы исторического пути развития эвалюации в образовании. В качестве критериев дифференциации этапов выбрана смена доминирующей философской парадигмы и методологии измерений в образовании. Благодаря проведенной периодизации удалось вычленить сущностные предпосылки развития теории и методологии эвалюации, связав их с различными социальными, экономическими и политическими изменениями в обществе в нашей стране и за рубежом, а также предложить новую трактовку парадигмы эвалюации, которая, по мнению автора исследования, наиболее адекватна ее современному научному базису;

— разработаны основные компоненты методологического базиса эвалюации, рассматриваемые в контексте проблем управления качеством образования в условиях его модернизации. Предложена совокупность принципов, регламентирующих научную организацию эвалюации, выявлены функции эвалюации в управлении качеством образования, определены методологические подходы к обеспечению качества результатов эвалюации, полученных на основе педагогических измерений, рассмотрены основные положения теории генерализации в контексте проблемной области исследования;

— разработана целостная концепция эвалюации, ориентированная на инновационные преобразования в системе образования и включающая цели проведения эвалюации, основные определения понятийного аппарата, классификацию видов эвалюации, классификацию видов причинно-

обусловленных моделей эвалюации и оцениваемых переменных, дидактические требования к компонентам и процессу эвалюации, необходимые для повышения обоснованности, эффективности и согласованности решений в управлении качеством образования, а также модели и механизмы проведения эвалюации;

— предложены этапы осуществления научно-организованного процесса эвалюации, включающие: построение ее концептуальной модели; идентификацию ключевых этапов процесса эвалюации; определение переменных измерения; разработку логической модели эвалюации программ и проектов модернизации образования; сбор данпых по результатам проведения эвалюации; анализ и интерпретацию данных для получения оперативной и прогностической информации при принятии управленческих решений по совершенствованию качества образования в условиях его модернизации;

— обоснована роль педагогических измерений в эвалюации, предложены научные подходы к количественному и качественному анализу результатов эвалюации программ и проектов модернизации образования, проведен сравнительный анализ возможностей использования математических моделей теории ГО.Т в эвалюации, построена классификационная схема измерителей, предложены модели многостадийных измерителей для проведения эвалюации при внедрении ФГОС в систему высшего образования;

— предложены теоретические подходы к построению причинно-обусловленных логических моделей эвалюации, проанализированы их виды, классифицированы виды связей переменных в эвалюации, сформулированы требования для реализации комплексного подхода к построению модели эвалюации, в основе которой лежит предположение о том, что совершенствование процесса управления на основе его оперативной коррекции неизбежно ведет к более высокой эффективности программ и проектов по модернизации образования;

— обоснована актуальность динамической парадигмы качества результатов образования с позиций ее адекватности современным задачам совершенствования управления качеством на основе информационно-аналитических данных эвалюации, выявлена роль эвалюации в построении систем менеджмента качества образования, классифицированы виды анализа результатов эвалюации;

- разработаны стандарты овалюации, гарантирующие высокую надежность, валидность и аутентичность ее результатов, предложена совокупность методик для обеспечения высокой надежности и валидности результатов эвалюации при проведении метаэвалюации для многостадийных измерений;

- разработаны методики создания компетентностно-ориентированных многостадийных измерителей и шкалирования результатов эвалюации, ориентированные на внедрение компетентностного подхода в систему высшего образования, обеспечивающие высокую сопоставимость данных многостадийных измерений и корректную интеграцию количественных и качественных уровней измерения.

Теоретическая значимость работы обеспечивается решением ряда инновационных теоретических задач общенаучного и специального характера. В частности, в результате исследования:

- определены основные этапы исторического пути развития эвалюации и предложена инновационная трактовка компонент (эпистемологии, онтологии и методологии) новой парадигмы, определяющей ключевые теоретические положения эвалюации по отношению к проблемам природы познания и его возможностей, связи знания и реальности, условиям достоверности и истинности знания;

- систематизированы представления о категории «качество образования», рассматриваемой в русле современных тенденций модернизации высшего образования. Предложен ряд определений компетенций обучаемых для системы высшего образования. Построена система сбалансированных показателей качества образования. Введена динамическая трактовка качества результатов образования и обоснована ее адекватность компетентностному подходу. Предложены наиболее перспективные подходы к оценке качества результатов обучения в рамках компетентностного подхода на основе педагогических измерений;

- введены в научный оборот основные определения понятийного аппарата эвалюацш! (определения эвалюации, ее видов и компонент, модели эвалюации, метаэвалюации, генерализации данных, информационного базиса эвалюации, управления качеством образования и т.д.), обеспечивающие как научную

организацию самой эвалюации, так и корректность применения ее результатов в управлении качеством образования;

— предложены современные подходы к трактовке объективности педагогических измерений и размерности пространства измерений, объединяющие теории надежности, валидности и размерности в единую систему;

— разработаны составляющие концептуального базиса эвалюации (определение цели, гипотез, планируемых результатов, механизмов реализации, инструментария и т.д.), позволяющие построить логические модели эвалюации, отражающие особенности ее видов и ориентированные на инновационные преобразования в системе высшего образования;

— разработана типология видов современных измерителей при сочетании различных уровней многостадийных измерений, отражающая специфику компетентнсстного подхода к трактовке качества результатов образования и учитывающая возрастные возможности студентов;

— разработаны и обоснованы дидактические требования к качеству результатов эвалюации, ее инструментария и условий проведения на основе метаэвалюации. Предложена типология видов валидности результатов эвалюации. Совокупность дидактических требований к качеству результатов эвалюации структурирована в форме стандартов эвалюации;

— предложены теоретические подходы к обеспечению сопоставимости результатов эвалюации при их использовании для сравнительных исследований в управлении качеством образования.

В целом, выполненные теоретические наработки легли в основу целостной концепции эвалюации в образовании, представленной в диссертационном исследовании.

Практическая значимость исследования достигается за счет методических и технологических наработок, нацеленных на обеспечение корректности использования результатов эвалюации в управлении инновациями по совершенствованию качества образования, преимущественную ориентацию области результатов исследования на актуальные потребности и направления модернизации образования. В частности, в число практико-ориентированных результатов исследования вошли стандарты эвалюации, методики оценивания надежности и валидности данных многостадийных

измерений, методика подсчета коэффициента генерализации, методика обеспечения сопоставимости результатов эвалюации, дизайны генерализации, модели и методики создания компетентностно-ориентированных многостадийных измерителей, методики шкалирования результатов эвалюацки, ориентированные на компетентностную трактовку качества результатов высшего образования и многостадийные измерения.

Большинство результатов работы внедрено в практику выполнения проекта «Разработка и апробация модели и технологии создания и применения измерительных средств в соответствии с требованиями профессиональных стандартов для процедур оценки и сертификации квалификаций» ФЦПРО на 2011-2015 годы, в деятельность учебно-методического объединения по образованию в области менеджмента, в процесс внедрения ФГОС по направлению подготовки «Менеджмент;) в РГУПС и в деятельность его Центра мониторинга качества образования.

Наиболее важным новым результатом пракгако-ориентированного характера можно считать стандарты эвалюации, использование которых позволит получать обоснованные управленческие решения в системе сертификации квалификаций специалистов и выпускников образовательных организаций. По результатам применения стандартов выполнена коррекция системы индикаторов мониторинга деятельности центров сертификации и оценки профессиональных квалификаций, экспертно-методических центров при реализации проектов в рамках ФЦПРО на 2011—2015 годы. Стандарты эвалюацки в части, касающейся качества результатов измерений, нашли широкое применение в деятельности Центра сертификации педагогических тестовых материалов, функционирующего в рамках Института качества высшего образования НЙТУ МИСиС.

В целом, материалы диссертации имеют практическую ценность для оценивания качества процесса и результатов выполнения проектов я программ модернизации образования, разработки систем менеджмента качества образования, деятельности управленческих структур федерального, регионального и муниципального уровней, совершенствования аттестации выпускников образовательных организаций и проведения сравнительных исследований качества результатов образования.

Личный вклад соискателя состоит в разработке основных теоретико-

методологических положений и результатов исследования, в руководстве экспериментальной работой в соответствии с целями исследования и в непосредственном участии во внедрении результатов исследования в практику высшего образования. Реализации вклада способствовала работа соискателя в статусе заместителя директора Института развития образовательной политики Московского государственного университета им. М.В.Ломоносова и менеджера Учебно-научного центра аккредитации образовательных программ и обеспечения деятельности учебно-методического объединения ГУУ, предшествующая работа в статусе руководителя (начальника Управления, лицензирования, аккредитации, признания и подтверждения документов) Рособрнадзора, а также более ранний опыт руководства, полученный при создании университетской системы мониторинга качества образования в РГУПС, при разработке тестов для установления соответствия подготовки студентов требованиями государства и работодателя (ОАО «Российские железные дороги») и при выполнении ряда проектов по проблемам оценки качества образования.

В частности, в 2005 году под руководством соискателя на базе РГУПС был создан Центр мониторинга качества образования, оснащенный качественным оценочным инструментарием, современным программно-инструментальным обеспечением и научно-обоснованными методиками интерпретации результатов мониторинга в целях совершенствования качества высшего образования. Накопленный опыт послужил основой для постановки проблем исследования и выбора путей их решения.

Начиная с 2011 года, автор диссертационного исследования являлся координатором более 50 проектов по реализации мероприятий ФЦПРО на 2011-2015 годы, направленных на разработку и апробацию моделей, технологий и инструментария оценки качества образования, среди которых, в первую очередь, следует назвать: «Разработка структуры и основных требований к измерительным материалам оценки и контроля качества освоения образовательных программ ВПО, СПО, НПО» (2011-2012гг.); «Разработка методологических подходов к формированию и функционированию сети экспертно-методических центров и центров оценки и сертификации квалификации, координация их деятельности», (2011-2012гг.); «Разработка и апробация модели и технологии создания и применения измерительных средств

для процедур оценки и сертификации квалификаций в соответствии с требованиями профессиональных стандартов» (2012г.); «Совершенствование и апробация моделей внутреннего мониторинга и оценки качества профессионального образования (СПО, ВПО, ДПО)» (2011-2012гг.).

На защиту выносятся следующие положения:

1. Результаты анализа истории развития теории и методологии эвалюации позволяют выделить ряд этапов: I (60- 70-е годы XX века) — центральное место отводится парадигмам позитивизма и постпозитивизма, а в оценочных процессах преобладают измерения на количественном уровне; II (80- е годы XX века) - доминирует конструктивизм и характерные для него качественные измерения; III (90-е годы XX века) - происходит становление бипарадигмальной методологии эвалюации на основе философских корней прагматизма и широкого распространения идей трансформизма; IV (20002010гг.) - теория управления и теория принятия решений вошли в методологические основы эвалюации. Начало нового пятого периода в 2011 году в развитии эвалюации предлагается соотнести с введением инновационных трактовок эпистемологии, онтологии и методологии, раскрытых автором исследования в контексте эволюции представлений о качестве результатов образования в XXI веке, а также бипарадигмальной методологии измерений в образовании.

На основании проведенного анализа можно утверждать, что многие процессы в образовательных системах могут быть объяснены путем выделения концептуальных конструктов и их оценивания на основе бипарадигмальной методологии измерений. Образовательные действия не являются отдельными индивидуальными актами, а представляют собой «интерсубъективную» структуру, которую следует учитывать при построении моделей эвалюации. Цели образовательного процесса также рассматриваются как концептуальные конструкты и становиться предметом анализа в эвалюации вместе с критериями эффективности образовательной деятельности, адекватными современным задачам модернизации образования.

2. На современном этапе развития научного аппарата педагогики необходимо обращение к бипарадигмальной методологии эвалюации, под которой следует понимать систему принципов, способов функционирования и форм научной организации теоретической и практической деятельности в

условиях сочетания количественных и качественных уровней оценивания объектов эвалюации, а также учение об этой системе, закладывающее научный базис интеграции результатов эвалюации в управлении качеством образования.

Обязательным условием, определяющим эффективность использования данных эвалюации при принятии решений в управлении качеством образования, является применение теории генерализации, обеспечивающей методологическую базу для оценивания надежности компонентов эвалюации и принятия решений при обобщении результатов эвалюации, полученных по выборочной совокупности объектов, на более широкие популяции объектов в рамках программ и проектов модернизации образования.

Разработанные в исследовании методы сбора, анализа и интерпретации данных эвалюации на основе совокупности сбалансированных показателей качества образования, моделей и их дизайнов для сочетания количественных и качественных уровней многостадийных измерений, моделей теории Item Response Theory и уровневых шкал для интеграции данных количественного и качественного характера наиболее адекватны требованиям бипарадигмальной методологии эвалюации и способствуют решению задач модернизации отечественного образования.

3. Для научной организации эвалюации необходимо учитывать ряд общепринятых принципов, получивших в данном исследовании инновационную трактовку: принцип научности (опора на современный научный базис педагогической науки, теорию педагогических измерений, теорию принятия управленческих решений, теорию генерализации), принцип высокой объективности и обоснованности управленческих решений (надежность и валидность результатов, полнота набора показателей качества образования, стандартизация измерений, проведение метаэвалюации), принцип релевантности (получение информации, аутентичной доминирующим трактовкам качества образования я адекватной потребностям системы управления качеством образования, структурирование данных для различных уровней управления, обязательный анализ контекстных факторов), а также ряд специфических принципов, регламентирующих необходимость сочетания качественных и количественных уровней исследования в эвалюации, оптимизацию функций эвалюации в условиях минимизации трудозатрат и финансовых затрат, контроль дисперсии наблюдаемых результатов измерения,

ошибочных компонентов и внешней дисперсии, привнесенной контекстными факторами, соблюдение информационной безопасности и выполнение этических норм при сообщении результатов эвалюации.

4. В основе эвалюации лежит концептуальная логическая модель, разработанная в исследовании и носящая причинно-обусловленный характер, которая охватывает все этапы и устанавливает связи между ними, включая в качестве обязательного компонента механизмы реализации эвалюации и определяя развитие всех компонентов эвалюации, описание процессов их взаимодействия и планируемые формы представления данных в области краткосрочных и долгосрочных результатов программ и проектов по модернизации образования. Диаграммы пути для причинно-обусловленных моделей эвалюации позволяют целенаправленно отслеживать логическую и причинную связь этапов выполнения программ и проектов по модернизации образования и способствуют повышению обоснованности управленческих решений при совершенствовании качества образования. Комплексное системное построение модели эвалюации осуществляется на основе процессного подхода и регламентируется рядом организациойно-дидактических требований, в соответствии с которыми необходимо:

- рассматривать образование как открытую систему и разделять внешние и внутренние показатели качества ее функционирования;

- в целевой модели эвалюации учитывать результаты программы или проекта и затраты на их выполнение;

- активизировать обратную связь для коррекции состояния образовательной системы под воздействием проектных эффектов;

- использовать многокритериальную оценку качества образования по совокупности показателей, в том числе, учитывать контекстные факторы при оценке качества образования;

- при оценке эффективности образовательных и управленческих воздействий сочетать количественные оценки с качественными оценками поведенческих характеристик и воспитанности обучаемых с учетом влияния контекстных факторов;

- использовать ситуационный подход к формированию совокупности показателей качества образования, согласно которому уровень управления диктует основные виды показателей и критериев.

5. Для построения логической модели эвалюации необходимо: собрать релевантную информацию относительно входных характеристик и условий осуществления программы или проекта, сформулировать основную исследовательскую проблему для осуществления эвалюации в соответствии с целями программы или проекта, выбрате независимую переменную, эффекты и промежуточные переменные, сформулировать гипотезы, построить простейшую диаграмму пути, а затем провести ее усложнение путем постепенного ввода переменных для учета многофакторного влияния на переменную эффекта, построить схематическое изображение модели эвалюации в форме взаимосвязанных компонентов, создать базовые описательные характеристики компонентов логической модели в форме таблицы, 'согласовать логическую модель эвалюации с заинтересованными лицами (разработчиками программы или проекта, руководством образовательной организации, студентами, преподавателями и т.д.).

Необходимыми элементами логической модели должны быть ее ресурсы, действия, краткосрочные результаты, промежуточные результаты и долгосрочные результаты, анализируемые с учетом контекстных факторов и окончательной диаграммы пути.

6.' Разработанные в исследовании организационно-педагогические и технологические требования к качеству компонентов эвалюации, положенные в основу стандартов эвалюации, необходимы для проведения метаэвалюации. Их применение позволит увеличить эффективность систем управления качеством образования. В число основных требований входят: опора на базисную методологию управления качеством; приоритет бипарадигмальной методологии и современной теории измерений; высокое качество (надежность, валидность, аутентичность) И' пропюстичность результатов измерений; использование адекватных трактовок качества результатов образования; обязательность учета контекстных факторов; обеспечение сопоставимости результатов измерений, учет основных тенденций в модернизации образования, операционализируемость показателей качества результатов обучения; преимущественная ориентация средств измерений на проверку продуктивного уровня усвоения знаний и интеллектуальных умений, использование инновационных видов многостадийных измерителей; соответствие аппарата, используемого для обработки данных эвалюации, характеристикам

распределений эмпирических данных; стандартизация процедур эвалюации, устойчивость шкал для отображения результатов педагогических измерений, репрезентативность выборок обучающихся и ряд требований к инструментарию эвалюации.

Достоверность и обоснованность новых научных результатов исследования обеспечивалась за счет использования современных, получивших признание научной общественности источников информации в области дидактики, эвалюашш, теории педагогических измерений, теории управления и принятия управленческих решений и методологии ЖТ.

Достижение должного общенаучного уровня диссертационного исследования и обоснованности его результатов обеспечивалось использованием системного подхода, соблюдением логики общенаучного подхода с опорой на методологию педагогической науки.

Повышению обоснованности методических наработок, полученных в диссертационном исследовании способствовало проведение эмпирических проверок инновационных методических разработок, их внедрение в практику выполнения проектов в рамках ФЦПРО на 2011 - 2015 годы, внедрения ФГОС по направлению подготовки «Менеджмент» в учебный процесс в рамках системы повышения квалификации преподавателей образовательных организаций высшего образования и подготовки тьюторов для проекта по сертификации квалификаций специалистов и выпускников вузов.

Апробация результатов исследования. Основные положения диссертационного исследования отражены в публикациях автора в виде статей в журналах и сборниках, тезисов докладов на научных конференциях и монографиях. Кроме того, результаты также апробировались в ходе проведения комплексных научно-исследовательских работ по вопросам развития общественно-профессиональных и государственных аккредитационных процедур в современных условиях.

Материалы исследования доложены на следующих конференциях и симпозиумах: Всероссийская научно-практическая конференция «Менеджмент качества в образовании» (Санкт-Петербург, 2008); 3-й международная научная конференция «Качество инженерного образования» (КИО-2009) (Брянск, 2009); Международная научно-практическая конференция «Компетентностный подход в образовании — успешная карьера выпускника» (Ростов на-Дону, 2008);

16-ая Всероссийская научно-практическая конференция «Актуальные проблемы управления-2011» (Москва, 2011); Международный научно-практический форум «Инновационное развитие российской экономики» (Москва, 2011); Семинар «Особенности разработки и использования измерительных материалов для оценки качества высшего профессионального образования с учетом введения ФГОС» (Москва, 2012); Вебинар «Независимая оценка качества профессионального образования» (Москва, 2011); Семинары «Разработка и апробация моделей центров оценки и сертификации профессиональных квалификаций и экспертно-методических центров» (по отраслям) (Москва, 2011); Семинары по подготовке экспертов по оценке и сертификации профессиональных квалификаций (по отраслям экономики) (Москва, 2011); Семинар в рамках разработки программы кадрового обеспечения Стратегии автомобильной промышленности Российской Федерации на период до 2020 года, включая создание профессионально-квалификационной структуры отрасли и профессиональных стандартов (Набережные Челны, 2011); Расширенное заседание рабочей группы «Развитие молодых профессиональных кадров» Экспертного совета «Агентства стратегических инициатив» (Москва, 2012); Вебинар по теме «Независимая оценка системы качества профессионального образования» (Москва, 2011); Семинары для представителей субъектов Российской Федерации из 8 федеральных округов по теме «Разработка, апробация и внедрение независимой системы оценки результатов дошкольного, профессионального и дополнительного образования (Москва, 2011-2012); Совместное заседание Президиума Совета Учебно-методического объединения по юридическому образованию вузов Российской Федерации и Президиума Ассоциации юридического образования (Ростов-на-Дону 2012); VI Международный форум-семинар по вопросам обучения с применением технологий e-learning «MOSCOW Education Onlaín" (Москва, 2012); VIII Международный форум РАНХ и ГС при Президенте РФ (Москва, 2013); Ломоносовские чтения МГУ им. М.В.Ломоносова (Москва, 2014); VII Международный научно-практический форум «Инновационное развитие российской экономики» (Москва, 2014).

Внедрение результатов исследования проходили в ходе докладов и сообщений на межвузовских конференциях и совещаниях, ежегодных научно-

методических конференциях преподавателей, методологических семинарах преподавателей гуманитарных и социально-экономических дисциплин, проводимых в образовательных организациях России.

Основные результаты работы опубликованы в 2-х монографиях, 44 статьях и тезисах.

Структура и объем диссертации. Текст диссертации содержит четыре главы, введение, заключение и приложения с результатами, иллюстрирующими реализацию предлагаемых в исследовании методик. Список литературы состоит из 434 первоисточников.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность выбранной темы исследования; определены его цели и задачи, объект и предмет; сформулирована основная гипотеза исследования; приведены методологические основы исследования, научная новизна результатов, их теоретическая и практическая значимость; перечислены основные положения, выносимые на защиту; представлены обзор методов и этапов исследования и уровень апробации результатов.

Первая глава «Теоретические основы эвалюации в образовании» содержит обзор исторических этапов развития методологии измерений в образовании и философских парадигм, сыгравших ключевую роль в дифференциации этапов эвалюации. Рассматриваются три основополагающих компонента философских парадигм: эпистемология, онтология и методология, трактовка которых соотносится со сменой тенденций в образовании и связывается с развитием методологии эвалюации. Выделяются особенности развития методологии эвалюации в России применительно к сфере образования.

В главе закладывается концептуальный базис эвалюации, ориентированный на задачи управления качеством образования в процессе его модернизации на основе выполнения программ и проектов. Значительное внимание уделено анализу современного состояния теории эвалюации и проблемным областям исследования. Обосновывается утверждение о том, что требуется развитие определенной стратегии и методологии применения результатов эвалюации в управлении качеством образования, обеспечивающей высокую объективность (надежность), обоснованность (валидность), двухуровневость (объединение данных количественного и качественного

уровня), динамичность (возможность отслеживать изменения по совокупности показателей), сопоставимость (в пределах выделенных групп сравнения), прогностичность (пригодность для построения прогнозов в образовании) и четкую структурированность (иерархичность) данных, полученных при проведении эвалюации.

Рассматриваются основные виды эвалюации в образовании, проводится сравнительный анализ трактовок этого понятия, обретающего различный смысл для отличающихся категорий участников этого процесса, и вводится оптимальное определение эвалюации, приведенное ранее во введении, а также основная часть понятийного аппарата исследования. Анализируется роль эвалюации в совершенствовании управления качеством образования, которая связывается с ее методологическими и информационно-аналитическими возможностями в принятии оптимальных управленческих решений и прогнозировании последствия различных инноваций. Схематично взаимодействие эвалюации и управленческих решений представлено на примере уровня образовательной организации системы высшего образования на рис. 1.

Выделены три ведущих направления деятельности эвалюации в управлении качеством образования, которые связаны с обеспечением:

- конкурентоспособности образовательной системы на основе многофакторного и комплексного анализа ее состояния и прогресса;

- научных разработок для модернизации системы образования, анализа ее результатов и разработки научно-методического обеспечения;

- доступной информационной базы о качестве образования для общественности, профессиональных кругов в сфере образования и работодателей.

Для исследования субъектов эвалюации вводится представление о независимых переменных, переменных предикторах и зависимых или критериальных переменных. Анализируются компоненты, относящиеся к процессу эвалюации, и шесть наиболее типичных для процесса эвалюации этапов действий, включающих построение концептуальной модели исследования, логической или математической, в рамках программы или проекта, идентификацию ключевых пунктов процесса эвалюации, определение измеримых результатов эвалюации, разработку логической модели эвалюации,

измерение и сбор данных, анализ данных измерения, включающий генерализацию и интерпретацию данных анализа для получения оперативной и прогностической информации об изменениях в качестве образования.

Рис. 1 Пример схемы взаимодействия эвалюации и управленческих решений на уровне образовательной организации системы высшего

образования

При построении типологической схемы видов эвалюации в исследовании проводится дифференциация между эвалюацией и обычной оценкой, между шагами в эвалюации и этапами обычных исследований. К видам проектной эвалюации отнесена формирующая (текущая) эвалюация и итоговая эвалюация, а также эвалюацию развития проекта. В исследовании предлагается включение нового подвида формирующей эвалюации, названного диагностирующей эвалюацией, и введение прогнозирующей эвалюации, выполняющей функции прогноза последствий модернизации образования.

Причинно-обусловленное моделирование позиционируется в исследовании как наиболее адекватный подход к построению теории образовательной эвалюации. Выделяются виды причинных связей: прямая причинно-обусловленная связь, косвенная причинно-обусловленная связь, ложная причинно-обусловленная связь, модерируемая причинно-обусловленная связь, двунаправленная причинно-обусловленная связь и не анализируемая причинно-обусловленная связь. Рассмотрение диаграмм пути причинно-обусловленных моделей позволяет сделать вывод о том, что именно они могут стать наиболее

полезным инструментом для планирования и выполнения проектов по модернизации образования, поскольку они позволяют целенаправленно планировать фундаментальные и прикладные исследования в образовании, а также отслеживать логическую и причинную связь этапов выполнения проекта в процессе проведения его эвалюации.

В основе процесса эвалюации лежит концептуальная логическая модель, которая строится в рамках процессного подхода к управлению этапами эвалюации и имеет структуру, представленную на рис. 2.

1 1

1 * 1 1

Входная информация Выполнение функций Краткосрочные результаты оперативного характера Долгосрочные результаты стратегического характера

Федеральные источники финансирования в регионе

Региональные государственные фонды

Другие гранты для

профессионального совершенствования

Проведение измерений, формирование условии для

развития обучающихся

Коррекция, принятие усовершенствованного учебного плана

Анализ, интерпретация,

коррекция образовательной технологии

Повышение эффективности

реализации учебного плана

Принятие педагогических инноваций в обучении, поддерживающих совершенствование качества

Повышение эффективности использования финансирования и оборудования

Установле

ние перспекти

вных директив

Коррекция образовательной политики

Прогнозирование тенденций изменения качества образования

Рис. 2 Структура логической обобщенной модели эвалюации В главе приводится общая типологическая схема логических моделей эвалюации, радикально отличающаяся от подходов зарубежных исследователей, и дается сравнительная характеристика возможностей этих моделей. Предлагается выделить четыре вида обобщенных моделей, из числа которых приоритет в данном исследовании отдается модели «вход - процесс -выход». Она является динамической и систематически оценивает прирост по каждому эффекту, что дает основания для принятия более обоснованных управленческих выводов. Путем введения переменных, определенных спецификой каждого отдельного проекта, структурных моделей измерения,

эффектов и процессов эта обобщенная модель разворачивается в последовательности детализированных причинно-обусловленных моделей и диаграмм пути. Предлагается десять шагов по выполнению эвалюации, выполнение которых позволяет принять обоснованные управленческие решения в процессе модернизации образования.

Во второй главе «Концептуальный базис эвалюации н механизмы его реализации при формировании информационной и аналитической основы управления качеством образования в условиях его модернизации» рассматриваются общетеоретические вопросы, связывающие этапы, шаги и механизмы эвалюации программ и проектов модернизации образования в единую концептуальную системы, обеспечивающую совершенствование управления качеством образования.

В начале главы анализируется трактовка качества образования в современном мире в рамках различных парадигм (целевой и процессной). Проводится сравнительный анализ статической и динамической трактовки качества образования, по результатам которого делается вывод о преимуществах динамической модели качества применительно к задачам модернизации образования, рассматривающей качество как позитивные изменения в процессах и результатах образования.

В центре внимания находится компетентностный подход, который подвергается сравнительному анализу для сопоставления взглядов исследователей. Обосновывается вывод о закономерности появления компетентностного подхода и его адекватности проблемам современного образования. Приводится ряд выводов автора исследования, отражающих новые представления о компетенциях обучаемых, сформированные на основании критического анализа результатов внедрения компетентностного подхода в систему высшего образования.

На основе сравнительного анализа, проведенного в исследовании, оптимизируется понятийный аппарат компетентностного подхода. В частности, предлагается считать, что профессиональные компетенции — это приобретенные в результате обучения способности к успешному выполнению профессиональной деятельности в соответствии с требованиями современного этапа развития экономики и профессиональных стандартов, ь условиях высокой эффициентности процесса и результатов деятельности и в сочетании с

социальной ответственностью за ее результаты. Общекультурные компетенции

это приобретенные способности, имеющие причинные связи с эффективностью учебной деятельности по развитию профессиональных компетенций, успешностью социализации личности в различных жизненных ситуациях, формированием компетентностной мотивации и развитием личности обучаемого в соответствии с профессиональными и социальными требованиями.

Акцент на обеспечении эффициентности, характерный для материала главы, позволяет оценить затраты на достижение позитивного прироста качества подготовки выпускников образовательных организаций высшего образования, полученного за счет внедрения компетентностного подхода, и представить интегрированный результат взаимодействия затрат на внедрение ФГОС и полученных результатов в таком сложном и многофакторном процессе, каким является управление качеством образования. Эффициентность предлагается оценивать по совокупности эффектов, которые связываются с набором показателей для различных уровней управления. По каждому показателю предлагается установить целевой критерий (стандарт). Степень достижения целевого критерия по совокупности эффектов, соразмеренная с затратами, будет оценкой эффициентности результатов выполнения программы или проекта модернизации образования.

В главе также рассматриваются дидактические аспекты, необходимые при проведении эвалюации процесса внедрения компетентностного подхода в системе высшего образования. На основе проведенного критического анализа сложившейся практики в образовательных организациях высшего образования России предлагается ряд рекомендаций по «паспортизации» профессиональных компетенций, их операционализации, кластеризации и представлению в форме наблюдаемых признаков проявления (показателей) в различных видах профессиональной деятельности (приложение 1 диссертации).

Далее в главе общие проблемы управления качеством связываются с возможностями эвалюации программ и проектов модернизации образования. Ориентация на инновации и повышение эффективности управления качеством образования заставляет обратиться к процессному подходу, рассматриваемому в контексте теории управления образовательными системами и динамической оценки качества процесса и результатов образования. Компоненты модели, по

которым ведется динамическая оценка прироста позитивных изменений качества процесса и результатов образования, показаны на рис. 3.

Выделяются переменные, факторы и показатели для эвалюации проектов и программ модернизации образования. Рассматривается многоэтапный подход в управлении качеством образования, включая, в том числе: проведение эвалюации, анализ приемлемости результатов программы для потребителей, принятие решений, оперативного, тактического и стратегического характера и бенчмаркинг(процесе анализа и распространения позитивного опыта других образовательных организаций на собственную деятельность в различных аспектах совершенствования качества процесса и результатов образования). Далее предлагается схема цикла управления качеством образования и информационные потоки для различных уровней управления.

гг

4 ±- 4

Контекст и Студенты,

миссия ППС,

образовате администра

льной ция(оценка

организаци /1_. измене-

и (оценка ний)

степени

реализа-

ции)

ж

Корпоративные связи (прирост)

ПИ-

м—к N—✓

Ж

Администрирование и преподавание

Индивидуальное пячвмтия_

Качество программ ___и обучения

С—>

Исследования и раэрабогки

Вклад в общество

НЕ

И

Структуры

образова-

тельной

организа-

ции

(показа- м-1/

тели

делтель-

ности)

Ж

Материальные, социальные характерист ики среды обучения (прирост)

Международные связи (прирост)

зг

Рис. 3 Компоненты, охваченные динамической моделью

Делается вывод о том, что обоснованное использование эвалюации в управлении качеством образования требует выделения уровней управления, построения определенной иерархии и взаимосвязи информационных потоков и создания полной системы сбалансированных показателей качества проектов и программ, поддающейся операционализации в целях измерения. Такой системный подход носит комплексный характер, объединяя в себе динамический, сравнительный, дифференцирующий и прогностический анализ

с теми или иными приоритетами в зависимости от доминирующих задач и уровня управления.

Предлагается ряд дидактических условий совершенствования управления качеством образования, ориентированных на задачи образовательной эвалюации программ и проектов модернизации образования: использование системного динамического подхода к оцениванию качества процесса и результатов образования, ориентированного на приоритетные задачи управления и модернизации образовательной системы; сочетание динамического, сравнительного, дифференцирующего и прогностического анализа данных эвалюации для различных уровней управления; выявление иерархии при построении взаимосвязи информационных потоков с учетом общих целей управления качеством образования и прикладных целей эвалюации; применение полной системы сбалансированных показателей качества образования, поддающейся операционализации при измерении; учет научных требований к характеристикам информационной базы эвалюации (обеспечение высокой надежности, валидности и аутентичности данных измерений); проведение анализа генерализуемости данных эвалюации в соответствии с дизайном, определяемым задачами управления качеством образования; учет контекстных факторов и смещающих факторов, применение методик минимизации систематических ошибок измерения; стандартизация процедур сбора, обработки, анализа и интерпретации данных эвалюации; обеспечение сопоставимости результатов эвалюации в соответствии с задачами управления.

Информационную базу процесса управления качеством образования закладывают педагогические измерения, являющиеся теоретическим и практическим базисом механизма реализации концептуальной модели эвалюации. В главе приведется основные компоненты процесса измерений и анализируются возможности моделей ЮТ применительно к проблемам развития эвалюации для совершенствования управления качеством образования. По результатам анализа выделяется генерализованная модель частичного кредитования Андриха, поскольку она расширяет возможности обработки данных по инновационным формам заданий, предназначенных для оценки уровня освоения компетенции.

В главе также предлагаются модели инструментария для эвалюации процесса внедрения ФГОС, которые должны иметь причинно-обусловленный характер, связывая последовательность применения измерителей определенных видов в единую цепочку; отражать в своей структуре специфику построения ФГОС; обеспечивать высокую объективность (надежность), обоснованность (валидность) и сопоставимость результатов измерений; включать диапазоны освоения компетенций (кластеров компетенций); основываться на идее многостадийных измерений; обеспечивать возможность установления пороговых баллов для оценки уровня освоения компетенций.

Значительное внимание в главе уделяется проблеме обеспечения качества результатов измерения, их надежности и валидности. Для проведения анализа связи между размерностью конструкта и размерностью заданий инструментария при анализе конструктной валидности предлагается метод подсчета частных корреляций. При анализе размерности предлагается использовать методы конструирования шкал на основе многофакторного анализа с целью сжатия данных при их сходстве либо применять методы многомерного шкалирования (М05), допускающие непохожесть субъективных атрибутивных данных.

Для раскрытия механизмов реализации концепции эвалюации на основе измерений в главе анализируются возможности количественных и качественных исследований в эзалюации. Для качественных данных рассматриваются основные виды кодирования: открытое кодирование, осевое кодирование и избирательное кодирование, которые связываются с этапами выполнения эвалюации. В число количественных методов анализа данных эвалюации включена дескриптивная статистика и метод математического моделирования на основе теории ГОТ. Помимо этого рассматриваются модели структурных уравнений, совмещающие модели метода путевого анализа и конфирматорного факторного анализа и включающие латентные переменные. В целом, делается вывод о необходимости совмещения количественных и качественных исследований в эвалюации на основе бипарадигмальной методологии измерений в образовании.

В целом, по результатам исследования в главе делается зывод о том, что при выполнении предложенных в исследовании дидактических условий, схем и циклов условий данные эвалюации являются научной основой для

распознавания, анализа, функционирования, развития, прогнозирования и совершенствования систем управления качеством образования.

В третьей главе «Методологические основы эвалюации программ и проектов модернизации образования в контексте проблем управления его качеством» ставится проблема разработки методологического обоснования эвалюации, которая связывается с определением ее места и роли в инновационном преобразовании современной модели образовательной системы. По результатам проведенного анализа выделяются общие и специфические цели эвалюации в современном образовании. В частности, можно утверждать, что эвалюация помогает отслеживать выполнение государственных стандартов и внедрение их актуализированных версий, проводить сравнительный анализ качества результатов образования, рассматриваемых применительно к итогам реализации программ и проектов модернизации образования.

. Эвалюация выступает своеобразным регулятором "автономии" образовательных организаций, помогая рационально распределять ресурсы и средства при выделении дополнительного финансирования либо при принятии корректирующих мер. Собственно педагогические результаты эвалюации связаны с улучшением качества результатов образовательного процесса, обучающей деятельности педагогов и их профессиональной подготовки. Помимо информационной основы для оперативных педагогических решений эвалюация предоставляет данные для определения долгосрочных перспектив развития образования. В целом, эвалюация способствует эффективному осуществлению единой государственной политики в области образования и подготовки кадров, защите прав граждан на получение качественного образования, повышению качества образования, процесса обучения и его результатов, усилению преемственности требований к качеству образования и требований рынка труда.

В целом, в образовании эвалюация выполняет:

- организационную функцию, обеспечивающую оптимизацию управления как на уровне отдельно взятого учебного заведения или группы обучающихся, так и всей системы образования на региональном или федеральном уровнях;

- контролиругоще-оценочкую функцию, помогающую выявить степень реализации задач проекта или программы модернизации либо эффективность

выполнения образовательной организацией нормативных целей, предоставляя тем самым информацию для мониторинга качества образования;

- мотивирующую функцию, побуждающую к совершенствованию преподавательской или управленческой деятельности, новым преобразованиям и очередному этапу модернизации в образовании;

- оптимизирующую функцию, нацеленную на совершенствование всех аспектов выполнения программ и проектов, в том числе финансовых затрат для повышения эффективности расходования средств и ресурсов;

- информационную функцию, позволяющую сделать результаты выполнения программ и проектов достоянием академического сообщества и общественности;

- прогностическую функцию, нацеленную па предсказание тенденций и динамики развития результатов внедрения инноваций в практику образования;

- диагностически-корректирующую _ функцию, предназначенную для выявления проблем при выполнении проектов, программ и их причин для принятия коррехционных мер;

- сравнительную функцию, предоставляющую данные для сравнительного анализа качества образования.

В главе приводится подробный сравнительный анализ подходов других авторов к выявлению функций эвашоации и формулируются условия их оптимальной реализации в современном отечественном образовании в контексте задач его модернизации. Далее формулируются принципы эвалюации, ориентированные не только на качество результатов и процедур эвалюации, но и на требования к компетентности эвалюаторов, их честности и принципиальности, уважения к участникам программ и проектов, бережного отношения к самооценкам, отсутствия конфликта интересов, обязательного анализа контекстных факторов, влияющих на результаты эвалюации и т.д.

Правильно организованную научно-обоснованную эвапюацию характеризуют: концентрация внимания на качестве образования, его совершенствовании и развитии на всех этапах эвалюации; обязательное использование системного подхода при внесении изменений в проекты и программы по результатам эвалюации; адаптация универсальных принципов эвалюации применительно к конкретным обстоятельствам каждого проекта или программы; рассмотрение полного фрейма совокупности сбалансированных

показателей качества образования; постоянный рост ответственности каждого участника работ за результаты эвалюации, прозрачность процесса получения оценок и выводов, подотчетность каждого участника работ; последовательное осуществление руководства процессом эвалюации; обязательное рассмотрение условий выполнения проектов и программ с учетом контекстных факторов; использование в эвалюации мультивариагивного многоуровневого анализа; систематическое отслеживание образовательной практики для подтверждения данных эвалюации; установление связей результатов эвалюации с системой образования в целом; учет ложных стимулов и непредвиденных последствий проектов и программ при анализе результатов эвалюации; обязательное проведение метаэвалюации.

К практико-ориентирсванным составляющим отнесены положения, которые ориентированы на актуальные проблемы научной организации работ по эвалюации процесса и результатов внедрения ФГОС в высшее образование. В частности, для регламентирующих компонентов эвалюации процесса внедрения ФГОС в главе предлагаются организационно-дидактические '.требования: реализация требований ФГОС на основе непрерывного развития инноваций в обучении; высокий уровень развития научного потенциала кафедр, систематическое вложение средств и усилий в развитие научного потенциала и повышение педагогического мастерства; отказ от замкнутости кафедр путем создания атмосферы сотрудничества и объединения усилий преподавателей для реализации требований ФГОС к результатам подготовки бакалавров и магистров; усиление дисциплинарных связей и введение обобщенных полидисциплинарных курсов (для выпускающих кафедр) в практику обучения; многостадийность измерений для оценки уровня освоения компетенций обучающимися; индивидуализация образовательных траекторий развития студентов; введение инновационных методов обучения; усиление контактов с работодателями и налаживание практики взаимодействия с выпускниками (для выпускающих кафедр).

Приводится детализированное обоснование структуры методологии измерений в эвалюации, в рамках которой предлагается выделить четыре методологических компонента: классическую теорию измерений, современную теорию измерений, теорию генерализации и теорию валидности.

Значительное внимание уделяется бигорадигмальной методологии измерений, в русле основополагающих положений которой анализируются типичные ошибки ряда исследователей, препятствующие корректной дифференциации количественных и качественных данных эвалюации. Предлагаются корректные методы интеграции данных эвалюации в рамках бипарадигмальной методологии на основе обращения к общему циклу построения методологических исследований и формулируется совокупность условий, выполнение которых необходимо для отнесения данных педагогического измерения к метрической шкале. Отличия уровней измерения связываются с рекомендациями по выбору инструментария эвалюации и ее моделей.

Автором исследования вводится новое понятие - бипарадигмальная логическая модель эвалюации, которая строится на сочетании количественных и качественных данных эвалюации и представляет собой совокупность причинно-обусловленных и схематично-описательных построений, охватывающих весь процесс эвалюации от концептуального замысла до анализа данных о проектах и программах, включая, в том числе, механизмы реализации эвалюации, фазы разработки инструментария эвалюации, проведения измерений или других процедур сбора данных, формирования выборочных совокупностей испытуемых или других объектов эвалюации и т.д. В качестве примера приводится общий вид схематической части модели эвалюации для программы по сертификации квалификаций выпускников образовательных учреждений высшего образования, разработанной на основе обобщенной модели.

В заключительной части главы рассматривается теория генерализации, трактуемая как важнейшая методологическая основа научной организации эвалюации на этапе перехода от информации, собранной по выборочной совокупности объектов эвалюации, ко всей генеральной совокупности объектов и принятия управленческих решений. При анализе возможности объединения генерализованных результатов эвалюации для принятия управленческих решений необходимо разрабатывать фасетный дизайн генерализации, в котором предусмотрены все варианты принятия управленческих решений. Примеры фасетного дизайна для пересекающихся и вложенных условий предлагаются в данном исследовании для проекта ФЦПРО по разработке

измерителей в системе сертификации квалификаций выпускников вузов и специалистов (2011-2012гг.).

К наиболее важным контролируемым и неконтролируемым смещающим факторам, нуждающимся в учете при проведении генерализации, в исследовании отнесены: качество инструментария; полнота набора показателей эвалюации, их релевантность целям управления; репрезентативность выборочных совокупностей объектов измерения; отсутствие нарушений при проведении измерений и стандартизация условий.

Значительное внимание в главе уделяется развитию научных методов анализа валидности результатов эвалюации, которая несет в себе методологический потенциал при анализе результатов эватюации для управленческих решений. Проводится дифференциация понятий «вапидность» и «аутентичность. Последний критерий качества результатов эвалюации, введенный автором исследования, обращается к анализу подлинности и сбалансированности представления всех перспектив, ценностей и результатов программ или проектов.

В исследовании выделяются наиболее важные виды валидности (конструктная, содержательная и прогностическая), используемые при анализе качества данных эвалюации в управлении качеством образования. Предлагаются ступени валидизации, включающие формулировку проблемы, ее объяснение и подтверждение гипотез. Первый аспект валидизации - анализ конструктной валидности связывается с выявлением размерности пространства измерений и с доказательством того, что данная совокупность заданий измеряет концептуально выделенную переменную (переменные). При многомерности следует проводить длительное итерационное исследование размерности пространства измерений с целью выявления числа латентных шкал и определения возможности их дальнейшего объединения в одну шкалу на основе груллы методов миогофакторного анализа. Второй аспект валидизации направлен на оценку содержательной валидности инструментария эвалюации экспертными и статистическими методами. Третий аспект валидизации, посвященный проблеме повышения прогностической валидности, рассматривается на примере внедрения требований ФГОС в систему высшего образования.

В целом, для повышения валидности измерений в эвалюации рекомендуется тщательное планирование содержания и дизайна измерений, включая схемы сочетания количественного и качественного уровней измерения, разработку спецификации измерителей, подбор оптимальной трудности заданий, расчет оптимального времени проведения измерительных процедур, экспертизу качества содержания отдельных заданий и всего теста, отбор наиболее валидных заданий с высокой дифференцирующей способностью.

В четвертой главе «Технологические основы использования эвалюации в управлении качеством образования при внедрении инноваций в учебный процесс» рассматриваются методические аспекты эвалюации и описываются результаты апробации методических наработок. В главе приводятся методики построения логических моделей эвалюации, разработки моделей многостадийных измерителей, проведения метаэвалюации и методики шкалирования, апробированные для эвалюации процесса внедрения ФГОС на выборке студентов РГУПС (приложения 2, 3,4 и 5 диссертации).

Роль логической модели в практической эвалюации сводится к тому, чтобы развернуть гипотезу о достижении запланированных результатов программы в форме совокупности основных предположений и определить стратегии для их проверки. В целях апробации под руководством автора исследования во РГУПС была разработана логическая модель эвалюации процесса внедрения ФГОС (рис.4), дополненная описательными характеристиками и диаграммами пути, связывающими переменные.

В число описательных характеристик вошли цели внедрения ФГОС, гипотезы относительно их влияния на качество образования, описание целевой популяции студентов, входные данные и ресурсы, характеристики действий преподавателей и предполагаемых изменений в учебном процессе, обеспечивающих реализацию программы, а также результаты в форме совокупности показателей выполнения программы, предполагаемые следствия и численные характеристики результатов внедрения ФГОС в учебный процесс образовательной организации и ключевые контекстные факторы.

у V.

J

Структура программы

Структура результатов эвалюации

Контекст

Влияние внешних контекстных факторов и результатов выполнения смежных программ

Рис. 4 Базовая логическая модель эвалгоации внедрения требований ФГОС в учебный процесс образовательной организации

При реализации логической модели использовалась методика построения моделей многостадийных измерителей. Для обоснования числа стадий в измерениях рассматриваются процедуры многомерного шкалирования в сочетании с методом дискриминантного анализа и методом геометрических расстояний. Для оптимизации числа компонентов измерителя формулируется правило: если различия между средними значениями баллов студентов по отдельным стадиям измерений будут статистически значимы, то можно сделать вывод об их не случайном происхождении и считать, что добавление очередной стадии измерений существенно повышает информированность об учебных достижениях студентов.

В главе представлена классификационная схема измерителей, ориентированных на преимущественную оценку уровня освоения компетенций

и приоритеты когнитивного обучения. На основе сформулированных в исследовании дидактических требований к качеству информационной составляющей эвалюации выделена оптимальная модель многостадийных измерений, проводимых с целью оценивания уровня освоения профессиональных компетенции при аттестации (рис. 5). Предложен цикл предварительных работ по выявлению ядерных (укрупненных по результатам кластеризации) компетенций при эвалюации результатов внедрения ФГОС в образовательной организации высшего образования, основанный на анализе требований профессиональных стандартов. Даны рекомендации по подбору трудности заданий для отдельных стадий измерения. В приложении 2 диссертации приведены примеры многостадийных измерителей, разработанных в РГУПС на основе данной методики и под руководством ее автора по направлению подготовки «Менеджмент», профиль «Логистика и управление цепями поставок», дисциплина «Маркетинг».

Рис. 5. Модель многостадийного инновационного измерителя в рамках компетентностного подхода

Далее в главе рассматривается метаэвалюация, которая предназначается для оценки качества результатов эвалюации и начинается после завершения предварительного планирования эвалюации и построения логической модели. Методический базис метаэвалюации закладывают стандарты эвалюации. Анализируются недостатки зарубежных стандартов и предлагается

классификация, выделяющая: стандарты информативности, стандарты измерений, стандарты интерпретации и применения результатов эвалюации и стандарты эффективности. Приводятся стандарты эвалюации, разработанные в исследовании, для первой и второй группы. Стандарты первой группы включают требования полезности информации, выполнимости процессов ее получения, релевантности информации, ее доступности и высокого качества, систематичности способности к повышению обоснованности и справедливости управленческих выводов. Стандарты второй группы регламентируют качество процесса измерений, результатов измерений и самого инструментария (требования к содержанию измерителей; формам заданий и к статистическим характеристикам заданий и измерителей). Приводятся также требования по стандартизации процедур измерения и этическим нормам поведения эвалюаторов.

В целом, выбор модели инструментария для многостадийных измерений основан на анализе вкладов в надежность и валидность отдельных компонентов измерителя. В главе приводится правило объединения многократных мер и анализируется влияние способов объединения на надежность объединенной оценки. Проделанный анализ приводит к выводу о том, что надежность составной оценки является не только функцией надежности и дисперсии каждого результата по отдельным стадиям Измерений, но и тесноты связей между ними. Если результаты по отдельным стадиям слабо коррелированны, то надежность составной оценки близка к средней надежности результатов по отдельным стадиям измерений. Когда корреляция результатов по отдельным стадиям измерений высока, надежность составных оценок будет всегда выше, чем надежность отдельных результатов измерений, поэтому рекомендуется делать отдельные многостадийные измерители для оценивания каждой компетенции. Анализ методик взвешивания результатов при подсчете сырых баллов по отдельным стадиям приводит к сходному выводу.

В главе предлагается расширительная трактовка понятия «критериально-ориентированные измерения», соотнесенная с задачей оценки уровня освоения компетенций. Для оценки надежности результатов измерений вводится специальная методика, позволяющая получить показатель устойчивости при классификации испытуемых на группы достигших - не достигших

определенного уровня комЬетентности в многостадийных измерениях. Основополагающим компонентом этой методики является предположение о том, что составная оценка С, полученная по результатам к стадий в измерениях, может быть представлена в виде суммы, где к слагаемых оценки соответствуют к стадиям измерений. Ключевое неравенство для надежности многостадийных измерений имеет вид:

"I J

2

где дисперсия наблюдаемой оценки с будет суммой к дисперсионных членов и к (к - 1) ковариационных членов, а в правой части неравенства стоит выражение, известное как коэффициент альфа.

Согласно этому неравенству надежность составной оценки в качестве нижней границы имеет наименьшую надежность компонентов измерителя, на основе использования которого получена составная оценка. Методика оценки надежности многостадийных измерений была апробирована на представительной выборке студентов первого курса, обучающихся по направлению подготовки «Менеджмент», профиль «Логистика и управление цепями поставок», дисциплина «Экономическая теория» в 2012-2013 учебном году (приложение 3 диссертации).

Далее анализируются проблемы валидизации критериев для оценки индивидуальных достижений студентов на отдельных стадиях измерений и при их объединении. Делается вывод о том, что многостадийные измерения более полезны с точки зрения повышения валидности выводов при классификации студентов по уровням компетентности, чем при получении балльных оценок знаний и умений студентов. Поэтому роль многостадийных измерений неизмеримо возрастает при внедрении комг.етентностного подхода в высшее образование.

В методике оценивания валидности результатов измерений при эвалюации выделены три компонента: оценка содержательной валидности, конструктной валидности и прогностической валидности. Для оценивания содержательной валидности при многостадийных измерениях в рамках компетентностного подхода был выделен этап анализа качества содержания заданий, этап оценки качества каждого компонента измерителя и этап оценки качества всего измерителя, а также рекомендовано проведение корреляционного и факторного

анализа. В методике оцетшания конструктной валидности результатов многостадийных измерения также были разработаны основные этапы. Оценку прогностической валидности результатов многостадийных измерений предлагается вести путем установления меры коррелированности результатов измерений с внешними критериями, являющимися залогом дальнейших успехов студентов в их профессиональной деятельности. В качестве таких внешних предикторов в рамках компетентностного подхода могут выступать результаты практик студентов, результаты сертификации квалификаций выпускникоз образовательных организвций и т.д.

Далее в главе представлены методики шкалирования результатов многостадийных измерений в рамках компетентностного подхода и установления пороговых баллов, модифицированные применительно к задаче интерпретации результатов многостадийных измерений в эвалюации в управлении качеством образования. При шкалировании первичную обработку данных рекомендуется вести на основе моделей теории ЖТ (приложение 5 диссертации), что позволяет получить производные баллы в метрической шкале логитов, отображенной путем линейного преобразования в стобалльную шкалу.

После преобразования оценок параметра компетентности испытуемых и трудности заданий измерителя в стобалльную шкалу рассматривается процедура установления порогового балла для многостадийного измерителя. Сравнительный анализ методов установления пороговых баллов показал, что наиболее эффективные методы Ангофа и Недельски не могут быть применены к составным оценкам, что не исключает их использование для установления пороговых баллов по каждому компоненту измерителя отдельно. Для составных оценок в исследовании в исследовании была предложена компенсационная стратегия установления пороговых баллов, модифицированная применительно к задачам эвалюации процесса внедрения ФГОС в образовательной организации высшего образования. На ее основе была разработана методика установления порогового балла при многостадийных измерениях для классификации студентов по уровням освоения компетенций (табл. 1).

Таблица 1

Методика установления порогового балла при многостадийных измерениях на

_ основе компенсационной стратегии и классификация студентов_

1 № | Описание шага__I

шага

1 Установить пороговый балл для компонента измерителя, содержащего задания с выбором ответов, используя метод Недельски

2 Установить пороговый балл для компонента измерителя, содержащего задания с констпуируемым ответом, используя метод Эбеля

3 Установить пороговый балл для компонента измерителя, содержащего задания мини-кейса, используя метод Эбеля

4 Ввести условия для реализации компенсационной стратегии

5 A. Студентов, не преодолевших пороговый балл по всем компонентам измерителя, считать полностью некомпетентными Б. Студентов, преодолевших пороговый балл по компоненту измерителя с выбором ответов, но не преодолевших пороговые баллы по двум другим компонентам, считать компетентными на минимальном уровне B. Студентов, не преодолевших пороговый балл по компоненту измерителя с выбором ответов, но преодолевших пороговый балл по одному из двух других компонентов, считать компетентными на минимальном уровне Г. Студентов, не преодолевших пороговый балл по компоненту измерителя с выбором ответов, но преодолевших пороговые баллы по обоим другим компонентам, считать компетентными на базовом уровне Д. Студентов, преодолевших пороговый балл по компоненту измерителя с выбором ответов и преодолевших пороговый балл по одному из двух других компонентов, считать компетентными на базовом уровне Е. Студентов, преодолевших пороговый балл по компоненту измерителя с выбором ответов и преодолевших пороговые баллы по двум другим компонентам, с'штат ь компетентными на высоком уровне

Предложенные методики дополняются рядом дидактических и технологических требований к сбору, обработке и интерпретации результатов измерений в эвалюации, сформулированных в главе.

В разделе «Заключение» интегрируются основные выводы по главам диссертации и перечисляются результаты работы, полученные в соответствии с задачами исследования. В частности, анализ исторического пути развития эвалюации в образоватш и современного состояния дел в этой сфере позволил сделать вывод о нарастающей актуальности развития научного аппарата эвалюации в отечественном образовании. В России необходимо формировать независимые профессиональные структуры - институты эвалюации, занимающиеся ее осуществлением ках по государственным заказам для программ и проектов модернизации образования, так и по заказам отдельных

образовательных организаций с целью совершенствования качества образования.

Развернутый анализ видов эвалюации, проведенный в данном исследовании, позволил предложить причинно-обусловленные модели и диаграммы пути, отличающиеся от классических моделей своей новизной и системностью, а также определить прогнозирующие связи в эвалюации, лежащие вне сферы причинно-обусловленного моделирования. Таким системообразующим звеном стал процессный подход к управлению этапами эвалюации, непосредственно смыкающийся с проблемами управления качеством образования при выполнении программ и проектов по модернизации образования.

Методологические основы эвалюации и метаэвалюации, разработанные в данном исследовании, закладывают базис, необходимый для научной организации эвалюации программ и проектов по модернизации отечественного образования. Значительную роль в методологических результатах данного исследования следует отвести бипарадигмальной методологии эвалюации, предписывающей использование как количественных, так и качественных данных, а также их корректное объединение в специальных уровневых шкалах, практически не используемых в отечественном образовании.

В целом, для корректного использования научный аппарат эвалюации должен быть адекватен исследуемым феноменам, соответствовать реальности, обеспечивать обобщаемые данные, понятные по своей интерпретации тем, кто применяет эвалюацию при оценке программ и проектов модернизации образования. Результаты апробации совокупности технологических наработок, полученных в данном исследовании, показали их действенность и возможность широкого применения в отечественном образовании.

Перспективные направления исследования. С позиций данного исследования к перспективным направлениям можно отнести: развитие новых моделей эвалюации, реализующих современные направления модернизации образования. Необходимы дальнейшие исследования в сфере метаэвалюации, адекватные современной трактовке качества результатов образования и задачам позышения обоснованности управленческих решений в образовании. Компетенткостный подход требует многомерных измерений, поэтому необходимо развитие моделей теории 1Н.Т для построения нескольких шкал. В

дальнейшем развитии • нуждаются методики интерпретации данных, выстроенные с учетом различных уровней принятая управленческих решений в образовании.

Основное содержание и результаты исследований по теме диссертации отражены в 46 работах.

Статьи в изданиях, включенных в реестр ВАК Министерства образования

и науки РФ

1. Гуськова, М.В. Аттестация студентов на основе новых стандартов профессионального образования /М.В.Гуськова//Высшее образование сегодня -2011.-№8. - С.10-14 (0,3 пл.).

2. Гуськова, М.В. Эвалюация процесса и результатов внедрения Федеральных государственных образовательных стандартов в практику высшего профессионального образования /М.В.Гуськова //Высшее образование сегодня -2011.-№9. - С.10-14 (0,3 пл.).

3. Гуськова, М.В. Этапы развития эвалюащш в образовании/М.В.Гуськова,

B.И.Звонников // Экономика образования.-2011.-№4. - С.8-13 (0,4 пл.).

4. Гуськова, М.В. Основные модели оценки качества образовательных проектов /М.В.Гуськова//Aima mater (Вестник высшей школы).-2012 -Вып 2 -

C.54-57 (0,3 пл.).

5. Гуськова, М.В. К вопросу понятийного аппарата эвалюации в образовании /М.В.Гуськова //Философия образования.-2012.-№3(42). - С. 109-118 (0,6 пл.).

6. Гуськова, М.В. Подходы к формированию независимой оценки качества профессионального образования К вопросу понятийного аппарата эвалюации в образовании/М.В.Гуськова, Л.Н.Глебова //Высшее образование сегодня-2012 -№4. - С.2-6 (0,3 пл.).

7. Гуськова, М.В. Исторические аспекты развития эвалюации/М.В.Гуськова//'Право и государство: теория и практика - M 2012 -№8(92). - С. 139-144 (0,4 пл.).

8. Гуськова, М.В. Об истории развития тестов и современных проблемах оценки /М.В.Гуськова/ЯТраво и государство: теория и практика - М. 2012 -№9(93). - С. 102-106 (0,3 пл.).

9. Гуськова, М.В. Пользователи системы эвалюации в управлении качеством образования /М.В.Гуськова // Философия обпазования.-2012.-ЛГ°3(42) - С 109118 (0,6 пл.).

10. Гуськова, М.В. Моделирование в образовательной эвалюации /М.В.Гуськова //Известия СПбГЭТУ «ЛЭТИ».-2012.-№6,- С.111-116 (0,4 пл.). И. Гуськова, М.В. Принципы научной организации эвалюации в образовании /М.В.Гуськова// Вестник Тамбовского университета.-2012.-№ 10 (114) - С 122129 (0,5 пл.).

12. Гуськова, М.В. Философские парадигмы и исторические этапы в развитии эвалюации /М.В.Гуськова //Ценности и смыслы.-2012.-№6(22).-С.45-56 (0,75пл.).

13. Гуськова, М.В. Количественные методы исследования данных эвалюации/М.В.Гуськова // Философия образования.-2012.-№5(44). -С.186-193 (0,5 п.л.).

14. Гуськова, М.В. Сертификация квалификаций и оценка качества профессионального образования /М.В.Гуськова //Вестник университета.-М.: ГУУ.- 2012. -№12 - С.72 - 77 (0,4 пл.).

15. Гуськова, М.В. Взаимодействие работодателей и вузов: вчера, сегодня, завтра. Экономика образования/М.В.Гуськова, В.И. Звонников,- 2012.-С.60-64 (0,3 п.л.).

16. Гуськова, М.В. Количественные и качественные исследования в образовательной эвалюации /М.В.Гуськова //Педагогика. -2013.-№3. — С.23-30 (0,5 п.л.).

17. Гуськова, М.В. Многостадийные модели оценки компетентности управленцев/М.В.Гуськова, А.В.Челохьян // Вестник университета,- М.: ГУУ,-2013. -№15,- С.178 - 184 (0,4 п.л.).

18. Гуськова, М.В. Структурные элементы мероприятий по оценке внедрения инновационных программ в профессиональном образовании/М.В.Гуськова, А.А.Порческо// Известия Южного Федерального университета. Педагогические науки,- 2013,- №12.- С.Зб-44 (0,6 п.л.).

19. Гуськова, М.В. Оценочно-аналитические методы в управлении качеством образования /М.В.Гуськова //Высшее образование сегодня.-2013.-№2.-С.34-39 (0,4 п.л.).

Монографии

20. Гуськова, М.В. Эвалюация в образовании: монография/М.В.Гуськова. - М: ИНФРА-М, 2012. - 153с. (9,5 п.л.).

21. Гуськова, М.В. Основы эвалюации в управлении качеством образования: монография/М.В.Гуськова. - М: ИНФРА-М, 2014 -204с. (12,75 п.л.).

Учебники, пособия, рекомендации

22.Гуськова, М.В. Методические рекомендации к составлению тестовых заданий для проведения контроля знаний студентов: Учебно-методическая разработка ,'М.В.Гуськова, Е.Р.Горюнова, А.В.Челохьян. - Ростов-на-Дону, 2005. - 54 с. (3,4 п.л.).

Научно-методические статьи в сборниках, журналах

23. Гуськова, М.В. О разработке информационно-аналитической системы подбора персонала на базе РГУПС/М.В.Гуськова, В.И.Колесников, Н.Н.Сухорукова, О.Б.Сухорукова //Автоматика, связь и информатика: Научно-теоретический и производственно-технический журнал М.: ОАО «Российские железные дороги».-2006.- №6. - С.36-38 (0,2 п.л.).

24. Гуськова М.В., Новые подходы к процессу мониторинга уровня компетенций выпускников транспортных вузов/М.В.Гуськова, О.В.Муленко //Вестник Ростовского государственного университета путей сообщения: Научно-технический журнал,- Ростов-на-Дону: РГУПС.-2009.-№1(33) - С 80 -85 (0,3 п.л.).

25. Гуськова, М.В. Математическое обоснование оценки уровня подготовки студентов форме компьютерного тестирования /М.В.Гуськова, В.И.Колесников, М.ДЛинденбаум, Р.И.Островский, А.А.Порческо//Вестник Ростовского государственного университета путей сообщения: Научно-технический журнал,- Ростов-на-Дону.: РГУПС.- 2009. -№39(35).- С.135 - 141 (0,5 п.л.).

26. Гуськова, М.В. Проблема единства требований в системе дополнительного профессионального образования государственных гражданских служащих: сб. трудов по проблемам дополнительного профессионального образования. /М.В.Гуськова, М.Б.Челышкова,- М.: РУДН.-2012. - Вып.22.-С.24-30 (0,5 п.л.).

27. Гуськова, М.В. О роли педагогических измерений в модернизации отечественного образования/М.В.Гуськова //Качество образования. -М.: МФПУ «Синергия». -2012. -№6. -С.54-57 (0,3 пл.).

28. Гуськова, М.В. Управление качеством, эффективность и эвалюация. ГУУ/М.В.Гуськова, В.И.Звонников. // Вестник университета,- М.: ГУУ.-2014 -№18.-С.115- 120 (0,4 п.л.).

Тезисы докладов и выступлений на научных конференциях и семинарах

29. Гуськова, М.В. Студенческий отряд добровольных спасателей Ростовского государственного университета путей сообщения /М.В.Гуськова, А.В.Коновалов, А.В.Челохьян //О деятельности вузов по организации и осуществлению воспитательного процесса в современных условиях: тезисы докладов Всероссийского семинара-совещания. - Ростов-на-Дону: РГУПС 2001 - С 1519 (0,3 пл.).

30. Гуськова, М.В. Система компьютерного тестирования студентов как средство повышения качества подготовки специалиста. Автоматика и телемеханика на железнодорожном транспорте: сборник докладов ТрансЖАТ -2005/М.В.Гуськова. - Сочи: ОК ДАГОМЫС, 2005. - С.369-374 (0.3 пл.).

31. Гуськова, М.В. К вопросу о повышении качественной составляющей кадрового потенциала транспортных вузов. Телекоммуникационные и информационные технологии на транспорте России: сборник докладов III Международной научно-практической конференции «Телеком Транс-2005» /М.В.Гуськова, Е.Р.Горюнова. - Ростов-на-Дону: РГУПС, 2005. - С.430-433 (0,3н.л.).

32. Гуськова, М.В. К вопросу оценивания уровня сформированности компетенций //Телекоммуникационные и информационные технологии на транспорте России: сборник докладов IV Международной научно-практической

конференции «Телеком Транс-2006» /М.В.Гуськова, О.В.Муленко. - Ростов-на-Дону: РГУПС, 2006. - С.83-85 (0,2 п.л.).

33. Гуськова, М.В. К вопросу мониторинга образовательного процесса вуза // Менеджмент качества в образовании: сборник докладов Всероссийской научно-практической конференции «Менеджмент качества в образовании» 2008/М.В.Гуськова. - Брянск: БГТУ, 2009. - С.134-138 (0,3 п.л.).

34. Гуськова, М.В. К вопросу мониторинга компетенций выпускников вузов //Качество инженерного образования: Сборник докладов III Международного научной конференции «Качество инженерного образования (КИО-2009)» 2009/М.В.Гуськова, О.В.Муленко. - Брянск: БГТУ, 2009. - С. 143-145 (0,2 п.л.).

35. Гуськова, М.В. К вопросу о повышении качества кадрового потенциала предприятий/М.В.Гуськова-М.: МНИТ, 2009. -С.134-138 (0,3 п.л.).

36. Гуськова, М.В. О формировании кадрового резерва транспортных предприятий //Компетентностный подход в образовании — успешная карьера выпускника: Материалы Международной научно-практической конференции/М.В.Гуськова, Л.И.Иващенко.- Ростов-на-Дону: ЮФУ, 2009. -С.51-53 (0,3 п.л.).

37. Гуськова, М.В. Развитие системы мониторинга качества в вузе. Транспорт-2010: труды Всероссийской научно-практической конференции: сборник трудов. 4.1 /М.В.Гуськова, О.В.Муленко. - Ростов-на-Дону: РГУПС, 2010. -С.87-88 (0,1 п.л.).

38. Гуськова, М.В. О вопросе применения аппарата эвалюации в управлении качеством профессионального образования //Актуальные проблемы управления-2011: материалы 16-й Всероссийской научно-практической конференции/М.В.Гуськова.- М.: ГУУ, 2011. - С.235-238 (0,3 п.л.).

39. Гуськова, М.В. Качество образования оценят независимые эксперты /М.В.Гуськова // М.: Эксперт, 2011 №46. С.37. (0,01 п.л.).

40. Гуськова, М.В. Об использовании аппарата эвалюации в ходе модернизации профессионального образования //Инновационное развитие Российской экономики: материалы IV Международного научно-практического форума/М.В.Гуськова.- М.: МЭСИ, 2011. - С. 119-123 (0,3 п.л.).

41. Гуськова, М.В. Философские парадигмы в развитии эвалюации //Общество, экономика, человек в эпоху глобальных перемен: материалы Международной научно-практической конференции/М.В.Гуськова.- Ростов-на-Дону: ДГТУ, 2012. - С.276-282 (0,4 пл.).

42. Гуськова, М.В. Применение теории генерализации при принятии управленческих решений в образовании: сборник научных трудов международной научно-теоретической конференции 22 октября 2012 года "Образование и педагогическая наука в модернизации российского общества" ФГНУ ИТИП РАО /М.В.Гуськова, 2012. 4.1. - С. 115-126 (0,75п.л.).

43. Гуськова, М.В. ПедагЪгические измерения в современных системах оценки качества образования: сборник нормативных, инструктивно-методических и информационных материалов «Гарантии качества профессионального образования» /М.В.Гуськова, В.И.Звонниксв М.: РАНХиГС, 2012. - С-90-97 (0,5 п.л.).

44. Гуськова, М.В. Оценка и сертификация квалификаций выпускников вузов как информационная основа для налаживания сотрудничества между высшей школой и рынком труда: сборник нормативных, инструктивно-методических и информационных материалов «Гарантии качества профессионального образования» /М.В.Гуськова.- М.: РАНХиГС, 2012. - С.27-37 (0,6 п.л.).

45. Гуськова, М.В. Роль эвалюации в управлении качеством образовательных систем: сборник материалов VIII Международного форума: в 2т. /М.В.Гуськова, В.И.Звонников. - М.: РАНХ и ГС при Президенте РФ 2013 120с. - С.78-95.-Т.2 (0,5 п.л.).

46. Гуськова, М.В. Роль эвалюации в решении современных проблем совершенствования управленческих воздействий на качество образования: сборник материалоз «Инновационное развитие российской экономики». Инновации и российская экономика в контексте глобальных экономических процессов.Ч.1./М.В.Гуськова, В.И.Звонников. - М.,МЭСИ, 2014, 216с - С 135138 (0,3 п.л.).

Подписано в печать 20.01.2015. Объем 3,1 печ, листов. Тираж 100 экз. Отпечатано в фирме "Бумеранг". 173001, Великий Новгород, ул. Новолучанская, 4