Система оценки качества образования и ее построение в регионах с территориальными и национальными особенностями

Третьякова, Татьяна Васильевна

Темы диссертаций по педагогике » Общая педагогика, история педагогики и образования

автореферат и диссертация по педагогике 13.00.01 для написания научной статьи или работы на тему: Система оценки качества образования и ее построение в регионах с территориальными и национальными особенностями

Автореферат

Автор научной работы: Третьякова, Татьяна Васильевна
Ученая степень: доктора педагогических наук
Место защиты: Москва
Год защиты: 2010
Специальность ВАК РФ: 13.00.01

Диссертация

Автореферат диссертации по теме "Система оценки качества образования и ее построение в регионах с территориальными и национальными особенностями"

На правах рукописи

004609228

Третьякова Татьяна Васильевна

СИСТЕМА ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ И ЕЕ ПОСТРОЕНИЕ В РЕГИОНАХ С ТЕРРИТОРИАЛЬНЫМИ И НАЦИОНАЛЬНЫМИ ОСОБЕННОСТЯМИ

(на материалах системы полного среднего образования в Республике Саха

(Якутия)

Специальность 13.00.01 - общая педагогика, история педагогики и образования

АВТОРЕФЕРАТ

диссертации на соискание ученой степени доктора педагогических наук

2 3 СЕН 2010

Якутск-2010

004609228

Работа выполнена на кафедре педагогических измерений ГНУ «Исследовательский центр проблем качества подготовки специалистов» Национального исследовательского технологического университета (МИСиС).

Научный консультант: доктор педагогических наук, профессор

Звонников Виктор Иванович, ГОУ ВПО «Государственный университет управления», г. Москва.

Официальные оппоненты: доктор педагогических наук, профессор

Шаулин Валентин Николаевич, Федеральная служба по надзору в сфере образования и науки, г. Москва;

доктор педагогических наук, профессор Ефремова Надежда Федоровна, Донской государственный технический университет, г. Ростов-на-Дону;

доктор социологических наук Винокурова Ульяна Алексеевна, Арктический государственный институт искусств и культуры, г. Якутск.

Ведущая организация: Педагогический институт ФГОУ ВПО «Южный федеральный университет».

Защита состоится « 26 » ноября 2010 года на заседании диссертационного совета Д 212.306.02 при ФГАОУ ВПО «Северо-Восточный федеральный университет им. М.К. Аммосова» по адресу: 677000, г. Якутск, пр. Ленина, 2, ауд. 215.

С диссертацией можно ознакомиться в научной библиотеке СевероВосточного федерального университета им. М.К. Аммосова»

Автореферат разослан « » 2010 г.

Ученый секретарь

диссертационного совета (^ЦПетрова С.М.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования. Политические и социальные тенденции, доминирующие в России XXI в., привели к резкому возрастанию значения проблем, связанных с повышением качества образования в условиях поиска новых подходов к росту эффективности управления образовательными системами. Понятие «качество образования» из сферы обсуждения в рамках узкого круга специалистов переместилось в сферу государственной политики, стало предметом общественных и научных дискуссий представителей самых разных профессий.

Проблемы качества непосредственно смыкаются со стратегией развития науки и инноваций в Российской Федерации на период до 2015 г., в соответствии с которой в государственный сектор образования должны войти укомплектованные квалифицированными кадрами учебные заведения, способные обеспечить построение экономики России, основанной на знаниях. Сходные приоритеты обозначены в выступлениях Президента России, руководителей Министерства образования и науки, а также ведущих ученых и педагогов, где с нарастающей интенсивностью звучит проблема повышения качества отечественного образования.

На фоне роста актуальности общих проблем качества образования повысилась потребность в современных контрольно-оценочных системах, необходимость создания которых заложена в приоритетных направлениях развития образовательной системы нашей страны. В документах, ориентированных на эти направления, отмечается, что необходимо «...сформировать общенациональную систему оценки качества образования, получаемого гражданином, и реализуемых образовательных программ». Составляющими такой общенациональной системы должны быть региональные системы оценки качества образования, обеспечивающие комплексный подход к анализу всех аспектов процессов и результатов функционирования образовательных систем в условиях высокой объективности и обоснованности выводов о качестве образования.

Таким образом, развитие региональных оценочных систем становится одним из приоритетных направлений модернизации отечественного образования. В новых условиях эти системы должны опираться на общенаучные принципы, гарантирующие эффективность их функционирования, базироваться на современных научных разработках в области педагогических измерений, обеспечивать информационный базис для повышения качества результатов образования и прогнозирования динамики его изменения, а также учитывать стратегические приоритеты и особенности развития региональных систем образования.

индивидуализации обучающих и контрольно-корректировочных воздействий со стороны педагога (М.К. Акимова, C.B. Алек-сеев, С.К. Боголюбов, Е.В. Бондаревская, В.И. Гладких, A.C. Границкая, В.В. Давыдов, Л.В. Занков, A.A. Кирсанов, В.В. Краевский, И.Я. Лернер, А.Н. Леонтьев, О.Б. Лошнова, В.Я. Ляудис, H.A. Менчинская, В.М. Монахов, П.И. Пидкасистый, Л.Н. Рожинова, Г.К. Селевко, В.В. Сериков, М.Н. Скаткин, Т.И. Степанова и др.).

Необходимой составляющей научного фундамента современных контрольно-оценочных систем являются исследования по компьютеризации оценочных процессов, проведенные Н.В. Апатовой, М.Ф. Королевым, В.Н. Крюковым, П.Д. Лебедевым, В.И. Нардюжевым, В.В. Петрусинским, Л.М. Поддубной, А.О. Сергеевым, А.Н. Тихоновым, А.О. Татуром, А.Г. Шмелевым и др. Несомненно, важен контекст оценивания, связанный с мониторингом качества образования, представленный в трудах H.H. Булынского, Н.Ф. Ефремовой, В. А. Кальней, Г.С. Ковалевой, Э.Л. Красновского, A.A. Макарова, Е.И. Михайловой, H.A. Селезневой, А.И. Субетто, С. Е Шишова и др. Особенности развития оценочных систем, характерные для ряда регионов России, нашли свое частичное отражение в трудах ученых по проблемам национальных школ (В.Ф. Афанасьев, У.А. Винокурова, Г.Н. Волков, A.A. Григорьева, Д.А. Данилов, П.П. Кондратьев, А.Г. Корнилова, A.B. Мордовская, Н.Д. Неустроев, Е.П. Жирков, А.Д. Семенова).

Таким образом, вопросы научного обоснования систем оценки качества образования привлекают внимание большого числа ученых, управленцев и преподавателей, в трудах которых к настоящему моменту накоплен значительный научный арсенал для совершенствования оценочных систем в образовании. Тем не менее, на сегодняшний день остается нерешенным целый круг проблем, связанных с созданием концептуально-методологических основ систем оценки качества образования, функционирование которых, с опорой на эти основы, должно протекать в условиях высокой объективности (надежности), обоснованности (валидности) и сопоставимости обеспечиваемой ими информации. Решение этих проблем осложняется в регионах, обладающих значительной территориальной разобщенностью, школами с национальными или социокультурными особенностями, где развитие оценочных систем предполагает использование специальных методик, исключающих возможное влияние дискриминирующих факторов для принятия административно-управленческих решений на основе анализа данных о качестве образования.

В частности, такие условия функционирования оценочных систем характерны для Республики Саха (Якутия), которая обладает значительной территориальной разобщенностью учебных заведений и большим числом малокомплектных национальных школ. Несмотря на трудности, связанные с этими особенностями, в системе образования Якутии широко ведется экспериментальная работа в области совершенствования современных систем оценки качества образования. Анализируются различные аспекты участия выпускников школ Якутии в Едином государственном экзамене, идет процесс развития системы государственной аккредитации образовательных учреждений, совершенствуются процедуры контроля и надзора в сфере образования, создаются инновационные модели школьных оценочных систем.

Однако необходимо отметить, что на фоне значительных практических успехов модернизация оценочной системы республики на сегодняшний день носит эклектический характер в силу отсутствия концептуально-методологической базы, определяющей научные подходы к развитию оценочных систем. В связи с этим, была выбрана тематика данного исследования «Система оценки качества образования и ее построение в регионах с территориальными и национальными особенностями (на материалах системы полного среднего образования в Республике Саха Якутия)» и определена ведущая исследовательская проблема, которая состоит в том, чтобы разработать адекватные современной теории, практике образования и региональной специфике концептуально-методологические и методические подходы к построению системы оценки качества образования, функционирующей в условиях высокой надежности, валидности, двухуровневое™ (сочетания количественных и качественных данных о качестве образования), динамичности, сопоставимости и прогностичности информации о качестве результатов образования. В соответствии с исследовательской проблемой была поставлена цель исследования, выбраны его объект и предмет.

Цель исследования - разработка концептуально-методологических и методических основ научной организации региональной системы оценки качества образования с учетом современных научных достижений теории образовательных систем, теории педагогических измерений, бипарадигмальной методологии эвалюации в образовании, требований компетентностного подхода к трактовке качества результатов образования и особенностей функционирования системы образования в ряде регионов России.

Объект исследования - региональная оценочная система, включающая компоненты различного предназначения и уровня управления и создающая информационную среду образовательной системы для реализации ее функций.

Предмет исследования - теоретико-методологическое и методическое обоснование оценки качества результатов образования, обеспечивающее рост эффективности функционирования региональной оценочной системы на основе надежной, валидной, динамичной, сопоставимой и прогностичной информации о качестве результатов образования, в том числе в условиях регионов, обладающих территориальными и национальными особенностями образовательной среды.

Аналитическая работа, проведенная в процессе работы над диссертацией применительно к ее предмету, по изучению трудов ученых в сфере фундаментальных исследований, показала, что в отечественной педагогической науке недостаточно представлены возможности методологии педагогических измерений, не исследован ряд ее положений, способствующих научной организации оценивания в образовании. Остались неразработанными теоретические основы построения эффективных оценочных процессов в образовании, не определены научные требования к качеству компонентов оценочных систем и к качеству обеспечиваемой ими информации. Не решены проблемы, связанные с определением места и роли эвалюации в современной концептуальной модели оценочной системы на различных уровнях управления. Недостаточно полны классификационные схемы видов измерителей. Существуют

значительные пробелы в понятийном аппарате той области педагогической науки, которая связана с построением и развитием оценочных систем.

В сфере прикладных исследований отсутствует должное обоснование совокупности измеряемых показателей качества результатов обучения для системы полного среднего образования с учетом требований современного компетентностного подхода. Существующий методический аппарат, разработанный вне связи с методологией и теорией педагогических измерений, не позволяет с высокой достоверностью определять воздействующие на качество образования факторы и не обеспечивает эффективную информационную поддержку управленческих решений в образовании. Не разработаны научные подходы к определению критериев сформированности компетенций в рамках количественных и качественных уровней измерения. Отсутствуют методики шкалирования в условиях интеграции количественных и качественных результатов оценочных процессов, ориентированные на компетентностный подход.

Остались вне внимания исследователей вопросы научного и методического обеспечения систем оценки качества образования в регионах, обладающих значительной территориальной разобщенностью, малокомплектными или национальными школами (Республика Саха (Якутия), Красноярский край, Хабаровский край, Чукотка и т.д.). Эти нерешенные проблемы методологического, теоретического и методического характера были положены в основу выбора гипотезы и формулировки задач данного диссертационного исследования, результаты которого строятся с опорой на имеющиеся отечественные и зарубежные наработки.

- обеспечивать высокую информативность результатов оценочных процессов, что предполагает выполнение требований высокой надежности, валидности, двухуровневое™, динамичности, сопоставимости и прогностичности информации о качестве образования;

отражать общую направленность современного обучения на компетентностную трактовку качества результатов образования;

- опираться на операционализируемую совокупность показателей качества результатов обучения;

- включать преимущественную ориентацию средств измерения на проверку продуктивного уровня усвоения, интеллектуальных умений обучающихся за счет использования инновационных видов измерителей, аутентично отражающих требования компетентностного подхода;

- включать научно-методический аппарат для обеспечения справедливости результатов оценочных процессов, в том числе в условиях ряда регионов России, обладающих спецификой образовательных систем.

Поставленная цель и сформулированная гипотеза реализуются в ходе решения следующих задач исследования:

- анализ и обобщение результатов научных исследований (отечественных и зарубежных) по рассматриваемой в диссертации проблеме с целью выявления позитивных тенденций и перспективных направлений для совершенствования региональных систем оценки качества образования;

- развитие методологических основ научной организации региональных систем оценки качества образования на основе бипарадигмалыюй методологии измерений, классической и современной теории тестов, теории генерализации и эвалюации в контексте современных подходов к обеспечению высокой эффективности оценивания для принятия обоснованных решений в управлении качеством образования;

- формирование совокупностей показателей качества процесса и результатов обучения, адекватных задачам функционирования региональных систем оценки качества образования;

- создание классификации видов современных измерителей и требований к их характеристикам для аутентичного оценивания и реализации научных подходов к совершенствованию измерителей в контексте современных трактовок качества учебных достижений;

- разработка научно-методического аппарата для формирования полного информационного базиса образовательной системы в условиях высокой надежности и валидности, двухуровневое™, динамичности, сопоставимости и прогностичности результатов оценочных процессов с учетом контекстных характеристик образовательной среды региона при оценке качества результатов обучения;

- разработка методического аппарата для обеспечения справедливости оценок учебных достижений обучающихся в регионах, обладающих территориальной, социокультурной или национальной спецификой;

- разработка научных методов шкалирования результатов оценивания в условиях многомерности, высокой сопоставимости и корректной интеграции количественных и качественных данных о качестве результатов обучения в рамках компетентностного подхода.

Методологической основой исследования послужили:

- синергетический подход, предполагающий интеграцию и использование связей между элементами структуры региональной оценочной системы, благодаря которым достигается согласованное поведение ее подсистем, возрастает степень ее упорядоченности и уровень самоорганизации;

- системный подход, позволяющий осуществлять анализ качества обучения, рассматривая его как совокупность свойств образовательной системы, протекающего в ней образовательного процесса и результатов обучения;

- бипарадигмальная методология эвалюации в образовании, закладывающая научный базис теоретических подходов к интеграции количественных и качественных данных о качестве образования;

- методология педагогических измерений, включающая классическую, современную теории тестов и теорию генерализации;

- методология социально-педагогического проектирования, служащая научной базой для проведения научно-практических исследований в области управления качеством образования.

Теоретическую базу исследования составляют:

- теория педагогических измерений (Алгина Дж., Анастази А., Крокер JL, Н.Ф.Ефремова, В.И.Звонников, А.С.Масленников, Е.А.Михайлычев, В.Г.Наводнов, Ю.М.Нейман, М.Б.Челышкова, Berk R.A. Birnbaum А., Campbell R.N., Hambleton R., Keeves J. P., Lord F., Rasch G., Swaminathan H., Thorndike E.L., Thurstone L.L., Weiss D.J.);

- педагогические концепции построения оценочных систем в образовании (Т.Э. Аврукина, В.П. Беспалько, Д.Н. Богоявленский, И. П. Волков, В.И. Гинецинский, В.В. Давыдов, И.Я. Лернер, В.М. Полонский, М.Н. Скаткин, Н.Ф. Талызина, И. С. Якиманская, Е. А. Ямбург);

- общая теория управления педагогическими системами (Борк Дж., Букович У., A.B. Вебер, А.Д. Данилов, Джексон П., В. П. Панасюк, Уильяме Р.);

- фундаментальные и прикладные теоретические исследования в области качества образования (В.И. Байденко, A.B. Вроейнстийн, H.A. Селезнева, Спенсер Л., Спенсер М., Ю.Г. Татур, A.B. Хуторской, А.Н. Чекмарев).

Методы исследования. В работе использовались общенаучные методы теоретического и эмпирического исследования и специальные методы, нацеленные на педагогические измерения и статистическое обоснование результатов исследования.

В число методов теоретического исследования вошли классификация, сравнение, объяснение, индукция и дедукция, научное доказательство, абстрагирование. К группе общенаучных методов эмпирического исследования можно отнести наблюдение, экспертизу, моделирование, измерение. К группе специальных методов следует отнести математическое моделирование в рамках теории IRT, дисперсионный анализ, линейное иерархическое моделирование.

Исследование осуществлялось на протяжении трех этапов:

1 этап (2003 - 2004 гг.) - подготовительный и аналитико-поисковый, который включал анализ практических проблем, сложившихся в области оценки качества образования на примере эксперимента по введению ЕГЭ и развития региональных систем оценки качества образования в России, анализ литературных источников (свыше 400 источников), постановку и обоснование проблемы диссертационного исследования; определение круга задач исследовательской работы, моделирование объектов исследования.

проблематике в рамках республиканских проектов в Якутии по мониторингу результатов ЕГЭ с привлечением соисполнителей для обработки данных из числа сотрудников Якутского государственного университета, Института повышения квалификации работников образования, сотрудников Регионального центра обработки информации и Республиканского центра аттестации и контроля качества образования. Под руководством автора диссертации в отделе контроля качества образования Государственной службы по контролю и надзору в сфере образования и науки при Президенте Республики Саха (Якутия) велась разработка анкет и проводилось широкомасштабное анкетирование школьников в Республике Саха (Якутия).

Автором исследования анализировались и обобщались статистические данные для подтверждения правдоподобности гипотезы исследования, в соответствии с полученными решениями задач исследования. По результатам второго этапа были подготовлены две монографии, опубликованы статьи, проведена апробация результатов исследования на конференциях, симпозиумах и совещаниях, а также при проведении занятий в системе повышения квалификации работников образования.

3 этап (2009 - 2010 гг.) исследования - заключительный. На этом этапе велось обобщение данных анализа, разрабатывались выводы, подводились итоги исследования, осуществлялось внедрение его результатов в практику отечественного образования. Были опубликованы новые статьи и одна монография, содержащая окончательные результаты исследования, оформлена диссертация, разработаны методики и рекомендации по использованию результатов исследования при построении региональных систем оценки качества образования.

Экспериментальная база исследования включала представительную выборку образовательных учреждений системы общего образования Республики Саха (Якутия). В частности, в эксперимент вошли школы Абыйского улуса (Белогорская средняя школа), г. Алдана (средние школы №1 и №2), Аллаиховского улуса (Чокурдахская средняя школа), Верхнеколымского улуса (Зырянская средняя школа, Нелемнинская средняя школа), Вилюйского улуса (Вилюйская сменная очно-заочная школа), Горного улуса (Бердигестяхская школа № 2, Дикимдинская средняя школа), г. Ленска (средняя школа №1,1 Нерюктяйинская школа), Мегино-Кангаласского улуса (Нижнебестяхская средняя школа № 1), г. Мирного (средняя школа № 3), г. Нерюнгри (средняя школа №1, муниципальная гимназия № 2), Намского улуса (Намекая средняя школа № 2), Нюрбинского улуса (Нюрбинская средняя школа № 2), Сунтарского улуса (Сунтарский лицей), Таттинского улуса (Ытык-Кюельская средняя школа № 1), Усть-Алданского улуса (Мюрюнская средняя школа № 2), Чурапчинского улуса (Диринская агрошкола), Эвено-Бытантайского улуса (Саккырырская средняя школа), г. Якутска (средние школы №2, № 5, № 7, № 26, Тулагинская, Хатасская). Всего в эксперименте участвовали 503 учащихся, 76 учителей.

Научная новизна исследования заключается в том, что:

типологическая схема моделей региональных оценочных систем, в соответствии с которой предложены различные модели для ее функционирования;

- получены результаты сравнительного анализа методологических подходов к осуществлению педагогических измерений (классическая теория, современная параметрическая теория ЖТ и непараметрическая теория 1ЯТ), на основе которого разработаны рекомендации по выбору доминирующей методологии измерений в региональной системе оценки качества образования. Сформулированы условия применимости параметрических и непараметрических моделей ЖТ в региональной системе оценки качества образования;

- разработаны методологические подходы к генерализации данных педагогических измерений, необходимые для распространения результатов выборочных исследований на генеральные совокупности обучаемых, и обоснованного выбора управленческих решений в региональной системе оценки качества образования. Предложены дизайны генерализации, сочетающие различные фасеты для решения задач региональной системы оценки качества образования, в том числе, в условиях существования территориальных и национальных особенностей образовательной системы;

предложена совокупность измеряемых (на качественном или количественном уровнях) показателей качества образования в регионе, необходимая для выработки управляющих воздействий на стадии проектирования и функционирования региональных оценочных систем;

- дополнен понятийный аппарат педагогической науки путем ввода ряда определений (региональная система оценки качества образования, оценивание, полный информационный базис, антидискриминационная валидность, фасетный дизайн генерализации, операционализируемость конструкта, образовательный эффект, эвалюация, уровневая шкала, компетенция, аутентичное оценочное средство, конструктная валидность, содержательная валидность, прогностическая валидность и др.), адекватных современным направлениям совершенствования контрольно-оценочных систем в образовании;

функциональный компонент современных региональных оценочных систем. Среди предложенных требований важнейшим является требование обязательного сочетания целевой парадигмы и динамического подхода к трактовке качества образования;

- предложены и апробированы методики (линейного иерархического моделирования, дисперсионного анализа АЫОУА) учета контекстных характеристик (демографических, социально-экономических, в районах расположения школ и др.) в процессе анализа оценок подготовленности учащихся, эффективности деятельности образовательных учреждений, педагогического состава учебных заведений и прогнозирования изменения качества образования. Применение методик позволит обоснованно выявлять наибольшие отклонения от средних значений по группам объектов (учебных заведений, учащихся, учителей) с учетом различных факторов влияния для принятия управленческих решений и осуществления бенчмаркинга;

- разработан и апробирован (на данных ЕГЭ 2009 г. по русскому языку и математике для представительной выборки выпускников школ республики) подход к обеспечению справедливости оценок учебных достижений обучающихся в регионах, обладающих территориальной и национальной спецификой, на основе нивелирования влияния дискриминирующих факторов и систематических ошибок измерения на оценки качества результатов обучения. Введено понятие «антидискриминирующая валидность» задания, предложена формула для ее оценки;

- предложена совокупность показателей качества процесса и результатов обучения, адекватных различным уровням функционирования систем оценки качества образования. В частности, предложен набор ключевых компетенций для выпускников системы полного среднего образования;

- создана логически исчерпывающая типология видов современных измерителей, ориентированных на преимущественную проверку компетенций, продуктивного уровня усвоения, интеллектуальных умений и приоритеты когнитивного обучения;

- разработана методика шкалирования результатов оценивания в условиях компетентностного подхода к трактовке качества учебных достижений, обеспечивающая сопоставимость результатов оценочных процессов в региональной системе оценки качества образования.

Теоретическая значимость исследования обеспечивается решением ряда инновационных теоретических задач общенаучного и специального характера. В частности, в результате исследования:

- систематизированы представления о категории «качество образования», обоснованы наиболее перспективные подходы к выбору ключевых компетенций для системы полного среднего образования,

- разработаны концептуальные основы региональных систем оценки качества образования и модели оценочных систем, в соответствии с созданной в исследовании типологической схемой;

- разработаны требования к осуществлению комплексного системного подхода в эвалюации, классифицированы ее виды, предложены модели, введено требование

сочетания целевой парадигмы и динамического подхода к трактовке качества образования;

проведена систематизация и дополнение понятийного аппарата педагогической теории и ее методологических основ;

- предложены современные подходы к трактовке качества результатов педагогических измерений, объединяющие в единую систему теории надежности и валидности, сформулированы требования, обеспечивающие их повышение в процессе измерений;

- выделены и структурированы совокупности показателей качества результатов обучения для региональной системы оценки качества образования;

предложены теоретические подходы к снижению действия дискриминирующих факторов в условиях регионов с территориальной или национальной спецификой при использовании оценок для сравнительных исследований в управлении качеством обучения и принятия административных решений в образовании;

- разработаны теоретические подходы к шкалированию результатов педагогических измерений в условиях компетентностного подхода, обеспечивающие сочетание количественного и качественного уровня измерений и высокую сопоставимость данных о результатах обучения.

Практическая значимость исследования достигается за счет значительных методических наработок, апробированных на представительной выборке выпускников школ республики (методика линейного иерархического моделирования, методика дисперсионного анализа АМОУА, методика оценки систематических ошибок измерения для обеспечения справедливости оценок учебных достижений обучающихся, методика шкалирования результатов оценивания в условиях компетентностного подхода к трактовке качества учебных достижений, обеспечивающая сопоставимость результатов учащихся по годам и внутри одного года).

Достоверность и обоснованность новых научных результатов исследования обеспечивалась путем использования современных источников информации в области педагогики, теории педагогических измерений, теории управления образовательными системами, теории генерализации, теории надежности и валидности, бипарадигмальной методологии эвалюации и методологии ШТ, получивших признание научной общественности. Достижению должного общенаучного уровня диссертационного исследования и обоснованности его результатов способствовало использование системного подхода, соблюдение логики общенаучного подхода с опорой на методологию педагогической науки.

Повышению обоснованности методических подходов, предлагаемых в диссертационном исследовании для решения ряда поставленных в нем проблем, содействовало проведение эмпирических проверок инновационных методических разработок, апробированных на результатах ЕГЭ 2009 года, полученных выпускниками школ Якутии по русскому языку и математике. Результаты эмпирических проверок приведены в приложениях к диссертационному исследованию.

на международных конференциях: «Republic of Sakha and International Education: Development prospects" (Якутск, 2000 г.), «Республика Саха и международное образовательное пространство: перспективы развития» (Якутск, 2001 г.), «Оценка образовательных достижений в рамках национальных экзаменов» (Москва, 2004 г.), «Национальные экзамены в системе оценки качества образования» (Москва, 2005 г.), «Этнос. Образование. Личность» (Якутск, 2005, 2007 г.г.);

на Всероссийских конференциях, совещаниях и семинарах: III Всероссийская научно-практическая конференция «Управление качеством» (Москва, 2004 г.), XIV Всероссийское совещание «Проблемы качества образования» (Москва, 2004 г.), IV Всероссийская научно-практическая конференция «Управление качеством» (Москва, 2005 г.), II Межрегиональный семинар «Построение общероссийской системы оценки качества образования» (Москва, 2005 г.), Межрегиональная научно-практическая конференция «Организация и задачи эксперимента по введению единого государственного экзамена» (Санкт-Петербург, 2004 г.), Межрегиональная научно-практическая конференция «Мониторинг качества образования: опыт, модели и проблемы» (Санкт-Петербург, 2005 г.), Межрегиональное совещание «Проблемы разработки общероссийской системы оценки качества образования» (Москва, 2006), Всероссийская научно-практическая конференция «Управление инновациями в образовании» (Санкт-Петербург, 2006 г.), V Всероссийская научно-практическая конференция (Сочи, 2001 г.), VIII Всероссийская научно-методическая конференция Федерального центра тестирования «Развитие тестовых технологий в России» (Москва, 2006 г.), IX Всероссийская научно-методическая конференция Федерального центра тестирования «Развитие тестовых технологий в России» (Москва, 2007 г.), Межрегиональный семинар «Создание и апробация организационных систем оценки качества общего и профессионального образования на региональном уровне» (Москва, 2007 г.); Всероссийская научно-практическая конференция (Сочи, 2009 г.);

на региональных конференциях: научно-практическая конференция «Качество высшего образования» (Якутск, 1999 г.), научно-практическая конференция «Информационные технологии в науке, образовании и экономике» (Якутск, 2001 г.), научно-практическая конференция «Новые технологии в образовании. Тестирование и аттестация качества образования» (Вилюйск, 2002 г.), научно-практическая конференция «Единый государственный экзамен, его роль в системе оценки качества образования» (Якутск, 2002 г.), научно-практическая конференция «Физика и окружающий мир» (Якутск, 2005 г.), региональная межвузовская конференция «Организационно-методические аспекты управления качеством образовательного процесса в вузе» (Якутск, 2007 г.).

В ходе работ по подготовке диссертационного исследования проведены учебно-методические семинары для учителей математики (2007, 2010 г.), русского языка (2008 г.), физики (2007 г.), обучающие семинары для тестологов, в содержании которых апробировались результаты проведенной научно-исследовательской работы.

Результаты исследования легли в основу создания и функционирования Центра аттестации и контроля качества образования при Правительстве РС (Я), Государственной службы по контролю и надзору в сфере образования и науки при Президенте РС (Я), разработки и функционирования системы оценки качества образования в РС (Я). Диссертационное исследование является результатом многолетней научно-педагогической работы автора в системе общего, начального и среднего профессионального образования республики.

Основные положения, выносимые на защиту:

1. Под системой оценки качества образования понимается структурированная целостность научных, методических, нормативно-правовых, организационных, технологических, функциональных и материально-технических компонентов, обеспечивающих оптимальное выполнение оценочных функций, действующих на единой концептуально-методологической основе и способствующих повышению эффективности управления качеством образования. Результаты анализа систем оценки качества образования в регионах России, проведенного в историческом и сравнительном контекстах, показали их эклектичность и отсутствие научных составляющих, что позволило сделать вывод об актуальности темы исследования. Научный базис оценочных систем в регионах, обладающих значительной территориальной разобщенностью, национальными школами или другими социокультурными особенностями, требует создания специальных методик и технологий оценивания для исключения влияния дискриминирующих факторов для принятия обоснованных административно-управленческих решений на основе анализа данных о качестве образования.

2. Основой научно обоснованного оценивания в образовании и обязательным функциональным компонентом современных региональных оценочных систем является эвалюация. Современная теория проектной и программной эвалюации должна опираться на бипарадигмальную методологию, методологию мета-эвалюации, теорию педагогических измерений (современную и классическую), и обеспечивать три главных направления деятельности: поддержку конкурентоспособности образовательной системы, проведение научных разработок для осуществления оценочных процессов, обеспечение информационной базы качества образования. Модели эвалюации (целевая модель, ресурсно-потенциальная модель, модель «вход - выход» и модель «вход - процесс - выход») определяют приоритеты в оценке результатов образовательных воздействий и строятся на основе четко очерченного дизайна и иерархии показателей функционирования. Результаты эвалюации определяются образовательными эффектами, оценка которых должна базироваться на сочетании количественных и качественных уровней анализа для получения обоснованных данных по приросту качества и прогнозирования тенденций его изменения, проверки гипотез относительно взаимного влияния показателей качества образования, построения

иерархии показателей, разделения компонент дисперсии и ковариации для углубленного анализа факторов влияния на эффективность образовательного процесса.

3. Построение эффективной контрольно-оценочной системы и научных подходов к ее функционированию на различных уровнях управления должно опираться на сочетание целевой и динамической трактовок качества результатов образования при условии преимущественной ориентации на последнюю в силу того, что она позволяет осуществить модернизацию контрольно-оценочных систем в направлении повышения объективности и обоснованности результатов оценивания, является наиболее адекватной компетентностной трактовке качества результатов образования и обеспечивает полный информационный базис оценочных систем, необходимый для их эффективного функционирования.

4. Методологический базис теории педагогических измерений должен быть пополнен теорией валидизации, актуальность которой резко возрастает в связи с введением компетентностно-ориентированного подхода к трактовке качества результатов образования. Оценка качества результатов образования в рамках компетентностного подхода требует анализа содержательной, конструктной и прогностической валидности. При функционировании оценочных систем в регионах с высокой территориальной разобщенностью, национальными школами или другими особенностями, необходима оценка антидискриминантной валидности отдельных заданий и измерителя.

5. Процесс оценивания регламентируется рядом общих принципов (принципов релевантности и доступности, научности, полноты и всесторонности информации, систематичности оценивания, сочетания внешней и внутренней оценок качества образования, прогностической направленности оценивания, сочетания количественных и качественных уровней измерения, информационной безопасности) и специфическими принципами, ориентирующими на эффективное функционирование контрольно-оценочных систем. К числу важнейших специфических принципов следует отнести принцип функционально-структурного строения целостной региональной системы оценки качества образования, принцип повышения управляемости качеством образования на основе прогнозирования, принцип репрезентативности состава и данных оценочных процессов, принцип динамичности при оценивании показателей качества образования, принцип минимакса и контроля дисперсии результатов оценочных процессов, принцип систематического роста числа функций региональной системы оценки качества образования, принцип высокой надежности и валидности оценок, принцип учета специфичности объектов эвалюации и запросов пользователей, принцип контекстного анализа при интерпретации результатов эвалюации.

измерения), сравнительного (сопоставление результатов измерения по отдельным показателям качества), дифференцирующего (соотнесение баллов учащихся со среднестатистическими нормами и последующая качественная интерпретация для установления причин смещения личностных показателей относительно статистических норм) и прогностического (выявление тенденций в изменении качества образования) анализа на различных уровнях управления качеством образования.

антидискриминантной (для отдельных регионов)) результатов оценивания, аутентичности методов и средств оценивания в соответствии с доминирующей парадигмой качества результатов обучения. Формирование полного информационного базиса основано на применении аппарата теории педагогических измерений, используемого для обоснования качества оценок, минимизации ошибок измерения и перехода в количественную шкалу типа интервальной на базе вероятностных моделей современной теории тестов (Item Response Theory). Для оценки уровня объективности результатов оценочных процессов в региональной системе оценки качества образования необходимо применение теории генерализации и учет ряда смещающих факторов, ориентированных на специфику региона.

В регионах с национальными школами должны обеспечиваться специальные требования, направленные на выполнение принципа справедливости оценочных процедур и связанные с минимизацией негативного влияния систематических ошибок и повышением валидности измерителей.

Структура диссертации. Диссертация состоит из введения, четырех глав, выводов, заключения, списка литературы и 5 приложений, содержащих результаты обработки данных ЕГЭ 2009 г. по компьютерным программам (SPSS, ANOVA, ConQuest и HLM).

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обосновывается актуальность выбранной темы, сформулированы цель, объект, предмет, гипотеза и задачи исследования, раскрыты его научная новизна, теоретическая и практическая значимость, приведены сведения об апробации и внедрении результатов исследования, изложены основные положения, выносимые на защиту.

Глава I. «Развитие научно-обоснованных подходов к построению систем оценки качества образования в России и в мировой образовательной

практике, теоретические, дидактические и организационные аспекты»

содержит обсуждение проблем научного обоснования систем оценки качества организационного, информационного и научного обеспечения региональных систем оценки качества образования, исторический и сравнительный анализ их развития в отечественном и зарубежном образовании во второй половине XX -начале XXI вв. Данные анализа сопровождаются моделями построения региональных систем оценки качества образования, обобщающими опыт различных регионов России и оптимизирующими состав компонентов в структуре моделей.

Наличие единой концептуально-методологической основы при функционировании оценочной системы предполагает получение информации, обладающей высокой объективностью (надежностью), обоснованностью (валидностью), двухуровневостью (объединением данных количественного и качественного уровня), динамичностью (учет фактора времени), сопоставимостью (в пределах выделенных групп сравнения), прогностичностью (пригодностью для построения вероятностных прогнозов в образовании) и четкой структурированностью (иерархичностью). Процесс выполнения оценочной деятельности, удовлетворяющий этим требованиям и приводящий к получению полного информационного базиса, был определен как «эффективное оценивание».

Получение полного информационного базиса осложняется в регионах, обладающих значительной территориальной разобщенностью (Республика Саха (Якутия), Красноярский край, Хабаровский край, Чукотка и т.д.) или национальными школами, где преподавание до 9-го класса, включительно, ведется на родном, не русском языке. Для эффективного оценивания результатов обучения в подобных регионах необходимо применение специальных методик, основанных на современном концептуально-методологическом базисе и исключающих возможное влияние дискриминирующих факторов для принятия административно-управленческих решений на основе анализа данных о качестве образования. При отсутствии учета специфики регионов функционирование оценочной системы может привести к нарушению социальных приоритетов политики нашего государства, определяющих целевую ориентацию системы образования для обеспечения гарантий прав граждан на получение качественного образования.

Применительно к проблеме данного исследования были выделены региональные системы оценки качества образования, включающие пять уровней организации оценивания:

- индивидуальный уровень (оценка учебных достижений учащихся, оценка динамики показателей качества образования, анализ развития обучающихся и состояния их здоровья, диагностика проблем в обучении и т.д.), включающий две информационные компоненты: восходящую и горизонтальную составляющие;

- уровень класса или отдельных групп обучающихся (оценка групповых показателей в виде дескриптивной статистики (среднее, дисперсия и т.д.), диагностика проблем отстающих групп обучающихся, оценка эффективности деятельности учителя и реализации программ обучения и т.д.), включающий три информационные компоненты: нисходящую, восходящую и горизонтальную составляющие;

- уровень образовательного учреждения (оценка качества учебного процесса, его результатов внутри учебного заведения, диагностика учебных, кадровых и других проблем, препятствующих повышению качества обучения, оценка условий для обеспечения образовательного процесса, сохранения и укрепления здоровья обучающихся, выявление и прогнозирование динамики развития учебного заведения и т.д.), включающий три информационные компоненты: нисходящую, восходящую и горизонтальную составляющие;

- муниципальный уровень (оценка качества образования в отдельных районах города и в целом, а также условий для функционирования и развития образовательных учреждений, диагностика проблем, препятствующих повышению качества обучения в районах, сравнительное оценивание результатов образования, прогнозирование тенденций развития образования в городских районах и т.д.), включающий три информационные компоненты: нисходящую, восходящую и горизонтальную составляющие;

- уровень региона (сравнительная оценка уровня достижений муниципальных образовательных систем, диагностика проблем развития образования в регионе, прогнозирование тенденций в изменении результатов образования и динамики изменения качества образования и т.д.), также включающий три информационные компоненты, поскольку информация передается на федеральный уровень управления качеством образования.

В целом, по результатам анализа состояния региональных систем оценки качества образования в России был сделан вывод о наличии ряда нерешенных проблем, которые, в основном, связаны с отсутствием единых концептуально-методологических основ оценочных систем в образовании, учитывающих в сфере методического обеспечения специфику ряда регионов России.

Анализ современного зарубежного опыта, представленный в первой главе, свидетельствует о многообразии систем оценки качества, обладающих сходными ключевыми характеристиками. В числе ключевых характеристик необходимо выделить приоритет динамического подхода к трактовке качества результатов образования, преимущественную опору на педагогические измерения в оценочных процессах, широкое развитие эвалюации в образовании, обязательное применение мета-анализа и статистики, методов факторного, дисперсионного и корреляционного анализа, значительное внимание к качеству результатов измерения, их сопоставимости, справедливости и прозрачности для общественности.

С учетом отечественного и зарубежного опыта в первой главе исследования вводится представление о концептуальной модели региональной оценочной системы, показывающей иерархические связи между структурами, входящими в систему, и строится типология моделей: организационно-структурные, функциональные, информационные и модели научного обеспечения систем оценки качества образования. Модель научного обеспечения региональной системы оценки качества образования приведена на рис. 1.

Предлагается 8 фаз функционирования региональных структур в рамках выполнения проектов по оценке качества образования: разработка концептуальной модели проекта и программ и установление основных принципов их реализации,

постановка основных задач, разработка совокупности операционализируемых показателей и критериев по ним, разработка технологий и схем получения оценок по показателям, сбор эмпирических данных на представительных выборках испытуемых, обработка, анализ и интерпретация собранных данных, эвалюация качества процесса и результатов выполнения проектов и программ, генерализация данных для формулирования выводов, административных указаний либо прогнозов для обеспечения информацией заинтересованных лиц.

Развитие научно-методического обеспечения образовательных проектов в регионе и мониторинга качества образования.

. Разработка научного обеспечения дня

оценки эффективности функционирования образовательных систем и подходов к их модернизации.

Развитие научно-методического аппарата для разработки инструментария и проведения оценочной деятельности в сфере образования.

Разработка инструментария и методик оценки эффективности деятельности образовательных учреждении и аттестации.

Развитие инновационных методик

оценки качества образования и разработка измерителей для массовых оценочных процедур.

Разработка методик лицензирования и государственной аккредитации.

Исследо вапияв области методол

огии эвалюац ии.

Исследован ия в области

теории генерализац

ии, надежности и

валидности результатов измерений.

Исследования в

сфере методологии и

теории педагогических измерений.

Исследова

ния проблем шкалирова

ния и сопостави

мости результато в

педагогиче

ских измерений.

Разработка методик анализа

данных педагогических измерений (методики дисперсионного

анализа, корреляционного

анализа, моделирования и

т.д.)

Разработ

ка методик интерпр етации результа

тов измерен ий.

Разработк а

научного обеспече

ния монитори нга качества образова ния.

Рис. 1. Модель научного обеспечения региональной системы оценки качества образования.

Ведущая задача региональной системы оценки качества состоит в обнаружении объективных рассогласований, разрывов (например, между общественными ожиданиями и реальными результатами деятельности системы), в комплексном анализе данных по региону и создании условий, в том числе и научно-методической базы, для осуществления внутрисистемного и внесистемного анализа результатов образования, позволяющего на основе эвалюации выйти на проектно-программные варианты решений и разработку политики в сфере качества образования.

Реализация всех предлагаемых в главе моделей позволит в рамках целевых программ развития региональной системы образования увязать в единый комплекс мониторинг и оценку состояния развития образовательных систем, аттестацию учащихся, лицензирование, аккредитацию образовательных учреждений, аттестацию педагогических и руководящих кадров, подготовку кадров для системы оценки качества образования, мониторинг индивидуальных достижений учащихся, а также реализацию различных функций контроля, надзора и инспектирования в образовании. Комплексность подходов и требования к качеству информации, накапливаемой в системе оценки качества образования, обеспечивает эвалюация, под которой понимается процесс систематического целенаправленного исследования качества объектов, основанный на сочетании взаимодополняющих друг друга количественных и качественных методов оценивания на базе тех стратегий, которые обеспечивают высокую надежность и валидность информации об исследуемых характеристиках качества. Становление эвалюации в образовании рассматривается в исследовании как следствие современной парадигмы теории управления, включающей системный подход, стратегическое управление, управление развитием социально-экономических систем, мониторинг и бенчмаркинг, постепенно входящей в образование во всем мире и позволяющей регулировать процессы модернизации в образовании, оценивать риски принятия управленческих решений, эффективно распределять человеческие ресурсы и внедрять новые технологии в образование.

Многообразие видов эвалюации в исследовании сводится к множеству моделей (целевая модель, ресурсно-потенциальная модель, модель «вход - выход» и модель «вход -процесс-выход») с четко очерченным дизайном и иерархией показателей функционирования. Дизайн модели задает комплексные условия ее функционирования в виде совокупности факторов влияния, показателей и результатов образования, включая прогнозируемые последствия управленческих или образовательных воздействий. Ключевым понятием, определяющим результаты эвалюации, предлагается считать образовательный эффект. Результаты эвалюации проявляются во множестве эффектов, которые не следует отождествлять ни с результатами педагогических или управленческих воздействий, ни, тем более, с показателями, по которым ведется оценивание качества программы или проекта, а с оценкой прироста по совокупности показателей качества образования.

Системный подход к эвалюации должен регламентироваться рядом требований, приведенных в главе. В системном подходе особое внимание уделяется оценке качества процессов и результатов оценивания, т.е. мета-

эвалюации, которая должна осуществляться в соответствии с сформулированными в диссертации принципами, сопровождая и завершая проектную и программную эвалюации, обеспечивая информацию о возможности использования результатов эвалюации и их генерализации для принятия управленческих решений в образовании. В соответствии с определением, введенным в исследовании, под оцениванием понимается результат вместе со сложным операциональным процессом получения оценки, с сопутствующим процедурами анализа и интерпретации данных о качестве образования. В контексте этого определения эвалюация в образовании является обобщающим понятием, отражающим современные процессы интеграции дидактики, теории педагогических измерений и управления качеством образования с опорой на единую бипарадигмальную методологию и динамические методы анализа изменений характеристик обучаемых в сочетании с построением логических и математических моделей для оптимизации управленческих процессов.

В конце первой главы помещены выводы, содержащие обобщенное представление материала.

В главе II «Теоретико-методологические основы региональных систем оценки качества образования» предлагаются результаты сравнительного анализа работ отечественных и зарубежных исследователей по компетентностному подходу к трактовке качества результатов образования, проведенного с позиций проблем оценивания качества результатов образования. Приводятся основные цели, функции и принципы научной организации оценочных систем, даются основные положения классической и современной теорий педагогических измерений, дается научное обоснование подходов к интеграции данных, полученных на количественном и качественном уровнях измерения в условиях формирования полного информационного базиса образовательной системы, предлагаются инновационные подходы к анализу качества результатов оценочных процессов на основе оценки их надежности, валидности и генерализуемости.

В начале главы обозначены основные факторы влияния на процесс модернизации контрольно-оценочных систем и сформулированы цели региональной системы оценки качества образования, рассматриваемой как составная часть общероссийской системы оценки качества образования. Хотя часть функций носит традиционное название, но в условиях модернизации они приобретают новые оттенки. В частности, на внутришкольном уровне оценка превращается из средства принуждения к обучению со стороны педагога в побудительный мотив для самосовершенствования учащегося, характерный для развивающего обучения, в процессе которого также активизируется обучающая функция в режиме самооценки.

Наиболее эффективно самооценивание организуется на основе адаптивного тестирования, поскольку оптимизация трудности заданий в данных тестах приводит к позитивным тенденциям в развитии личности обучающегося, способствуя закреплению установок на самообразование, самоутверждение и самоактуализацию. Существенным признаком доминирования обучающей и развивающей функций оценивания является то, что оно протекает в зоне ближайшего развития обучаемого, методологические и технологические основы

определения границ которой осуществляется с помощью аппарата современной теории тестов (ШТ). В целом, в наши дни происходит переосмысление роли контрольно-оценочной системы в образовании, когда контроль, оценка и обучение рассматриваются как взаимосвязанные и взаимопроникающие составляющие единого образовательного процесса.

К числу новых функций оценочных систем в исследовании отнесены информационная, сравнительная и прогностическая, рассмотрена их реализация на различных уровнях управления образованием. При анализе выполнения этих функций необходимо учитывать входные характеристики в обучение, связанные с начальными способностями учащихся, квалификацией преподавателей, размерами финансирования, средней наполняемостью классов по школам внутри района и т.д.

К методологическим основам построения и функционирования систем оценки качества образования в исследовании отнесен ряд принципов, способствующих эффективному осуществлению оценочных процессов. Среди них ведущая роль отводится принципу научности, в соответствии с которым функционирование систем оценки качества образования должно опираться на бипарадигмальную методологию эвалюации, теорию педагогических измерений, методологию мета-эвалюации, теорию генерализации, современную и классическую теории тестов и концептуальные подходы к трактовке качества образования. При проведении оценивания количественного и качественного характера принцип научности предписывает учитывать уровень измерений и производить с результатами только те операции, которые адекватны выявленному типу шкалы.

Принцип эффективности оценивания регламентирует выбор определенной методики, обеспечивающей полноценную реализацию всех функций оценочных процессов при минимальных затратах времени, усилий и средств со стороны педагога. В исследовании формулируется набор требований, способствующих повышению эффективности функционирования систем оценки качества образования, даются обобщенные критерии эффективности в рамках теории педагогических измерений с формальных позиций руководителей учебных заведений или органов управления образованием, либо с позиций финансовых затрат и трудозатрат на оценочные процессы.

Согласно принципу высокой объективности, при оценивании необходимо принятие всех возможных мер, обеспечивающих минимизацию ошибок измерения. В исследовании анализируются случайные и систематические ошибки измерения. Последние связываются с факторами, характерными для системы образования в Республике Саха (Якутия). Для снижения влияния систематических ошибок измерения в данном исследовании предлагаются методики идентификации заданий, которые дискриминируют одни группы испытуемых по отношению к другим и подлежат удалению из измерителей. Как одна из наиболее эффективных мер повышения объективности оценок учащихся, рассматривается переход от качественных к количественным измерениям. Результаты оценивания могут быть представлены в интервальной метрической шкале при выполнении совокупности условий: используются стандартизированные тесты, состоящие из калиброванных заданий только с выбором ответов; разработка тестов основана на теории ШТ; результаты тестирования при шкалировании представляются в логитах.

Помимо основных принципов, вводится ряд специфических новых принципов: принцип функционально-структурного строения целостной региональной оценочной системы, принцип систематического повышения управляемости качеством образования; принцип минимакса и контроля дисперсии оценок, принцип динамичности при оценивании показателей качества образования, принцип постепенного роста числа функций оценочной системы, принцип высокой сопоставимости оценок и др.

Для осуществления мета-эвалюации в исследовании введены дополнительные новые принципы: приоритетность операционализируемых показателей качества образования, достижение высокой аутентичности измерителей, высокая надежность и валидность данных эвалюации; сопоставимость данных внутри однородных групп сравнения; учет специфичности объектов эвалюации (региональные, территориальные, национальные или социокультурные аспекты и запросы пользователей) при выборе модели эвалюации, контекстный анализ при интерпретации результатов эвалюации.

Сравнительный анализ подходов к трактовке качества образования, проведенный в исследовании, показал, что требования к качеству образования и само его понимание находятся под воздействием эволюционных процессов. Современная система образования должна обеспечивать формирование свободной личности, способной к активной и экономически эффективной деятельности, самостоятельно и успешно ориентирующейся в информационных средах, готовой к осознанному и ответственному выбору в условиях динамичной рыночной экономики. В соответствии с этими приоритетами, в настоящее время наибольшее распространение имеет компетентностный подход, получивший свое развитие во многих странах мира.

Во второй главе приводится обзор отечественных и зарубежных взглядов на компетенции, анализируется взаимосвязь терминов «компетенция» и «компетентность», вскрывается ряд недостатков и проблем компетентностного подхода, частичное преодоление которых предлагается в данном исследовании. В частности, в нем проведено уточнение ряда определений понятийного аппарата компетентностного подхода, предложена классификационная схема инновационных аутентичных измерителей для оценки уровня сформированности компетенций, разработаны подходы к эмпирической валидизации критерия сформированности компетенций. Также в исследовании введены определения ключевых, общепредметных, инструментальных и предметных компетенций, которые включаются в четырехуровневую схему, предназначенную для построения компетентностно-ориентированной системы оценки качества образования в регионе. Для выпускников полной средней школы предложена совокупность из 10 ключевых компетенций. Приводится анализ возможностей, достоинств и недостатков инновационных измерителей и даются алгоритмы их разработки, подчеркивается роль методов многомерного шкалирования и специальных моделей интеграции оценок отдельных компетенций обучающихся на основе современных достижений теории педагогических измерений.

Оценка компетенций может проводиться на основе классической или современной теории тестов, возможности которых рассматриваются во второй

главе в сравнительном контексте. Обе теории вводятся как компоненты методологического базиса педагогических измерений. Приводится краткий исторический анализ развития классической теории тестов и ее основные аксиомы, в которых основополагающим является понятие истинного балла. Рассматриваются цели использования статистических данных, связанные с описанием результатов измерения и получением выводов для проверки статистических гипотез. Анализ классической теории завершается перечнем ее недостатков, сформулированных с позиций современных потребностей оценочных систем.

Как альтернатива классической теории тестов, в главе рассматривается современная методология педагогических измерений, в роли которой выступает теория Item Response Theory (IRT), интенсивно развиваемая преимущественно в трудах зарубежных ученых с 80-х годов XX века. В 1RT вводятся специальные математические модели, на основе которых, благодаря специальным алгоритмам, удается реализовать свойство инвариантности оценок испытуемых от трудности заданий тестов, получить оценки параметра испытуемых в метрической шкале логитов вместе с дифференцированными ошибками измерения и оценить эффективность заданий различной трудности вдоль оси переменной измерения на основе информационных функций заданий и теста.

В IRT исходят из основного предположения о существовании некоторой функциональной связи между наблюдаемыми результатами тестирования и латентными параметрами испытуемых, выполняющих тест. Наблюдаемые результаты связывают с вероятностью правильного выполнения задания группой испытуемых, либо с вероятностью правильного выполнения испытуемым различных по трудности заданий теста. Сам по себе латентный параметр появляется в результате концептуализации оцениваемой истинной величины измеряемого качества испытуемого и в этом смысле может быть отождествлен с истинными компонентами измерения классической теории тестов.

Число параметров, входящих в аналитическое задание функций IRT, является основанием для их подразделения на классы. Среди логистических функций основное место принадлежит однопараметрической модели G. Rasch. Она имеет вид

Л<0)=1 + е17се-М или Р. (6) = {1 + ехр[-1,7(6 - ß,)] Г'

е1.7(в,-Р)

^(P)=l + i.W.-l» иди />ДР) = {1 + ехр[-1,7(91-р)]Г1>

где 0 - параметр испытуемого, ß - параметр трудности заданий, являющимися независимыми переменные для первой и второй функций, соответственно, а результаты по каждому заданию оцениваются дихотомически, как 0 или 1. График первой функции получил название характеристической кривой задания и широко используется при разработке тестов. В приложении 3 к диссертации приведены характеристические кривые заданий контрольных измерительных материалов ЕГЭ по русскому языку и математике, построенные по данным 2009 года для выпускников национальных школ и для выпускников русскоязычных школ с помощью программы ConQuest.

Многолетний анализ согласованности статистик с требованиями однопараметрической модели привел исследователей к мысли о необходимости введения дополнительных параметров, в результате чего появилась двухпараметрическая и трехпараметрическая модели А. Birnbaum, возможности которых анализируются в главе в контексте проблемы исследования. В главе также рассматриваются другие классы моделей (грейдерная модель Samejima, номинальная модель Воск, модели частичного вклада Masters и Andrich, обобщенная или генерализованная модель частичного вклада Muraki), разработанные в XXI веке. Важным фактором для выбора оптимальной модели для использования в региональных оценочных системах является компетентностный подход, определяющий специфику содержания и виды измерителей. Эта специфика, подробно рассмотренная в исследовании, приводит к выводу о необходимости преимущественного обращения к однопараметрической модели частичного кредитования Андриха при использовании IR.T в региональной системе оценки качества образования.

Последнее десятилетие XX века характеризовалось интенсивным развитием непараметрической статистики, расширением применения непараметрических методов в различных приложениях к задачам оценивания качества результатов обучения. В непараметрических моделях подготовленность оценивается по дискретной шкале, а в качестве математического аппарата используется нелинейная регрессия. Среди непараметрических подходов в IRT можно выделить теорию оценивания дихотомических заданий, известную как Моккен-шкалирование (порядковые шкалы). В главе анализируются возможности непараметрических моделей IRT, применительно к задачам использования компетентностно-ориентированных оценочных средств.

В параметрической теории IRT анализ взаимного расположения оценок параметров 0 и ß на единой оси позволяет вычленить задания, не пригодные для данной выборки испытуемых в силу избыточной или недостаточной трудности. Подобное распределение, построенное при обработке результатов тестирования с помощью моделей IRT для данных ЕГЭ по русскому языку и по математике по представительной выборке выпускников русскоязычных и национальных школ в Республике Саха (Якутия) 2009 года, приводится в приложении 3 к диссертации. Для обработки результатов ЕГЭ также использовалась программа ConQuest.

Углубленный анализ результатов ЕГЭ проводится в главе на основе информационных функций, которые в современной теории тестирования IRT для

/(в) = ¿/,(9)

теста имеют вид >~1 , где символом 1(0) обозначена информационная функция теста, состоящего из п заданий. Информационные функции (прил. 3) позволяют планировать заранее желаемую надежность теста, которая вместе с генерализуемостью результатов оценочных процессов рассматривается подробно во второй главе.

Анализ методологических проблем обоснования надежности, валидности и генерализуемости результатов оценочных процессов позволил сформулировать совокупность требований к инструментарию для оценивания и самим оценочным

процедурам в региональной системе оценки качества образования. На основе анализа формул для коэффициента надежности получены выводы о факторах, влияющих на надежность теста.

Ситуация с ростом надежности может радикально измениться в сторону улучшения при использовании теории IRT и банка калиброванных заданий для моделирования измерителя запланированной надежности. В диссертации предлагается подход, связывающий информационные функции теста с моделированием измерителя при его генерации из банка калиброванных заданий для оценки качества результатов обучения и включающий ряд шагов, приведенных в главе.

В связи с введением в тесты значительного числа заданий со свободно конструируемыми ответами, в наши дни большое внимание стали уделять внутрирейтерной надежности, показывающей меру отличия разброса экспертных оценок по каждому заданию от средней оценки разброса, полученной на представительной выборке. В главе рассматривается связь внутрирейтерной надежности с традиционной надежностью, предлагаются диапазоны оценок надежности для различных задач измерения в региональной системе оценки качества образования.

Теория генерализации является одной из методологических основ принятия управленческих решений в образовании на основе результатов измерений. Процесс генерализации состоит в переходе от выборочных оценок к генеральным оценкам и получении выводов о возможности обобщения выборочных данных на генеральную совокупность объектов измерения на основе однофакторного дисперсионного анализа - ANOVA (Analysis of variance).

Генерализация в региональной оценочной системе позволяет проводить анализ стабильности ответов тестируемых на некотором временном промежутке, эквивалентности оценок испытуемых по различным вариантам теста, внутренних связей отдельных подшкал для оценок испытуемых или характеристик заданий, возможностей переноса оценок по отдельным шкалам на единую шкалу в случае многомерности конструкта и решать другие проблемы измерения (оценка надежности тестов и инструкций для тестирования, устойчивости рейтинговых шкал и уровневых шкал, адекватности моделей измерения эмпирическим данным и т.д.).

Генерализация сводится к формированию фасетов, определению модели исследования, подсчету сумм квадратов степеней свободы и среднего квадратического для каждого из фасетов в дизайне исследования. В главе строятся фасетные дизайны для ряда ситуаций, когда множество испытуемых пересекается с множеством заданий теста, множество испытуемых размещается внутри множества объектов муниципальных систем образования и оба фасета (испытуемые и муниципальные системы образования) пересекаются со множеством заданий КИМ ЕГЭ и т.д. В целом, выбор конкретного фасетного дизайна определяется задачами управления и связывается с направлениями региональных исследований для повышения качества образования. Приводятся формулы для оценки коэффициента генерализации, отражающего степень, в которой можно обобщить полученные результаты измерения.

Особую важность приобретает теория генерализации в региональных системах с территориальными или национальными особенностями, например, в Якутии, где необходимо комплексное исследование генерализуемое™ данных о качестве результатов обучения в силу существования систематических ошибок измерения, вызванных влиянием фактора территориальной разобщенности школ, проблемами в кадровом обеспечении школ в удаленных улусах, наличием национальных школ с родным языком обучения до 10 класса. В главе предлагаются дизайны генерализации для анализа влияния фактора территориальной разобщенности на обобщаемость оценок качества результатов обучения в школах Якутии, расположенных в крупных населенных пунктах и в местах, отдаленных от центра региона, а также дизайны для анализа влияния фактора принадлежности школы к группе национальных школ на генерализуемость оценок учебных достижений.

Значительное внимание в главе уделяется развитию научных методов анализа валидности результатов оценивания, актуальность которых значительно повышается в связи с введением компетентностного подхода, который приводит к дополнительным трудностям при валидизации за счет мета-латентного характера переменных измерения - компетенций. К наиболее важным видам валидности предлагается отнести конструктную, содержательную и прогностическую валидность. В главе подробно рассматривается процесс содержательной валидизации и связанные с ним различные подходы к выбору таксономии целей обучения, проводится их сравнительный анализ в контексте проблемы оценивания уровня сформированное™ компетенций. Для планирования содержания измерителей предлагается трехмерная модель, включающая характеристики содержания, техники измерения и кластеры компетенций. Связь между кластерами предлагается осуществлять путем построения структурно-описательных моделей. Для повышения качества содержания измерителя приведены критерии для работы экспертов. Столь же подробно рассматривается проблема конструктной валидности, для анализа которой предлагается оценивать корреляцию между результатами по новым и уже существующим признанным тестам, применять теоретический анализ содержания тестов, использовать факторный анализ, анализировать внутреннюю согласованность теста методами корреляционного анализа и т.д. Приводятся рекомендации по повышению валидности результатов измерений.

Связь надежности и валидности теста представляет собой определенную проблему, которая по-разному интерпретируется учеными по мере развития теории педагогических измерений. Примерные границы оценок надежности и валидности, позволяющие исследователям ориентироваться при оценке качества результатов измерений и основанные на опыте анализа результатов ЕГЭ за годы его проведения в Республике Саха (Якутия), представлены в таблице 1.

Табл. 1.

Границы оценок надежности и валидности теста.

Значения коэф. Надежность Валидность

корреляции

0,90-0,99 Отличная Отличная

0,85-0,89 Очень хорошая Отличная

0,80 - 0,84 Хорошая Отличная

0,75 - 0,79 Удовлетворительная Отличная

0,70-0,74 Н еудовл етворител ьн ая Хорошая

0,60 -0,69 Совсем неудовлетворительная Хорошая

0,50-0,59 Хорошая

0,40-0,49 У до вл етворител ьная

0,30-0,39 Малоудовлетворительная

Менее 0,30 Неудовлетворительная

На результаты обучения, главным образом, оказывают влияние два фактора, один из которых - качество преподавания, а второй - прирост меняющихся способностей обучаемого, где второй фактор находится под влиянием первого.

Табл 2.

Оценка факторов, влияющих на валидность.

Определение конструкта Фактор качества преподавания, в соответствии с которым построена гипотеза о его влиянии на развитие способностей Способность, в соответствии с которой к построена гипотеза о влиянии на нее качества преподавания

Оценка проявления конструкта Мера качества преподавания, оценка которой должна отражать конструкт качества преподавания Мера способности, оценка которой должна отражать конструкт способности

Валидизация конструкта Обе меры коррелированны между собой. Размер этой корреляции может использоваться как доказательство, среди других доказательств, показывающих, что качество преподавания влияет на развитие способности.

Поэтому для обеспечения высокой конструктной валидности в процессе измерений оценка этих факторов должна проводиться в соответствии с определенными этапами, как показано в таблице 2. В целом, необходимо использовать множественные измерения, чтобы более адекватно отразить все характеристики каждого конструкта, предназначенного к оцениванию.

Таким образом, валидность представляет собой интегративное понятие, поскольку при оценке валидности приходится принимать во внимание всевозможные доказательства, связанные с характеристиками теста, процедурами его применения, обработкой, шкалированием и интерпретацией результатов его выполнения.

В конце главы помещены выводы, содержащие обобщенные результаты исследования.

Глава III. «Методические и организационные аспекты построения системы оценки качества образования в регионах с территориальными и национальными особенностями» содержит методику оценивания систематической ошибки заданий (дифференцированного функционирования заданий) в региональных оценочных системах, обладающих специфичными условиями функционирования. Также приводится методика иерархического линейного моделирования. Апробация методик показана на данных ЕГЭ 2009 г. для представительной выборки выпускников национальных и русскоязычных школ

Республики Саха (Якутия). Приводится методика шкалирования оценок качества результатов обучения в рамках компетентностного подхода.

В регионах с территориальными и национальными особенностями, рассматриваемыми в данном исследовании на примере Республики Саха (Якутия), крайне важно проводить статистический, эмпирический и процедурный анализ дифференцированного функционирования заданий. В этой связи в исследовании предлагается ввести новую характеристику качества заданий -антидискриминирующую валидность, характеризующую способность задания измерять заявленный конструкт вне зависимости от действия различного рода факторов, не связанных с конструктом. При этом справедливость оценок обучающихся понимается как отсутствие преимуществ у одних групп обучающихся, по сравнению с другими, при выполнения заданий теста.

В главе приводится сравнительный и исторический анализ развития методов для идентификации дифференцированного функционирования заданий, которые приводят к систематической ошибке и заведомо имеют меньшую вероятность правильного выполнения для отдельных групп испытуемых с одинаковым уровнем подготовки (подход, основанный на дисперсионном анализе, анализ систематической ошибки заданий тестов на основе теории ШТ, метод, подобный хи-квадрат, полный метод хи-квадрат, метод стандартизации и др).

При выявлении заданий, приводящих к систематической ошибке, в региональной системе образовании предлагается анализировать ряд факторов, к которым отнесены: региональный фактор (экономические, социокультурные, демографические, территориальные, национальные особенности школьного образования в регионе), тендерный фактор, муниципальный фактор (внешняя социальная среда окружения школ, экономические характеристики района, расположения школ), школьный фактор (социально-педагогический фон, вид школы, кадровые характеристики, социальная активность педагогов), педагогические факторы, личностные факторы (психологические и педагогические характеристики учащихся, образование родителей, социально-экономический статус семьи).

В данном исследовании подробно рассматриваются алгоритмы метода, основанного на теории ШТ, и показывается его применение для выявления заданий КИМ ЕГЭ по русскому языку и математике, ставящих в неравные условия выпускников национальных школ и школ с русским языком обучения в Якутии. Метод основан на оценивании трудности заданий для двух стратифицированных выборок выпускников с одинаковым уровнем подготовленности в национальных и русскоязычных школах. Наличие значимого расхождения (рис. 2, слева) в оценках трудности задания является свидетельством существования систематической ошибки, которую оно вносит в результаты ЕГЭ, нарушая его справедливость.

Рис.2. Пример гипотетических характеристических кривых двух заданий для двух групп испытуемых.

Численно эффект дифференцированного функционирования задания можно выразить в виде площади области между двумя его характеристическими кривыми (площади 5°) по формуле для однопараметрической модели теории ШТ.

5Г° =

|.7(е-р,>

с®

С появлением второго и третьего параметра в моделях IRT возникают определенные трудности, которые подробно анализируются в главе. Там же приводится анализ соотношения параметра дифференцирующей способности задания в контексте его влияния на рост систематической ошибки. Апробация метода на результатах выпускников школ Якутии по русскому языку и математике позволила выявить ряд заданий (прил. 3), приводящих к систематическим ошибкам измерения и подлежащим удалению из КИМ для обеспечения справедливости результатов ЕГЭ. Очевидно, что в России, которая является многонациональной, поликультурной страной, необходимо проведение подобного анализа на федеральном и региональном уровнях для обеспечения равенства прав отдельных категорий обучающихся на справедливую оценку учебных достижений.

Другой аспект методического обеспечения региональной системы оценки качества образования, представленного в главе, был связан с иерархическим анализом данных педагогических измерений. Он проводится с помощью определенных моделей, для использования которых были выбраны адекватные единицы измерения и методы выявления изменений переменных измерения по уровням. В главе представлен краткий анализ развития линейных иерархических моделей, которые в зарубежной научной литературе получили название HLM. Использование моделей HLM в региональной системе оценки качества образования возможно с тремя целями: повышение точности оценок учебных достижений учащихся; формулировка и проверка гипотез, связанных с предположениями о взаимодействии факторов разного уровня анализа; выделение доли вариации, объясняемой выявленными факторами на различных уровнях анализа. В целом, HLM предоставляет эффективные методы анализа данных с

учетом различных факторов и поэтому интерес к иерархическому моделированию постоянно растет в научном мире.

В данном исследовании была поставлена задача выявления влияния различных факторов с иерархической структурой на качество учебных достижений выпускников школ Республики Саха (Якутия), оцениваемое в ЕГЭ по двум обязательным предметам - русскому языку и математике. Применение аппарата HLM потребовало серьезной работы по обеспечению представительности выборки данных, поэтому проведение многоуровневого анализа на основе HLM в данном исследовании результатов ЕГЭ предварялось верификацией данных по формату представления, анализом репрезентативности выборки и ее структурной представительности, выбором подходов к ее стратификации, планированием учета факторного влияния в условиях возможной перекодировки уровней фактора.

Результаты обработки данных приведены в диссертации в приложении 4. Проведение иерархического анализа предваряла проверка выборочных данных по русскому языку и математике на нормальность, по критерию Колмогорова-Смирнова, которая показала, что оба данных распределения вполне соответствует нормальному закону, то есть можно принять гипотезу о существовании нормального распределения. Для отбора факторов с целью их включения в модель HLM вводился дисперсионный анализ ANOVA (метод Бонферрони), по результатам которого устанавливалось наличие статистически значимого влияния отдельных факторов на средние результаты выпускников по двум предметам.

Результаты дисперсионного анализа ANOVA показали, что статистической значимости между влиянием фактора зоны на средние результаты выпускников школ Якутии в ЕГЭ по двум предметам по методу Бонферрони не обнаружено. Поэтому можно сделать вывод о том, что во всех школах, расположенных в различных зонах Якутии, обеспечивается одинаковое качество результатов обучения по математике и русскому языку, что характеризует образование в Якутии очень положительно. Одним из главных международных критериев по оценке качества образования является равный доступ к качественному школьному образованию вне зависимости от региона внутри страны. Можно констатировать, что этот критерий внутри Республики Саха (Якутия) полностью выполняется.

Также в главе приводятся результаты анализа влияния демографического фактора (места расположения школы) на данные ЕГЭ по обязательным предметам, собранные на представительной выборке выпускников школ Якутии. Результат применения ANOVA по математике не обнаруживает статистически значимых различий в средних результатах в зависимости от места расположения школы. Но результаты применения ANOVA для данных ЕГЭ по русскому языку позволяют сделать вывод о наличии статистически значимых различий между средними баллами выпускников школ г. Якутска, крупных (в данном случае г. Нерюнгри) и средних городов (г. Алдан, г. Ленек, г. Мирный), и сельских школ. Средние баллы намного выше в крупных городах и в Якутске, чем в сельских школах, а особенно низки в малых городах. Полученный результат говорит о необходимости включения в модель HLM фактора местоположения школы при анализе данных ЕГЭ по русскому языку.

В отличие от математики, по которой в Якутии обеспечивается сравнительно однородное по результатам подготовки выпускников обучение, по русскому языку равный доступ к качественному школьному образованию вне места расположения школы не достигается. Для этой негативной тенденции есть вполне логичное объяснение, которое связано с тем, что в сельской местности и в малых городах дети и учителя чаще говорят на родном, якутском, языке, который является для них основным языком общения. Ситуация несколько выравнивается в малокомплектных школах, характерных для сельской местности, за счет высокой индивидуализации обучения. Поэтому в региональной системе образования Якутии необходимо обратить самое пристальное внимание на меры по улучшению преподавания русского языка в небольших городах, расположенных на значительном удалении от центра региона. В самом Якутске результаты обучения по русскому языку оказались значительно лучше, по сравнению с сельскими школами и школами малых и средних городов.

На следующем этапе рассматривались школьные факторы по методу ANO VA. Как и в предыдущем случае, в русском языке наблюдается статистически значимое различие в результатах выпускников школ различных видов. При анализе влияния фактора наполняемости школы оказалось, что его необходимо включить в модель HLM, поскольку он вызывает значимые различия между средними результатами выпускников якутских школ по математике и русскому языку. Результаты дисперсионного анализа ANOVA, проведенного для выборок выпускников школ Якутии, сформированных по признаку принадлежности к национальной или русскоязычной школе, не показали значимых различий ни по математике, ни по русскому языку. Второй фактор, связанный с национальностью учительского состава в школе, показывает значимые различия в результатах ЕГЭ по математике русскому языку. В целом, анализ данных ЕГЭ с помощью модели HLM позволил уточнить влияние различных факторов на качество обучения выпускников школ Якутии по русскому языку и математике и сделать вывод о том, что уровень образования Якутии по этим двум предметам соответствует общероссийскому уровню.

Третья методика, рассмотренная в главе, ориентирована на щкалировани оценок учебных достижений в региональной системе оценки качества образования. Методику предваряет определение процесса шкалирования и описание четыре основных этапов построения измерительных шкал в образовании. Приведены различия в понимании процедуры шкалирования при нормативно-ориентированном подходе и критериально-ориентированном подходе к интерпретации результатов измерения. Дан обзор шкал, рассмотрены их достоинства и недостатки, применительно к задачам региональной системы оценки качества образования. Обсуждены проблемы неверного построения рейтинговой шкалы, весьма распространенного в отечественном образовании.

Значительное внимание в главе уделено выравниванию результатов шкалирования. Предлагается подход к выравниванию результатов измерений, полученных учащимися по разным вариантам тестов и разным годам в региональной системе оценки качества образования. Рассматривается традиционный подход к сопоставимости норм тестов, основанный на

использовании якорного теста для составления таблиц эквивалентности баллов по разным тестам. Приводится разработанная инновационная методика установления связи результатов тестирования по годам внутри региональной системы оценки качества образования.

Другая подробно рассматриваемая проблема, получающая свое методическое решение в главе, связана с построением шкал для компетентностных тестов. Поскольку компетентностные тесты всегда разрабатываются в рамках критериально-ориентированного подхода, то основная трудность при таком шкалировании заключается в установлении порогового балла для отсечения группы учащихся, не показавшей достаточного уровня освоения компетенции. В главе рассматриваются методики установления порогового балла и его эмпирическая валидизация для случая минимизации вероятностей ошибочной классификации в условиях, когда все ложные позитивные и все ложные негативные ошибки одинаково серьезны, и в условиях, когда ложные позитивные и ложные негативные ошибки отличаются по степени серьезности друг от друга. Методика шкалирования завершается анализом этапов построения уровневой шкалы, которая определяется как оптимальная для интерпретации результатов выполнения компетентностных тестов. Завершается глава сравнительным анализом методов шкалирования результатов тестирования, проведенным в контексте проблем сопоставления оценок учащихся в региональной системе оценки качества образования.

В конце главы помещены выводы, содержащие итоговые рекомендации и обобщения.

В главе IV «Система оценки качества образования в Республике Саха (Якутия), ее особенности в структуре и организации» представлены региональные особенности системы образования Республики Саха (Якутия), рассматривается роль региональной системы оценки качества образования в развитии человеческого потенциала (системы образования) республики, социально-педагогические факторы, обеспечивающие эффективность оценивания на региональном уровне, и предлагается модель региональной системы оценки качества образования в Республике Саха (Якутия) вместе с перспективными направлениями ее развития. На основе рассмотрения построена перспективная функционально-структурная модель региональной системы оценки качества образования в Республике Саха (Якутия), приведенная на рис. 3.

В основу функционирования модели положены единое законодательное и нормативное поле, системный подход к организации оценочных действий на разных уровнях региональной системы образования, единый инструментарий для оценки и совокупность показателей качества образования, утвержденная на региональном уровне и доведенная до сведения не только участников образовательного процесса, но и потребителей образовательных услуг.

Государственная служба по контролю и надзору в сфере образования и науки при Президенте РС(Я)

.......л........

Центр мониторинга качества; образования. •

Государственная итоговая аттестация обучающихся.

Мониторинг качества образования.

Психолого-педагогические измерения (плановые, аудит).

Отдел регламентации деятельности ОУ.

Лицензирование и аккредитация образовательных учреждений

Отдел надзора.

Осуществление надзорных функций.

Отдел контроля

качества образования.

Осуществление

контроля качества образ.

Анализ интегрированных данных о качестве образования.

Центр сертификации.

Оценка эффективности.

Сертификация оценочных технологий, средств измерения, контрольно-измерительных материалов.

Информационно-методический центр.

Повышение квалнфихац ии кадров: экспертов, инспекторов

Информирова ние

общеетвекност и о качестве образования в регионе.

Проведение прикладных

научных исследований и эвалюаддии образователь ных систем.

-Р*

Отдел мониторинга качества образования.

Анализ интегрированных

данных о качестве

Организация ГИА Внешняя оценка деятельности ОУ.

Муниципальные управления образования

Информационно-методическая служба.

Мониторинг образования.

качества Диагностика

Аттестация педагогических кадров.

Повышение квалификации педагогических кадров.

Информирование общественности. Отчет

Система внутреннего контроля

Образовательные учреждения

Система методической работы

Рис. 3. Функционально-структурная модель региональной системы оценки качества образования в Якутии.

Принципиальное институциональное изменение - создание независимого от органов управления образованием органа, осуществляющего оценку качества образования.

Приведен анализ практики создания региональных органов, реализующих контрольно-оценочную деятельность в России через формулирование и систематизацию четырех вариантов создания таких структур (территориальный орган - структурное подразделение федерального органа контроля и надзора в сфере образования, независимая от органов управления образованием служба контроля и надзора при региональном органе государственной власти или губернаторе (президенте), независимое рейтинговое агентство, ведомственная служба контроля при органе управления системой образования).

Выработан ряд требований к оценочным системам, имеющим территориальные и национальные особенности системы образования на примере Республики Саха (Якутия), функционирование которых должно с высокой надежностью и валидностью обеспечивать информационную основу для получения обоснованных управленческих выводов, принятия решений, установления тенденций и прогнозирования образовательных перспектив.

Анализ результатов исследования, положенных в основу построения региональной системы оценки качества образования республики, показан через описание направлений деятельности и итоги практической деятельности Государственной службы по контролю и надзору в сфере образования и науки при Президенте РС (Я), а также разработку показателей качества образования, представленных в приложениях к диссертации.

В разделе «Заключение» интегрируются основные выводы по главам диссертации и перечисляются результаты работы, полученные в соответствии с задачами исследования. Специфической чертой данного диссертационного исследования являлась его междисциплинарность, поэтому область полученных результатов базируется на отдельных положениях педагогики, теории и методологии педагогических измерений, теории управления образовательными системами, методах математического моделирования, статистики, теории вероятности. Результаты исследований прилагаются к практике построения систем оценки качества образования в регионах с территориальными, национальными или социокультурными особенностями, рассматриваемых на примере Республики Саха (Якутия).

Фундаментальная теоретическая часть результатов, связанная с проблемами измерений, преимущественно ориентирована на современную методологию педагогических измерений, а прикладные теоретические аспекты результатов лежат в сфере эвалюации. Совокупность методик, разработанных в диссертации, ориентирована на практику массового тестирования в региональной системе оценки качества образования. Две из представленных методик предназначены для

систем оценки качества образования в регионах с территориальными, национальными или социокультурными особенностями.

В целом, в диссертации решены все задачи, поставленные на этапе замысла работы, а гипотеза исследования получила свое полное подтверждение, в частности:

- проведен анализ результатов научных исследований по рассматриваемой в диссертации проблеме с целью выявления позитивных тенденций и перспективных направлений для совершенствования региональных систем оценки качества образования;

- получили свое развитие методологические основы научной организации региональных систем оценки качества образования на основе бипарадигмальной методологии измерений и эвалюации;

- разработаны концептуальные основы региональных систем оценки качества образования, предполагающих ориентацию на приоритет инновационных технологий обучения, инновационных видов измерителей, методов самоконтроля, самокоррекции и самооценки результатов учебной деятельности обучающихся;

- сформированы совокупности показателей качества процесса и результатов обучения, адекватные задачам функционирования региональных систем оценки качества образования;

- создана классификация видов современных измерителей и требований к их характеристикам для аутентичного оценивания в контексте компетентпостиого подхода;

- разработан научно-методический аппарат для формирования полного информационного базиса образовательной системы в условиях высокой надежности и валидности, двухуровневое™, динамичности, сопоставимости, справедливости и прогностичности результатов оценочных процессов, в том числе, в регионах, обладающих территориальной и национальной спецификой;

-разработаны научные методы шкалирования результатов оценивания в условиях многомерности, высокой сопоставимости данных о качестве обучения и корректной интеграции количественных и качественных результатов измерения в рамках компетентностного подхода.

Особенностью полученных результатов исследования является отсутствие альтернативного характера его выводов, которые не отрицают существующие традиционные оценочные средства качественного уровня измерений, а лишь дополняют их, создавая необходимые предпосылки для эффективного информационного обеспечения и выполнения всех функций оценочных систем, учитывая специфику их развития в отдельных регионах России.

Основное содержание и результаты исследований по теме диссертации отражены в работах, среди которых:

Монографии

1. Третьякова, Т.В. Организационно - педагогические основы государственной (итоговой) аттестации выпускников общеобразовательных школ Республики Саха (Якутия) в форме единых государственных экзаменов: монография / Т.В. Третьякова. - Якутск: Издательство Якутского научного центра Сибирского отделения РАН, 2007. - 240 с. (15,0 пл.).

2. Третьякова, Т.В. Научные основы региональной системы оценки качества образования и ее организационные особенности в Республике Саха (Якутия): монография / Т.В. Третьякова. - Якутск: Издательство Якутского научного центра Сибирского отделения РАН, 2008. - 285 с.(17,7 пл.).

3. Третьякова, Т.В. Теория и методология построения региональных оценочных систем (на материалах Республики Саха (Якутия): монография / Т.В. Третьякова. - Якутск, Издательство Дани Алмас, 2010. - 352 с.(22,0 пл.).

Методические пособия, аналитические сборники

4. Санникова, Т.В. Мониторинг качества образования: сб. тестов / Т.В. Санникова. - Якутск: Изд-во ДНИСПО,1999. - 106 с.(6,6 пл.).

5. Санникова, Т.В. Анализ состояния качества образования в Республике Саха (Якутия): метод, пос. / Т.В. Санникова, В.А. Терехова. - Якутск, ЦАККО, 2001. — 16 с. (авторских - 8; 0,5 пл.).

6. Санникова, Т.В. Выпускнику о едином государственном экзамене: метод, пос. / Т.В. Санникова, В.А. Терехова, Т.Ф. Мартынова, А.Д. Саввинов. - Якутск, Изд-во ООО РИЦ «Офсет», 2002. - 104 с. (авторских - 53; 3,3 пл.).

7. Санникова Т.В. Аналитический отчет Республики Саха (Якутия) о едином государственном экзамене в 2002 году: метод, пос. / Т.В. Санникова, А.Р. Поскачин. - Якутск, Изд-во «Ардах», 2002. - 20 с. (авторских - 6; 0,4 пл.).

8. Третьякова, Т.В. Анализ результатов государственной (итоговой) аттестации обучающихся, освоивших основные образовательные программы основного и полного (среднего) общего образования в Республике Саха (Якутия) в 2009 году. Аналитический отчет: метод, пос. / Т.В. Третьякова, Н.Е. Егорова, В.М. Саввинов, Э.Н. Павлова, С.Н. Николаева. - Якутск: Гособрнадзор, 2009. - 196 с. (авторских - 98 е.; 6,1 пл.).

9. Третьякова, Т.В. Единые государственные экзамены в Республике Саха (Якутия) в 2009 году. Сборник статистических данных: методическое пособие / Т.В Третьякова, А.Д. Саввинов, В.А.Терехова. // Якутск: ООО «Дисплей», 2009. - 198с. (авторских - 23с.; 1,4 пл.).

Статьи

Ю.Третьякова, Т.В. Русский язык в национальной школе, или еще раз о равенстве возможностей. /Т.В. Третьякова, М.П. Старостина. // Высшее образование сегодня. - 2008. - № 5 - С. 105 -110 (0,3 пл.).

Н.Третьякова, T.B. Аттестация качества образования. /Т.В. Третьякова. // Наука и образование. -2005. - № 2 - С.130-Ш (0,2 п.л.).

12.Третьякова, T.B. О концепции качества образования. /Т.В. Третьякова. // Наука и образование. - 2005. - № 1 - С.83-86 (0,2 п.л.).

О.Третьякова, Т.В. Анализ концепции качества образования / Т.В. Третьякова. II Высшее образование сегодня. - 2007. - № 11 - С. 62-65 (0,2 п.л.).

14.Третьякова, Т.В. Роль единого государственного экзамена в формировании государственной системы контроля качества образования. / Т.В. Третьякова. // Наука и образование. - 2007. - №4 (48) - С. 106-110 (0,3 п.л.).

15.Третьякова, Т.В. Управление качеством образования в общеобразовательной школе на основе результатов независимого контроля индивидуальных достижений учащихся. / Т.В. Третьякова. // Наука и образование. - 2007. - №1 (45) - С. 119-120 (0.1 п.л.).

1 б.Трстьякова, Т.В. Общие принципы проектирования региональных систем оценки качества образования. / Т.В. Третьякова, B.A. Терехова. // Наука и образование. - 2007. - №3 (47) - С. 67-70 (0,2 п.л.).

П.Третьякова, Т.В. О некоторых зарубежных моделях оценки образовательных учреждений. / Т.В. Третьякова, B.A. Терехова. // Наука и образование. - 2007. - №2 (46) - С. 123-126 (0,2 п.л.).

18.Третьякова, Т.В. Мониторинг результатов ЕГЭ по математике и его использование в регионе и в образовательном учреждении. / Т.В. Третьякова. // Вопросы образования. - 2007. - №2. - С. 188-200 (0,8 п.л.).

19.Третьякова, Т.В. Мониторинг результатов ЕГЭ по физике в Республике Саха (Якутия). / Т.В. Третьякова. //Стандарты и мониторинг в образовании. - 2007. - № 5 (56). - С. 17-22 (0,3 п.л.).

20.Третьякова, Т.В. Роль общества и личности в оценке качества образования. / Т.В. Третьякова. II Наука и образование. - 2008. - №1 (49) -С.57-60 (0,3 п.л.).

21. Третьякова, Т.В. Что показал ЕГЭ? (рассуждения о преподавании русского языка в национальной школе). / Т.В. Третьякова, М.П. Старостина. // Наука и образование. 2008. - №2 (50) - С 18-22 (0,3 пл.).

22. Третьякова, Т.В. Модель региональной системы оценки качества образования в Республике Саха (Якутия). / Т.В. Третьякова. // Наука и образование. - 2008 г. - № 4 (52) - С.121-124 (0,3 п.л.).

23.Третьякова, Т.В. Анализ подходов к оценке качества образования за рубежом. / Т.В. Третьякова. // Вестник Якутского государственного образования имени М.К. Аммосова. - 2009. - Т.6, № 2. - С.59-64 (0,3 п.л.).

24.Третьякова, Т.В. Качество образования: от оценки к управлению. / Т.В. Третьякова. // Высшее образование сегодня. - 2010. -№ 6. - С. 16-22 (0,4 п.л.).

25. Санникова, Т.В. Итоги тестирования выпускников общеобразовательных школ РС (Я). / Т.В. Санникова. // Наука и образование. - 1997. - № 4. - С. 152-156 (0,3 п.л.).

26.Санникова, Т.В. К вопросу о критериях оценки эффективности деятельности образовательного учреждения. / Т.В. Санникова. // Народное образование Якутии. - 1999. - С. 98-101 (0,2 п.л.).

27.Санникова, Т.В. Мониторинг качества образования как педагогическая проблема. / Т.В. Санникова: сб. мат. республиканской научно-практической конференции. - Якутск, 1999. - С. 48-53 (0,3 п.л.).

28.Санникова, Т.В. Что показал первый год проведения федерального эксперимента по введению единого государственного экзамена? / Т.В. Санникова. // Материалы V Всероссийской научно-практической конференции. - Сочи, 2001. - С. 53-56 (0,2 п.л.).

29.Санникова, Т.В. Роль и место единых государственных экзаменов в системе модернизации современного российского образования. / Т.В. Санникова, В.А. Терехова. // Наука и образование. - 2002. - № 3 (27) - С. 86-87(0,12 п.л.).

30.Третьякова, Т.В. Профильное образование и ЕГЭ. / Т.В. Третьякова, В.А. Терехова. // Наука и образование. - 2003. - № 4 - С. 133-135 (0,2 пл.).

31.Третьякова, Т.В. Социальные аспекты организации единых государственных экзаменов в Республике Саха (Якутия). / Т.В. Третьякова.// Народное образование Якутии. - 2004.-№ 2. - С. 81-87 (0,4 п.л.).

32.Третьякова, Т.В. Использование результатов ЕГЭ в управлении качеством в общеобразовательной школе. / Т.В. Третьякова // Организация и задачи эксперимента по введению единого государственного экзамена: материалы научно-практической конференции. - С-Пб., 2004. - С. 47 - 50 (0,2 п.л.).

33. Третьякова, Т.В. Единые государственные экзамены в Республике Саха (Якутия). Информационно-аналитический акт об итогах федерального эксперимента по введению единого государственного экзамена за 2001-2006 годы: информационно-аналитический акт. / Т.В Третьякова, В.А.Терехова, И.Г. Ларионова, Л.А. Давыдов, В.П. Старостин. - Якутск, Изд-во ООО «Компания Дани Алмас», 2006. - 252 с. (авторских - 68 е.; 4,3 п.л.).

34. Третьякова, Т.В. Единые государственные экзамены в Республике Саха (Якутия). Информационно-аналитический акт об итогах федерального эксперимента по введению единого государственного экзамена за 2007 год: информационно-аналитический акт. / Т.В Третьякова, В.А.Терехова, И.Г. Ларионова, Н.М. Соловьева. - Якутск, Изд-во ООО «Компания Дани Алмас», 2007. - 426 с. (авторских - 104 е.; 6,5 п.л.).

35. Третьякова Т.В. Измерение качества образования посредством единых государственных экзаменов. / Т.В. Третьякова. // Этнос. Образование. Личность: материалы научно-практической конференции. - Якутск, 2007. - С. 39-41 (1,18 п.л.).

36. Третьякова, T.B. Некоторые подходы к организации внутришкольной системы управления качеством обучения школьников. / T.B. Третьякова.// Развитие тестовых технологий в России: материалы IX Всероссийской научно-методической конференции Федерального Центра тестирования. - Москва, 2007. -С. 91 (0,06 п.л.).

37. Третьякова, T.B. РСОКО. поиск оптимальной модели. / T.B. Третьякова, Л.Б. Тен. // ОКО. Оценка качества образования. - 2008. - №1. - С. 67 - 72 (0,3 п.л.).

38. Третьякова, Т.В. Обоснование необходимости формирования региональной системы оценки качества образования. / Т.В. Третьякова. //Общее образование: императив качества и доступности: сборник статей. - 2010. - С. 63-71.(0,5 пл.).

Подписано в печать 28.07.10 г. Формат 60x84 1/16. Гарнитура «Тайме». Печать офсетная. Усл. п.л. 2,75. Уч.-изд. л. 2,56. Тираж 100 экз. Заказ №139/1. Отпечатано в типографии «РИЦ «Офсет», г. Якутск, ул. Билибина, 10А, тел. 36-92-91.

Содержание диссертации автор научной статьи: доктора педагогических наук, Третьякова, Татьяна Васильевна, 2010 год

Введение.

Глава I. Развитие научно-обоснованных подходов к построению систем оценки качества образования в России и в мировой образовательной практике, теоретические, дидактические и организационные аспекты.

1.1. Проблема научного обоснования систем оценки качества образования.

1.2. Развитие систем оценки качества результатов обучения в отечественном образовании второй половины XX - начала XXI века.

1.3. Сравнительный анализ зарубежных систем оценки качества учебных достижений.

1.4. Модели построения организационного, информационного и научного обеспечения региональных систем оценки качества образования.

1.5. Эвалюация в региональной системе оценки качества образования.

Введение диссертации по педагогике, на тему "Система оценки качества образования и ее построение в регионах с территориальными и национальными особенностями"

Политические и социальные тенденции, доминирующие в России XXI в., привели к резкому возрастанию значения проблем, связанных с повышением качества образования в условиях поиска новых подходов к росту эффективности управления образовательными системами. Понятие «качество образования» из сферы обсуждения в рамках узкого круга специалистов переместилось в сферу государственной политики, стало предметом общественных и научных дискуссий представителей самых разных профессий.

На фоне роста актуальности общих проблем качества образования увеличилась потребность в современных контрольно-оценочных системах, необходимость создания которых заложена в приоритетных направлениях развития образовательной системы нашей страны. В документах, ориентированных на эти направления, отмечается, что необходимо «.сформировать общенациональную систему оценки качества образования, получаемого гражданином, и реализуемых образовательных программ» (28). Составляющими такой общенациональной системы должны быть региональные системы оценки качества образования, обеспечивающие комплексный подход к анализу всех аспектов процессов и результатов функционирования образовательных систем в условиях высокой объективности и обоснованности выводов о качестве образования.

На протяжении всей истории развития отечественной педагогики многие ученые внесли свой значимый вклад в совершенствование контрольно-оценочных систем в образовании. К этим исследованиям можно отнести работы по общим проблемам контроля и диагностики, выполненные рядом отечественных (Т.Э. Аврукина, В.П. Беспалько, Д.Н. Богоявленский, П.П. Борисов, В.И. Гинецинский, В.И. Звонников, Н.Ф. Ефремова, A.B. Иванова, И.И. Легостаев, И.Я. Лернер, H.A. Менчинская, Е.И. Михайлова, В.М. Полонский, М.Н. Скаткин, Т.И. Степанова, Н.Ф. Талызина, М.Б. Челышкова и др.) и зарубежных ученых (Б. Блум, Р. Гронлунд, К. Ингенкамп, В. Оконь и др.). Сюда же примыкают работы по индивидуализации обучающих и контрольно-корректировочных воздействий со стороны педагога (М.К. Акимова, C.B. Алексеев, С.К. Боголюбов, Е.В. Бондаревская, В.И. Гладких, A.C. Границкая, В.В. Давыдов, Л.В. Занков, A.A. Кирсанов, В.В. Краевский, И.Я. Лернер, А.Н. Леонтьев, О.Б. Лошнова, В.Я. Ляудис, H.A. Менчинская, В.М. Монахов, П.И. Пидкасистый, Л.Н. Рожинова, Г.К. Селевко, В.В. Сериков, М.Н. Скаткин, Т.И. Степанова и др.).

Необходимой составляющей научного фундамента современных контрольно-оценочных систем являются исследования по компьютеризации оценочных процессов, проведенные Н.В. Апатовой, М.Ф. Королевым, В.Н. Крюковым, П.Д. Лебедевым, В.И. Нардюжевым, В.В. Петрусинским, Л.М. Поддубной, А.О. Сер-геевым, А.Н. Тихоновым, А.О. Татуром, А.Г. Шмелевым и др. Несомненно, важен контекст оценивания, связанный с мониторингом качества образования, представленный в трудах H.H. Булынского, Н.Ф. Ефремовой, В. А. Кальней, Г.С. Ковалевой, Э.Л. Красновского, A.A. Макарова, E.H. Михайловой, H.A. Селезневой, А.И. Субетто, С. Е Шишова и др. Особенности развития оценочных систем, характерные для ряда регионов России, нашли свое частичное отражение в трудах ученых по проблемам национальных школ (В.Ф. Афанасьев, У.А. Винокурова, Г.Н. Волков, A.A. Григорьева, Д.А. Данилов, П.П. Кондратьев, А.Г. Корнилова, A.B. Мордовская, Н.Д. Неустроев, Е.П. Жирков, А.Д. Семенова).

Однако необходимо отметить, что на фоне значительных практических успехов модернизация оценочной системы республики на сегодняшний день носит эклектический характер в силу отсутствия концептуально-методологической базы, определяющей научные подходы к развитию оценочных систем. В связи с этим была выбрана тематика данного исследования «Система оценки качества образования и ее построение в регионах с территориальными и национальными особенностями (на материалах системы полного среднего образования в Республике Саха Якутия)» и определена ведущая исследовательская проблема, которая состоит в том, чтобы разработать адекватные современной теории, практике образования и региональной специфике концептуально-методологические и методические подходы к построению системы оценки качества образования, функционирующей в условиях высокой надежности, валидности, двухуровневости (сочетания количественных и качественных данных о качестве образования), динамичности, сопоставимости и прогностичности информации о качестве результатов образования. В соответствии с исследовательской проблемой была поставлена цель исследования, выбраны его объект и предмет.

Объект исследования — региональная оценочная система, включающая компоненты различного предназначения и уровня управления и создающая информационную среду образовательной системы для реализации ее функций.

Анализ, проведенный в процессе работы над диссертацией применительно к ее предмету, по изучению трудов ученых в сфере фундаментальных исследований, показал, что в отечественной педагогической науке недостаточно представлены возможности методологии педагогических измерений, не исследован ряд ее положений, способствующих научной организации оценивания в образовании. Остались неразработанными теоретические основы построения эффективных оценочных процессов в образовании, не определены научные требования к качеству компонентов оценочных систем и к качеству обеспечиваемой ими информации. Не решены проблемы, связанные с определением места и роли эвалюации в современной концептуальной модели оценочной системы на различных уровнях управления. Недостаточно полны классификационные схемы видов измерителей. Существуют значительные пробелы в понятийном аппарате той области педагогической науки, которая связана с построением и развитием оценочных систем.

Гипотеза исследования. В основе исследования лежит предположение о том, что эффективность функционирования региональной оценочной системы увеличится, если теоретико-методологические и методические основы ее построения будут: обеспечивать высокую информативность результатов оценочных процессов, что предполагает выполнение требований высокой надежности, валидности, двухуровневости, динамичности, сопоставимости и прогностичности информации о качестве образования;

- учитывать возможность совмещения педагогических измерений с традиционными оценочными процессами в пропорциях, необходимых для успешной реализации функций по управлению качеством образования; отражать общую направленность современного обучения на компетентностную трактовку качества результатов образования;

- опираться на операционализируемую совокупность показателей качества результатов обучения;

Поставленная цель и сформулированная гипотеза реализуются в ходе решения следующих задач исследования:

- развитие методологических основ научной организации региональных систем оценки качества образования на основе бипарадигмальной методологии измерений, классической и современной теории тестов, теории генерализации и эвалюации в контексте современных подходов к обеспечению высокой эффективности оценивания для принятия обоснованных решений в управлении качеством образования;

- разработка концептуальных основ региональных систем оценки качества образования, предполагающих ориентацию на приоритет инновационных технологий обучения; инновационных видов измерителей, методов самоконтроля, самокоррекции и самооценки результатов учебной деятельности обучающихся; формирование совокупностей показателей качества процесса и результатов обучения, адекватных задачам функционирования региональных систем оценки качества образования;

Методологической основой исследования послужили:

- системный подход, позволяющий осуществлять анализ качества обучения, рассматривая его как совокупность свойств образовательной системы, образовательного процесса и результатов обучения; бипарадигмальная методология эвалюации в образовании, закладывающая научный базис теоретических подходов к интеграции количественных и качественных данных о качестве образования;

Теоретическую базу исследования составляют:

- теория педагогических измерений (Алгина Дж., Анастази А., Крокер Л., Н.Ф.Ефремова, В.И.Звонников, А.С.Масленников, Е.А.Михайлычев, В.Г.Наводнов, Ю.М.Нейман, М.Б.Челышкова, Berk R.A. Birnbaum А., Campbell R.N., Hambleton R., Keeves J. P., Lord F., Rasch G., Swaminathan H., Thorndike E.L., Thurstone L.L., Weiss D.J.);

- педагогические концепции построения оценочных систем в образовании (Т.Э. Аврукина, В.П. Беспалько, Д.Н. Богоявленский, И. П. Волков, В.И. Гинецинский, В.В. Давыдов, И.Я. Лернер, В.М. Полонский, М.Н. Скаткин, Н.Ф. Та-лызина, И. С. Якиманская, Е. А. Ямбург);

Исследование осуществлялось на протяжении трех этапов:

2 этап (2005 - 2008 гг.) - аналитико-синтетический, который был нацелен на обобщение практического опыта, разработку концептуальной и методологической части результатов исследования, проведение развернутого статистического анализа данных ЕГЭ по тематике исследования в контексте проблемы и смежных республиканских проектов в Якутии по мониторингу результатов ЕГЭ с привлечением соисполнителей для обработки данных из числа сотрудников Якутского государственного университета, Института повышения квалификации работников образования, сотрудников Регионального центра обработки информации и Республиканского центра аттестации и контроля качества образования. Под руководством автора диссертации в отделе контроля качества образования Государственной службы по контролю и надзору в сфере образования и науки при Президенте Республики Саха (Якутия) велась разработка анкет и проводилось широкомасштабное анкетирование школьников Республики Саха (Якутия). Автором исследования анализировались и обобщались статистические данные для подтверждения правдоподобности гипотезы исследования. По результатам второго этапа были подготовлены две монографии, опубликованы статьи, проведена апробация результатов исследования на конференциях, симпозиумах и совещаниях, а также при проведении занятий в системе повышения квалификации работников образования.

Экспериментальная база исследования включала представительную выборку образовательных учреждений системы общего образования Республики Саха (Якутия). В частности, в эксперимент вошли школы Абыйского улуса (Белогорская средняя школа), г. Алдана (средние школы №1 и №2), Аллаиховского улуса (Чокурдахская средняя школа), Верхнеколымского улуса (Зырянская средняя школа, Нелемнинская средняя школа), Вилюйского улуса (Вилюйская сменная очно-заочная школа), Горного улуса (Бердигестяхская школа № 2, Дикимдинская средняя школа), г. Ленска (средняя школа № 1, 1 Нерюктяйинская школа), Мегино-Кангаласского улуса (Нижнебестяхская средняя школа № 1), г. Мирного (средняя школа № 3), г. Нерюнгри (средняя школа №1, муниципальная гимназия № 2), Намского улуса (Намекая средняя школа № 2), Нюрбинского улуса (Нюрбинская средняя школа № 2), Сунтарского улуса (Сунтарский лицей), Таттинского улуса (Ытык-Кюельская средняя школа № 1), Усть-Алданского улуса (Мюрюнская средняя школа № 2), Чурапчинского улуса (Диринская агрошкола), Эвено-Бытантайского улуса (Саккырырская средняя школа), г. Якутска (средние школы №2, № 5, № 7, № 26, Тулагинская, Хатасская). Всего в эксперименте участвовали 503 учащихся, 76 учителей.

Научная новизна исследования заключается в том, что:

- разработаны концептуальные основы региональных систем оценки качества образования, которые представлены в соответствии с классифицированными в диссертации разноуровневыми моделями оценочных систем. Построена типологическая схема моделей региональных оценочных систем, в соответствии с которой предложены различные модели для ее функционирования;

- разработаны фундаментальные методологические положения теории научной организации оценочных систем, включающие, в том числе, новые принципы и функции, ориентированные на задачи эвалюации и мета-эвалюации, и гарантирующие качество результатов оценочных процессов на основе бипарадигмальной методологии измерений; получены результаты сравнительного анализа методологических подходов к осуществлению педагогических измерений (классическая теория, современная параметрическая теория ЖТ и непараметрическая теория ТЯТ), на основе которого разработаны рекомендации по выбору доминирующей методологии измерений в региональной системе оценки качества образования. Сформулированы условия применимости параметрических и непараметрических моделей 1ЫТ в региональной системе оценки качества образования;

- предложены научные подходы к обеспечению высокой объективности и обоснованности оценок качества результатов обучения в региональной оценочной системе, базирующиеся на теории валидности и надежности в рамках классической и современной теории тестов. Разработаны дидактические и технологические требования к качеству педагогических измерений, рассматриваемых как основополагающий подход к оцениванию в региональных системах оценки качества образования, необходимый для формирования полного информационного базиса образовательной системы; предложена совокупность измеряемых (на качественном или количественном уровнях) показателей качества образования в регионе, необходимая для выработки управляющих воздействий на стадии проектирования и функционирования региональных оценочных систем;

- разработаны научные требования к осуществлению комплексного системного подхода в эвалюации, рассматриваемой как основная научно обоснованная составляющая процесса оценивания в образовании и обязательный функциональный компонент современных региональных оценочных систем. Среди предложенных требований важнейшим является требование обязательного сочетания целевой парадигмы и динамического подхода к трактовке качества образования;

Теоретическая значимость исследования обеспечивается решением ряда инновационных теоретических задач общенаучного и специального характера.

В частности, в результате исследования:

- разработаны требования к осуществлению комплексного системного подхода в эвалюации, классифицированы ее виды, предложены модели, введено требование сочетания целевой парадигмы и динамического подхода к трактовке качества образования;

- проведена систематизация и дополнение понятийного аппарата педагогической теории и ее методологических основ;

- выделены и структурированы совокупности показателей качества результатов обучения для региональной системы оценки качества образования; предложены теоретические подходы к снижению действия дискриминирующих факторов в условиях регионов с территориальной или национальной спецификой при использовании оценок для сравнительных исследований в управлении качеством обучения и принятия административных решений в образовании;

Практическая значимость исследования достигается за счет значительных методических наработок, апробированных на представительной выборке выпускников школ республики (методика линейного иерархического моделирования, методика дисперсионного анализа ANO VA, методика оценки систематических ошибок измерения для обеспечения справедливости оценок учебных достижений обучающихся, методика шкалирования результатов оценивания в условиях компетентностного подхода к трактовке качества учебных достижений, обеспечивающая сопоставимость результатов учащихся по годам и внутри одного года).

Достоверность и обоснованность новых научных результатов исследования обеспечивалась путем использования современных источников информации в области педагогики, теории педагогических измерений, теории управления образовательными системами, теории генерализации, теории надежности и валидности, бипарадигмальной методологии эвалюации и методологии IRT, получивших признание научной общественности. Достижению должного общенаучного уровня диссертационного исследования и обоснованности его результатов способствовало использование системного подхода, соблюдение логики общенаучного подхода с опорой на методологию педагогической науки.

Апробация и внедрение результатов исследования. Основные положения диссертационного исследования отражены в публикациях автора в виде статей в журналах, входящих в перечень изданий, рекомендуемых ВАК МО и H РФ. Основные идеи диссертации докладывались и были представлены в форме обсуждения на научных конференциях и семинарах разного уровня, в том числе: на международных конферет^ях: «Republic of Sakha and International Education: Development prospects» (Якутск, 2000 г.), «Республика Саха и международное образовательное пространство: перспективы развития» (Якутск, 2001 г.), «Оценка образовательных достижений в рамках национальных экзаменов» (Москва, 2004 г.), «Национальные экзамены в системе оценки качества образования» (Москва, 2005 г.), «Этнос. Образование. Личность» (Якутск, 2005, 2007 г.г.); на Всероссийских конференциях, совещаниях и семинарах: III Всероссийская научно-практическая конференция «Управление качеством» (Москва, 2004 г.), XIV Всероссийское совещание «Проблемы качества образования» (Москва, 2004 г.), IV Всероссийская научно-практическая конференция «Управление качеством» (Москва, 2005 г.), II Межрегиональный семинар «Построение общероссийской системы оценки качества образования» (Москва, 2005 г.), Межрегиональная научно-практическая конференция «Организация и задачи эксперимента по введению единого государственного экзамена» (Санкт-Петербург, 2004 г.), Межрегиональная научно-практическая конференция «Мониторинг качества образования: опыт, модели и проблемы» (Санкт-Петербург, 2005 г.), Межрегиональное совещание «Проблемы разработки общероссийской системы оценки качества образования» (Москва, 2006), Всероссийская научно-практическая конференция «Управление инновациями в образовании» (Санкт-Петербург, 2006 г.), V Всероссийская научно-практическая конференция (Сочи, 2001 г.), VIII Всероссийская научно-методическая конференция Федерального центра тестирования «Развитие тестовых технологий в России» (Москва, 2006 г.), IX Всероссийская научно-методическая конференция Федерального центра тестирования «Развитие тестовых технологий в России» (Москва, 2007 г.), Межрегиональный семинар «Создание и апробация организационных систем оценки качества общего и профессионального образования на региональном уровне» (Москва, 2007 г.); Всероссийская научно-практическая конференция (Сочи, 2009 г.); на региональных конференциях: научно-практическая конференция «Качество высшего образования» (Якутск, 1999 г.), научно-практическая конференция «Информационные технологии в науке, образовании и экономике» (Якутск, 2001 г.), научно-практическая конференция «Новые технологии в образовании. Тестирование и аттестация качества образования» (Вилюйск, 2002 г.), научно-практическая конференция «Единый государственный экзамен, его роль в системе оценки качества образования» (Якутск, 2002 г.), научно-практическая конференция «Физика и окружающий мир» (Якутск, 2005 г.), региональная межвузовская конференция «Организационно-методические аспекты управления качеством образовательного процесса в вузе» (Якутск, 2007 г.).

Основные положения, выносимые на защиту:

3. Построение эффективной контрольно-оценочной системы и научных подходов к ее функционированию на различных уровнях управления должно опираться на сочетание целевой и динамической трактовок качества результатов образования при условии преимущественной ориентации на последнюю в силу того, что она позволяет осуществить модернизацию контрольно-оценочных систем в направлении повышения объективности и I обоснованности результатов оценивания, является наиболее адекватной компетентностной трактовке качества результатов образования и обеспечивает полный информационный базис оценочных систем, необходимый для их эффективного функционирования.

4. Методологический базис теории педагогических измерений должен быть пополнен теорией валидизации, актуальность которой резко возрастает в связи с введением компетентностно-ориентированного подхода к трактовке качества результатов образования. Оценка качества результатов образования в рамках компетентностного подхода требует анализа содержательной, конструктной и прогностической валидности. При функционировании оценочных систем в регионах с высокой территориальной разобщенностью, национальными школами или другими особенностями необходима оценка антидискриминантной валидности отдельных заданий и измерителя.

6. Концепция региональной системы оценки качества образования основывается на приоритете педагогических измерений, инновационных технологий обучения, операционализируемых показателей качества обучения, инновационных видов измерителей, методов самоконтроля, самокоррекции и самооценки результатов учебной деятельности. Такой концептуальный подход должен носить комплексный характер и строиться на сочетании динамического (включение временного фактора в обработку и интерпретацию результатов измерения), сравнительного (сопоставление результатов измерения по отдельным показателям качества), дифференцирующего (соотнесение баллов учащихся со среднестатистическими нормами и последующая качественная интерпретация для установления причин смещения личностных показателей относительно статистических норм) и прогностического (выявление тенденций в изменении качества образования) анализа на различных уровнях управления качеством образования.

7. Для эффективного функционирования систем оценки качества образования необходимо формирование полного информационного базиса, обеспечиваемого выполнением требований высокой надежности результатов оценивания, высокой валидности (содержательной, конструктной, прогностической, антидискриминантной (для отдельных регионов)) результатов оценивания, аутентичности методов и средств оценивания в соответствии с доминирующей парадигмой качества результатов обучения. Формирование полного информационного базиса основано на применении аппарата теории педагогических измерений, используемого для обоснования качества оценок, минимизации ошибок измерения и перехода в количественную шкалу типа интервальной на базе вероятностных моделей современной теории тестов (Item Response Theory). Для оценки уровня объективности результатов оценочных процессов в региональной системе оценки качества образования необходимо применение теории генерализации и учет ряда смещающих факторов, ориентированных на специфику региона.

В регионах с высокой территориальной разобщенностью учебных заведений необходимо обращение к адаптивному тестированию, обеспечивающему высокую эффективность, высокий уровень секретности, индивидуализацию темпа выполнения оценочных процедур, повышение уровня мотивации к оценочным процедурам у учащихся, высокую сопоставимость результатов оценивания, исключение неоправданных временных, организационных и финансовых затрат, возникающих при традиционном оценивании. В регионах с национальными школами должны обеспечиваться специальные требования, направленные на выполнение принципа справедливости оценочных процедур и связанные с минимизацией негативного влияния систематических ошибок и повышением валидности измерителей.

Структура диссертации. Диссертация состоит из введения, четырех глав, выводов, заключения, списка литературы из 334 наименований и 5 приложений, содержащих результаты обработки данных ЕГЭ 2009 г. по компьютерным программам (SPSS, ANOVA, ConQuest и HLM).

Заключение диссертации научная статья по теме "Общая педагогика, история педагогики и образования"

Выводы по четвертой главе.

Анализ процесса функционирования системы оценки качества образования в Якутии показал важность учета особенностей региональных образовательных систем. Соотношение городского и сельского населения, уровень развития инновационных образовательных программ, многонациональная и полиэтническая среда, территориальная разобщенность ряда населенных пунктов, наличие национальных школ в условиях функционирования нескольких государственных языков в Республике Саха (Якутия) обусловливают характерные особенности проведения оценочных процедур, проявляющиеся в необходимости разработки специального научно-методического обеспечения, привлечении определенного аппарата педагогических измерений для обеспечения сравнимости результатов оценочных процессов в условиях справедливости и обеспечения равныхправ на продолжение образования.

Образовательный процесс в Якутии реализуется в образовательных учреждениях разного типа и вида, расположенных в отличающихся социальных и географических условиях, оказывающих значительное влияние на условия образовательного процесса. Практический опыт организации контрольно! оценочной деятельности на примере Республики показал необходимость объединения усилий ряда структур для координации контрольно-оценочных действий с помощью Службы, обеспечивающей независимое оценивание качества образования.

В исследовании было рассмотрено и систематизировано содержание контрольно-оценочной деятельности на разных уровнях системы образования Республики Саха (Якутия) и в соответствии с этой систематизацией построена модель региональной системы оценки качества образования, которая предусматривает развитие ресурсного кадрового, материального, финансового, информационного, нормативно-правового, методического обеспечения. На основе данной модели можно обеспечить разработку конкретных алгоритмов оценки различных педагогических процессов, педагогической деятельности, учебных достижений. Эффективность оценивания качества образования зависит от целей, ограничения направлений и содержания контроля, структурированности и операциональное™, определения алгоритма контрольно-оценочных действий. В соответствии с моделью предположена структура и содержание оценочной деятельности на разных уровнях системы образования Республики Саха (Якутия). Показана преемственность использования имеющегося кадрового и структурного потенциала системы контроля при системном внедрении нового содержания оценочной деятельности на основе использования современных технологий педагогических измерений.

Представление модели и практическое создание региональной системы оценки качества образования в республике с учетом региональных особенностей призвано дать возможность осуществления реальных работы по организации системы контроля и оценки, обеспечивающей повышение объективности оценки учебных достижений учащихся; получение всесторонней, полной и достоверной информации о состоянии системы регионального образования; создание системы многоуровневого мониторинга качества образования в регионе; соответствие образовательных программ и образовательных технологий требованиям образовательных стандартов и норм; проведение процедур независимой оценки учебных достижений, в том числе единого государственного экзамена; прогнозирование развития региональной системы образования.

ЗАКЛЮЧЕНИЕ

Возросшие масштабы тестирования в нашей стране, введение независимой системы аттестации выпускников образовательных учреждений и единого государственного экзамена, создание общероссийской системы оценки качества образования, обновление приоритетов в трактовке качества образования актуализировали исследования теоретико-методологических основ, необходимых для эффективного функционирования региональных систем оценки качества образования, развитие которых в регионах с территориальными, национальными или социокультурными особенностями должно опираться на специальные методики измерений в образовании.

Анализ спектра научных работ в сфере оценивания качества учебных достижений и функционирования оценочных систем показал отсутствие исследований по ряду важнейших теоретико-методологических направлений, спорность отдельных подходов теоретиков, наличие спектра противоречивых результатов практиков. В основу диссертационного исследования было положено предположение о том, что совершенствование контрольно-оценочной ' системы в регионе на основе методов и средств педагогических измерений способствует повышению эффективности и обоснованности решений, принимаемых по совершенствованию качества образования. В связи с этим в круг рассматриваемых в исследовании проблем вошла совокупность теоретических и методологических вопросов, инновационные пути решения которых, представленные в диссертации, предопределяют новизну полученных результатов и способствуют росту потенциала региональных оценочных систем при управленческих воздействиях в целях повышения качества образования.

Специфической чертой диссертационного исследования являлась его междисциплинарность, поэтому область полученных результатов базируется на отдельных положениях педагогики, теории и методологии педагогических измерений, теории управления образовательными системами, достижения которых в прикладных аспектах объединяются с методами математического моделирования, статистики, теории вероятности и прилагаются к практике построения систем оценки качества образования в регионах с территориальными, национальными или социокультурными особенностями, рассматриваемыми на примере Республики Саха (Якутия).

Среди приоритетных педагогических доктрин, направлявших данное исследование, можно выделить традиционные положения дидактики о контрольно-оценочных процессах в образовании, компетентностный подход к трактовке качества результатов образования, теорию личностно-ориентированного развивающего обучения, психолого-педагогические концепции индивидуализации обучения и контроля. Фундаментальная теоретическая часть результатов, связанная с проблемами измерений, преимущественно ориентирована на современную методологию педагогических измерений, а прикладные теоретические аспекты результатов лежат в сфере эвалюации. Совокупность методик ориентирована на практику массового тестирования в региональной системе оценки качества образования. Две из представленных методик предназначаются для систем оценки качества образования в регионах с территориальными, национальными или социокультурными особенностями.

Представленный в первой главе диссертации анализ проблемной ситуации в сфере создания систем оценки качества образования в регионах России позволил выделить неисследованные области и сформулировать ряд обобщающих положений, намечающих актуальные направления развития оценочных систем. Исторический анализ состояния систем оценки качества результатов обучения в отечественном образовании второй половины XX -начала XXI века привел к выделению нескольких этапов развития оценочных систем, рассматриваемых в контексте ведущих парадигм трактовки качества образования. На основе сравнительного анализа становления и развития оценочных систем в России в диссертации удалось обобщить результаты прикладных научных исследований, выявить позитивные тенденции с позиций перспективных направлений для совершенствования систем оценки качества образования. Для обеспечения единого терминологического базиса в процессе исследования были введены необходимые основополагающие термины, которым было придано инновационное толкование, адекватное современным потребностям системы образования. Главный итог, который можно вынести из краткого исторического и сравнительного анализа в первой главе диссертационного исследования, это вывод о необходимости создания единых , концептуально-методологических основ, определяющих научный базис оценочных процессов на различных уровнях управления качеством образования и опирающихся на теорию педагогических измерений.

При рассмотрении систем оценки качества образования в регионах, обладающих территориальной, национальной или социокультурной спецификой, необходим учет специфических факторов для сохранения социальных приоритетов политики нашего государства, целевой ориентации системы образования на обеспечение гарантий прав граждан на получение качественного образования. В связи с этим был выделен спектр научных I методических и технологических проблем, требующих применения специальных методик оценивания для исключения влияния дискриминирующих факторов на принятие административно-управленческих решений на основе анализа данных о качестве образования.

Концептуальные модели оценочных систем для регионального уровня управления образованием построены в рамках определенной типологии, охватывающей все аспекты их функционирования и развития. Комплексность подходов к обеспечению качества информации в системе оценки качества образования предопределяет необходимость обращения к эвалюации, I методологические основы которой предполагают достижение высокой надежности и валидности оценок. Согласно подходу, принятому в исследовании, выделяются три главных направления деятельности, на которых должна быть сосредоточена эвалюация в региональной системе образования.

Для классификации видов эвалюации предлагается ряд моделей с четко очерченным дизайном и иерархией показателей функционирования. Сравнительный анализ возможностей различных моделей позволяет сделать

1 вывод о преимуществе модели «вход-процесс-выход», позволяющей в сочетании с количественными оценками показателей результатов обучения и качественным анализом результатов образования с учетом фактора времени получать комплексные оценки качества образования на основе дисперсионного, ковариационного, факторного анализа и линейного иерархического моделирования. Основой научных подходов к организации эвалюации является методология мета-эвалюации. В сочетании с расширенной трактовкой термина «оценивание», предлагаемого в диссертации, эвалюацию можно считать системообразующим звеном региональной системы оценки качества образования.

В основе эвалюации лежит представление о качестве образования, которое в русле многолетних исследований ученых и меняющихся приоритетов общества не допускает однозначную трактовку. Анализ трактовок качества результатов образования показал перспективность сочетания целевого и динамического подходов, поскольку только в этом случае создаются необходимые условия для модернизации контрольно-оценочных систем в направлении, наиболее адекватном задачам оценивания компетенций, обеспечивается повышение объективности и обоснованности результатов оценивания и формируется полный информационный базис оценочных систем.

Перечень целей региональной системы оценки качества образования ранжирован в диссертации в соответствии с различными уровнями управления образовательной системы и предопределяет ее инновационный характер. Анализ традиционных функций оценочной системы на всех уровнях управления, представленный в данном исследовании, ведется с позиций инновационной трактовки термина «оценивание» и эвалюации. В частности, новые оттенки приобретает выполнение диагностической, корректирующей, обучающей, собственно оценочной, мотивирующей и развивающей функций, реализуемых на внутришкольном уровне управления качеством образования. Информационная, сравнительная и прогностическая функции отнесены в исследовании к числу тех, чье появление в начале XXI века было предопределено развитием систем менеджмента качества образования и усилением роли систем оценки качества в соответствии с требованиями Болонской конвенции. Причины неполной реализации этих функций в отечественном' образовании связаны, в основном, с отсутствием теории измерений в отечественной педагогической науке. При реализации сравнительной функции особое значение следует придать анализу связей между показателями качества результатов образования и учетом их взаимного влияния для получения полного информационного базиса при функционировании систем оценки качества образования. В соответствии с инновациями, для эффективной реализации функций оценочной системы акцент следует делать на самооценивании в режиме самоадаптации учащихся, когнитивное развитие обучающихся в процессе контроля, дифференциацию, индивидуализацию и повышение мотивации к обучению.

Реализация собственно оценочной функции при аттестации рассматривается в диссертации в контексте двух методологических подходов к интерпретации оценок, один из которых направлен на дифференциацию обучающихся в соответствии с полученными баллами вдоль оси переменной измерения (нормативно-ориентированный подход), а другой - на выявление степени освоения требований государственных образовательных стандартов (критериально-ориентированный подход). Вторая интерпретация наиболее приемлема при обращении к компетентностному подходу к трактовке качества результатов образования.

В процессе анализа результатов деятельности образовательной системы рекомендуется выделять внутреннюю и внешнюю группу факторов, оказывающих влияние на эффективность выполнения оценочных функций. В частности, вторая группа факторов влияния при проведении межшкольных, межрайонных и других сравнений приобретает особое значение в регионах с высокой территориальной разобщенностью школ, расположением школ в труднодоступных районах, наличием национальных школ или других социокультурных особенностей. При рассмотрении условий реализации функций региональной оценочной системы в исследовании особое значение придается независимой оценке качества образования, осуществляемой представителями государственных структур, независимых центров и агентств, в том числе негосударственных, общественных и профессиональных структур.

Научная организация деятельности региональной системы оценки качества обеспечивается совокупностью принципов, регламентирующих оценочные процессы в условиях высокой надежности и валидности результатов 1 оценивания, сочетания количественных и качественных оценок и формирования полного информационного базиса образовательной системы. Для повышения эффективности функционирования систем оценки качества образования необходимо выполнение ряда требований, разработанных в диссертации, на основании которых производится поиск решения по выбору наилучшего сочетания видов оценочных средств, процедур их использования и методов анализа и интерпретации результатов их применения. В число требований предлагается включить высокую информативность результатов оценивания, высокую валидность (содержательную, конструктную, I прогностическую и др.) результатов оценивания, аутентичность методов и средств оценивания доминирующей парадигме качества результатов обучения. Эффективная реализация принципа объективности связывается с применением аппарата теории педагогических измерений, используемого для обоснования качества оценок, минимизации систематических ошибок измерения и перехода в количественную шкалу типа интервальной. Для регионов с территориальными и национальными особенностями в системе образования необходима оценка влияния систематических ошибок на данные о качестве образования.

Эвалюация и мета-эвалюация требуют введения новых принципов, гарантирующих качество результатов оценочных процессов. К этим принципам следует отнести приоритетность операционализируемых показателей качества образования, достижение высокой аутентичности оценочных процессов и средств, высокая сопоставимость данных эвалюации внутри допустимых групп сравнения, необходимость учета специфичности объектов эвалюации при выборе ее модели, необходимость проведения контекстного анализа при интерпретация результатов эвалюации, принцип минимакса и контроля дисперсии.

Сравнительный анализ компетентностного подхода к трактовке качества результатов образования показал, что требования к качеству образования и само его понимание находятся под воздействием эволюционных процессов. Становление и развитие нравственной личности обучающегося в процессе усвоения знаний, умений и навыков является непреходящей ценностью при оценке качества результатов образования. Для компетентностно-ориентированной системы оценки качества школьного образования предлагается четырехуровневая схема, в которую включены ключевые, общепредметные, инструментальные и предметные компетенции, а также совокупность из 10 ключевых компетенций, задающих требования к качеству подготовки выпускников системы полного среднего образования.

Методологические основы оценивания компетенций задаются классической и современной теорией тестов. На современном этапе развития измерений в образовании методологический базис должен быть пополнен теорией валидизации измерителей, актуальность которой резко возрастает в связи с введением компетентностно-ориентированного подхода к трактовке качества результатов образования. В соответствии с полученными результатами исследования в рамках компетентностного подхода следует обращаться к модели Андриха современной теории тестов, возможности которой наиболее адекватны бипарадигмальной методологии и характеристикам измерителей при компетентностном подходе к трактовке качества результатов образования.

Применительно к особенностям регионов с высокой территориальной разобщенностью учебных заведений необходимо обращение к теории адаптивного тестирования, предоставляющей уникальные возможности с позиций индивидуализации и экономической эффективности организации оценочных процедур в дистанционном режиме. К числу важных преимуществ адаптивного тестирования при его использовании в региональной системе оценки качества образования в дистанционном режиме следует отнести высокую эффективность, высокий уровень секретности, индивидуализацию темпа выполнения оценочных процедур, повышение уровня мотивации к оценочным процедурам у наиболее слабых учащихся за счет исключения при предъявлении излишне трудных заданий, высокую сопоставимость результатов оценивания в адаптивном тестировании, исключение неоправданных временных, организационных и финансовых затрат, возникающих при традиционном тестировании.

Анализ методологических проблем обоснования надежности, валидности, аутентичности и генерализуемости результатов оценочных процессов позволил сформулировать совокупность требований к инструментарию для оценивания и самим оценочным процедурам в региональной системе оценки качества образования. При валидизации результатов измерении необходимо учитывать роль контекста, включающего ценностный фон и социальную окраску интерпретации результатов тестирования. Поэтому нельзя ограничиваться только анализом конструктной валидности, необходима валидизация результатов измерения применительно к условиям использования оценочных средств. Многоаспектность оценок конструктной валидности, отмеченная в результатах исследования, заставила при разработке методики обратиться к различным источникам накопления информации, способствующей валидизации конструкта. В частности, для анализа конструктной валидности предлагается рассматривать корреляцию между результатами по новым и уже существующим, признанным тестам, применять экспертный анализ содержания тестов, использовать факторный анализ, анализировать внутреннюю согласованность теста методами корреляционного анализа и т.д.

Получены выводы о факторах, влияющих на надежность измерений, рассмотрены проблемы связи надежности и валидности результатов педагогических измерений, которые в диссертации получают новую трактовку, поскольку традиционные пути повышения надежности результатов измерений оказываются неприемлемыми в рамках компетентностного подхода. Для обеспечения высокой надежности результатов современные оценочные системы, ориентированные на выявление уровня сформированности компетенций, должны включать измерители различных видов для одной и той же компетенции, а сам процесс оценивания должен проводиться в несколько этапов. Аутентичность оценок обеспечивается использованием ситуационных и контекстуализированных комплексных заданий, значимых и интересных для учащихся.

В связи с определенной ограниченностью теории надежности в рамках , классической теории тестов, необходим комплексный анализ влияния ошибок на надежность измерителей и оценочных процедур, основанный на теории генерализации. Ее роль в региональной системе оценки качества образования в наши дни резко возрастает в связи введением менеджмента в сферу образования на основе оптимизации управленческих процессов и теории принятия оперативных и стратегических управленческих решений. Данные измерения являются научной основой для распознавания, анализа, функционирования, развития, прогнозирования и совершенствования систем управления качеством образования в условиях построения определенной иерархии и взаимосвязи информационных потоков и создания полной системы показателей качества образования, поддающейся операционализации в целях измерения.

Развернутый анализ видов измерителей, аутентичных современным взглядам на компетентностную трактовку качества результатов образования, позволил отнести к числу важнейших видов современного инструментария педагогических измерений тесты для проверки общепредметных и практических умений. Освоение умений по установлению межпредметных связей достигается путем обучения учащегося обобщенным способам ' познавательной деятельности, позволяющим решать новые задачи с опорой на известные ориентиры. Включение учащегося в процесс формирования и применения системных обобщенных знаний сопряжено с выявлением структурной организации тех аспектов предметного содержания, которые отражают и воплощают в себе общие закономерности, идеи, принципы. В результате межпредметного синтеза возникает новое обобщенное понятие, представление, которое опирается на дедуктивные способы сравнения, абстрагирования, обобщения. По результатам анализа в диссертации строится классификационная схема измерителей, ориентированных на преимущественную проверку продуктивного уровня усвоения, интеллектуальных умений и приоритетов когнитивного обучения.

Теоретические результаты первых двух глав диссертации закладывают концептуальный базис современной системы оценки качества образования, строящейся на возможностях педагогических измерений в сочетании с традиционными формами и методами контроля и ориентированной на приоритет инновационных технологий обучения, операционализируемых показателей качества обучения, инновационных видов измерителей, методов самоконтроля, самокоррекции и самооценки результатов учебной деятельности.

В третьей главе основное внимание сосредоточено на разработке методического обеспечения региональной системы оценки качества образования. Россия является многонациональной, поликультурной страной, поэтому может существовать совокупность факторов, дискриминирующих права отдельных категорий выпускников школ на равенство условий при массовых оценочных процедурах, имеющих сравнительный характер, например на ЕГЭ. В связи с этим в системах оценки качества образования регионов со значительной неоднородностью по условиям обучения в силу существования отличий в условиях функционирования школ особо значение приобретают методы оценивания систематических ошибок измерения.

Краткий исторический обзор развития методов оценивания систематических ошибок заданий, трактуемых как эффект дифференцированного функционирования, показал, что различные оценочные подходы основываются на сравнении результатов двух групп испытуемых, сформированных по какому-либо признаку (пол, национальность и проч.). Для характеристики меры ошибки, которую вносит задание, смещая наблюдаемые оценки испытуемых по отношению к их истинным баллам, в данном диссертационном исследовании предлагается ввести в рассмотрение антидискриминационную валидность. Под ней понимается способность задания измерять заявленный конструкт вне зависимости от действия различного рода факторов, не связанных с конструктом. Оценку антидискриминационной валидности предлагается ввести как величину, которая должна быть обратно пропорциональна систематической ошибке задания, полученной для испытуемых центральной группы. Величину антидискриминационной валидности следует связать с площадью фигуры, заключенной между характеристическими кривыми задания, построенными для двух групп испытуемых по одной из моделей теории IRT, сравнительный анализ которых приводит к выводу о преимуществе однопараметрической модели Раша.

Применение аппарата теории IRT для оценивания коэффициента антидискриминационной валидности на результатах выпускников Якутии по ЕГЭ 2009 года показало действенность предложенной методики. Были выявлены задания КИМ ЕГЭ, которые подлежат удалению из теста, поскольку они не имеют отношения к измеряемой переменной и дают несправедливое преимущество одним группам испытуемых по отношению к другим при использовании тестов в региональной системе оценки качества образования в случае существования национальных и территориальных особенностей.

Другая методика, представленная применительно к специфике оценочной системы региона с национальными и территориальными особенностями, основана на аппарате линейного иерархического анализа. Исторический анализ развития моделей линейного иерархического анализа (HLM) позволил выделить три основные цели его проведения, которые были рассмотрены применительно к региональной системе оценки качества образования. При проведении линейного иерархического анализа и построении уравнений предсказания необходимо на каждом иерархическом уровне проанализировать модель для выявления влияния факторов данного уровня на вид уравнения регрессии. , Для демонстрации методики использования HLM в диссертации поставлена задача выявить влияние различных факторов с иерархической структурой на качество учебных достижений выпускников школ Республики Саха (Якутия), оценки которых были получены в ЕГЭ - 2009. Применение аппарата HLM требует предварительной работы по анализу демографических, школьных и ученических факторов, которые следует включать в исследование. Дисперсионный анализ ANOVA показал различные результаты оценки статистической значимости при проверке гипотезы о наличии влияния факторов на результаты ЕГЭ. Результаты дисперсионного анализа ANOVA, , проведенного для выборок выпускников школ Якутии, сформированных по признаку принадлежности к национальной или русскоязычной школе, не показали значимых различий ни по математике, ни по русскому языку. Второй фактор, связанный с национальностью учительского состава в школе, по которому проводился дисперсионный анализ, показывает значимые различия в результатах ЕГЭ и в математике, и в русском языке.

В диссертации приводятся шаги построения модели HLM, результаты применения которой показали, что уровень полного среднего образования выпускников школ Якутии в целом соответствует общероссийскому уровню. ) Получены выводы о влиянии школьных факторов на качество подготовки выпускников школ Якутии, которое является более однородным по математике, чем по русскому языку.

Третье направление разработки методического обеспечения региональной системы оценки качества образования, представленное в главе, было связано со шкалированием данных педагогических измерений с целью повышения их интерпретируемости. Использование IRT в шкалировании сырых тестовых баллов позволяет перевести результаты испытуемых в метрическую шкалу, значительно повышающую возможности сопоставления данных измерения при ' их использовании в управлении качеством образования. Проведенное сравнительное исследование позволило сформулировать общие подходы к шкалированию выпускников в условиях сопоставимости данных педагогических измерений. Рассмотрены подходы к построению уровневой шкалы учебных достижений и методики установления порогового балла для оценивания уровня сформированности компетенций. В качестве наиболее перспективной методики эмпирической валидизации порогового балла предлагается метод контрастных групп.

Для корректной интерпретации шкалированных данных о качестве учебных достижений необходимо выполнение ряда требований, к числу которых относятся: доступность данных при их интерпретации для различных уровней управления, генерализуемость, обоснованность, высокая надежность и валидность, сопоставимость шкал. Выполнение совокупности перечисленных технологических требований во многом зависит от качества оценочных средств, шкалирования и выравнивания результатов измерений. В этой связи рассматривается проблема выравнивания шкал, построенных по различным параллельным вариантам теста. Предлагаются методики установления связи результатов обучающихся, полученные в разные годы, которые можно использовать как в ЕГЭ, так и в региональной системе при проведении массовых обследований качества образования.

Завершающие результаты исследования нацелены на практическую область, связанную с построением региональной системы оценки качества образования в Республике Саха (Якутия). В диссертации рассмотрено и систематизировано содержание контрольно-оценочной деятельности на разных уровнях системы образования Республики Саха (Якутия) и построена модель региональной системы оценки качества образования, которая предусматривает развитие ресурсного, кадрового, материального, финансового, информационного, нормативно-правового, методического обеспечения. В соответствии с моделью предположена структура и содержание оценочной деятельности на разных уровнях системы образования Республики Саха (Якутия). Показана преемственность использования имеющегося кадрового и структурного потенциала системы контроля при системном внедрении нового содержания оценочной деятельности на основе использования современных технологий педагогических измерений.

Представленная модель и практические рекомендации по созданию региональной системы оценки качества образования в Якутии с учетом ее региональных особенностей призваны способствовать совершенствованию системы контроля и оценки. В целом они позволят повысить объективность и обоснованность оценок учебных достижений учащихся, получить всестороннюю, полную и достоверную информацию о состоянии системы регионального образования; создать систему многоуровневого мониторинга качества образования в регионе, установить проблемы в обучении на основе анализа соответствия образовательных программ и образовательных технологий требованиям образовательных стандартов и норм; внедрить процедуры независимой оценки учебных достижений, в том числе единого государственного экзамена; прогнозировать с высокой достоверностью развитие региональной системы образования.

Особенностью полученных результатов исследования является отсутствие альтернативного характера его выводов, которые не отрицают существующие традиционные оценочные средства качественного уровня измерений, а лишь дополняют их, создавая необходимые предпосылки для эффективного информационного обеспечения и выполнения всех функций измерений в управлении качеством образования.

Список литературы диссертации автор научной работы: доктора педагогических наук, Третьякова, Татьяна Васильевна, Москва

1. Абутидзе З.С., Александровская Л.Н., Бас В.Н. и др. Управление качеством и реинжиниринг организаций // Учебное пособие. М.: Логос, 2003.

2. Аванесов B.C. Основы научной организации педагогического , контроля в высшей школе // Учебное пособие. М. : МИСиС, 1987.

3. Азарова Р.Н. Педагогический менеджмент как условие реализации качества образования на основе компетентностного подхода. Экспериментальная образовательная программа. М.: Исследовательский центр проблем качества подготовки специалистов, 2007. 24 с.

4. Андрианова Г.А. Открытые задания как компонент личностного содержания дистанционного обучения. / ИОСО РАО. М., 2006.

5. Алексеев Н. Г. Методические проблемы проведения массовых исследований уровня знаний учащихся: статистика и динамика // Проблемыпедагогической квалиметрии. М., 1973.

6. Алферов А.Д Совместная деятельность как предмет исследования в педагогической психологии. // Славянская педагогическая культура (научно-теоретический журнал Приднестровского НОЦ ЮО РАО), 2004. №3.

7. Амонашвилли Ш.А. Воспитательная и образовательная функция педагогической оценки учения школьников. — М., 1984.

8. Ананьев Б.Г. Психология педагогической оценки // Избранные психологические труды. -М.: Педагогика, 1990.

9. Анастази А., Урбина С. Психологическое тестирование. 7-е I междунар. изд. СПб.: Питер, 2001.

10. Андреев В.И. Педагогика творческого саморазвития: Инновационный курс. // Учеб. пособие для студентов вузов, обучающихся по социал.-гуманит. спец. и группе спец. Казань: Образование, 1996.

11. Андреев С. С., Гавриков А. Л., Сорока В. В. Тестирование как форма вступительных испытаний в университет: опыт проведения и возможности анализа // Вестник ИГУ. — Новосибирск, 1997.

12. Анисимова. Применение современной теории эксперимента в образовании. М. ИЦПКПС, 2002.

13. Антипова В. М., Лаптева Г. С. Мониторинг образовательной системы современной школы. Ростов-на-Дону, 1999.

14. Байденко В.И. Концептуальная модель государственных образовательных стандартов в компетентностном формате. — М.: Исследовательский центр проблем качества подготовки специалистов, 2004.

15. Балыхин Г.А. Управление развитием образования (организационно-экономический аспект). М.: Экономика, 2003.

16. Балыхина Т. М. Словарь терминов и понятий тестологии. М.: РУДН, 2000.

17. Березин Н.В. Анализ экспертных оценок тестов ЕГЭ 2001 года // Вопросы тестирования в образовании. — 2001. — № 1.

18. Бермус А.Г. Инфраструктура компетентностного подхода в профессиональном образовании // Известия международной славянской академии образования им. Я.А. Коменского, 2004. №2.

19. Бермус А.Г. Критерии качества непрерывного образования.// Славянская педагогическая культура: Науч-теор. жур. Приднестровского НОЦ ЮО РАО, 2003.-№2.

20. Бершадский A.M. Анализ образовательных систем с помощью новых информационных технологий. М: Исследовательский центр проблем качества подготовки специалистов , 2001.

21. Беспалько В. П. Основы теории педагогических систем. Воронеж, 1977.

22. Беспалько В. П. Педагогика и прогрессивные технологии обучения. -М., 1995.

23. Битинас Б.П., Катаева Л. И. Педагогическая диагностика: сущность, функции, перспективы. -М.: Педагогика, 1993.

24. Богоявленская Д.Б. Психология творческих способностей: Учеб. пособие. -М.: Академия, 2002.

25. Болотов В.А. Основные подходы к созданию общероссийской системы оценки качества образования. // Единый государственный экзамен. Выпуск 3. М.: Логос, 2005.

26. Болотов В.А., Сериков В.В. Компетентностная модель: от идеи к образовательной программе // Педагогика. 2003. № 10.

27. Болотов В.А. Шаулин В.Н., Шмелев А.Г. Единый экзамен и качество образования. // Единый государственный экзамен. Научные основы, методология и практика организации эксперимента. / Под ред. В.А. Болотова М.: Логос, 2002.

28. Болотов В.А., Шмелев А.Г. Развитие инструментальных технологий контроля качества образования: стандарты профессионализма и парадоксы роста. // Высшее образование сегодня. 2005. №4.

29. Большая книга о маленькой школе. / Под ред. Т.В. Светенко, И.В. Галковской. Псков: ПГПИ, 2003. - С. 242.

30. Борисенков В.П., Гукаленко О.В., Данилюк А.Я. Феномен образовательного пространства. // Изв. междунар. слав. акад. образования им. Я.А. Коменского, 2004. № 2.

31. Борисенков В.П. Вызовы современной эпохи и приоритетные задачи педагогической науки. М.: Педагогика, 2004. - № 1.

32. Борк Дж. Управление знаниями. М.: Открытые системы, 2001.

33. Букович У., Уилльямс Р. Управление знаниями. Руководство к действию: Пер. с англ. М.: ИНФРА - 2002.

34. Булдаков С.К. Социально-философские основания и логика образовательной революции: Автореф. дис. д-ра пед. наук. Новгород, 2000.

35. Бурмистров A.B., Науменко Г.Ю., Шаманова O.A. Использование тестовой диагностики в обучении и контроле знаний студентов по культуре речи. // Развитие системы тестирования в России: тез. докл. III Всерос. конф. -М., 2001.

36. Власова Т.И. Возрождение духовно ориентированной парадигмы воспитания в отечественной педагогике // Известия ЮО РАО, 2004 Вып. VI, Культурные смыслы и личностно-ориентированные технологии воспитания.

37. Выготский JI.C. Педагогическая психология —М.: Педагогика, 1991.

38. Гавриков A.A., Зайченко О.М. и др. Педагогическое образование в университете: контекстно-методический подход. — Великий Новгород, 2001

39. Гершунский Б.С. Педагогическая прогностика. — Киев. Изд-во КГУ,1998.

40. Гинецинский В.И. Проблема структурирования мирового образовательного пространства. М. Педагогика, 1997.

41. Гласс Дж., Стенли Дж. Статистические методы в педагогике и психологии: Пер. с англ. М.: Прогресс, 1976.

42. Глейзер Г.Д. Новая Россия: общее образование и образующееся общество. -М.: Педагогика, 2000.

43. Гличев A.B., Рабинович Г.С., Примаков М.И. Прикладные вопросы квалиметрии. М.: Изд-во стандартов, 1983.

44. Голуб Г.Б., Коган Е.Я., Прудникова В.А. Парадигма актуального образования. — Интернет-ресурс: http://mega.educat.samara.ru/lib/76755/.

45. Голуб Г.Б., Коган Е.Я., Фишман И.С. Оценка уровня сформированности ключевых профессиональных компетентностей выпускников УНПО: подходы и процедуры. / Вопросы образования. — 2008. № 2.

46. Голуб Г.Б., Чуракова О.В. Технология портфолио в системе педагогической диагностики: Методические рекомендации для учителя по работе с портфолио проектной деятельности учащихся. Самара: Изд-во «Профи», 2004.

47. Горб В.Г. Педагогический мониторинг образовательного процесса как фактор повышения его уровня и результатов. // Стандарты и мониторинг в образовании. М.,2000.

48. Гордеев М., Монахова Е., Московчук М., Соболев М. Между бюрократией и хаосом // Управление персоналом. 2003. № 6. — Интернетресурс: http://www.insunrise.ru/publications/compet vesno/.

49. ГОСТ Р ИСО 9000-2001. Системы менеджмента качества. Основные положения и словарь. М.: Изд-во стандартов, 2001.

50. Грабарь М.И. Проблема измерений и проверки гипотез при мониторинге результатов обучения. // Стандарты и мониторинг в образовании. -М.,2000.

51. Граничная O.A. Контроль качества образовательного процесса в контексте управления вузом: Автореф. дис. на соиск. уч. ст. д-ра пед. наук. — СПб., 2009.

52. Григоренко Е.В. Портфолио в вузе: методические рекомендации по созданию и использованию. — Томск, 2007. — 64 с.

53. Гумеров Ф. М. Тестирование и конкурс абитуриентов // Развитие системы тестирования в России: Тез. докл. Всерос. конф. — М., 2000. —Ч. 2.

54. Гущин Ю.Ф., Татур А.О. Психологические особенности тестовой формы контроля результатов обучения. // Актуальные проблемы тестирования в образовании: Материалы науч. практ. конф. -М.,1999.

55. Данилов Д.А. Народная педагогика и современная национальная школа. Улан-Удэ: Бэлиг, 1993. - 136 с.

56. Данилов Д.А. Сельская школа Якутии: организационно-педагогическое обеспечение. Якутск: Книжное издательство, 1988ч

57. Делор Ж. Образование: сокрытое сокровище. UNESCO, 1996.

58. Доклад Всемирного банка: Формирование общества, основанного на знании. Новые задачи высшей школы. М.: Весь мир, 2003.

59. Диагностика результатов деятельности сельской школы -комплекса в условиях нового содержания образования с национально-региональным компонентом: Сб. ст. и докл. по материалам опытно-экспериментальных работ. / Под ред.Н.Д. Hey Строева. Якутск, 1995.

60. Дубина И.Н. Математические основы эмпирических социально-экономических исследований: Учебное пособие. — Барнаул: Изд-во Алтайского государственного университета, 2006. -263 с.

61. Единый государственный экзамен. Вып. 2. Теоретические и прикладные исследования. Развитие научных основ и опыт проведения эксперимента: Сборник статей / Под ред. В.А. Болотова. М.: Логос, 2004.

62. Ефремова Н.Ф. Подходы к оцениванию компетенций в образовании. М.: ИЦПКПС, 2010.-290 с.

63. Ефремова Н.Ф. Современные тестовые технологии в образовании. — М.: Логос, 2003.

64. Загвоздкин В.К. Портфель индивидуальных учебных достижений — нечто большее, чем просто альтернативный способ оценки. // Информационно-методический и дидактический журнал, № 5, 2004 http://image.websib.ru/05/textarticle.htm7457.

65. Захир Ю.С., Дубнина О.В. Результат ЕГЭ нужен при зачислении в вузы и ссузы. Единый государственный экзамен 2006 года в Новосибирской области. — Новосибирск, 2006.

66. Звонников В.И. Измерения и качество образования: Монография. -М.: Логос, 2006.

67. Звонников В.И. Измерения и шкалирование в образовании. — М.: ' Логос, 2006.

68. Звонников В.И. Инновационные методы оценки учебных достижений студентов. // Высшее образование сегодня. 2006. №5.

69. Звонников В.И. Разработка государственных требований к качеству педагогических тестовых материалов. // Материалы отчетной научно-методической конференции. СПб: ЛЭТИ, 2002.

70. Звонников В.И., Найденова H.H., Никифоров С.В., Челышкова М.Б. Шкалирование и выравнивание результатов педагогических измерений: Учеб. пособие. -М .: Логос, 2003.

71. Звонников В.И. Челышкова М.Б. Использование результатов единого экзамена в управлении качеством образования: Учеб. пособие. — М.: Исследовательский центр проблем качества подготовки специалистов, 2005.

72. Зимняя И.А. Ключевые компетенции новая парадигма результата образования. // Высшее образование сегодня. — 2003. - №5.

73. Зимняя И. А. Компетентностный подход. Каково его место в системе современных подходов к проблеме образования? // Высшее образование, 2006, №8.

74. Иванов Д.А., Митрофанов К.Г., Соколова О.В. Компетентностный подход в образовании. Проблемы, понятия, инструментарий. — М.: Академия, 2003.

75. Игнатьев В.П., Жижин В.И. Проблемы подготовки управленческих кадров в Республике Саха (Якутия). // Сборник статей Всероссийского научно-практической конф. «Проблемы и перспективы Российской экономики». — Пенза, 2002, С.44-45.

76. Кабанова Т.А., Новиков В.А. Учебный курс «Тестовые технологии в дистанционном обучении». Опыт разработки и реализации. // Качество. Инновации. Образование. 2007. - № 8, - С. 22-27.

77. Кайнова. Качество образования и способы его измерения. — М.: АПКиППРО, 2000, 120 с.

78. Кальней В. А., Шишов С. Е. Технология мониторинга качества обучения в системе «учитель ученик»: Метод, пособие для учителя. — М.: Педагогическое общ-во России, 1999.

79. Карданская Н.Л. Принятие управленческого решения. — М.: Юнити, 1999.

80. Карлащук В.И. Обучающие программы. СОЛОН Р., 2001.

81. Каспржак А., Митрофанов К., Поливанова К. Становление ключевых компетентностей и результаты традиционного обучения. — Интернет-ресурс: http://www.ippd.nl/index.php?name=Files.

82. Качалов В. А. Проблемы управления качеством в вузах // Стандарты и качество, 2000.

83. Качество знаний учащихся и пути его совершенствования. / Под ред. М. Н. Скаткина, В. В.Краевского. -М., 1978.

84. Кендалл М. Дж. Ранговые корреляции. М.: Статистика, 1975.

85. Клайн П. Введение в психометрическое программирование: Справочное руководство по конструированию тестов. Киев: ПАН Лтд, 1994.

86. Климовский А.Б. Программа определения компромиссной оценки: труды международной научно-технической конференции «Современныеинформационные технологии». / А. Б. Климовский, А. А. Климовский. — Пенза: ПТИ, 2003.

87. Князев Е.А. Евдокимова Я.Ш. Бенчмаркинг для вузов: учеб.-метод. пособие. — М.: Логос, 2006.

88. Ковалева Г. С. Особенности национальных экзаменов в ряде стран мира. М.: ЦКО ИОСО РАО, 2000.

89. Ковалёва Г.С. Основные результаты международного исследования образовательных достижений учащихся ПИЗА 2003. М.: Центр оценки качества образования ИОСО РАО, 2004 (www.ege.ru; www.centeroko.fromru.com).

90. Ковалева Т.М. Обоснование компетентностного подхода как основы обновления содержания образования. Интернет-ресурс: http://www.langinfo.ru/mdex.php?sectid=2792.

91. Ковалёв Л.Ф. Теория и практика моделирования региональной системы оценки качества обучения. — Дисс. канд.пед. наук, 2004.

92. Коган Е., Голуб Г., Фишман И. Ключевые компетентности как результат общего образования: подходы к оценке. // Активная школа: теория, практика, перспективы. М.: Американские советы по международному образованию АСПРЯЛ / АКСЕЛС, 2005.

93. Колин К. К. Фундаментальная информатика и качество образования. М.: Исследовательский центр проблем качества подготовки специалистов, 2001.

94. Компетентностный подход как способ достижения нового качества образования. / Материалы для опытно-экспериментальной работы в рамкахконцепции модернизации российского образования на период до 2010 года. (А. Каспржак, К. Митрофанов). — М. 2002.

95. Кононов А. И. Об опыте использования системы подготовки тестовых заданий и обработки результатов вступительных испытаний. // Развитие системы тестирования в России: Всерос. конф. — М., 1999.

96. Краевский В.В. Общие основы педагогики. М.: Академия, 2003.

97. Крамаренко И. С. Прогнозирование уровня учебных достижений учащихся средствами мониторинга. // Стандарты и мониторинг в образовании. М.,2001.

98. Крокер Л., Алгина Дж. Введение в классическую и современную теорию тестов. — М.: Логос, 2010.

99. Кузнецов А. А. Мониторинг качества подготовки учащихся: организация. // Стандарты и мониторинг в образовании. — М., 2000.

100. Кузовлев В.К. Роль общественно-профессиональной оценки качества образования значительно возрастает. // Качество образования, №1-2, 2010,-С. 24-29.

101. Кузьмина Н. В. Понятие «педагогическая система» и критерии ее оценки. // Методы системного педагогического исследования. Л., 1980.

102. Кулемин Н. А. Тестовые технологии основа мониторинга качества образования. // Развитие системы тестирования в России: Тез. докл. Всерос конф. - М., 1999.

103. Кульневич С. В. Педагогика самоорганизации: феномен содержания. Воронеж, 1997.

104. Лайл М. Спенсер, Сайн М. Спенсер. Компетенции на работе. Пер. с англ. М.: HIPPO, 2005. - 384 с.

105. Лазарев В. С. О деятельностном подходе и проектировании целей общего образования. // Изв. Российской академии образования. 2000.

106. Ларичев О.И. Теория и методы принятия решений. М.: Логос, 2002.

107. Лебедев О. Е. Анализ педагогических проблем. М., 1990.

108. Легостаев И.И. Модульная концепция подготовки специалистов. -СПб.: Санкт-Петербургский университет, 1997.

109. Лемешко Б.Ю., С.Н. Постовалов, A.B. Французов. К применению непараметрических критериев согласия для проверки адекватности непараметрических моделей. Новосибирск, 2006.

110. Логвиненко А.Д. Измерения в психологии: математические основы -М.: Изд-во МГУ, 1993.

111. Логинов И. И. Природа диалектического знания. — М.: Педагогика, 2000.

112. Майоров А. Н. Мониторинг в образовании. СПб.: Образование-культура, 1998.

113. Макаров А. А. Комплексный мониторинг качества образования. -М.: Иссл. центр проблем качества подготовки специалистов, 1998.

114. Макарова Н.В., Соколов Н.Е. Система текущего и обобщающего компьютерного тестового контроля знаний. // Экономическая кибернетика. Организационные формы и методы управления в хозяйственных системах: -СПб., 1998.

115. Мареев В.И. Квалиметрический подход в оценке инновационных педагогических проектов как способ повышения их качества. /. Известия ЮО

116. РАО и ГРПУ. Спецвыпуск. Наука и образование.У1 всерос науч.-практ. конф. Качество образования. Система непрерывного образования. — М., 2005.

117. Масленников А. С. Единый государственный экзамен по математике в республике Марий Эл. Иошкар - Ола, 2001.

118. Масленников А. С. Информационная система «Спектр»: анализ результатов ЕГЭ по математике в Республике Марий Эл в 2001 г. Йошкар-Ола: Науч.-информ. центр, 2001.

119. Масленников A.C., Киселева В.П. Модели использования результатов ЕГЭ при аттестации школ. М., 2006.

120. Матрос Д. Ш. Управление качеством образования на основе информационных технологий и образовательного мониторинга. / М., 1999.

121. Методические рекомендации по проектированию оценочных средств для реализации многоуровневых образовательных программ ВПО при компетентностном подходе. М.: Изд-во МГУ, 2007. - 148 с.

122. Мильнер Б.З. Управление знаниями. -М.: ИНФРА, 2003.

123. Михайлова Е.И. Качество жизни в качестве образования. // Материалы X съезда работников образования PC (Я). - Якутск, 1996. - 56 с.

124. Михайлова Е.И. Развитие системы образования в Республике Саха (Якутия). Якутск, 1999. - 152 с.

125. Михайлова Е.И. Теория и практика мониторинга качества обучения в региональной системе образования. М., 2000. - 266 с.

126. Михайлычев Е.А, Карпова Г.Ф., Леонова Е.Е. Педагогическая диагностика: история, теория, современность. Ростов-на-Дону: ЮО РАО, 2002.

127. Михеев В.И. Методы теории измерения в педагогике: Учеб. пособие. М.: Логос, 2003.

128. Михалевская Г.И. Основы профессиональной педагогической грамотности. СПб.: Изд. «ЭГО», 2001.

129. Монахов В.М. Введение в теорию педагогических технологий: Монография. Волгоград: Перемена, 2006.

130. Найденова H.H. Формирование репрезентативной выборки: Учеб. пособие. М.: Логос, 2003.

131. Нар дюжев В.И., Нар дюжев И.В. Алгоритмы и программное обеспечение подготовки и проведения компьютерного тестирования, обработки и анализа его результатов. М.: ИЦПКПС, 2001.

132. Нейман Ю.М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей, 2000.

133. Неустроев Н.Д., Саввин А. С. Национальные традиции российского образования в контексте Болонского процесса. М., Academia MMIX., 2009. -223 с.

134. Новикова Т.Г., Пинская М.А., Прутченкова A.C., Федотова Е.Е. Портфолио в профильном обучении (Анализ зарубежного опыта). // Профильная школа, 2005. № 5. - С. 46^48.

135. Новикова Т.Г., Прутченков A.C., Пинская М.А. Региональный опыт использования технологии портфолио в практике российской школы. // Методист, 2005. № 4. - С. 31-36.

136. Новикова Т.Г., Прутченков A.C., Пинская М.А. Рекомендации по построению различных моделей и использованию портфолио учащихся основной и полной средней школы. // Профильная школа, 2005. № 1.

137. Новый взгляд на грамотность. По материалам международного исследования PISA- 2000. М.: Логос, 2000.

138. Овчинников В.В. Оценивание учебных достижений учащихся при проведении централизованного тестирования. М.: Век книги, 2001.

139. Панасюк В. П. Методика проведения школой самообследования по качеству обеспечиваемого ею образования. — СПб.: ИЦДКПС, 2000.

140. Панасюк В. П. Системное управление качеством образования в школе. СПб.: ИЦПКПС, 2000.

141. Переверзев В.Ю. Критериальное тестирование: Учебное пособие. -М.: Логос, 2003.

142. Переверзев В.Ю. Технология разработки тестовых заданий: Справочное руководство. М.: E-Медиа . 2005.

143. Пидкасистый П. И., Портнов М. Л. Опрос как средство обучения. -М.: Педагогическое общество России, 1999.

144. Подласый И.П. Диагностика и экспертиза педагогических проектов. -Киев, 1998.

145. Полилова Т. А. Концепция электронного портфолио http://schools.keldysh.rU/courses/e-portfolio.htm#Tocl55786304.

146. Полат Е. С., Бухаркина М. Ю., Моисеева М. В. Новые педагогические и информационные технологии в системе образования. — М.: Academia, 2000.

147. Полонский В. М. Оценка знаний школьников. — М., 1981.

148. Попов В. Г., Голубков В. П. Мониторинг развития региональной образовательной системы. // Стандарты и мониторинг в образовании. М: 2001.

149. Попков В.И., Гулаков В.К., Шалимов П.Ю. Информационная система мониторинга качества образования на основе тестовых технологий. // Развитие системы тестирования в России: Тез. докл. III Всерос. науч.-метод. конф.-М., 2001.

150. Поташник М. М., Ямбург Е. А., Матрос Д. Ш. и др. Управление качеством образования. — М.: Педагогическое общество России, 2000.

151. Равен Дж. Компетентность в современном обществе: выявление, развитие и реализация. М., 2002. (англ. 1984).

152. Равен Дж. Педагогическое тестирование: проблемы, заблуждения, перспективы. М.: Когито - Центр, 1999.

153. Развитие национальной системы экзаменов: опыт России, СНГ и США. Материалы и тезисы докл. междунар.конф. М.,2003.

154. Реан A.A., Бордовская Н.В., Розин С.И. Психология и педагогика: Учеб. для вузов. СПб.: Питер, 2000.

155. Рекомендации по построению различных моделей и использованию «портфолио» учащихся основной и полной средней школы. Письмо ГУ ВШЭ от 28.12.04 № 31-17/12-2929 http://ipkps.bsu.edu.ru/source/predprof/bazarek/portfolio.doc.

156. Рекомендации Международного круглого стола «Обеспечение качества высшего образования: российский опыт в международном контексте». -М.: Университетская книга, 2001.

157. Роберт И. Современные информационные технологии в образовании. М., 2000.

158. Рыжаков М. В. Ключевые компетенции: возможности применения. // Стандарты и мониторинг в образовании. М., 1999.

159. Садовский В.Н. Основания общей теории систем: Логико-методологический анализ. М.: Наука, 1974.

160. Савченко H.A. Технология проектирования ключевых и предметных компетенций, 2008. Интернет-ресурс: http://www.humanities.edu.ru/db/msg/84193.

161. Санникова Т.В. Итоги тестирования выпускников общеобразовательных школ PC (Я). // Наука и образование. № 4 - Якутск, 1997,-С. 152-156.

162. Санникова Т.В. К вопросу о критериях оценки эффективности деятельности образовательного учреждения. // Народное образование Якутии. -Якутск, 1999,-С. 98-101.

163. Санникова Т.В. Контроль как функция управления системой образования. Мотивация необходимости и достаточности целевой направленности контроля. // Наука и образование №1 Академия наук РС(Я) // Якутск, 1999, С. 15-17.

164. Санникова Т.В. Критерии оценки деятельности образовательного учреждении: Методические рекомендации. Якутск, 1999, - 23 с.

165. Санникова Т.В. Мониторинг качества образования.: Сборник тестов. Якутск, 1999. - 106 с.

166. Санникова Т.В. Мониторинг качества образования как педагогическая проблема: Сб. материалов республиканской научно-практической конференции. Якутск, 1999, - С. 48-53.

167. Санникова Т.В. О некоторых итогах первого года федерального эксперимента по проведению единого государственного экзамена в PC (Я). // Наука и образование. № 4 (24) - Якутск, 2001, - С. 73-77.

168. Санникова Т.В. Что показал первый год проведения федерального эксперимента по введению единого государственного экзамена. Материалы V Всероссийской научно-практической конференции, г. Сочи М.: «Уникум-Центр» - 2001. - С. 53-56.

169. Санникова Т.В. и др. Анализ результатов единого государственного экзамена в Республике Саха (Якутия) в 2001 году. Якутск, 2001. - 124 с.

170. Санникова Т.В., Сивцева М.В., Ларионова И.Г. Итоги первого года федерального эксперимента по введению единых государственных экзаменов в Республике Саха (Якутия). Якутск, 2001. - 69 с.

171. Санникова Т.В., Терехова В. А. Анализ состояния качества образования в Республике Саха (Якутия). Якутск, 2001. - 16 с.

172. Санникова Т.В., Мартынова Т.Ф., Терехова В.А. и др. Второй год федерального эксперимента по введению ЕГЭ в Республике Саха (Якутия). (Информационно-аналитический акт). — Якутск, 2002. —116 с.

173. Санникова Т.В., Поскачин А.Р. Аналитический отчет Республики Саха (Якутия) о едином государственном экзамене в 2002 году. Якутск, 2002.20 с.

174. Санникова Т.В., Терехова В. А. Роль и место единых государственных экзаменов в системе модернизации современного Российского образования. // Наука и образование. №3 (27) - Якутск, 2002, С. 86-87.

175. Санникова Т.В., Терехова В.А., Мартынова Т.Ф., Саввинов А.Д. Выпускнику о едином государственном экзамене. Якутск, 2002. - 104 с.

176. Санникова Т.В. ЕГЭ: эксперимент продолжается. // Наука и образование. № 3 (31) - Якутск, 2003, - С. 88-89.

177. Санникова Т.В., Терехова В.А., И.Г. Ларионова И.Г. Результаты, показанные выпускниками общеобразовательных школ Республики Саха (Якутия) на единых государственных экзаменах. — Якутск, 2003 . — 40 с.

178. Санникова Т.В. Итоги совещания. // Народное образование Якутии. -Якутск, 2003,-С. 68-71.

179. Санникова Т.В., Терехова В.А., Ларионова И.Г. и др. Единые государственные экзамены в Республике Саха (Якутия). (Информационно-аналитический акт). Якутск, 2003. - 147 с.

180. Севрук В.П. Пермский опыт единого государственного экзамена: итоги и размышления.// На пути к единому государственному экзамену: идеология и технология. Пермский опыт. Пермь, СОЦИНКОМ, 2001.

181. Селевко Г.К. Современные образовательные технологии. М.: Народное образование, 1998.

182. Селезнева H.A. Качество высшего образования как объект системного исследования: Лекция доклад. - М.: ИЦПКПС, 2001.

183. Селезнева H.A. Проблема реализации компетентностного подхода к результатам образования в высшей школе. — М.: Исследовательский центр проблем качества подготовки специалистов, 2009.

184. Семенов Ю.Г. Организационная культура: управление и диагностика. Екатеринбург: Ин-т экономики УрО РАН, 2004.

185. Сериков В.В. Личностный подход в системе принципов современного педагогического мышления. // Славянская педагогическая культура: Науч.-теор. жур. Приднестровского НОЦЮО РАО), 2003. №2.

186. Сидоренко Е. Методы математической обработки в психологии. -СПб.: Речь, 2000.

187. Скаткин М.Н. Дидактика средней школы. М.: Просвещение; -СПб: Питер, 1999.

188. Смирнов С.Д. Педагогика и психология высшего образования: от деятельности к личности. М.: Академия, 2005.

189. Совет Европы: Симпозиум по теме «Ключевые компетенции для Европы»: Докл. DECS / SC / Sec (96) 43. Берн, 1996.

190. Соловьев В.П. Основные подходы к формированию модели качества в вузе. // Качество, инновации, образование. М.: 2003.

191. Старостина М.П., Третьякова Т.В. Русский язык в национальной школе, или еще раз о равенстве возможностей. // Высшее образование сегодня, 2008. -№ 5., -С. 105-110.

192. Субетто А.И. Онтология и эпистемология компетентностного подхода, классификация и квалиметрия компетенций. СПб.; — М.: Иссл. центр проблем качества подготовки специалистов, 2006. - 72 с.

193. Танков В.А. Основы аудита: вопросы и ответы. — М.: ИД «Юриспруденция», 2004.

194. Татур А.О. Тесты в учебном процессе. // Новые технологии в обучении и контроле знаний учащихся: Материалы науч.-практ. конф.- М., 1999.

195. Татур А. О., Челышкова М. Б. Научно-методические проблемы создания системы тестирования в российском образовании. // Развитие системы тестирования в России: Тез. докл. Всерос. конф. М., 1999.

196. Татур Ю.Г. Высшее образование: Методология и опыт проектирования. — М.: Логос. 2006.

197. Терехова В.А., Санникова Т.В. Региональная программа «Единый > государственный экзамен в Республике Саха (Якутия)» (2002-2004 гг.)1. Якутск, 2002. 16 с.

198. Толстова Ю.Н. Измерение в социологии: Курс лекций. М.: Финансы и статистика, 2002.

199. Требования и критерии оценки уровня сформированности ключевых компетентностей учащихся (для оценки проектной деятельности). / Британский проект. Самара. 2003.

200. Третьякова Т.В., Терехова В.А. Профильное образование и ЕГЭ. // Наука и образование. № 4 -Якутск, 2003, - С. 133-135.

201. Третьякова Т.В., Терехова В.А., Ларионова И.Г. и др. Единые государственные экзамены в Республике Саха (Якутия). Информационно-аналитический акт об итогах федерального эксперимента по введению ЕГЭ за 2001-2004 годы. Якутск, 2004.-216 с.

202. Третьякова Т.В. Социальные аспекты организации единых государственных экзаменов в Республике Саха (Якутия). // Народное образование Якутии. Якутск, 2004, С. 81-87.

203. Третьякова Т.В. Использование результатов ЕГЭ в управлении качеством в общеобразовательной школе: Мат. научно-практической конф. «Организация и задачи эксперимента по введению единого государственного экзамена». С-Петербург, 2004. - С. 47 - 50.

204. Третьякова Т.В., Терехова В.А., Ларионова И.Г. и др. Единые государственные экзамены в Республике Саха (Якутия). Информационно' аналитический акт об итогах федерального эксперимента по введению ЕГЭ за2001-2005 годы. Якутск, 2005. - 197 с.

205. Третьякова T.B. Аттестация качества образования. // Наука и образование. № 2 -Якутск, 2005, - С.130-133.

206. Третьякова Т.В. О концепции качества образования. // Наука и образование. № 1. - Якутск, 2005. - С.83-86.

207. Третьякова Т.В., Терехова В.А., Ларионова И.Г. и др. Единые государственные экзамены в Республике Саха (Якутия). Информационно-аналитический акт об итогах федерального эксперимента по введению ЕГЭ за 2001-2006 годы. Якутск, 2006. - 251 с.

208. Третьякова Т.В. Измерение качества образования посредством единых государственных экзаменов. // Этнос. Образование. Личность. №8. -Якутск, 2007.-С. 39-41.

209. Третьякова Т.В. Анализ концепции качества образования. // Высшее образование сегодня, 2007. № 11, - С. 62-65.

210. Третьякова Т.В. Некоторые подходы к организации внутришкольной системы управления качеством обучения школьников: Тез. докл. IX Всерос. науч.- метод, конф. «Развитие тестовых технологий в России» Федерального центра тестирования., 2007, С. 91.

211. Третьякова Т.В. Роль единого государственного экзамена в формировании государственной системы контроля качества образования. // Наука и образование. №4 (48). - Якутск, 2007, - С. 106-110.

212. Третьякова Т.В. Управление качеством образования в общеобразовательной школе на основе результатов независимого контроля индивидуальных достижений учащихся. // Наука и образование. №1 (45). -Якутск, 2007,-С. 119-120.

213. Третьякова Т.В., Терехова В.А. Общие принципы проектирования региональных систем оценки качества образования. // Наука и образование. -№3 (47) Якутск, 2007 - С 67-70.

214. Третьякова Т.В., Терехова В.А. О некоторых зарубежных моделях оценки образовательных учреждений. // Наука и образование. №2 (46) -Якутск, 2007, - С. 123-126.

215. Третьякова Т.В., Терехова В.А., Ларионова И.Г., Соловьева Н.М. Единые государственные экзамены в Республике Саха (Якутия). Информационно-аналитический акт об итогах федерального эксперимента по введению ЕГЭ за 2007 год. Якутск, 2007. - 426 с.

216. Третьякова Т.В. Мониторинг результатов ЕГЭ по математике и его использование в регионе и в образовательном учреждении. // Вопросы образования. №2. -М., 2007, - С. 188-200.

217. Третьякова Т.В. Мониторинг результатов ЕГЭ по физике в Республике Саха (Якутия). //Стандарты и мониторинг в образовании. № 5 (56). -Москва, 2007, - С. 17-22.

218. Третьякова Т.В. Организационно — педагогические основы государственной (итоговой) аттестации выпускников общеобразовательных школ Республики Саха (Якутия) в форме единых государственных экзаменов. -Якутск, Изд.-во ЯНЦ СО РАН, 2007. 240 с.

219. Третьякова Т.В. Роль общества и личности в оценке качества образования. // Наука и образование. №1 (49), - Якутск, 2008. - С.57-60.

220. Третьякова Т.В., Старостина М.П. Что показал ЕГЭ? (рассуждения о преподавании русского языка в национальной школе). // Наука и образование. №2 (50) - Якутск, 2008. - С. 18-22.

221. Третьякова Т.В. Модель региональной системы оценки качества образования в Республике Саха (Якутия). // Наука и образование. № 4 (52) -Якутск, 2008. - С.121-124.

222. Третьякова Т.В., Тен Л.Б. РСОКО: поиск оптимальной модели. // ОКО. Оценка качества образования. — М., 2008. С. 67 — 72.

223. Третьякова Т.В. Научные основы региональной системы оценки качества образования и ее организационные особенности в Республике Саха (Якутия). Якутск, Изд.-во ЯНЦ СО РАН, 2008. - 2 5 с.

224. Третьякова Т.В. Анализ подходов к оценке качества образования за рубежом. // Вестник Якутского государственного образования имени М.К. Аммосова, Т.6, № 2. - Якутск, 2009. - С.59-64.

225. Третьякова Т.В., Саввинов А.Д., Терехова В.А. и др. Единые государственные экзамены в Республике Саха (Якутия) в 2009 году (Сборник статистических данных). Якутск: ООО «Дисплей», 2009. - 198с.

226. Третьякова Т.В. Теория и методология построения региональных оценочных систем (на материалах Республики Саха (Якутия). Якутск: «Дани-АлмаС», 2010.-352 с.

227. Третьякова Т.В. Обоснование необходимости формирования региональной системы оценки качества образования. // Общее образование: императив качества и доступности: Сб. статей. Якутск: «Дани АлмаС», 2010. -С. 63-71.

228. Третьякова Т.В., Павлова Э.Н. К вопросу формирования региональной системы оценки качества образования.// Общее образование: императив качества и доступности: Сб. статей. Якутск: «Дани АлмаС», 2010. -С. 71-77.

229. Флид В.Р., Ратнов А.Г., Небратенко Д.Ю. Централизованное тестирование глазами приёмной комиссии. // Развитие системы тестирования в России: Тез. докл. Всерос. конф. М., 2000. - Ч. 2.

230. Филиппов В.М. Модернизация российского образования. — М.: Просвещение, 2003.

231. Филиппов В. М. и др. Управление в высшей школе: опыт, тенденции, перспективы. — М.: Логос, 2006.

232. Фомина Н.Б. Оценка качества образования. Педагогическая диагностика учебных возможностей учащихся. Часть 2. М.: ПЕРСПЕКТИВА, 2008, - 40 с.

233. Хуторской A.B. Ключевые компетенции и образовательные стандарты // Интернет-журнал «Эйдос», 2002. -http://www.eidos.ru/journal/2002/0423 .htm.

234. Чекмарев А. Н. TQM современный механизм повышения качества подготовки специалистов. // Сертификация и управление качеством продукции: Тез. докл. междун. науч.-техн. конф. - Брянск: БГТУ, 1999.

235. Челышкова М. Б., Ковалёва Г.С. Основные подходы оценки качества подготовки обучаемых в России и за рубежом. // Восьмой симп. «Квалиметрия человека и образование: методология и практика». Обзорный доклад. М.: ИЦПКПС, 1998.

236. Челышкова М. Б. Адаптивное тестирование в образовании (теория, методология, технология). М.: Исследовательский центр проблем качества подготовки специалистов, 2001.

237. Челышкова М. Б. Теория и практика конструирования педагогических тестов. — М.: Логос, 2001.

238. Челышкова М.Б., Шмелев А.Г. Шкалирование результатов Единого госэкзамена: проблемы и перспективы. // Вопросы образования, 2004. №4.

239. Чепелев Т. Н. Образовательный мониторинг: формируются понятия. // Стандарты и мониторинг в образовании. М., 2000.

240. Что такое компетенции? Human Resource Development International, Vol. 8, No. 1, 27-46, March 2005. (пер. Я.Ю. Епутаева). Интернет-ресурс: http://www.hr-portal.ru/node/14330.

241. Шадриков В. Д. Качество высшего образования: понятия, концепции, практические подходы. // Обеспечение качества высшего образования: российский опыт в международном контексте: Междун. круглый стол. — М.: Университетская книга, 2001.

242. Шадриков В. Д. Понятия, концепции, практические подходы. // Обеспечение качества высшего образования: российский опыт в международном контексте: Междун. круглый стол. -М., 2001.

243. Шадриков В. Д. Психология деятельности и способности человека. -М.: Логос, 1996.

244. Шамардин В. Н. Диагностика и оценка качества образовательных систем. -М.: Педагогика, 1995.

245. Шишов С.Е. Понятие компетенции в контексте качества образования. // Стандарты и мониторинг в образовании. М., 1999.

246. Шишов С. Е., Кальней В. А. Мониторинг качества образования в школе. -М.: Педагогическое общество России, 1999.

247. Шмелев А. Г. Тесты для старшеклассников и абитуриентов. // Первое сентября (приложение). М., 2000.

248. Шторм Р. Теория вероятностей. Математическая статистика. Статистический контроль качества. М.: Мир, 1970.

249. Шульман А. Я., Туров А. С. Методические указания для преподавателей вузов по составлению и применению тестов в системе программированного обучения. Ростов-на-Дону: РГПУ, 1978.

250. Щедрин Б. М., Бурова Е. М., Галкин В.Я. Применение тестов для оценки уровня знания вопросов теории элементарной математики. // Развитие системы тестирования в России: Тез. докл. III Всерос. науч. -метод, конф." М., 2001.

251. Эльконин Д. Б., Занков JL В. Проблемы развивающего обучения. -М., 1986.

252. Энциклопедия психологических тестов. Личность. Мотивация. Потребность. / Под ред. А. Карелина. М 1997.

253. Юкаева B.C. Управленческие решения: Уч. пос. М.: 1999.

254. Ядов В.А. Стратегия социологического исследования: описание, объяснение, понимание социальной реальности. -М., 2001.

255. Якиманская И. С. Личностно ориентированное обучение в современной школе. - М.: Сентябрь, 1996.

256. Якиманская И. С. Технология личностно ориентированного образования. -М.: Сентябрь, 2000.

257. Яковлев Е. В. Квалиметрический подход в педагогическом исследовании: новое видение. М.: Педагогика, 1999.

258. Якунин В. А. Педагогическая психология: Уч. пос.: 2-е изд. СПб.: ' Изд-во В.А. Михайлова, 2000.

259. Якунин В. А. Теория обучения: Уч. пос. СПб.: Санкт.-Петербургский государственны, университет, 1993.

260. Ямбург Е. Ш. Теоретические основы и практическая реализация модели адаптивной школы. М., 1997.

261. Ямбург Е. Ш. Школа для всех. М.: Новая школа, 1996.

262. Andrich D. A rating formulation for ordered response categories. // Psychometrical, 1978. № 43.

263. Andrich D., Rasch G. Models for Measurement. // Sage Publ. Newbury ' Park, 1988.

264. Angoff W.A. Scales, norm, and equating scores. // Princeton, N. J., 1984.

265. Ashworth A. and Harvey R. Assessing Quality in Further and Higher Education. London: Jessica Kingsley Publishers, 1994.

266. Automated Essay Scoring: A Cross-Disciplinary Perspective. // Ed. by MarkD., Shermis J. Lawrence Erlbaum Associates, 2003.

267. Baker F.B., Al-Karni A. A comparison of two procedures for computing IRT equating coefficients. Journal of Educational Measurement, 1991.

268. Baker, F. B. Item Response Theory: Parameter Estimation Techniques. -ASC, 2004.

269. Bateson D., Nikol C., Schroeder T. Alternative Assessments and Tables of Specification for the Third International Mathematics and Science Studi. New York, 1991.

270. Berk R.A. (Eds.). A Guide to Criterion Referenced Test Construction. The John Horkins Univ. Press. - Baltimore, 1984.

271. Bloom, B. S. et. al. Taxonomy of Educational Objectives: The Classification of Educational Goals. Handbook 1: Cognitive Domain. N-Y, David McKay Co., 1956.

272. Boekkooi F.,Timminga, E. The construction of parallel tests from IRT -based banks. //Journal of Educational Statistics, 1991.

273. Bollen K. A. Structural Equations with Latent Variables. N-Y, Wiley & Sons.,1989.

274. Brennan J., Goedegebuure L., Shan T., Westerheijden D. F. and Weusthof P.J. Towards a Methodology for Comparative Quality Assessment in European Higher Education. Enshede: CHEPS, 1992.

275. Carroll J.D., Arabie P. Multidimensional scaling. Annual. Rev. // Psychological. 31, 1980.

276. Computerized Adaptive Testing: a Primer /Ed. by Howard Wainer McBride.- ASC, 2000.

277. Computerized Adaptive Testing: Theory and Practice. /Ed. by Wim J. van der Linden and A.W. Glas. Kluwer academic publishers. — London, 2003.

278. Constructing Test Items: Multiple-Choise. Constructed-Response, Performance, and Other Formats. / Steven J. Osterlind University of MissouriColumbia, 2004.

279. Cizek G., Bunch M. Standard Setting. Sage Publications, 2007.

280. Curriculum Frameworks for Mathematics and Science. General editor D. Robitaille. TIMMS Monograph, No.l. Pacific Educational Press. Vancouver (Canada), 1993.

281. Educational Measurement. / Ed. by R. L. Linn.- N.-Y.: Macmillan. 1989.

282. Frazer M. Quality Assurance in Higher Education. // Ed. by A. Craft: Proceedings of an International Conference. London: The Falmer Press, 1992.

283. Gagne R. M. The Conditions of Learning. 3 ed. Holt, Rinehart and Winston.-N-Y., 1997.

284. Hambleton R. K., Zaal J. N., Pieters J. M. P. Computerized adaptive testing: Theory, applications and standards. //In R. K. Hambleton, J. N. Zaal (Eds). Advances in educational and psychological testing: Theory and applications. -Boston: Kluwer. 1991.

285. Handbook of Modern Item Response Theory. /Ed. by Wim J. van der Linden and Ronald K. Hambleton. ASC, Univ. Ave. 1997.

286. Harvey L. and Green D. (1993) Defining Quality. // Assessment and Evaluation in Higher Education. Vol. 18., 2005.

287. IRT from SSI: Bilog-mg Multilog. Parscale Testfast. / Edited bu Mathilda du Toit. Scientific Software International. 2003.

288. Keeves J. P. (Eds) Educational Research Methodology, and Measurement: An International Handbook. N-Y., Perg. Press. 1988.

289. Kelley T. L. Interpretation of Educational Measurements. N-Y., World Books Co, 1997.

290. Kelley T. L. The Selection of Upper and Lower Groups for the Validation of Test Items. // Journal of Educational Psychology, 1999.

291. Kingsbury G. G., Zara A. R. Procedures for selecting item for computerized adaptive tests. // Applied Measurement in Education, 1989.

292. Kogan M. (Eds.) Evaluating Higher Education. London: Jessica Kingsley Publishers, 1998.

293. Kolen M.J., Brennan R.L. Test equating: methods and practices. -Springer-Verlag. New York, 2005.

294. Lord F. M. Application of Item Response Theory to Practical Testing Problems. Hillsdale. -N-Y., Lawrence Erlbaum Ass. Publ., 1980.

295. Measurement and Assessment in Schools. // Eds. by Blaine R. Wortnen, Karl R. White, Xitao Fan, Ricard R. Sudweeks, 1999.

296. Nieves Segovia Bonet. Quality and Innovation in Education. // 43 (rd) European Quality Congress. Proceeding Book. Madrid, 9-11 June, Forum CALIDAD, 1999.

297. Moodie G.C. (Eds) Standards and Criteria in Education. Guildford: SRHE, 1986.

298. Practical considerations in computer based testing. // Parshall C., Spray. J, Kalohn J., Davey T. Springer. New York. 2002.

299. Pettersen P.J., Kolin M.J., Hoover H.D. Scaling, norming and equating. // Educational measurement. New York. 1989.

300. Rasch, G. Probabilistic Model for Some Intelligence and Attainment Tests. With a Foreword and Afterworld by B.D. Wright. / The. Univ. Of Chicago Press. Chicago & London, 1980.

301. Richter R. Improving Teaching Quality in German Higher Education. // Higher Education Management, 1994.

302. Scaling Procedures: Issues and applications. / R. Netemeyer, W. Bearden, S. Sharma. Sage Publications Inc., 2003.

303. Scale Development Theory and Applications (Ed. by Robert F.) Sage Publications Inc., 2005.

304. Software and Books for all Your Measurement Needs. // Catalog 1 Assessment Systems Corporation, 1996.

305. Stocking M.L., Lord F.M. Developing a common metric in item response theory. — Applied Psychological Measurement, 1983.

306. Stubbs W. H. (1994) Quality in Higher Education: a Funding Council Perspective. // D. Green. (Eds) What is Quality in Higher Education? London: SHRE Open University Press., 1994.

307. Test Assessment/ W. Bruce Walsh, Nancy E. Betz. — Prentice Hall, Inc., 2001.

308. Test Theory: A Unified Treatment. / Eds. by Roderick P McDonald. -Lawrence Erlbaum Associates, 1999.

309. Vroeijenstijn A. I. and Acherman J. A. (1990) Control-Oriented Quality Assessment Versus Improvement-Oriented Quality Assessment. // L.C.J. Goedegebuure, P. A. M. Maassen and D. F. Westerheijden (Eds) Op.cit.

310. VSNU (1993b) Quality of Research Protocol 1993. Utrcht:VSNU.

311. Vught F.A. Higher Education Quality Assessment in Europe, next step. -Creation, 1991.

312. Vught F.A. van and Westerheijden D.F. Quality Management and Quality Assessment European Higher Education. Enschede: CHEPS, 1993.

313. Weiden M. External Quality Assessment and Feasibility of Study Programs. Utrecht: VSNU, 1994.

314. Weiss, D. J. (Eds.) New Horizons in testing. N-Y.: Academic Press, 1983.

315. Wilson M. (Eds.). Objective measurement. Theory into practice. Ablex Publ. Corp. Norvud, N. J., Vol. 1-4, 1991, Vol. 5, 2006.

316. Young, F.W., and R.M. Hammer, eds. Multidimensional scaling: History, Theory, and applications. Hillsdale, N.J.: Lawrence Erlbaum Assotiates, 1987.