автореферат и диссертация по педагогике 13.00.02 для написания научной статьи или работы на тему: Методика экспертной оценки языка учебных пособий на основе корпусного подхода

Автореферат диссертации по теме "Методика экспертной оценки языка учебных пособий на основе корпусного подхода"

На правах рукописи

КАРАМНОВ Антон Сергеевич

МЕТОДИКА ЭКСПЕРТНОЙ ОЦЕНКИ

ЯЗЫКА УЧЕБНЫХ ПОСОБИЙ НА ОСНОВЕ КОРПУСНОГО ПОДХОДА

13.00.02 - теория и методика обучения и воспитания (иностранные языки)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата педагогических наук

005566463

1 АПР 2015

Тамбов-2015

005566463

Работа выполнена в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Тамбовский государственный университет имени Г.Р. Державина»

Научный руководитель: доктор педагогических наук, профессор

Поляков Олег Геннадиевич

Официальные оппоненты: Гураль Светлана Константиновна

доктор педагогических наук, профессор, зав. кафедрой английской филологии, декан факультета иностранных языков, ФГАОУ ВПО «Национальный исследовательский Томский государственный университет»

Якушев Максим Валерьевич

кандидат педагогических наук, доцент, профессор кафедры немецкого языка ФГБОУ ВПО «Орловский государственный университет»

Ведущая организация: ФГБОУ ВПО «Нижегородский государ-

ственный лингвистический университет имени H.A. Добролюбова»

Защита состоится «29» апреля 2015 г. в 10.00 часов на заседании диссертационного совета Д 212.261.05 при ФГБОУ ВПО «Тамбовский государственный университет имени Г.Р. Державина» по адресу: 392003, г. Тамбов, ул. Рылеева, д. 52, зал заседания диссертационных советов.

С диссертацией можно ознакомиться в научной библиотеке Тамбовского государственного университета имени Г.Р. Державина и на сайте ФГБОУ ВПО «Тамбовский государственный университет имени Г.Р. Державина» http://www.tsutmb.ru.

Автореферат разослан « {9 » марта 2015 г.

Ученый секретарь диссертационного совета

JI.K. Иванова

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования. Развитие мировых тенденций в области стандартизации образования на современном этапе и внедрение новых федеральных государственных образовательных стандартов в России обусловливают концептуальные изменения процесса учения и обучения на всех уровнях (В.И. Байденко, Е.В. Разумова, М.А. Родионов). Это, в частности, характерно и для сферы экспертирования образовательной среды. Учебные пособия по иностранному языку, которые наряду с учебниками относятся к основным средствам обучения, нередко становятся объектом образовательной экспертизы.

При общей процедуре экспертизы учебников и учебных пособий, потребность в осуществлении их экспертной оценки с учетом их предметной специфики приобретает особую значимость. Более того, у учителей и преподавателей нередко возникает необходимость в самостоятельном проведении такой оценки, например, при написании собственных учебно-методических материалов и пособий, при апробации или рецензировании работ своих коллег, а также при выборе учебных пособий для организации обучения иностранному языку. Опора на свой профессиональный опыт, накопленные знания и умения являются основным инструментом при осуществлении такой деятельности. Однако это неизбежно вносит определенную степень субъективности в процесс оценки учебных пособий.

В этой связи возникает потребность в разработке методики экспертной оценки учебных пособий по иностранному языку, а именно их предметного ядра - языкового содержания, на основе корпусного подхода. Его суть заключается в трактовке языкового содержания пособия в качестве языкового корпуса и использовании специализированных программных средств для его анализа. Кроме этого, корпусный подход не только обеспечивает получение максимально объективных показателей оценки языкового содержания учебных пособий, но и отвечает требованиям времени, находясь на одной волне с непрерывным процессом интенсивной информатизации отечественного образования и внедрения новых информационных и коммуникационных технологий в образовательный процесс (А.А. Багарян, И.В. Роберт, П.В. Сысоев, Т.А. Чернякова, О.Г. Горина).

Отметим, что профессиональный опыт и умения учителей и преподавателей при этом приобретают немного измененный ракурс и дополнительное обогащение, при котором их основная экспертная деятельность направляется на использование программных средств обработки языкового корпуса учебного пособия, интерпретацию полученных результатов и составление методических рекомендаций для работы с пособием.

Степень разработанности проблемы. В процессе анализа литературы, тематически связанной с настоящим исследованием, было выявлено, что не-

которые смежные аспекты рассматриваемой проблемы затрагивались в работах как отечественных, так и зарубежных ученых.

Так, обращалось внимание на специфику содержания учебных изданий в зависимости от разных типов обучения (В.П. Беспалько, Д.Д. Зуев, ИЛ. Лернер, М.Н. Скаткин, Н.И. Тупальский, J. Breakell, N. Harwood и др.), разрабатывались алгоритмы оценки учебников и учебных пособий с позиций методического, дидактического и предметного подходов (А.Р. Арутюнов, В.П. Беспалько, И.Л. Бим, М.Н. Вятютнев, J. Ball, G. Jacobs, A. Jahangard, Y. Liu, A. Skierso и др.), изучались возможности использования корпусных технологий при написании учебных пособий и составлении программ обучения (К. Hyland, D. Mindt, J. Mukundan, N. Roslim, P. Lam и др.).

Вместе с тем, несмотря на существующий корпус исследований, вопрос экспертной оценки языка учебных пособий остается не до конца раскрытым.

Все выше сказанное указывает на противоречия:

- между существующей процедурой экспертной оценки учебных пособий по иностранному языку и ограниченностью заложенных в ней инструментов для оценивания непосредственно языкового содержания пособий;

- между требованиями, предъявляемыми ФГОС и программами по иностранному языку к языковому содержанию учебных пособий в процессе их разработки и использования, и отсутствием соответствующей методики оценки этого содержания;

- между декларируемой в научно-методической литературе потребностью в аутентичном языковом материале при создании и выборе учебных пособий по иностранному языку и недостаточным применением корпусных технологий для оценки такого материала.

Данные противоречия определили проблему настоящего исследования: каковы теоретические основания и методика экспертной оценки языка учебных пособий на основе корпусного подхода.

Цель исследования — разработать теоретические основания и методику экспертной оценки языка учебных пособий на основе корпусного подхода.

Объект исследования - процесс оценки и выбора учебных пособий для организации обучения иностранному языку в соответствии с образовательным стандартом, программой и конкретными потребностями курса.

Предмет исследования - методика экспертной оценки языка учебных пособий на основе корпусного подхода.

Гипотеза исследования выражается в предположении о том, что экспертная оценка языка учебных пособий будет более эффективной, если методика ее проведения:

- осуществляется на основе корпусного подхода;

- предусматривает последовательность следующих действий: (а) анализ проблемной области оценки языкового содержания учебного пособия; (б) подготовку объектного корпуса (подкорпуса) и референтных корпусов и

списков слов; (в) количественное изучение проблемной области с помощью специализированных программных средств; (г) качественное объяснение полученных данных; (д) экспертную оценку языка учебного пособия на критериальной основе с учетом количественных показателей.

Для достижения поставленной цели и проверки сформулированной гипотезы необходимо решить следующие задачи:

1) на основе анализа литературы по проблеме исследования определить место экспертизы учебных пособий в общей системе экспертирования средств обучения;

2) выявить аспекты экспертной оценки языка учебных пособий;

3) определить критерии экспертной оценки языка учебных пособий;

4) установить принципы создания языкового корпуса учебного пособия по иностранному языку;

5) разработать лингводидактическую модель экспертной оценки языка учебных пособий на основе корпусного подхода, включая алгоритм осуществления этой оценки;

6) экспериментально проверить эффективность методики экспертной оценки языка учебных пособий на основе лингводидактической модели.

Методологическую основу исследования составили:

- методология гуманитарной экспертизы (СЛ. Братченко, В.Н. Сага-товский, А.У. Хараш);

- методологические основы разработки образовательных стандартов (A.M. Кондаков, B.C. Леднёв, М.В. Рыжаков);

- концепция информатизации образования (М.Г. Евдокимова, И.В. Роберт, П.В. Сысоев);

- методология корпусного подхода к преподаванию языка (Н.Б. Гви-шиани, S. Johansson, М. McCarthy, R. Reppen, М. Scott, С. Tribble);

- положения теории систем и идеи системного исследования педагогической деятельности (В.А. Карташев, ЯЛ. Коломинский, В.П. Кузьмин, А.К. Маркова, A.A. Реан, В.Н. Садовский, А.И. Уёмов, Э.Г. Юдин, В.А. Якунин, J.P. Van Gigch);

- концептуальные положения деятельностного подхода (П.Я. Гальперин, В.В. Давыдов, А.Н. Леонтьев, Н.Ф. Талызина, V.E. Cronen, W.B. Pearce);

- компетентностная модель образования (Н.И. Алмазова, В.И. Байден-ко, И.А. Зимняя, A.B. Хуторской).

Теоретической базой исследования послужили:

- понятие об образовательной среде и ее экспертизе (Т.Г. Ивошина, М.В. Крулехт, Г.А. Мкртычян, В.И. Панов, В.В. Рубцов, Ю.В. Сидельников, И.В. Тельнюк, В.А. Левин);

- положения общей теории учебника (А.Р. Арутюнов, И.Л. Бим, М.Н. Вятютнев, Д.Д. Зуев);

- подходы к оцениванию учебного текста и системному анализу учебника (В.Г. Бейлинсон, В.П. Беспалько, A.C. Candler, A. Cunningsworth, C.D. Maddux, H. Masuhara, L.E. Sheldon, В. Tomlinson, D. Williams);

- разработки содержательной и функциональной модели учебника (Л.Я. Зорина, М.Н. Скаткин, Н.Ф. Талызина);

- труды в области методики преподавания иностранных языков и культур (Н.Д. Гальскова, Н.И. Гез, Р.П. Мильруд, Р.К. Миньяр-Белоручев, Е.И. Пассов, О.Г. Поляков, П.В. Сысоев, А.Н. Щукин, J. Harmer, J. Scrivener);

- работы в области корпусной лингвистики (В.П. Захаров, В.А. Плунгян, D. Biber, G. Leech, M. McCarthy, T. McEnery, A. O'Keeffe, R. Reppen, J. Sinclair, A. Wilson).

Для решения поставленных задач использовались следующие методы исследования: анализ научной литературы по изучаемой проблеме; наблюдение; обобщение опыта; анкетирование; метод корпусного анализа лингвистических данных; метод сбора и организации языковых данных в корпус; метод статистической обработки корпусных данных; метод экспертной оценки; опытная проверка; интерпретация и статистическая обработка данных.

Опытно-экспериментальная база исследования. Исследование проводилось на базе Федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Тамбовский государственный университет имена Г.Р. Державина». В опытной проверке методики участвовали 24 учителя школ и преподавателя вузов, которые проходили обучение на курсах повышения квалификации, организованных при кафедре лингвистики и лингводидактики университета.

Организация и этапы исследования. Исследование проводилось в три этапа.

На первом (поисково-теоретическом) этапе (2011-2012 гг.) происходила выработка общей концепции работы и определение проблемного поля исследования, а также начальное ознакомление и последующий углубленный сравнительно-сопоставительный анализ методической, психолого-педагогической и лингвистической литературы по проблеме исследования. На этом же этапе разрабатывалась теоретико-методологическая база исследования, определялся его понятийно-терминологический аппарат, формулировалась тема, цель, объект, предмет и гипотеза исследования, осуществлялась постановка задач и уточнялись методы.

На втором (опытно-моделирующем) этапе (2012-2013 гг.) завершилась работа над теоретической частью исследования и началась разработка лин-гводидактической модели экспертной оценки языка учебных пособий на основе корпусного подхода. После этого осуществлялось планирование и учебно-методического обеспечение опытной проверки с последующей апробацией практической части исследования.

На третьем (аналитико-обобщающем) этапе (2013-2014 гг.) происходило обобщение и систематизация результатов, полученных в ходе опытно-экспериментальной работы, и оформлялись материалы диссертации.

Достоверность результатов исследования и обоснованность выводов, сделанных в работе, обеспечивается обращением к современным исследованиям в области теории и практики преподавания иностранных языков, использованием разных методов и их соответствием задачам исследования, статистической достоверностью опытно-экспериментальной работы и опорой на достижения методики обучения иностранным языкам и смежных наук (лингвистики, педагогики, психологии).

Научная новизна исследования заключается в том, что в нем:

- определено место экспертизы учебных пособий в общей системе экспертирования средств обучения;

- выявлены аспекты экспертной оценки языка учебных пособий и определены критерии их оценивания;

- определены содержательные и конструирующие принципы создания корпусов учебников и учебных пособий по иностранному языку;

- разработана лингводидактическая модель экспертной оценки языкового содержания учебных пособий на основе корпусного подхода, включающая исходный, целевой, теоретический, содержательный, технологический и оценочно-результативный компоненты;

- разработана научно обоснованная и экспериментально проверенная методика экспертной оценки языка учебных пособий на основе корпусного подхода с опорой на разработанную лингводидактическую модель этого процесса, включающую алгоритм проведения оценки.

Теоретическая значимость исследования состоит в следующем:

- внесен вклад в теорию и методику обучения иностранным языкам научно обоснованными выводами, раскрывающими структуру и содержание процесса экспертной оценки языкового содержания учебных пособий;

- систематизированы аспекты языкового содержания учебных пособий и определены критерии их оценки;

- приведено подробное описание лингводидактической модели экспертной оценки языка учебных пособий на основе корпусного подхода;

- доказана целесообразность последовательности этапов проведения этой оценки.

Практическая значимость исследования определяется тем, что в нем дано подробное описание разработанной лингводидактической модели и методики экспертной оценки языка учебных пособий, включая характеристику работы с автоматизированными программными средствами для обработки и анализа данных корпусов учебных пособий, а также рекомендации по ее использованию. Кроме этого, разработана программа курса повышения квалификации учителей иностранного языка и преподавателей языковых кафедр вузов

«Корпусный подход к исследованию языковых явлений и процессов», включающая занятия, посвященные экспертной оценке языка учебных пособий.

Материалы диссертационного исследования могут быть использованы в нескольких направлениях: во-первых, при разработке учебных пособий, авторских программ и курсов по иностранным языкам; во-вторых, при отборе учебных пособий для организации учебного процесса в соответствии с существующими потребностями; в-третьих, на курсах повышения квалификации учителей и преподавателей иностранных языков школ и вузов; в-четвертых, в курсе теории и методики преподавания иностранных языков и культур при подготовке бакалавров и магистров лингвистики и педагогического образования.

На защиту выносятся следующие положения:

1. Экспертная оценка языка учебных пособий на основе корпусного подхода представляет собой процедуру, при которой языковое содержание пособия рассматривается в качестве лингвистического корпуса и анализируется с помощью специализированных программных средств обработки корпусных данных.

2. Экспертная оценка языка учебных пособий на основе корпусного подхода позволяет повысить уровень объективности в отношении суждений относительно их языкового содержания за счет следования процедуре, включающей выделение аспектов и критериев оценки, создание корпуса пособия с учетом определенных принципов и соблюдение разработанного алгоритма оценки.

3. Экспертная оценка языка учебных пособий, т.е. представленного в них языкового содержания обучения, складывается из оценки ряда аспектов, отражающих их тематическую и языковую наполненность. Тематическая наполненность учебных пособий воплощается в коммуникативном, культурном, междисциплинарном и социальном аспектах. Языковая наполненность учебных пособий отражается в сравнительном, уровневом, речевом, лексическом, грамматическом, семантическом, стилистическом, словообразовательном, фонологическом, орфоэпическом, орфографическом, пунктуационном и графическом аспектах.

4. Экспертная оценка языка учебных пособий в контексте обозначенных аспектов осуществляется с учетом следующих критериев: (а) соответствия языкового содержания учебного пособия уровню владения языком; (б) учета частотности употребления языковых единиц и сходств, различий и особенностей системы родного языка по сравнению с иностранным; (в) учета сложности языкового содержания и иноязычных социально-культурных реалий; (г) жанровой, стилевой и функциональной репрезентативности языкового содержания учебного пособия; (д) сбалансированности фонетического, лексического, грамматического, синтаксического и дискурсивного состава языкового содержания пособия.

5. Процедура построения корпуса (полкорпусов) учебника или учебного пособия по иностранному языку основывается на содержательных принципах

целостности учебно-методического комплекта, соответствия задаче анализа, структурированности компонентного состава издания и конструирующих принципах стилевой обусловленности корпуса, репрезентативности выборки, аутентичности текстотеки издания, анализируемости электронными средствами и соблюдения авторских прав.

6. Лингводидактическая модель экспертной оценки языкового содержания учебных пособий на основе корпусного подхода функционирует в единстве исходного, целевого, теоретического, содержательного, технологического и оценочно-результативного компонентов. Основанная на этой модели методика экспертной оценки языкового содержания учебных пособий включает в себя алгоритм, состоящий из 5 этапов: аналитического, подготовительного, этапа количественного изучения проблемной области, этапа качественного объяснения полученных данных и этапа экспертной оценки языка пособия с учетом заданных критериев и параметров.

Апробация и внедрение результатов. Результаты исследования обсуждались на заседаниях кафедры лингвистики и лингводидактики Тамбовского государственного университета имени Г.Р. Державина и прошли апробацию на конференциях и семинарах, где они были представлены в виде докладов и публикаций: на конференции Лаборатории языкового поликультурного образования в Тамбовском государственном университете имени Г.Р. Державина (Тамбов, 2008), на Всероссийской научной конференции «Контроль качества обучения иностранным языкам» (Тамбов, 2009), на Международной научно-практической конференции «XXXVIII Неделя науки СПбГПУ» (Санкт-Петербург, 2010), на ежегодных Всероссийских конференциях преподавателей и аспирантов в Тамбовском государственном университете имени Г.Р. Державина «Державинские чтения» (Тамбов, 2010, 2011, 2012, 2013), на Всероссийской научной конференции «Реализация Федерального государственного образовательного стандарта (ФГОС) в современном учебнике иностранного языка» (Тамбов, 2011), на Международном научно-практическом семинаре «Компьютерные технологии в современном учебно-воспитательном процессе» (Тамбов, 2012), на I Международной научной конференции преподавателей, аспирантов, магистров и студентов вузов «Наука. Образование. Культура: Вклад молодых исследователей» (Новочеркасск, 2012), на IX Международной научно-практической конференции «Ключевые вопросы современной науки - 2013» (София, 2013), на Международной научно-практической конференции «Преподавание английского языка в профессиональном контексте» (Тамбов, 2013), на VII Международной научно-практической конференции «Учитель-Ученик-Учебник» (Москва, 2013).

Результаты исследования также получили свое распространение и апробацию в рамках мастерских для учителей школ и преподавателей вузов, организованных на базе Тамбовского государственного технического университета (Тамбов, ноябрь 2013) и Московского института открытого образования (Москва, март 2014) и в ходе всероссийских вебинаров на портале

www.englishteachers.ru (июль 2014 г.), в которых приняли участие более 500 учителей иностранного языка.

Объем и структура работы. Диссертация состоит из введения, двух глав, выводов по ним, заключения, библиографического списка и приложений.

Во введении обоснованы актуальность и выбор темы исследования, сформулированы его цель, объект и предмет, изложены гипотеза и задачи, охарактеризованы методологическая основа и теоретическая база работы, раскрыты научная новизна, теоретическая и практическая значимость, перечислены методы исследования, обозначены положения, выносимые на защиту, приведены сведения об апробации и внедрении результатов, представлена структура работы.

В главе I - «Экспертная оценка языка учебных пособий как лингводи-дактическая проблема» - изучается современное состояние проблемы экспертной оценки учебных пособий (п. 1.1), раскрываются аспекты экспертной оценки языкового содержания учебных пособий на основе образовательных стандартов путем обобщения отечественного и зарубежного опыта (п. 1.2) и выделяются критерии экспертной оценки языкового содержания учебных пособий на основе теории учебника (п. 1.3).

В главе II - «Моделирование экспертной оценки языка учебных пособий» - описывается процедура создания лингводидактической модели экспертной оценки языка учебных пособий (п. 2.1), представляется опытная проверки основанной на ней методики (п. 2.2) и приводится интерпретация полученных в ходе опытной проверки результатов (п. 2.3).

В заключении подводятся итоги проведенного исследования.

Библиографический список насчитывает 231 источник, в том числе 93 - на иностранных языках.

В приложениях содержится более подробная информация о некоторых языковых образовательных стандартах, приводится тематическое содержание программы повышения квалификации учителей и преподавателей иностранного языка на основе разработанной методики, дается анкета и протоколы оценивания, использованные на этапе опытной проверки. Кроме этого, приводятся скриншоты и данные об автоматизированных программных средствах оценки языкового содержания учебных пособий.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Экспертное оценивание образовательной среды - это динамически развивающееся направление, которое характеризуется широкой областью применения. В частности, экспертизе подвергаются учебники, учебные пособия и другие средства перед тем, как стать неотъемлемым компонентом учебного процесса.

Учитывая тот факт, что создание учебного издания подразумевает расценивание его как системы знаний, дидактической системы и педагогической системы (С.Г. Антонова, А.Р. Арутюнов, И.Л. Бим, М.Н. Вятютнев, Д.Д. Зуев), экспертная оценка касается анализа всех этих компонентов.

Выше сказанное находит свое воплощение и в официальных документах. Так, на основании Приказа Министерства образования и науки Российской Федерации № 1047 от 5 сентября 2013 г. оценка учебных изданий подразумевает проведение педагогической, научной и общественной экспертизы.

При всеобъемлющей процедуре проведения подобной экспертизы, в теории и практике преподавания иностранных языков и культур проблематика экспертной оценки учебных пособий остается актуальной. Это связано с текущей неопределенностью в плане разграничения понятий «методика» и «лингводидактика», что влияет и на оценку соотношения методических и непосредственно языковых сторон содержания учебных пособий.

Анализ литературы по обозначенной проблеме показал, что провести содержательную дифференциацию методики и лингводидактики как в целом, так и в контексте анализа учебно-методических пособий представляется затруднительным (И.Б. Ворожцова, Н.Д. Гальскова, Н.И. Гез, М. Джусупов, А.К. Крупченко, Р.П. Мильруд). Поэтому полагается целесообразным разграничить содержание обучения иностранному языку и культурам в учебных пособиях в двух направлениях. В области прикладной лингвистики это собственно язык с его звуковыми, лексическими, словообразовательными, морфологическими, синтаксическими, стилистическими и другими особенностями. В методике, в свою очередь, содержание обучения определяется совокупностью педагогических и дидактических обобщений в контексте методической культуры, обусловливающей написание того или иного учебного пособия.

В рамках настоящего исследования рассматривается именно языковое содержание учебных пособий как предмет экспертного оценивания. Отметим, что предметное (тематическое) содержание обучения, заложенное в учебных пособиях, также принимается во внимание, однако исследуется с точки зрения своего воплощения через языковые средства.

Любые действия, связанные с осуществлением научно-педагогической экспертизы, определяются и воплощаются в жизнь компетентными лицами, обладающими специальными знаниями в исследуемой области, - экспертами.

В общем виде метод экспертных оценок в научной литературе определяется как эмпирический метод-операция, разновидность опроса, осуществляемого с привлечением к оценке изучаемых явлений или процессов людей, общее компетентное мнение которых может служить достаточным основанием для вынесения объективного заключения о качестве анализируемого продукта (A.M. Новиков).

Изучению вопросов, связанных с организацией, проведением и методологией экспертизы, посвящено множество трудов (Г.Г. Азгальдов, С.Д. Бе-лешев, Ф.Г. Гурвич, Б.Г. Литвак, Г.А. Мкртычян, Э.П. Райхман, Ю.В. Си-

дельников, А.У. Хараш). Несмотря на свою разработанность, методы экспертных оценок имеют ограничения, к которым относят недостаточное обеспечение профессионального уровня организации и проведения экспертизы, невозможность создания единых моделей экспертизы и универсальных правил ее проведения, сложность в определении количественных эквивалентов предпочтений экспертов.

Несовершенство метода экспертных оценок неизбежно стимулировало поиск новых механизмов, позволяющий усовершенствовать технологии осуществления экспертной деятельности. К ним относятся различные автоматизированные системы поддержки, или экспертные системы (Б.Г. Литвак, П. Джексон, Э.В. Попов, G.F. Cooper, A. Goodall, B.S. Todd). К их преимуществам перед человеком-экспертом относят стабильность работы, легкость передачи знаний, устойчивость к воздействию негативных факторов. Вместе с тем, функционирование экспертных систем также все еще далеко от идеала (П. Джексон).

Поэтому наиболее продуктивной представляется ситуация, при которой человек-эксперт работает в связке с экспертной системой, когда последняя выступает в роли компетентного партнера и консультанта в конкретной предметной области (Д.И. Муромцев).

Технологии работы автоматизированных экспертных систем могут находить свое применение и в лингвистической оценке учебных пособий по иностранному языку, что и легло в основу выбора корпусного подхода для разработки методики экспертной оценки языка учебных пособий.

Для выявления аспектов экспертной оценки языкового содержания учебных пособий был обобщен отечественный и зарубежный опыт стандартизации содержания обучения. В основу анализа были положены российские Федеральные государственные образовательные стандарты и примерные общеобразовательные программы по иностранному языку, американские «Стандарты изучения иностранных языков в XXI веке» и «Стандарты словесности английского языка и грамотности в истории, обществознании, естествознании и технических дисциплинах», общеевропейские компетенции владения иностранным языком, а также система уровней владения иностранным языком Совета Европы и ACTFL.

Содержание языковых стандартов, рассмотренное сквозь призму мирового опыта преподавания иностранных языков и культур, позволило выделить ряд аспектов языкового содержания учебных пособий для проведения экспертной оценки: (а) коммуникативный аспект, отражающий тематическую наполненность учебных пособий для успешного моделирования различных ситуаций общения и репрезентации информации; (б) культурный аспект, отражающий тематическую наполненность учебных пособий для успешного усвоения практик, перспектив и продуктов иноязычной культуры; (в) междисциплинарный аспект, отражающий тематическую наполненность учебных пособий для приобретения знаний из смежных предметных областей посред-

ством иностранного языка; (г) социальный аспект, отражающий тематическую наполненность учебных пособий для формирования интереса к иностранному языку и культуре и получению личного удовольствия от процесса овладения языком; (д) сравнительный аспект, отражающий языковую наполненность учебных пособий для овладения стратегиями сопоставления языкового устройства родного и иностранного языка; (е) уровневый аспект, подразумевающий соответствие языкового содержания учебных пособий уровню владения иностранным языком; (ж) речевой аспект, подразумевающий соответствие и сбалансированность языкового содержания учебных пособий относительно видов речевой деятельности; (з) лексический аспект, отражающий лексическую наполненность учебных пособий для успешного формирования словарного запаса; (и) грамматический аспект, отражающий грамматическую наполненность учебных пособий для успешного формирования грамматических навыков; (к) семантический аспект, отражающий наполненность учебных пособий языковыми единицами для успешного формирования смыслоразличительных навыков; (л) стилистический аспект, отражающий языковую наполненность учебных пособий для успешного овладения функциональными языковыми средствами в разных регистрах общения; (м) словообразовательный аспект, отражающий языковую наполненность учебных пособий для успешного формирования навыков словообразования; (н) фонологический аспект, отражающий языковую наполненность учебных пособий для овладения системой фонем и их различительными признаками; (о) орфоэпический аспект, отражающий языковую наполненность учебных пособий для успешного формирования навыков нормативного произношения; (п) орфографический аспект, отражающий языковую наполненность учебных пособий для успешного овладения правилами правописания; (р) пунктуационный аспект, отражающий языковую наполненность учебных пособий для успешного овладения правилами расстановки знаков препинания; (с) графический аспект, отражающий языковую наполненность учебных пособий для успешного овладения начертательными средствами языка.

Выведение экспертной оценки языка учебных пособий осуществляется на критериальной основе. Для определения этих критериев были изучены различные теории учебника и системы их всестороннего анализа (А.Р. Арутюнов, В.П. Беспалько, И.Л. Бим, М.Н. Вятютнев, T. Ahour, Y. Chuang,

A. Cunningsworth, R. Ellis, W. Hsu, M.S. John, Y. Liu, J. McDonough, I. McGrath, H. Masuhara, J. Mukundan, C. Shaw, L.E. Sheldon, Z. Shutang,

B. Tomlinson, X. Wang, D. Williams, Z. Yong и др.).

Так, были выделены следующие критерии экспертной оценки языка учебных пособий: (а) соответствие языкового содержания учебного пособия заявленному уровню владения языком, необходимому для работы с ним; (б) учет частотности употребления языковых единиц при отборе языкового материала учебного пособия; (в) учет сходств, различий и особенностей системы родного языка по сравнению с иностранным при отборе языкового ма-

териала учебного пособия; (г) учет сложности языкового содержания учебного пособия; (д) учет иноязычных социально-культурных реалий в языковом содержании учебного пособия; (е) жанровая репрезентативность языкового содержания учебного пособия; (ж) стилевая репрезентативность языкового содержания учебного пособия; (з) функциональная репрезентативность языкового содержания учебного пособия; (и) сбалансированность фонетического состава языкового содержания учебного пособия по параметру распределения звуко-буквенных соответствий в словах; (к) сбалансированность лексического состава языкового содержания учебного пособия; (л) сбалансированность грамматического состава языкового содержания учебного пособия; (м) сбалансированность синтаксического состава языкового содержания учебного пособия; (н) сбалансированность дискурсивных элементов языкового содержания учебного пособия.

С учетом изложенных ранее теоретических положений и основываясь на опыте лингводидактического моделирования методических систем (Т.А. Бороненко, И.Б. Готская, А.Н. Дахин, И.М. Дудина, Е.С. Заир-Бек, Г.Н. Лобова, Т.С. Фещенко, А.Н. Шарипов, Л.В. Шелехова и др.), была разработана лингводидактическая модель экспертной оценки языка учебных пособий, состоящая из 6 компонентов (см. схему 1).

Оценочно-результативный компонент

Схема 1. Компонентный состав лингводидактической модели

Так, создаваемая модель основана на ряде предпосылок и внешних требований к процедуре экспертной оценки, что составляет ее исходный компонент. В рамках целевого компонента обозначаются теоретические и методические цели проведения лингвистической оценки учебных пособий, выделяемые на основе выявленных внешних требований и предпосылок.

Целевой компонент, в свою очередь, определяет теоретический и содержательный компоненты модели. Теоретический компонент объединяет ряд подходов и принципов экспертной оценки языка учебных пособий, в то время как содержательный компонент представляет собой совокупность различных аспектов языкового содержания учебных пособий.

Следующий компонент модели - технологический - включает в себя методы и средства экспертной оценки языка учебных пособий, алгоритм (этапы) ее проведения, а также условия эффективной реализации создаваемой лингводидактической модели.

Наконец, для проверки функциональности модели в рамках оценочно-результативного компонента выделяются критерии и параметры оценки языкового содержания учебных пособий, ее результат и методические рекомендации, предлагаемые на основе полученного результата и направленные на совершенствование технологии оценки.

Получившаяся лингводидактическая модель в развернутом виде представлена на схеме 2.

Алгоритм проведения экспертной оценки языка учебных пособий на основе корпусного подхода состоит из 5 этапов.

На аналитическом этапе происходит анализ поставленного для выполнения задания по лингвистическому оцениванию учебного пособия или отдельного аспекта его языкового содержания, определяются необходимые средства и технологии оценки, а также формируется метаязык описания проблемной области.

На подготовительном этапе создается объектный корпус (объектные подкорпусы) и необходимое количество референтных корпусов и списков слов для их дальнейшего сопоставления.

В качестве объектного выступает непосредственно корпус учебника или учебного пособия. Принципы создания такого корпуса можно разделить на содержательные и конструирующие.

Процесс построения корпуса учебника или учебного пособия по иностранному языку связан с проблемой выделения текста, который следует включить в его состав, поэтому здесь следует придерживаться нескольких содержательных принципов, среди которых можно выделить принцип целостности, принцип соответствия задаче анализа, а также принцип структурированности.

Принцип целостности учебно-методического комплекта заключается в ориентации на определенную категорию учебников и учебных пособий в соответствии с исследовательскими требованиями. Так, в соответствии с принципом целостности и руководствуясь поставленными в исследовании задачами, создаваемый корпус учебника или учебного пособия может включать в себя как содержание книг всей уровневой серии, так и отдельных частей (рабочей тетради, скриптов мультимедиа-приложений и т.д.)

г

8 I к §

Внешние требования и предпосылки

\

Требования ФГОС Требования к проведению С экспертизы учебных пособий

Социальный заказ ^ на получение

качественных учебных пособий

Противоречия между декларируемой системой экспертной оценки языка учебных пособий и фактической реализацией этого процесса

и.

Цели '

теоретическая

<0=

О

методическая

\7

системным

деятельностныи

V Подходы

\7

квалиметрическии

корпусный

исследовательским

объективности

детерминизма

Принципы -

воспроизводимости

взаимодеиствия

управляемости

процессуальности

результативности

а «

V V V

Содержание экспертной оценки языка учебных пособий (аспекты)

коммуникативный

культурный

междисциплинарный

социальным

сравнительный

уровневыи

речевой

лексическии

грамматическим

семантическим

стилистическии

| фонологический

орфоэпический |

| орфографический

пунктуационным

графический |

словообразовательный

т

тг

т

а О

Алгоритм проведения экспертной оценки языка учебных пособий (этапы)

аналитическим

м

подготовительный

К

количественного изучения

экспертной оценки

3=4

качественного объяснения

Условия эффективной реализации модели

мотивация и готовность использовать корпусный подход

ИКТ компетентность членов экспертной группы

наличие проверенного в ходе тренировочных испытаний опыта

соответствия уровню владения языком

учета частотности языковых единиц

учета родного языка

учета сложности языкового содержания

Критерии

учета социально-культурных реалий

жанровой ре презе нтатив ности

стилевой репрезентативности

функциональной репрезентативности

сбалансирован ности фонетического состава

сбалансирован ности лексического состава

сбалансированности грамматического состава

сбалансированности синтаксического состава

сбалансированности дискурсивных элементов

Результат

Заключение о соответствии языкового содержания учебного пособия критериям оценки

Методические рекомендации

Схема 2. Лингводидактическая модель экспертной оценки языка учебных пособий

Принцип соответствия задаче анализа ориентирует создателя корпуса на определение границ языкового пространства проблемной области, которое планируется отобразить в корпусе. При этом, исходя из цели и задач исследования, корпус учебника или учебного пособия может содержать все его текстовое наполнение, включая название самого издания и уроков, ссылки на словарные статьи, грамматический справочник и так далее, либо ограничиваться определенной выборкой данных.

Принцип структурированности компонентного состава издания определяет такое направление стратегии создания языкового корпуса учебного пособия, которое ориентируется на компонентный состав книги. Структура учебника не раз рассматривалась в теории и практике обучения иностранным языкам, в частности в работах В.Г. Бейлинсона, Э.Г. Гельфман, Д.Д. Зуева, М.А. Холодной. Так, согласно указанному принципу, может быть смоделирован: а) корпус основного текста учебного пособия, который будет содержать материал, служащий ключевым источником учебной информации; б) корпус дополнительных текстов, который будет включать в себя материал подкрепляющего и углубляющего знания характера (например, тексты для домашнего чтения); в) корпус пояснительных текстов, объединяющий различные примеры, справки, примечания, словарные статьи и другой материал, призванный обеспечить более полное понимание и усвоение информации.

К конструирующим принципам создания корпуса учебного пособия относятся принцип стилевой обусловленности корпуса, принцип репрезентативности выборки, принцип аутентичности текстотеки издания, принцип анализируемости электронными средствами и принцип соблюдения авторских прав.

Принцип стилевой обусловленности основан на понимании того, что содержание корпуса не может быть случайным и отбирается в соответствии с определенными критериями. Это особенно важно при проведении узкопрофильных исследований. Например, если целью исследования является изучение вводных слов в академической речи, то важно обращаться к корпусу, который будет состоять из отрывков академического языка.

Принцип репрезентативности выборки является главным для обеспечения допустимости использования корпуса текстов. В статистике под репрезентативностью понимается соответствие характеристик, полученных в результате выборочного наблюдения, показателям, характеризующим всю генеральную совокупность. В корпусной лингвистике можно говорить о количественной и качественной моделях репрезентативности.

Принцип аутентичности диктует включение в состав корпуса только аутентичных материалов. В этой связи стоит отметить, что понятие аутентичности часто довольно широко интерпретируется. Так, содержание учебника может быть аутентичным по своему происхождению и по своим функциям. Поэтому главным критерием аутентичности текста учебника следует

считать то, что его языковое наполнение не было специально придумано с единственной целью попасть в состав корпуса.

Принцип анализируемости подразумевает возможность автоматизированного анализа корпусных данных программными средствами. Для этого корпус должен быть сохранен с одном из электронных форматов (.txt, .rtf, .html) в зависимости от корпусного менеджера, который будет использоваться для выполнения задач по обработке текстовых массивов.

Принцип соблюдения авторских прав является важной составляющей процесса создания корпуса данных, особенно если его содержание предполагает дальнейшее распространение в виде раздаточного материала или публикации.

Конструирующие принципы построения корпуса учебника или учебного пособия, таким образом, объединяют в себе ряд требований, выполнение которых формирует стратегию этого построения.

После создания необходимых корпусов следует этап количественного изучения проблемной области в ходе сопоставления языкового содержания объектного и референтного корпусов и этап качественного объяснения полученных данных.

Наконец, наступает этап экспертной оценки языка объектного корпуса с учетом выявленных на предыдущих этапах критериев и параметров.

Опытная проверка методики экспертной оценки языка учебных пособий на основе корпусного подхода проводилась в 2012 г. на базе Тамбовского государственного университета имени Г.Р. Державина в течение одного цикла продолжительностью 72 часа в рамках программы повышения квалификации преподавателей языковых кафедр вузов и учителей иностранного языка «Корпусный подход к исследованию языковых явлений и процессов». В обучении приняли участие 24 человека.

Отметим, что первоначально методика экспертизы языкового содержания учебных пособий проверялась посредством сопоставления выводов, полученных в ходе анализа языка выбранной книги с помощью корпусных технологий, с заключением группы учителей, работавших с этим изданием. Так, основные проблемные моменты, связанные с освоением языкового содержания пособия учащимися, которые озвучивались учителями, нашли свое подтверждение и объяснение в ходе проведения оценки языка этого пособия на основе корпусного подхода по предлагаемой методике.

Это заключение легло в основу последующей опытной проверки методики экспертной оценки, которая состояла в организации процесса обучения слушателей курса повышении квалификации оцениванию языкового содержания учебных пособий, руководствуясь созданной методикой. Опытная проверка включала в себя несколько этапов.

На этапе подготовки происходило определение цели, места и сроков проведения обучения, осуществлялся подбор экспериментального материала

и уточнялся алгоритм работы с испытуемыми, исходя из их количества и доступности аудитории, снабженной компьютерами.

На диагностическом этапе определялся исходный уровень знаний и умений, которые должны были формироваться и развиваться у испытуемых в процессе обучения.

На формирующем этапе осуществлялось обучение на основе разработанного алгоритма проведения экспертной оценки языка учебных пособий в соответствии с созданной лингводидактической моделью, был организован промежуточный контроль для оценки динамики развития требуемых умений и производилась корректировка методики.

На заключительном этапе определялся уровень развития умений и овладения знаниями и технологией оценки языка учебных пособий на основе корпусного подхода по результатам выполнения контрольных заданий. Кроме этого, на заключительном этапе участниками обучения проводилась рефлексия относительно его организации, проведения, содержания и пользы.

Для интерпретации полученных в ходе опытного обучения результатов необходимо уточнить, на основе каких критериев и показателей это может осуществляться.

Овладение терминологическим аппаратом проблемной области, развитие умений выделять аспекты языкового содержания учебных пособий, формулировать критерии оценки аспектов языкового содержания учебных пособий и определять параметры, конкретизирующие критерии оценки различных аспектов языкового содержания учебных пособий относятся к когнитивному критерию уровня обученности испытуемых. Операционно-деятельностный критерий соотносится со степенью развития умения использовать подходящие программные средства анализа проблемной области, в частности, программу осуществления частеречной разметки текста Stanford Log-Linear Part-of-Speech Tagger (К. Toutanova, D. Manning), онлайн инструменты определения удобочитаемости Readability Score (D. Child), онлайн корпус со встроенным корпусным менеджером Brigham Young University - British National Corpus (BYU-BNC) (M. Davies), компьютерную программа статистической обработки текстовых данных AntConc (L. Anthony), корпусный менеджер СопсАрр Concordancer (С. Greaves) и программные средства сопоставительного анализа онлайн приложения TextLexCompare (Т. Cobb). Развитие умения интерпретировать результаты оценки проблемной области и формулировать выводы и давать рекомендации по работе с учебным пособием на основании этих результатов выделяется в рамках рефлексивного критерия.

Обобщим выше сказанное в виде таблицы (см. табл. 1).

В соответствии с приведенными критериями и показателями была разработана специальная шкала оценивания уровня овладения методикой экспертной оценки языкового содержания учебных пособий на основе корпусного подхода (представлена в параграфе 2.3 диссертации).

Таблица 1

Критерии и показатели овладения методикой экспертной оценки языка учебных пособий на основе корпусного подхода

Критерий Показатели

когнитивный 1. Овладение терминологическим аппаратом проблемной области

2. Развитие умения выделять аспекты языкового содержания учебных пособий

3. Развитие умения формулировать критерии оценки аспектов языкового содержания учебных пособий

4. Развитие умения определять параметры, конкретизирующие критерии оценки различных аспектов языкового содержания учебных пособий

операционно-деятелъностный 5. Развитие умения отбирать подходящие программные средства анализа проблемной области

6. Развитие умения использовать отобранные программные средства анализа проблемной области

рефлексивный 7. Развитие умения интерпретировать результаты оценки проблемной области

8. Развитие умения формулировать выводы и давать рекомендации по работе с учебным пособием на основании результатов оценки

Обратимся к результатам, полученным в ходе опытной проверки методики. Для начала рассмотрим динамику изменения уровня владения знаниями и развития умений, отраженную в виде графиков на трех этапах оценки: предэкспериментальном срезе, промежуточном контроле и постэкспериментальном срезе (см. рис. 1).

Приведенные выше данные позволяют говорить о том, что на диагностическом этапе опытного обучения испытуемые показали результаты в диапазоне от 6 до 12 баллов из 20 возможных со средним показателем 8,41 балла.

По результатам проведения промежуточного контроля можно сделать вывод об улучшении уровня владения знаниями и развития умений всех испытуемых, которые набрали от 11 до 19 баллов со средним показателем 14,17 балла.

Данные предэкспериментального среза позволили установить дальнейший рост показателей. 6 испытуемых получили максимальное количество баллов, в то время как двое не показали улучшения итоговых показателей по сравнению с промежуточными. Средний балл по результатам постэкспериментального среза составил 18.

Рис. 1. Динамика изменения уровня овладения методикой экспертной оценки языка учебных пособий на основе корпусного подхода

Рассмотрим далее, как изменился уровень владения знаниями и развития умений испытуемых до и после обучения по 8 показателям шкалы оценивания этого уровня (см. рис. 2).

Рис. 2. Среднеарифметические показатели уровня овладения методикой экспертной оценки языка учебных пособий на основе корпусного подхода до и после формирующего этапа опытной проверки

Представленные данные дают основание констатировать, что до формирующего эксперимента испытуемые уже владели определенными знаниями и умениями в области экспертной оценки языка учебных пособий на основе корпусного подхода. Это было особенно ярко выражено через такие показатели, как овладение терминологическим аппаратом проблемной области, развитие умения выделять аспекты языкового содержания учебных пособий и формулировать критерии оценки этих аспектов. Такие данные объяснялись, прежде всего, особенностями контингента испытуемых, состоящего из учителей иностранного языка и преподавателей языковых кафедр вуза, имевших широкие представления и фоновые знания о проблемной области.

Вместе с тем, по остальным 5 показателям (определение параметров, конкретизирующих критерии оценки различных аспектов языкового содержания учебных пособий, отбор и использование подходящих программных средств, интерпретация результатов оценки, формулирование выводов и рекомендаций по работе с пособиями на основе полученных результатов) наблюдалась недостаточность уровня владения знаниями и развития умений. Это объяснялось новизной подхода и использованием непривычной технологии оценки языка учебных пособий.

После формирующего эксперимента уровень владения знаниями и развития умений испытуемых по среднестатистическим показателям поднялся по всем направлениям, существенно повышая вероятность эффективности проведения испытуемым экспертной оценки языка учебных пособий на основе корпусного подхода в их дальнейшей практике и доказывая эффективность предлагаемой методики.

Для проверки статистической значимости полученных данных до и после формирующего эксперимента воспользуемся G-критерием знаков, который позволяет выявить статистически значимую тенденцию в смещении показателей.

Сформулируем нулевую гипотезу (Н0): в состоянии уровня владения знаниями и развития умений экспертной оценки языка учебных пособий на основе корпусного подхода нет значимых различий до и после формирующего эксперимента. Сформулируем альтернативную гипотезу (Н,): состояния уровня владения знаниями и развития умений экспертной оценки языка учебных пособий на основе корпусного подхода существенно различны до и после формирующего эксперимента.

Гипотеза Н0 принимается на уровне значимости 0,05, если статистика критерия Т < п - ta, где п - число пар за вычетом нулевых сдвигов, а значение и - ta определяется из статистической таблицы для критерия знаков (М.И. Грабарь, К.А. Краснянская). На основании количественных показателей «до» и «после» (см. табл. 2), проверим гипотезу Н0.

Таблица 2

Количественные показатели уровня овладения методикой экспертной оценки языка учебных пособий на основе корпусного подхода до и после формирующего этапа опытной проверки

Показатели П1 П2 пз 114 П5 П6 П7 П8

Значение «до» 1,75 2,33 1,33 1 0,13 0,83 1 0,79

Значение «после» 3 3 1,58 1,75 1,88 3,17 1,79 1,83

Знак разности отметок + + + + + + + +

Подсчитаем значение статистики критерия Т, которое равно числу положительных «сдвигов»: Т = 8.

Для определения критических значений статистики критерия п - обратимся к статистической таблице. Для уровня значимости а = 0,05 при п = 8 (нулевых и отрицательных сдвигов не наблюдалось) значение п - /а = 7. Следовательно, выполняется неравенство Т> п-1„(8 > 7).

На основании правила принятия решения гипотеза Н0 отклоняется на уровне значимости 0,05 и принимается гипотеза Н,. Это позволяет сделать вывод об улучшении уровня овладения методикой экспертной оценки языка учебных пособий на основе корпусного подхода в ходе опытной проверки.

В результате проведенного исследования была разработана научно обоснованная и практическим путем проверенная методика экспертной оценки языка учебных пособий на основе корпусного подхода.

Были успешно решены поставленные задачи:

1) на основе анализа литературы по проблеме исследования определено место экспертизы учебных пособий в общей системе экспертирования средств обучения;

2) выявлены аспекты экспертной оценки языка учебных пособий;

3) определены критерии экспертной оценки языка учебных пособий;

4) установлены принципы создания языкового корпуса учебного пособия по иностранному языку;

5) разработана лингводидактическая модель экспертной оценки языка учебных пособий на основе корпусного подхода, включая алгоритм осуществления этой оценки;

6) экспериментально проверена эффективность методика экспертной оценки языка учебных пособий на основе лингводидактической модели и проверена ее эффективность на практике.

Таким образом, была достигнута цель работы и подтверждена выдвинутая гипотеза диссертационного исследования.

Перспективность настоящего исследования заключается во внедрении представленной методики экспертной оценки языка учебных пособий на основе корпусного подхода в практику учителей школ и преподавателей вузов. В частности, материалы исследования могут способствовать разработке проблемы формирования компетентности учителя иностранного языка.

Основные положения диссертационного исследования отражены в следующих публикациях автора:

1. Карамнов A.C. Лингвистическая оценка учебника английского языка в свободном формате // Мир науки, культуры, образования. 2014. № 1 (44). С. 141-142.

2. Карамнов A.C. Квантитативный анализ лексического охвата, плотности и повторяемости в корпусе учебника английского языка // Вестник Челябинского государственного педагогического университета.

2014. №3. С. 248-255.

3. Карамнов A.C. Количественная оценка повторяемости и сложности лексики в корпусе учебника английского языка // Филологические науки. Вопросы теории и практики. 2014. № 6 (36): в 2-х ч. Ч. I. С. 82-86.

4. Карамнов A.C. Теория учебника как основа критериальной экспертной оценки языка учебных пособий // Теория и практика общественного развития. 2014. №9. С. 68-70.

5. Карамнов A.C. Роль языковых стандартов в экспертной оценке учебных пособий по английскому языку // Вестник Томского государственного педагогического университета (Tomsk State Pedagogical Bulletin).

2015. Вып. 1 (154). С. 118-123.

6. Карамнов A.C. Языковой корпус как основа стандарта содержания обучения иностранному языку // Федеральный государственный образовательный стандарт и современный учебник: портфолио идей: сб. науч. тр. / отв. ред. Р.П. Мильруд. Тамбов: Издат. дом ТГУ им. Г.Р. Державина, 2011. С. 42-47.

7. Карамнов A.C. Функционально-типологические характеристики учебника английского языка в разных методических культурах // Наука. Образование. Культура: Вклад молодых исследователей: мат-лы I Междунар. науч. конф. препод., аспирантов, магистров и студентов вузов / под ред. JI.H. Соколовой. Новочеркасск: Лик, 2012. С. 371-374.

8. Карамнов A.C. Программные средства определения удобочитаемости текстов в учебниках английского языка // Компьютерные технологии в современном учебно-воспитательном процессе: сб. науч. тр. / отв. ред. Р.П. Мильруд. Тамбов: Издат. дом ТГУ им. Г.Р. Державина, 2012. С. 65-70.

9. Карамнов А.С., Мильруд Р.П. Язык учебника английского языка: регион, культура, политика // Филологическая регионалистика. 2012. №1(7). С. 55-63. (Доля автора - 50%)

10. Карамнов А.С. Экспертная оценка учебных пособий в системе экспертизы образовательной среды // Ключови въпроси в съвременната наука -2013: материали за 9-а международна научна практична конференция (17-25 април 2013). Том 19. Педагогические науки / ред. М.Т. Петков. София: «Бял ГРАД-БГ» ООД, 2013. С. 103-106.

11. Карамнов А.С. Модель создания корпуса учебника английского языка // Научный диалог. 2013. №2(14): Педагогика. С. 59-69.

12. Карамнов А.С. Метод экспертных оценок в лингводидактике // Вестник науки Сибири. 2013. № 4(10). С. 224-232.

13. Карамнов А.С. Современный УМК как когнитивная модель грамматической компетенции учащихся // Учитель, ученик, учебник: мат-лы VII Междунар. науч.-практ. конф.: сб. ст. Том 1 / отв. ред. О.Д. Вишнякова. М.: КДУ, 2014. С. 310-317.

14. Карамнов А.С. Моделирование методической системы экспертной оценки языка учебных пособий // Международный научный институт "Educa-tío". 2014. №3. Ч. 2. С. 56-59.

Подписано в печать 24.02.2015 г. Формат 60x84/16. Усл. печ. л. 1,5. Тираж 100 экз. Заказ № 1076. Бесплатно. 392008, Тамбов, ул. Советская, 190г. Издательский дом ТГУ имени Г.Р. Державина. Отпечатано в типографии Издательского дома ТГУ имени Г.Р. Державина 392008, г. Тамбов, ул. Советская, 190г.