Автоматизированная оценка сложности учебных текстов на основе статистических параметров

Оборнева, Ирина Владимировна

Темы диссертаций по педагогике » Теория и методика обучения и воспитания (по областям и уровням образования)

автореферат и диссертация по педагогике 13.00.02 для написания научной статьи или работы на тему: Автоматизированная оценка сложности учебных текстов на основе статистических параметров

Автореферат

Автор научной работы: Оборнева, Ирина Владимировна
Ученая степень: кандидата педагогических наук
Место защиты: Москва
Год защиты: 2006
Специальность ВАК РФ: 13.00.02

Диссертация

Автореферат диссертации по теме "Автоматизированная оценка сложности учебных текстов на основе статистических параметров"

На правах рукописи

Оборнева Ирина Владимировна

АВТОМАТИЗИРОВАННАЯ ОЦЕНКА СЛОЖНОСТИ УЧЕБНЫХ ТЕКСТОВ НА ОСНОВЕ СТАТИСТИЧЕСКИХ ПАРАМЕТРОВ

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата педагогических наук

Специальность: 13.00.02 - теория и методика обучения и воспитания (информатизация образования)

Москва 2006 год

Работа выполнена в Институте содержания и методов обучения Российской академии образования

Доктор педагогических наук Огородников Евгений Васильевич

Доктор педагогических наук,

член-корреспондент РАО Логвинов Игорь Иосифович

Кандидат педагогических наук, доцент Демидова Марина Юрьевна

Московский городской педагогический университет

Защита состоится 30 _марта 2006 года в Т^^часов на заседании Диссертационного Совета Д 008.008.04 в Институте содержания и методов обучения Российской академии образования по адресу: ! 19869, г. Москва, Погодинская ул., дом 8, кор. 1.

С диссертацией можно ознакомиться в филиале №3 Государственной научно-педагогической библиотеки им. К.Д. Ушинского при Российской академии образования.

Автореферат разослан б февраля 2006 г.

Научный руководитель:

Официальные оппоненты:

профессор,

Ведущая организация:

Ученый секретарь диссертационного совета, Кандидат педагогический наук

Е.А. Седова

Хеш в А

Общая характеристика исследования

Актуальность исследования

Качество школьного учебника во многом зависит от доступности восприятия его текста учащимися, так как и содержание предмета и методический аппарат представлены в учебнике в виде текста. Текст - это главное средство, которое создает учебник, и его качество, в первую очередь, определяет качество учебника.

Усвоение учебного материала зависит от сложности текста, а понимание текста зависит от его компонентов: длины предложений и длины слов.

В настоящее время имеется ряд исследований, в которых предложены математические модели оценки сложности текста вообще и учебных текстов с учетом возрастных особенностей учащихся, в частности. Однако, эти модели получены преимущественно для английских текстов, и не подкреплены соответствующими системами автоматизированного анализа с практичным и удобным интерфейсом. Между тем, потребность в такого рода системах и соответствующих методиках анализа текстов существует не только у экспертов-методистов, но и у создателей учебников, учителей, разрабатывающих различные методические материалы. Данная потребность усиливается в связи с развитием системы экспертизы и сертификации учебной и методической продукции, поскольку эти системы нуждаются в объективных и быстро реализуемых оценках ряда параметров сложности учебных текстов. Обозначенное усиливающееся противоречие между потребностью школы в технологии автоматизированной оценки сложности учебных текстов с соответствующей методикой и ее отсутствием обусловливает актуальность настоящего исследования.

Проблема исследования.

Проблема качества учебных изданий занимает одно из центральных мест в современной педагогической науке и привлекает к себе внимание широкого круга исследователей. Различные подходы к решению данной проблемы раскрыты в работах Бейлинсона В.Г., Бешенкова С.А., Захаровой Т.Б., Зуева Д.Д., Кузнецова А.А., Логвинова И.И., Огородникова Е.В., Полат Е.С., Роберт И.В., Рыжакова М.В., Сохора А.М. и других.

РОС. НАЦИОНАЛЬНА риклклтккА

Опубликованы работы, в которых предлагаются различные количественные и качественные подходы к оценке качества учебников вообще и учебных текстов, в частности (Мацковский М.С., Микк Я.А.). Кроме того, имеются отдельные работы (Flesh R., Gunning R., Kincaid J., Spache G., FryE.) связанные с построением математических моделей оценки и анализа англоязычных текстов по различным параметрам. Ряд работ посвящен использованию частотного и других видов анализа для обоснования структуры учебного содержания и для других целей (Григорьев С.Г., Гринщкун В.В.,. Ермаков А.Е., Хмелёв Д.В.,) Зачастую эти работы не обеспечены специальными средствами информационных технологий, автоматизирующими процесс оценки качества текстов. Специального же исследования, нацеленного на автоматизацию оценки сложности учебных, текстов не предпринималось. Соответственно, не сформулированы основные подходы к разработке методики её использования. Противоречие между необходимостью обоснования способов автоматизации оценки сложности учебных текстов для образовательных целей и отсутствием специального исследования, позволяющего автоматизировать оценку и построить соответствующую методику, обусловливает проблему настоящего исследования.

Цель исследования определяется как разработка информационной технологии автоматизации оценки сложности учебных текстов и методики использования этой технологии в педагогической практике.

Объектом исследования являются математические модели и информационные технологии анализа и оценки свойств учебных текстов.

Предметом исследования является анализ возможностей автоматизации оценки сложности учебных текстов на основе статистических параметров с помощью информационных технологий.

Основная гипотеза исследования заключается в том, что информационная технология оценки сложности учебных текстов будет способствовать улучшению их объективных характеристик, влияющих на эффективность усвоения, если она будет:

• базироваться на скорректированных формулах оценки сложности текстов, адекватных особенностям русскоязычных текстов;

• встроена в массовые технологии работы с текстом;

• снабжена обоснованной методикой её использования.

Задачи исследования:

1. Обоснование и разработка математической модели оценки сложности учебных текстов, ее проверка и корректировка применительно к особенностям русского языка;

2. Разработка автоматизированной технологии анализа сложности учебных текстов и оценка ее продуктивности;

3. Разработка методики использования информационной технологии анализа и корректировки сложности учебных текстов в педагогической практике и ее экспериментальная проверка;

4. Оценка ряда школьных учебников и пособий на базе разработанной методики.

Методы исследования

При решении указанных выше задач были использованы следующие методы исследования:

1. Теоретический анализ, который проводился с целью всестороннего изучения состояния рассматриваемой проблемы, выявления степени разработанности вопроса и определения круга проблем для их решения.

2. Статистические методы обработки, использующиеся для первичного и последующего анализа полученных данных, для выявления эффективности проведенного эксперимента и для математически обоснованной обработки результатов.

3. Экспериментальные работы, организуемые для проверки корректности разработанных принципов и параметров, эффективности технологии.

База исследования. Эксперимент проводился на базе ГОУ гимназии №1507 Юго-Западного окружного управления образования г. Москвы. Теоретико-экспериментальное исследование проводилось в три этапа.

На первом этапе (2001 - 2002 гг.) изучалось состояние проблемы оценки качества учебных текстов. Осуществлялась формулировка цели, задач, гипотезы исследования, разработка плана исследования, определение экспериментальной базы. В соответствии с поставленной целью исследования внимание было сосредоточено на установлении методов количественной оценки сложности текстов и определении

способов её автоматизации с использованием информационных технологий.

На втором этапе (2003 - 2004 гг.) Разрабатывалась автоматизированная технология оценки сложности учебных текстов. Проводилась статистическая обработка больших массивов текстовой информации на английском и русском языках, осуществлялось создание математической модели оценки сложности учебных русскоязычных текстов. Экспериментально проверялась достоверность предложенной модели на различных учебно-методических материалах. Разрабатывалась методика анализа и корректировки сложности учебных текстов на основе математической модели. Проводились экспериментальные работы по доказательству эффективности соответствующей методики.

На третьем этапе (2005 - 2006 г.) осуществлялась проверка выводов и результатов экспериментальных исследований, проводилось обобщение и описание опытно-экспериментальной работы, выполнялось оформление и публикация результатов исследований.

Научная новизна исследования состоит в обосновании математической модели оценки сложности русскоязычных учебных текстов, главные параметры которой базируются на сравнительном анализе основного словарного состава русского и английского языков и сопоставлении большого числа оригиналов и переводов текстов.

Новизна состоит также в экспериментальном доказательстве эффективности соответствующей методики, базирующейся на информационных технологиях.

Практическая значимость исследования заключается в том, что разработанная автоматизированная технология оценки сложности учебных текстов, а также соответствующие программные средства и методические материалы могут быть использованы различными категориями научно-педагогических работников: авторами учебников и пособий, методистами и учителями, разработчиками и редакторами образовательных сайтов, руководителями образовательных учреждений.

Основные положения, выносимые на защиту:

от языка. Для русскоязычных текстов эти константы и были определены на основе обработки словарей и большого количества текстов.

2. Автоматизированная технология оценки сложности русскоязычных учебных текстов встроенная в виде программного модуля в наиболее распространённый текстовый редактор и позволяющая получить значения ряда статистических параметров текста, а также рекомендации по его доработке.

3. Методика создания, анализа и корректировки сложности русскоязычных учебных текстов для различных категорий пользователей (эксперты, методисты, авторы учебников, учителя) с использованием информационных технологий, включающая в себя методы, средства и анализ результатов оценки сложности текстов, а также блок рекомендаций желаемых значений сложности текстов для разных возрастных категорий.

4. Результаты анализа учебников и пособий на основе разработанной методики, показывающие, что учебные тексты в основном соответствуют по сложности возрасту учащихся, кроме среднего звена, где сложность слишком высока для данного возраста.

Апробация исследования

Процесс апробации диссертационного исследования осуществлялся посредством выступлений и публикаций тезисов на различных научно-практических конференциях и семинарах: XV Международная конференция «Информационные технологии в образовании» «ИТО-2005» (лучший доклад). «Ломоносовские чтения МГУ», Секция проблем педагогического образования (2002 г), VI Международной конференции «ИТО-97». (Первая премия и Диплом первой степени'), семинары Окружного Методического Центра ЮЗОУО г. Москвы (2001, 2004), статьи в различных сборниках и журналах.

Публикации. Основное содержание диссертационной работы изложено в 9 научных публикациях, список которых приведён в конце работы.

Структура и объём диссертации. Диссертационная работа состоит из введения, 2 глав, заключения, библиографии и приложений.

Основное содержание работы

Во введении показана актуальность работы, сформулированы цель и задачи исследования, приведены основные защищаемые положения, а также изложены научная новизна и практическая значимость полученных результатов.

Первая глава «Параметры и методы оценки качества учебного материала» посвящена аналитическому обзору проблемы анализа качества учебных изданий вообще и методов количественной оценки сложности учебных текстов в частности для определения способов автоматизации получения этой оценки на основе информационных технологий. Определены основные критерии, отражающие качество текстов учебно-методических комплексов, в том числе и электронных.

Качество учебного текста определяется целым рядом параметров: научностью изложения, трудностью, структурностью, оформлением печатных материалов. Важную роль среди перечисленных параметров играет трудность текста (субъективная сложность), которая определяет эффективность его понимания и усвоения. Наряду с психологическими особенностями восприятия в ряде исследований выявлены объективные параметры, от которых в решающей степени зависит трудность. К их числу относятся: число новых терминов, количество новых слов, число абстрактных слов и другие. Названные параметры требуют достаточно сложных методов и технологий определения. Однако имеются обобщённые (статистические) параметры, которые в значительной степени влияют на объективную составляющую трудности восприятия текста, что обусловлено весьма малым объёмом оперативной памяти человека. К таким параметрам, прежде всего, относятся средняя длина предложения и число слогов в слове. Полученные на основе этих параметров различные формулы'Оценивают так называемую удобочитаемость или сложность текста (в отечественной литературе).

Вопросам качества учебных текстов посвящено достаточно много различных исследований. Связь между сложностью и трудностью текста нашла отражение в работах Микка Я. А. Им доказана высокая корреляция между уровнем усвоения и сложностью текста. Таким образом, сложность текста является важнейшей объективной характеристикой, обусловливающей трудность и качество текста. Однако, в отечественных исследованиях не получены надёжные формулы оценки сложности

русскоязычных текстов. Нет и доступных технологий автоматизированной оценки этой сложности. Такие технологии, базирующиеся на достоверных формулах, и составили предмет нашего исследования, подразумевающий и разработку методики их использования в педагогических целях.

Появление в последние годы множества самых различных учебных изданий делает актуальной проблему выбора и объективной оценки качества этого типа средств обучения. По одному и тому же предмету, по одной и той же теме порой предлагается множество различных учебников и пособий, и в этой связи особое значение приобретает система экспертизы и сертификации учебной литературы. Основная задача экспертизы определяется, как оценка соответствия содержания учебников современным научным представлениям с учетом уровня образовательной программы (ступени обучения), а также требованиям, предъявляемым к структуре, содержанию и методическому аппарату учебников в соответствии с возрастными и психологическими особенностями обучающихся.

Основное содержание образовательных программ представлено в учебных изданиях в виде текста. Учебные тексты должны быть ориентированы и доступны для определённой возрастной категории учащихся. Текст должен соответствовать психологическим возможностям и развитию школьников на разных ступенях обучения: младший, средний и старший школьный возраст. Качество учебника, в том числе и электронного, зависит от его восприятия, на которое во многом влияет текст: восприятие текста определяет усвоение учебного материала.

Разработаны методы количественной оценки сложности текста, на основе его структурных компонентов, оказывающих максимальное влияние на трудность понимания текста. В качестве таких компонентов используются статистические параметры текста, такие, как длина слова, средняя длина предложения, процент многосложных слов и другие.

Большая работа по определению удобочитаемости текстов проделана в США. Разработаны формулы оценки текста, которые дают числовые значения, соответствующие американскому образовательному уровню. Формулы нашли широкое применение в педагогике, журналистике, социологии. Следует отметить, что формулы удобочитаемости не являются единственным критерием качества восприятия текста, они не оценивают тонкостей авторского стиля, но чётко отличают ясный простой текст от сложного.

Формула Флеша является наиболее совершенной и распространённой для определения параметров удобочитаемости текста. Флеш определил главные характеристики текста, влияющие на его восприятие, - это среднее число слогов в слове и средняя длина предложения. Свои выводы он сделал на основе исследования текстов "Экзаменационных уроков для чтения", которые традиционно используются в американской школе при переводе учеников из одного класса в другой. Именно формула соотношения этих характеристик тесно связана с уровнем понимания текста учеником. Эта методика получила название «формулы читабельности Флеша».

К=206,836 - 84,6-W - 1,015-S

где К — оценка трудности текста от 0 до 100; S — среднее количество слов в предложении, W — среднее число слогов в слове

Используются и другие методы оценки сложности текста. Формула Флеша-Кинсайда, индекс Фога, метод Дейла Челла (Dale-Chali). Метод определения сложности текста по графу Fry, являющийся одним из наиболее широко используемых в педагогике с целью определения соответствия текстов возрасту учащихся.

Большинство методов количественной оценки сложности текста разработаны и апробированы применительно к текстам на английском языке. Для применения какой-либо методики к другим языкам необходимо скорректировать коэффициенты относительно особенностей соответствующего языка. Проведено уточнение коэффициентов в формуле удобочитаемости Флеша для голландского языка. Эта формула носит название формула Флеша-Даума. Партико З.В. сообщает об адаптации методов количественной оценки удобочитаемости текстов для украинского языка.

Разработаны формулы для оценки сложности текстов на французском, болгарском, шведском, эстонском и некоторых других языках.

Формулу оценки сложности текста для русского языка вывел Мацковский М.С. Базисом формулы послужили 50 текстов из журналов и газет, их трудность оценивалась 60 учениками седьмых классов по семиразрядной шкале трудный - лёгкий. Формула получена на ограниченном текстовом материале. Автор подчёркивает, что данная формула требует дополнительного исследования в целях проверки её надёжности и обоснованности. Нет данных, свидетельствующих о

практическом применении формулы Мацковского для оценки сложности широкого класса текстов на русском языке, в том числе и учебных.

Согласно исследованиям Микка Я.А. установлена связь между сложностью текста учебника и успеваемостью школьников. На основе данных об успеваемости примерно 7 тысяч учащихся в каждом классе автор делает вывод, что чем выше значение показателя сложности текста учебника, тем больше процент неуспевающих учащихся. Корреляция между средней сложностью текстов учебников и средним процентом , неуспевающих является сильной и составляет 0,9. Приводятся

экспериментальные данные об эффективности повышения понятности текста учебников на примере общеобразовательных школ Эстонии. * Уменьшение сложности текстов учебников на 4 единицы увеличило

понимание учебного материала в среднем на 12% и усвоение на 13%.

В последние годы активно развивается компьютерный анализ текста на основе статистических и математических методов способствующих эффективному решению задач поиска, классификации, тематического анализа материала. Современные компьютеры позволяют обрабатывать большие массивы текстовых документов, применяя для их обработки широкий класс математических методов, строить частотные словари, тезаурусы, семантические сети и др.

В настоящее время достаточно широко представлены исследования и программные средства, позволяющие получить частотный список слов любого текста. На основе ключевых слов текста, его семантического ядра можно разрабатывать тезаурус предметной области.

Григорьев С.Г. и Лобов И.Б. предлагают проведение анализа и систематизации терминологии в различных учебниках информатики на основе частоты вхождения каждого слова в текст. Хмелев Д.В. описывает »1 формальный анализ текста для решения задачи определения авторства

текста. Метод основывается на частоте употребления пар букв в тексте, которая даёт устойчивые значения для различных авторов. В работах Браславского П.И предлагается классифицировать стиль документа по статистическим параметрам текста, таким как среднее количество символов в слове, средняя длина предложения, соотношение различных частей речи и других.

Несмотря на достаточно большое число научных исследований и практических разработок в области анализа текста на основе информационных технологий, вопросы автоматизации оценки сложности

учебных текстов остаются не решёнными и требуют дополнительных исследований.

Вторая глава <сРазработка математической модели и средств автоматизации оценки сложности учебных текстов» посвящена построению математической модели оценки сложности текста в зависимости от длины предложений и слов, её корректировке для текстов на русском языке. Также в этой главе описывается разработанная автором технология анализа сложности учебно-методических материалов и методика применения этой технологии в педагогической практике. Приводятся экспериментальные доказательства эффективности методики оценки сложности учебных текстов.

В качестве математической модели оценки сложности текста была взята формула Флеша, которая служит стандартом для валидизации большинства других количественных методов определения удобочитаемости. Для использования предложенного Флешем метода к текстам на русском языке необходимо скорректировать эмпирические коэффициенты.

С целью уточнения коэффициентов в формуле Флеша было проведено исследование средней длины слова в английском и русском языках с помощью программы анализа текста, вычисляющей его количественные характеристики. Для обеспечения представительности выборки были взяты словарь русского языка под редакцией Ожегова -39174 слова, и англо-русский словарь под редакцией Мюллера - 41977 слов. Слоги определялись в соответствии с правилами грамматики русского и английского языков. По полученным данным, средняя длина слова английского словаря составляет 2,97 слога, а средняя длина слова русского словаря - 3,29. Кроме того, число многосложных слов, с количеством слогов 3 и более, в русском словаре на 7% больше.

Для дальнейшего исследования характеристик сложности текстов были взяты литературные тексты на английском языке и соответствующие переводы на русский язык известных авторов. Всего было проанализировано более 100 произведений общим объёмом около 6 млн. слов.

На основании полученных данных можно отметить, что слова в тексте на английском языке содержат слогов меньше чем русские в среднем в 0,71 раза (дисперсия 0,0003). Количество слов в предложении отражает как синтаксические особенности языка, так и авторский стиль

писателя и переводчика, но английские предложения длиннее русских примерно в 1,25 раза (дисперсия 0,006). Русскоязычные тексты содержат больше многосложных слов в 1,24 раза (дисперсия 0,005).

Проведённые исследования позволяют скорректировать базовую формулу Флеша следующим образом: К=206,836 - 60,1-W - 1,3-S

Аналогичным образом скорректированы формулы Флеша-Кинсайда и индекс Фога.

Рассчитаны оценки сложности текста, по формуле Флеша для английского языка и по скорректированной формуле Флеша для переводов на русский язык. Значения оценок достаточно близки для аналогичных текстов на английском и русским языке и попадают в одинаковые диапазоны сложности текста (коэффициент корреляции 0,953), что подтверждает правильность корректировки формулы.

Для автоматизации оценки сложности учебных текстов разработана программа LightReader, которая рассчитывает и представляет такие параметры, как среднее число слов в предложении, среднее число слогов в слове, число многосложных слов и некоторые другие. Программа включает в себя два модуля: модуль вычисления статистических характеристик текста и оценку его сложности, а также модуль анализа текста в соответствии с заданными критериями относительно возраста учащихся.

Программа LightReader реализована для операционной системы Windows ХР, 2000 и написана в виде макроса в приложении Microsoft Office Word на языке VBA - Visual Basic for Application. Такой выбор связан с массовым использованием текстового редактора Word.

Программа LightReader анализирует текст или любой его фрагмент на русском или английском языках и выдаёт таблицу значений статистических характеристик текста и оценку его сложности в соответствии с формулой Флеша. Дизайн программы LightReader основан на классическом стиле Windows-приложений. Интерфейс программы интуитивно понятен, легок для освоения, он одинаково удобен как для начинающих, так и для опытных пользователей.

Разработанную на основе диссертационного исследования технологию автоматизированной оценки сложности учебных текстов с помощью программы LightReader можно рекомендовать различным категориям научно-педагогических работников:

• экспертам для оценки текстов учебников, пособий, а также электронных изданий;

• авторам учебников для проверки текста на соответствие его сложности возрасту учащихся для последующей корректировки;

• учителям, разрабатывающим учебно-методические пособия для учащихся определённой возрастной группы;

• составителям списков литературы, рекомендованной для внеклассного чтения в определённых классах средней школы;

• разработчикам и редакторам образовательных сайтов для оценки сложности текстов, адресованных определённой целевой аудитории: ученикам, родителям, педагогам, руководителям образовательных учреждений;

• административным работникам и руководителям в сфере образования для разработки ясного и понятного текста инструкций, приказов и другой нормативной документации.

Методика использования программы предполагает два режима работы.

Режим эксперта. Проведение экспертизы учебных изданий на соответствие сложности текста возрастным особенностям учащихся. Накапливание статистических характеристик по нескольким изданиям в отдельном файле с целью дальнейшего их анализа и составления отчётов.

Режим разработчика учебно-методических материалов. Сбор статистических характеристик сложности текста и его анализ с целью дальнейшей корректировки для уменьшения сложности.

Режим эксперта могут использовать все категории пользователей, которым необходимо оценить сложность текстов учебных изданий, к которым относятся и обычные бумажные учебники, а также электронные издания, тексты, публикуемые на сайтах.

С целью доказательства достоверности предлагаемой модели оценки сложности учебных текстов и эффективности соответствующей методики были проведены экспериментальные исследования.

В ходе эксперимента была выявлена потребность в системах автоматизированной оценки сложности учебных текстов и соответствующих методиках анализа текстов относительно возраста учащихся. Различные категории педагогических работников показали высокую заинтересованность в освоении методики оценки сложности учебных текстов. Работа с программой достаточно легко осваивается

работниками образовательных учреждений: учителями, методистами, административными работниками. Время освоения квалифицированных пользователей персональных компьютеров от нескольких минут до получаса.

Программа LightReader показала высокую производительность при обработке больших массивов информации, это тексты объёмом 10 - 600 страниц. Время, оценки текста от нескольких секунд до трёх минут. Оценка сложности небольших отрывков текста размером в десятки страниц производится практически в реальном режиме времени.

По скорректированной формуле с помощью программы были проанализированы литературные тексты русских писателей, рекомендованных к изучению в курсе литературы средней школы. Было обработано около 300 литературных текстов на русском языке общим объёмом « 7,5 млн. слов, от сказок до произведений русских классиков. Анализ данных количественной оценки сложности литературных текстов показывает, что произведения для учащихся младшего школьного возраста, имеют коэффициент сложности 90 - 70, что классифицирует их как простые и очень простые тексты. Большинство текстов произведений классиков русской литературы имеют оценку в диапазоне 60 - 70, что характеризует тексты как средние.

Проведена автоматическая обработка текстов сочинений учащихся различных возрастных групп, показавшая увеличение оценок сложности текстов с увеличением возраста учеников.

Для измерения трудности восприятия текстов учащимися был применён метод субъективных оценок. Испытуемым было предложено семь градаций оценки относительной трудности текста: очень трудные, трудные, достаточно трудные, средние, достаточно простые, простые и очень простые тексты. В исследованиях Микка Я.А. сообщается, что экспертная оценка учащимися трудности текстов имеет с объективной трудностью текстов корреляцию 0,87. В эксперименте принимали участие учащиеся 4-11 классов гимназии №1507 г. Москвы и студенты первого курса Академии народного хозяйства при правительстве РФ. Всего 287 человек. Для оценки были предложены тексты учебников средней школы различной степени сложности. Эксперимент показал, что простые и достаточно простые тексты одинаково классифицировались учениками средней, старшей и даже младшей школы, т. е. простые тексты легко распознаются детьми и соответственно оцениваются программой. При

увеличении категории сложности текста возрастает разность в оценках учащихся средних и старших классов.

Проведена оценка сложности текстов учебников из перечня-каталога учебно-методических изданий, одобренных Федеральным экспертным советом и допущенных (рекомендованных) Министерством образования и науки РФ. Для исследования было выбрано 50 учебников по гуманитарным и естественнонаучным дисциплинам школьного курса. Из каждого учебника выбиралось 2- 3 параграфа из начала, середины и конца книги. Полученные оценки сложности текстов учебников показали, что в основном тексты соответствуют определённым возрастным категориям учащихся, хотя есть учебники с трудными для чтения текстами. Превышение допустимого уровня сложности отмечается для учебников 57 классов, текст 34% проанализированных учебников оценивается как достаточно трудный.

Оценка сложности текстов учебников средней школы

В целом, экспериментальная работа подтвердила эффективность методики и технологии оценки сложности текстов и возможность применения её в педагогической практике.

Выводы

В процессе выполненного диссертационного исследования были получены основные результаты:

1. Разработана математическая модель оценки сложности учебных текстов, включающая такие параметры, как средняя длина предложения и среднее число слогов в слове. На основе статистической обработки больших массивов текстов на английском и русском языках (» 13 млн. слов) проведена ее проверка и корректировка применительно к особенностям русского языка.

2. Создана технология оценки сложности текстов с использованием программы 1л§М1еа<!ег, включающая в себя модуль вычисления статистических характеристик текста, позволяющих оценить объективную сложность текста и модуль, осуществляющий анализ текста в соответствии с заданными возрастными параметрами учащихся.

3. Предложена методика анализа и корректировки сложности учебных текстов на основе математической модели оценки сложности русскоязычных текстов с использованием информационных технологий.

4. Проведены экспериментальные доказательства достоверности предлагаемой модели и эффективности соответствующей методики.

5. Осуществлён анализ текстов учебников средней школы, который показал, что в основном сложность текстов соответствует возрасту учащихся, кроме среднего звена.

Основное содержание работы представлено в следующих публикациях

1. Математическая модель оценки учебных текстов. //«XV Межд. конф. «Информационные технологии в образовании (ИТО-2005)», (лучший доклад) Сборник трудов: Часть IV. / М.: НПП «БИТ про», - 2005. с. 307308.

2. Математическая модель оценки учебных текстов, //Вестник МГЛУ. Серия «Информатика и информатизация образования». - М.: МГЛУ, 2005. -№1(4).-с. 141-147.

3. Автоматизация оценки качества учебных текстов, //Вестник МГЛУ. Серия «Информатика и информатизация образования» - М.: МГЛУ, 2005. - №2 (5) (в печати)

4. Развитие исследовательских навыков школьника с помощью метода интегрированного проектного обучения на основе ИТ // Тезисы докладов, Научная конференция МГУ «Ломоносовские чтения», Секция проблем педагогического образования ФПО, 2002 г

5. Моделирование в электронных таблицах, «Информатика и образование» №5,2000 г (в соавторстве)

6. Применение интегрированного пакета Works в курсе информатики для гуманитарной гимназии. Проект «Словарь школьника», Сб. трудов VI Международной конференции «Информационные технологии в образовании» («ИТО-97»). Первая премия и Диплом первой степени. 1997 г., с.40-41.

7. Проект Словарь - школьника, «Информатика и образование» №6, 1996 г. (в соавторстве)

8. Проект Словарь школьника. Опыт проведения совместных уроков информатики и русского языка, «Учитель - ученик», Методический сборник №4, М.: ОМЦ ЮЗУ0,1995 г (в соавторстве)

9. Применение прикладного математического пакета на уроках информатики, «Учитель - ученик», Методический сборник № 3, м.: ОМЦЮЗУО, 1994 г.

Издательство Института содержания и методов обучения РАО Москва, 103062, ул. Макаренко, д. 5/16. Тираж 100 экз.

W/9

f 89

Содержание диссертации автор научной статьи: кандидата педагогических наук, Оборнева, Ирина Владимировна, 2006 год

Введение.

Глава 1. Параметры и методы оценки качества учебного материала

1.1 Качество средств обучения.

1.2 Сложность учебного текста и его понимание.

1.3 Анализ моделей количественной оценки параметров удобочитаемости текста

1.3.1 Понятие читабельности.

1.3.2 Формулы читабельности для английского языка.

1.3.3 Построение формулы читабельности на материале русского языка.

1.3.4 Применение методов оценки восприятия текста на других языках.

1.3.5 Автоматизация анализа удобочитаемости текстов в Интернет.

1.3.6 Статистика удобочитаемости в текстовом редакторе WORD.

1.4 Информационные технологии анализа текста.

1.4.1 Частотный анализ.

1.4.2 Автоматическая классификация стиля текстов.

1.4.3 Контент-анализ текста.

1.4.4 Анализ текстов на основе дескрипторов.

1.4.5 Использование иерархических структур в разработке электронных средств обучения.

Глава 2. Разработка математической модели и средств автоматизации оценки сложности учебных текстов.

2.1 Математическая модель оценки сложности учебных текстов.

2.1.1 Корректировка формулы Флеша на основе исследования словарей русского и английского языка.

2.1.2 Корректировка формулы Флеша на основе исследования идентичных текстов на русском и английском языках.

2.1.3 Корректировка формул Флеша-Кинсайда и Фога для текстов на русском языке

2.2 Технология анализа сложности учебно-методических материалов.

2.2.1 Программа оценки качества восприятия текста LightReader.

2.2.2 Технические характеристики.

2.2.3 Функциональные возможности программы LightReader и используемые алгоритмы.

2.2.4 Интерфейс программы LightReader.

2.3 Методика использования технологии автоматизированного анализа сложности учебных текстов.

2.3.1 Целевая аудитория системы анализа текстов.

2.3.2 Методические рекомендации при проведении экспертизы учебных изданий

2.3.3 Методические рекомендации по разработке учебных текстов с заданными параметрами восприятия.

2.4 Экспериментальные доказательства эффективности методики оценки сложности учебных текстов.

2.4.1 Потребность в системе автоматизированного анализа текстов.

2.4.2 Доступность освоения программы LightReader.

2.4.3 Производительность программы оценки качества учебных текстов.

2.4.4 Обработка текстов художественных произведений из курса литературы средней школы.

2.4.5 Исследование текстов заданий по проверке техники чтения.

2.4.6 Оценка сложности текстов заданий при исследовании грамотности чтения по международной программе PISA.

2.4.7 Оценка параметров удобочитаемости текстов сочинений учащихся различных возрастных групп.

2.4.8 Экспертная оценка учебных текстов.

2.4.9 Восприятие текстов учащимися.

2.4.10 Анализ сложности текстов учебников.

Введение диссертации по педагогике, на тему "Автоматизированная оценка сложности учебных текстов на основе статистических параметров"

Актуальность исследования

Проблема исследования

Проблема качества учебных изданий занимает одно из центральных мест в современной педагогической науке и привлекает к себе внимание широкого круга исследователей. Различные подходы к решению данной проблемы раскрыты в работах Бейлинсона В.Г., Бе-шенкова С.А., Захаровой Т.Б., Зуева Д.Д., Кузнецова A.A., Логвинова И.И., Огородникова Е.В., Полат Е.С., Роберт И.В., Рыжакова М.В., Сохора A.M. и других.

Опубликованы работы, в которых предлагаются различные количественные и качественные подходы к оценке качества учебников вообще и учебных текстов, в частности (Мацковский М.С., Микк Я.А.). Кроме того, имеются отдельные работы (Flesh R., Gunning R., Kincaid J., Spache G., Fry E.) связанные с построением математических моделей оценки и анализа англоязычных текстов по различным параметрам. Ряд работ посвящен использованию частотного и других видов анализа для обоснования структуры учебного содержания и для других целей (Григорьев С.Г., Гринщкун В.В.,. Ермаков А.Е., Хмелёв Д.В.,) Зачастую эти работы не обеспечены специальными средствами информационных технологий, автоматизирующими процесс оценки качества текстов. Специального же исследования, нацеленного на автоматизацию оценки сложности учебных, текстов не предпринималось. Соответственно, не сформулированы основные подходы к разработке методики её использования. Противоречие между необходимостью обоснования способов автоматизации оценки сложности учебных текстов для образовательных целей и отсутствием специального исследования, позволяющего автоматизировать оценку и построить соответствующую методику, обусловливает проблему настоящего исследования.

• встроена в массовые технологии работы с текстом;

• снабжена обоснованной методикой её использования.

Задачи исследования:

• Обоснование и разработка математической модели оценки сложности учебных текстов, ее проверка и корректировка применительно к особенностям русского языка;

• Создание автоматизированной технологии анализа сложности учебных текстов и оценка ее продуктивности;

• Разработка методики использования информационной технологии анализа и корректировки сложности учебных текстов в педагогической практике и ее экспериментальная проверка;

• Оценка ряда школьных учебников и пособий на базе разработанной методики.

Методы исследования

При решении указанных выше задач были использованы следующие методы исследования:

На первом этапе (2001 - 2002 гг.) изучалось состояние разработанности проблемы оценки качества учебных текстов. Осуществлялась формулировка цели, задач, гипотезы исследования, разработка плана исследования, определение экспериментальной базы. В соответствии с поставленной целью исследования внимание было сосредоточено на установлении методов количественной оценки сложности текстов и определении способов её автоматизации с использованием информационных технологий.

На втором этапе (2003 - 2004 гг.) Разрабатывалась автоматизированная технология оценки сложности учебных текстов. Проводилась статистическая обработка больших массивов текстовой информации на английском и русском языках, осуществлялось создание математической модели оценки сложности учебных русскоязычных текстов. Экспериментально проверялась достоверность предложенной модели на различных учебно-методических материалах. Разрабатывалась методика анализа и корректировки сложности учебных текстов на основе математической модели. Проводились экспериментальные работы по исследованию эффективности соответствующей методики.

Основные положения, выносимые на защиту:

1. Математическая модель оценки сложности русскоязычных учебных текстов для различных возрастных категорий школьников на базе статистических параметров, основными из которых является средняя длина предложений, среднее число слогов в слове и константы, зависящие от языка. Для русскоязычных текстов эти константы и были определены на основе обработки словарей и большого количества текстов.

2. Автоматизированная технология оценки сложности русскоязычных учебных текстов, встроенная в виде программного модуля в наиболее распространённый текстовый редактор и позволяющая получить значения ряда статистических параметров текста, а также рекомендации по его доработке.

Апробация исследования

Процесс апробации диссертационного исследования осуществлялся посредством выступлений и публикаций тезисов на различных научно-практических конференциях и семинарах: XV Международная конференция «Информационные технологии в образовании» «ИТО-2005» (лучший доклад), «Ломоносовские чтения МГУ», Секция проблем педагогического образования (2002 г), VI Международной конференции «ИТО-97». (Первая премия и Диплом первой степени), семинары Окружного Методического Центра ЮЗОУО г. Москвы (2001, 2004), статьи в различных сборниках и журналах.

Заключение диссертации научная статья по теме "Теория и методика обучения и воспитания (по областям и уровням образования)"

Основные результаты проведённых исследований:

1. Разработана математическая модель оценки сложности учебных текстов, включающая такие параметры, как средняя длина предложения и среднее число слогов в слове. На основе статистической обработки больших массивов текстов на английском и русском языках («13 млн. слов) проведена ее проверка и корректировка применительно к особенностям русского языка.

2. Создана технология оценки сложности текстов с использованием программы 1л§1Ш1еас1ег, включающая в себя модуль вычисления статистических характеристик текста, позволяющих оценить объективную сложность текста и модуль, осуществляющий анализ текста в соответствии с заданными возрастными параметрами учащихся.

Основной результат работы можно сформулировать следующим образом:

Разработаны математическая модель, методика и программно-информационное обеспечение для анализа сложности учебных текстов в соответствии с возрастными особенностями учащихся, апробированные на реальных текстах учебников и других методических материалах.

Заключение

В процессе выполненного диссертационного исследования были осуществлены изучение и анализ состояния проблемы оценки сложности текстов на основе статистических параметров. В соответствии с поставленной целью исследования внимание было сосредоточено на установлении методов количественной оценки сложности текста и определении способов автоматизации анализа сложности учебных текстов на основе информационных технологий. На основании этого в работе были рассмотрены теоретические, методические и информационные аспекты анализа сложности учебных текстов.

Список литературы диссертации автор научной работы: кандидата педагогических наук, Оборнева, Ирина Владимировна, Москва

1. Адмони Б.Г. Размер предложения в словосочетаниях как явление синтаксического строя. - Вопросы языкознания, 1966, №4, с. 11 -118.

2. Англо-Русский Словарь под ред. Мюллера. М: Русский язык, 1995,-Изд. 24, испр.

3. Антонова С.Г., Тюрина Л.Г. Современная учебная книга: Учебное пособие. М., 2001.

4. Баранов А.Н. Автоматизация лингвистических исследований: корпус текстов как лингвистическая проблема // Русистика сегодня.-М, 1998. -N. 1-2.-С. 179-191.

5. Бейлинсон В.Г. Арсенал образования: Характеристика, подготовка, конструирование учебных изданий. М., 1986.

6. Бейлинсон В.Г., Зуев Д.Д. О функциональном подходе к оценке школьных учебников // Проблемы школьного учебника. Вып. 5.-М., 1977.-с. 42-54.

7. Беспалько В.П. Теория учебника. М.: Педагогика, 1988.

8. Бешенков С.А. Развитие содержания обучения информатике в школе на основе понятий и методов формализации: Дис. д-ра пед. наук: 13.00.02 М., Б. г. 250 с.

9. Бондаренко JI.B., Зиндер JI.P., Штерн A.C. Некоторые статистические характеристики русской речи // Слух и речь в норме и патологии : Сб. статей / ЛГУ, Каф. фонетики. 1977. - Вып. 2.- с. 3-16.

10. Бонк H.A., Котий Г.А., Лукьянова H.A., Учебник английского языка, Часть 1; М.: ГИС, 1992. с. 80.

11. Бормот Дж. Методика дополнения. В кн. Советская педагогика и школа. Тарту, 1974, вып. 9, с. 65-77.

12. Браславский П.И. Автоматическая классификация документов Internet по стилям: реализация макета: Доклад V рабочего совещания по электронным публикациям EL-PUB-2000, Новосибирск, Академгородок, ИВТ СО РАН, 21-23 июня 2000 г.

13. Браславский П.И. Распознавание стилей речи применительно к информационному поиску: постановка задачи // Математические структуры и моделирование: Сб. научн. тр., Вып. 3. / Под ред. А.К.Гуца. Омск: Омск. гос. ун-т, 1999. - с. 134-140.

14. Васильченко Э.К определению понятия единиц измерения объёма языкового материала при обучении неродному языку. В кн. Советская педагогика и школа. Тарту 1974, вып. 9, с. 43- 64.

15. Вильде Л. Де (Dr.L .De Wilde ), Количественный анализ текста. Уточнение формулы Флеша-Даума об "удобстве чтения" // Лингвистика. Межкультурная коммуникация. Перевод: Сб. науч. тр. Вып. 1. - Курск, 1997. - С. 150-159

16. Граник Г.Г. Учитель, учебник и школьники. М.: Знание, 1977. -64 с.

17. Григорьев С.Г., Гриншкун В.В., Иерархические структуры в создании качественных электронных средств обучения, // Вестник МГПУ. Серия "Информатика и информатизация образования". М.: МГПУ, -№ 1 (1) 2003 с. 25.

18. Григорьев С.Г., Гриншкун В.В., Макаров С.И. Методико-технологические основы создания электронных средств обучения. Самара: Издательство Самарской государственной экономической академии, 2002.

19. Григорьев С.Г., Лобов И.Б., Терминология школьной информатики на основе статистического анализа текста учебников,// Вестник МГПУ. Серия "Информатика и информатизация образования". М.: МГПУ, - № 1 (4) 2005 с. 29.

20. Григорьев С.Г., Образовательные электронные издания и их оценка, // Вестник МГПУ. Серия "Информатика и информатизация образования". -М.: МГПУ, -№ 1 (1) 2003 с. 21.

21. Гриншкун В.В., Иерархические структуры как фактор интеграции процессов информатизации образования, // Вестник МГПУ. Серия "Информатика и информатизация образования". М.: МГПУ, -№ 1 (2) 2004, с. 29.

22. Гриншкун В.В., Использование иерархических структур в разработке электронных средств обучения // Вестник МГПУ. Серия "Информатика и информатизация образования". М.: МГПУ, - № 1 (1)2003, с. 29.

23. Гриншкун В.В., Развитие интегративных подходов к созданию средств информатизации образования: Автореферат диссертации на соискание ученой степени д-ра пед. наук : 13.00.02 -теория и методика обучения и воспитания (информатизация образования). М., 2004

24. Ермаков А.Е., Плешко В.В. Синтаксический разбор в системах статистического анализа текста. // Информационные технологии. 2002. - N 7. - с. 30-34.

25. Журавлев А.П. "Фонетическое значение". JL: Изд-во ЛГУ, 1974.-159 с

26. Журавлев А.П., Павлюк H.A., Язык и компьютер. М.: Просвещение, 1989. - 160 с.

27. Захарова Т.Б. Профильная дифференциация обучения информатике на старшей ступени школы: Автореф. дис. д-ра пед. наук: 13.00.02.- М., 1997.-42 с.

28. Зуев Д.Д. Проблемы школьного учебника. XX век. Итоги, М.: Просвещение, 2004.

29. Зуев Д.Д. Школьный учебник. М.: Просвещение, 1993.

30. Карпов Б.А., Карпова А.Н., Количественные характеристики движения глаз при чтении и факторы смыслового восприятия текста. В кн.: Смысловое восприятие речевого сообщения в условиях массовой коммуникации. - М.: Наука, 1976, с. 219228.

31. Карпова А.Н. и др., Об одном новом подходе к количественной оценке процесса чтения и перспективах его клинического применения, Сомато-неврологический аспект психических заболеваний, -JL, 1972.

32. Киселев C.JL, Ермаков А.Е., Плешко В.В., Компьютерная лингвистика и интеллектуальные технологии: труды Международной конференции Диалог 2004. М.: Наука, 2004.

33. Клименко C.B., Рыков B.B. Корпус текстов как принцип самоорганизации предметной области. Диалог-2000. Москва, Протвино, 2000.

34. Клычникова З.И. Психологические особенности обучения чтению на иностранном языке. М.: Просвещение, 1973. - 224 с.

35. Кожина М.Н. К основаниям функциональной стилистики. -Пермь, 1968.

36. Кожина М.Н. Стилистика русского языка. М.: Просвещение, 1993.

37. Кузнецов А. А. Под ред. Требования к знаниям и умениям школьников. Дидакт. метод, анализ; АПН СССР, НИИ содержания. и методов обучения. М.: Педагогика, 1987.

38. Кузнецов А.А.и др. Оценка качества подготовки выпускников основной школы по информатике / М-во образования Рос. Федерации;. 3-е изд., стер. - М.: Дрофа , 2002.

39. Кузнецов O.A., Хромов J1.H. Техника быстрого чтения. — М.: Книга, 1977.-192 с.

40. Лернер И.Я. Критерии сложности некоторых элементов учебника. В кн.: Проблемы школьного учебника. М., 1974. вып. I. с. 47 - 58.

41. Логвинов И.И. Имитационное моделирование учебных программ.-М.: Педагогика, 1980, 126 с.

42. Логвинов И.И. На пути к теории обучения / Рос. акад. образования. Ин-т теории образования и педагогики. М., 1999. - 170 е.: табл.-Библиогр.: с. 134-139.

43. Логвинов И.И. Оптимизация структур учебных программ предметов естественнонаучного цикла: Автореферат дис. на соиск. учен. степ, д-ра пед. наук: 13.00.01 НИИ средств обучения и учеб. Книги. М., 1992. - 37 с.

44. Логвинов И.И., Уваров А.Ю. О построении оптимальных обучающих последовательностей. В кн.: Проблемы совершенствования методов дидактических исследований. - М.: НИИ ОП, 1971, с. 41 - 145

45. Марков A.A. Об одном применении статистического метода. // Известия Имп. Акад. наук, серия VI, Т.Х, N4, 1916, с. 239.

46. Мацковский М.С. Проблема понимания читателями печатных текстов (Социологический анализ), Автореф. дис. на соискание уч. степени канд. философ, наук, -М., 1973.

47. Мацковский М.С. Проблемы читабельности печатного материала. В кн.: Смысловое восприятие речевого сообщения в условиях массовой коммуникации. - М.: Наука, 1976. - с. 126 -142.

48. Методика исследования восприятия информации. Сб. научных трудов. Под ред. Фирсова Б.М. Л.: НИИ ООВ АПН СССР, 1972.-152 с.

49. Микк Я. А. Факторы, определяющие время прочтения слова в связанном тексте. Вопросы психологии, 1979, №3, с. 125 -128.

50. Микк Я.А. Методика измерения трудности текста. Вопросы психологии, 1975, №3, с 147 - 155.

51. Микк Я.А. Оптимизация сложности учебного текста. М:, Просвещение, 1981. - 119 с.

52. Микк Я.А. Понятность учебного текста и связи в нем. В кн. Советская педагогика и школа. Тарту, 1970, вып. 2, с. 5 - 72.

53. Мошинская JI.P. об учёте факторов, оптимизирующих восприятие документа. В кн.: Текст: восприятие и обработка. М., 1976, с. 8 12.

54. Нгуен Мань Хунг, Разработка модели и реализация тезаурусов в Интегрированной системе информационных ресурсов: Дис. канд. физ.-мат. наук. М., 2004 - 97 с.

55. Общие критерии оценки Федеральным экспертным советом учебных изданий, от 28 июня 2002.

56. Огородников Е.В., Качество электронного учебника, // Вестник МГПУ. Серия "Информатика и информатизация образования". М.: МГПУ, № 2 (3) 2004 с. 118.

57. Огородников Е.В., Основные качества модели учебника нового поколения, //Вестник МГПУ. Серия "Информатика и информатизация образования" М.: МГПУ, № 1(4) 2005 с. 147.

58. Ожегов С.И. Словарь русского языка: Ок. 57 ООО слов / Под ред. Чл.-корр. АН СССР Н.Ю. Шведовой. 20-е изд., стереотип.-М.: Рус. яз., 1988.

59. Основные результаты международного исследования образовательных достижений учащихся PISA-2000 (полный отчет); Центр оценки качества образования ИОСО РАО, 2001.

60. Основные результаты международного исследования образовательных достижений учащихся PISA-2003 (полный отчет); Центр оценки качества образования ИОСО РАО, 2004.

61. Партико 3. В. Лопчш норми редагування, Загальне редагу-вання. Льв1в, 2001. - с. 175 - 206.

62. Перовский Е.И. Методическое построение и язык учебника для средней школы. Известия АПН РСФСР, 1955, вып. 63, с. 3 -139.

63. Петрова A.A., Длина русского слова и проблема рифмы. Летняя школа по формальным методам в фольклористике. — Б.м., 2004.

64. Полат Е.С., Назарова Т.С. Средства обучения: технология создания и использования. М.: Изд-во УРАО, 1998. - 204 с.

65. Постановление Главного государственного санитарного врача РФ от 3 июня 2003 г. N118 "О введении в действие санитарно-эпидемиологических правил и нормативов СанПиН 2.2.2/2.4.1340-03".

66. Приказ Министерства образования и науки РФ от 8 апреля 2005 г. N 107 "Об экспертизе учебников", Приложение к приказу: Положение о порядке проведения экспертизы учебников.

67. Примеры заданий по чтению, математике и естествознанию; Международная программа PISA 2000; Центр оценки качества образования ИОСО РАО, 2003.

68. Репкина Г.В. Исследование оперативной памяти. В кн.: Проблемы инженерной психологии. - Л. 1965, вып. 3, с. 118-165.

69. Роберт И.В. Кабинет информатики: Метод. М.: БИНОМ. Лаб. знаний, 2002. - 125 с.

70. Роберт И.В. Теоретические основы создания и использования средств информатизации образования: Автореферат диссертации на соискание ученой степени д-ра пед. Наук. М., 1994.

71. Рыжаков М.В. Государственный образовательный стандарт основного общего образования: (Теория и практика). М.: Пед. об-во России, 1999. - 326 с.

72. Рыжаков М.В. Теоретические основы разработки государственного стандарта общего среднего образования: Автореф. дис. д-ра пед. наук: 13.00.01. -М., 1999 45 с.

73. Рыков В.В. Прагматически ориентированный корпус текстов // Диалог-99. Москва-Таруса, 1999.

74. Светловская H.H. Уроки обучения грамоте по учебнику "Моя любимая Азбука" и прописям "Мир волшебные пальчики". -М.: Баласс, 1999.

75. Сохор А.М. Логическая структура учебного материала. М.: Педагогика, 1974.

76. Сохор А.М. Об одном из факторов доступности учебных сообщений. В кн.: Проблемы программированного обучения. -Владимир, 1978, вып. 7, с. 12-17.

77. Специализированные педагогико-эргономические требования к школьному учебнику, Российская академия образования, Институт общего среднего образования, Нормативный документ.

78. Талызина Н.Ф. Место и функции учебника в учебном процессе //Проблемы школьного учебника. Вып. 6. -М, 1978. с. 18-33.

79. Федотова JI.H. Анализ содержания социологический метод изучения средств массовой коммуникации, - М.: Институт социологии РАН, 2001. - 202 с.

80. Хмелёв Д.В., Распознавание автора текста с использованием цепей A.A. Маркова Вестник МГУ, сер. 9: Филология, N 02, 2000, с. 115-126.

81. Частотный словарь русского языка. Под ред. Л.Н. Засориной. М.: Русс, яз., 1977.

82. Черный А.И. Заметки об информатике и дескрипторах // Аз-гальдов Э.Г. и др. Дескрипторный словарь по информатике. -М.: ВИНИТИ, 1991.-c.3-13.

83. Чугреев B.J1., Модель структурного представления текстовой информации и метод ее тематического анализа на основе частотно-контекстной классификации: Дис. канд. техн. наук: СПб., 2003.- 185 с.

84. Шалак В.И. Современный контент-анализ. М.: Омега-JI, 2004.

85. Шамова Т.И. Школьный учебник и проблема активного учения. Советская педагогика. 1976. №9, с. 10 -17.

86. Chall, J.S. and Е. Dale, Readability revisited: The new Dale-Chall readability formula. 1995, Cambridge, MA: Brookline Books. 159.

87. Dale E., Chall J. S. A formula for predicting readability, Educational Research Bulletin. 1948. N 27. p. 11-20, 37-54. 40.

88. Department of Education and Science, A Language for Life (HMSO, 1975) p. 26.

89. Flesch, R, Why Johnny still can't read A new look at the scandal of our schools Rudolf Flesch ; Forew. by Mary L. Burkhardt New York etc.: Harper & Row , Cop.1981 XXII, 191c

90. Flesch, R. F. Marks of readable style: A study in adult educa-tion. New York: Bureau of Publications, Teachers College, Columbia University, 1943.

91. Flesh R. The art of readable writing. New York: Harper & Row, 1974.

92. Fry, E. B. (1977). Fry's readability graph: Clarifications, validity, and extension to level 17. Journal of Reading, 21, 242-252.

93. Fry, E. B. (1989). Readability formulas: Maligned but valid. Journal of Reading, 32, 292-297.

94. Gauch S. et al. A Corpus Analysis Approach for Automatic Query Expansion and its Extension to Multiple Databases // ACM Transactions on Information Systems. 1999. - Vol. 17. - N. 3. - P. 250269.

95. Gunning, R., The Technique of Clear Writing (McGraw-Hill, 1952).

96. Harrison, C. and K. Gardner, 'The place of reading' in Language across the Curriculum, ed. M. Marland (Heinemann, 1977)

97. Johnson, C. K. and R. K. Johnson, 'Readability', School Science Review, 1987, 239, 68, 565-568.

98. Kincaid, J. p., and Gamble, L. G. (1977). Ease of comprehension of standard and readable insurance policies as a function of reading ability. Journal of Reading Behavior, 9, 95-87.

99. Klare, G. R. (1976). A second look at the validity of readability formulas. Journal of Reading Behavior, & 129-152.

100. Klare, G. R. (1984). Readability. In P. D.Pearson (Ed.), Handbook of reading research (pp. 681-744). New York: Long-man.

101. Klare, G. R., The Measurement of Readability (Iowa State University Press, 1963)

102. Kohonen T. Self Organisation and Asociative memory. London: Springer, 1990.

103. McCall W.S. Crabbs L.M. Standart Test Lessons in Reading

104. McLaughlin, G. H., Comparing styles of presenting technical information. Ergonomics, 1966, 9, 257-259.

105. McLaughlin, H., SMOG grading a new readability formula, Journal of Reading, 1969, 22, 639-646.

106. Powers, R. D., Sumner, W. A., Kearl, B. E., 'A recalculation of 4 readability formulae', Journal of Educational Psychology, University of Birmingham, 49, 99-105

107. Spache, G. (1953). A new readability formula for primary-grade reading materials. The Elementary School Journal, 55, 410-413.

108. Spache, G. (1974). A new readability formula for primary-grade reading materials. Elementary School Journal, 53, 410-413.

109. Sticht, T. G., 'Research towards the design, development and evaluation of a job-functional literacy training program for the US Army, Literacy Discussion, 1973, 4, 3, 339-369.