автореферат и диссертация по психологии 19.00.03 для написания научной статьи или работы на тему: Алгоритмическое и программное обеспечение систем диагностики компетенций

Автореферат диссертации по теме "Алгоритмическое и программное обеспечение систем диагностики компетенций"

На правах рукописи УДК: 159.9.075

Иванов Георгий Валентинович

АЛГОРИТМИЧЕСКОЕ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ СИСТЕМ ДИАГНОСТИКИ КОМПЕТЕНЦИЙ.

Специальность: 19.00.03 — Психология труда, инженерная психология,

эргономика.

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата психологических наук

15 АПР 2015

005567402

Санкт — Петербург 2015

005567402

Работа выполнена на кафедре организационной психологии федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Российский Государственный педагогический университет им. А.И.Герцена».

Научный руководитель:

доктор психологических наук, профессор, профессор кафедры организационной психологии федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Российский государственный педагогический университет им. А.И.Герцена» Худяков Андрей Иванович

Официальные оппоненты:

доктор психологических наук, профессор, профессор кафедры общей и прикладной психологии автономного образовательного учреждения высшего профессионального образования «Ленинградский государственный областной университет им. A.C. Пушкина» Губин Владимир Алексеевич

кандидат психологических наук, старший преподаватель кафедры эргономики и инженерной психологии Федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Санкт-Петербургский государственный университет» Горюнова Людмила Николаевна

Ведущая организация:

Федеральное государственное бюджетное образовательное учреждение, высшего профессионального образования «Санкт-Петербургский государственный педиатрический медицинский университет»

Защита состоится 28 мая 2015 года в 13.00 на заседании Совета Д 212.199.25 по защите диссертаций на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук, на базе Российского государственного педагогического университета им. А.И.Герцена, по адресу: 199053, г. Санкт-Петербург, наб. р. Мойки, 48, корп. 11 ауд. 37.

С диссертацией можно ознакомиться в фундаментальной библиотеке Российского государственного педагогического университета им. А.И.Герцена, 191186, г. Санкт-Петербург, наб. р. Мойки, 48, корп.5 и на сайте университета по адресу:

http://disser.herzen.spb.ru/Preview/Karta/karta 000000202.html Автореферат разослан « » марта 2015 г.

ган « » марта

2 6 MAP 2015

Ученый секретарь диссертационного совета Веселова Елена Константиновна

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ.

Актуальность темы исследования.

Актуальность темы исследования обусловлена необходимостью совершенствования технологий мониторинга качества высшего профессионального образования в условиях его модернизации в России (прежде всего, утверждения стандартов высшего профессионального образования третьего поколения, реализующих компетентностный подход).

Компетенции — это совокупность (система) знаний в действии. В структуру компетентности относятся также эмоционально-волевые и мотивационные компоненты, так как она подразумевает активную познавательную деятельность. Но смыслообразующим компонентом компетентности являются деятельностные, процессуальные знания.

Английский психолог Дж.Равен (2002) определяет компетентность, как специфическую способность эффективного выполнения конкретных действий в предметной области, включая узкопредметные знания, особого рода предметные навыки, способы мышления, понимание ответственности за свои действия.

Следовательно, о сформированности компетенции можно судить по степени развитости входящих в нее навыков, усвоению знаний, использующихся в данной компетенции.

В настоящее время разнообразные тесты широко применяются как для экзаменационных испытаний и мониторинга достижений при обучении, так и для профессионального отбора работников. Однако у большинства используемых в настоящее время тестов можно отметить два недостатка: содержательный и математико-статистический.

Содержательный недостаток можно определить как недостаток экологической валидности: в тесте испытуемый отвечает на не связанные между собой вопросы, в то время как в реальной деятельности специалист находится в раз-

з

вивающейся профессиональной ситуации, на которую он может влиять своими действиями.

Математико-статистический недостаток заключается в том, что результат теста (например, уровень знаний испытуемого в определенной области науки) зависит от того, какой конкретно тест был применен. Более полезными были бы измерения, не зависящие от того, какой именно тест был применен, а зависящие только от характеристик испытуемого.

Измерения, основанные на так называемой современной теории тестов (Item Response Theory, IRT), не зависят от того, какой именно тест был применен. Однако описанные в литературе численные методы, используемые для точной оценки параметров модели (методы локальной оптимизации функции максимального правдоподобия), могут в части случаев выставлять испытуемым оценки успешности, не имеющие ничего общего с реальным положением дел.

Рядовые пользователи тестов (психологи и педагоги) в большинстве случаев не могут позволить себе тратить время на программирование и математическое обеспечение тестов, но нуждаются в возможности легко создавать тесты, лишенные указанных выше недостатков. Таким образом, разработка новых алгоритмов тестирования и написание программного обеспечения для создания тестов, проведения испытаний и обработки данных позволят внедрить тестирование в образование и профотбор более широко, чем это было ранее, одновременно уменьшив традиционные недостатки, присущие тестированию как методу (несоответствие теста реальной деятельности; зависимость результатов от субъективно выбранного теста).

Предмет исследования: Уровень эффективности испытуемых в ситуации проверки знаний.

Объект исследования: студенты и аспиранты РГПУ им. А.И. Герцена, психолого-педагогический факультет.

Цель исследования:

Исследовать возможность применения новых моделей взаимодействия человека с тестом и новых форм тестового контроля для текущего мониторинга успехов в обучении.

Задачи исследования:

1) Описать архитектуру системы для оценки компетенций.

2) Разработать программное обеспечение для проведения тестирования.

3) Выбрать психолого-математическую модель для обработки результатов тестирования

4) Разработать алгоритмы и программное обеспечение для обработки результатов экзамена.

5) Провести пробные испытания системы.

В процессе исследования проверяются гипотезы:

1) Ответы испытуемых на монотематичсские тесты знаний соответствуют ЖТ модели.

2) Системы симуляции профессиональных ситуаций способны надежно дифференцировать испытуемых по уровню практических достижений.

Методология и методы исследования

- Исследование проводится с опорой на галилеевскую методологию психологии (Левин К., 2001).

- Метод математического моделирования.

- Метод тестирования.

- Метод экспертной оценки.

- Математико-статистические методы.

Положения, выносимые иа защиту

1) Комбинация метода наименьших квадратов и метода максимального правдоподобия, реализованная в программе АнализЖТ, способна надежно оценивать параметры модели Раша.

2) Ответы испытуемых на задания теста, составленного как монотематический, подчиняются модели Раша.

3)Программное обеспечение QuestMaker пригодно для составления ситуационных задач.

Научная новизна.

Научная новизна данной работы заключается как в улучшенном алгоритме обработки традиционных тестовых данных, так и в реализации принципиально нового для отечественной практики подхода к тестированию и оценке практических навыков.

Существующие системы обработки тестовых данных согласно Item Response Theory основаны на нахождении минимума некоей функции, выражающей отклонение экспериментальных данных от теории в зависимости от параметров модели тестирования. Минимум ищется обычно методом локальной оптимизации (градиентный спуск, метод Ньютона). Локальная оптимизация не гарантирует того, что найденный минимум является абсолютным. Это может быть локальный минимум — наименьшее значение целевой функции в некоторой области значений параметров. Таким образом, в результате работы существующего программного обеспечения могут быть найдены не наилучшие оценки IRT модели. В нашем программном обеспечении вначале, с помощью метода наименьших квадратов, находятся грубые оценки параметров модели. Далее методом градиентного спуска ищется локальный минимум функции правдоподобия, лежащий в окрестности вектора грубых оценок параметров модели. Так как найденный локальный минимум лежит вблизи приближенно верного решения, он является также и глобальным минимумом, обеспечивая точную оценку параметров IRT модели.

Во второй части работы мы описываем принципиально новый класс тестовых методик — адаптивные древовидные. Для оценки успешности деятельности испытуемого нами разработан метод экспертной оценки, позволяющий точно измерить правильность каждого ответа испытуемого и правильность заполнения всего теста в целом.

Теоретическая и практическая значимость работы

Теоретическая значимость работы заключается:

- В выдвижении гипотезы о Item Responce Theory как о частном случае теории выбора по сходству (Similarity choice model).

- В рассмотрении явления вынесения педагогической оценки как психофизического измерения.

- В получении эмпирических доказательств психологической реальности компетенций — скрытых структур, определяющих достижения человека в частных дисциплинах.

Практическая значимость работы заключается в создании программного комплекса, позволяющего пользователям - не программистам создавать, проводить и обрабатывать как традиционные тесты типа "вопрос-ответ", так и древовидные симуляции профессиональных ситуаций.

Апробация результатов исследования.

Результаты исследования докладывались и публиковались:

На ежегодных Выставках научных достижений РГПУ им. А.И. Герцена (2012, 2013).

На конференциях "Инновация в образовании: современная психология в обучении" (2013 г.), "Высокотехнологичная информационная образовательная среда" (2014 г.), "Эрго 2014: психология труда, инженерная психология и эргономика", на конкурсе НИР студентов и аспирантов в области информатики Белгородского Гос. Университета (2012).

По теме исследования опубликовано 2 статьи в рецензируемых журналах.

7

Получено авторское свидетельство о регистрации программы "АнализШТ" в федеральном каталоге алгоритмов и программ.

Проведенное исследование было поддержано грантами Министерства Образования и науки РФ: "Разработка автоматизированной системы текущего мониторинга качества высшего профессионального образования в аспекте ком-петентностного подхода" (2012) и "Создание макета автоматизированной системы экспертизы компетенций специалистов-выпускников учреждений высшего профессионального образования" (2013).

Структура работы.

Работа состоит из введения, 3 глав и заключения. Содержит 21 рисунок и 20 формул, две таблицы.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы исследования, определяются его цель, задачи, гипотезы, объект и предмет исследования, формулируются положения, выносимые на защиту, раскрывается новизна, а также теоретическая и практическая значимость работы.

В первой главе "Проблемы и перспективы в области автоматизированного тестирования знаний" анализируется история и современное состояние педагогической тестологии, полученные к настоящему времени эмпирические результаты и теоретические модели. Глава состоит из двух параграфов.

Параграф 1.1_"Тсоретичсские находки и эмпирические основания педагогической тестологии" посвящен результатам и моделям взаимодействия экзаменуемого с тестами теоретических знаний. Рассматривается классическая теория теста, а также ее современные конкуренты — Ш.Т модели. Выделяется три этапа развития тестологии, соответствующие трем этапам развития науки.

На первой стадии производится накопление эмпирических данных. В случае тестологии эмпирия представлена "первичным баллом" — общим количеством правильно выполненных человеком заданий. На второй стадии производится поиск эмпирически выявляемых закономерностей. В тестологии это выразилось в принятии нормального распределения как эталона, которому должно соответствовать распределение эмпирических данных. Также на этом этапе на основе матриц ответов испытуемых на вопросы были построены характеристические кривые заданий. Такая кривая характеризует успешность выполнения конкретного задания испытуемыми в зависимости от их уровня подготовки. На третьей стадии ученые строят гипотетические модели изучаемых явлений и процессов. В тестологии было сформулировано семейство IRT моделей, порождающих характеристические кривые заданий, совпадающие с эмпирически наблюдаемыми (Нейман Ю.М., Хлебников В.А., 2000). Одна из этих моделей, модель Раша, была выбрана нами как базис для исследования. У модели Раша два преимущества относительно других IRT моделей. Во-первых, в экономном описании данных, использующем относительно небольшое число параметров. Во-вторых, модель Раша обладает свойством "специфической объективности" — оценки знаний испытуемых не зависят от того, какие экзаменационные вопросы (в рамках данной дисциплины) были применены. Т.е. результат измерения объекта (испытуемого) не зависит от "прибора измерения" (теста). Свойство специфической объективности повышает валидность результатов, получаемых с помощью IRT.

Модель Раша дается уравнением:

э

Р(правильного ответа) = йе ,

е +е (!)

Где 0 - уровень знаний данного испытуемого, и 5 - трудность данного задания.

В данном параграфе мы также описываем предложенное нами теоретическое обоснование модели Раша, выведя ее как частный случай из уравнений

Similarity Choice Model — классической математической модели условных рефлексов.

Уравнение (1) выводится из уравнения (2):

rpeav^ül «названным

Р(5Пред-ьявл названный)

•Г:р«ЙЬ»а;шНИЬ<.1 И i-ТЫМ

yh ^ «.«Дуг?*

« 6 (2)

Это уравнение описывает вероятность выбора варианта ответа (S,mBa,„,UÄ) при предъявлении вопроса (Бпрсдмшгскный) в зависимости от субъективного различия между образами вопроса и ответа D. Коэффициент пропорциональности с — психологическая константа (Shepard R.N., 1957, 1987).

Параграф 1.2 "От знаний к навыкам — современные тестологические подходы к оценке сформированпости практических умений" содержит обзор разработанных к настоящему моменту подходов к измерению сформиро-ванности практических навыков. Рассматриваются наиболее известные системы измерения практических навыков, распадающиеся на три класса: линейные, полулинейные и нелинейные (branched).

Все такие системы рассказывают экзаменуемому определенную историю, в которой тот является одним из персонажей. Экзаменуемый оказывается в развивающейся ситуации. Поэтому мы называем такие системы ситуационными задачами.

В линейных системах рассказываемая экзаменуемому история представлена чередой экранов. На каждом из экранов экзаменуемый должен выбрать один из вариантов ответа. Последовательность экранов фиксирована и не зависит от ответов испытуемого. Примером линейной системы является система CASUS (Hege I. at al., 2009).

В полулинейных системах испытуемый перемещается по экранам как хочет. Однако действие испытуемого на данном экране не оказывает влияния на происходящее на других экранах. Примером полулинейной системы является система СВХ (Melnick D.E., 1990).

ю

В нелинейных (branch) системах выбор испытуемым того или иного варианта ответа определяет экран, который будет показываться следующим. Структура связей между экранами задается графом на этапе проектирования задачи. Как линейные, так и полулинейные системы есть просто графы особого вида. Поэтому нелинейные системы симуляции наиболее универсальны. Примеры нелинейных систем: vpSim (McGee J.B., 2010), OpenLabirinth (OpenLabirinth 2.6, User Guide, 2010).

В целом нелинейные и полулинейные системы реализуют особый класс расплывчатых алгоритмов (по Б.В. Бирюкову). Такой алгоритм представляет собой совокупность возможных траекторий прохождения задачи испытуемым. Понятие расплывчатого алгоритма позволяет связать технологию нелинейного тестирования с отечественной системно-деятельностной традицией в изучении психики и поведения.

Как IRT-оценки уровня использования теоретических знаний, так и получаемые в ситуационных задачах оценки сформированное™ практических умений детерминируются уровнями развития компетенций. Компетенции, таким образом, можно определить как скрытые (латентные) переменные второго порядка.

Вторая глава "Разработка автоматизированной системы предъявления и оценки тестовых заданий" содержит описание созданной в рамках данной работы программной системы, предназначенной как для измерения уровня усвоения содержания теоретических дисциплин, так и для мониторинга сформированное™ практических навыков.

Параграф 2.1 " Структура автоматизированной системы " содержит подробное описание математического аппарата, используемого при вычислении оценок успеваемоста в теоретаческих дисциплинах, включая матричные преобразования, метод наименьших квадратов и метод максимального правдо-

подобия. Параграф также содержит принципиальное описание алгоритма вычисления оценок и особенностей интерфейса программы.

Параграф 2.2 " Разработка алгоритмов моделирования ситуационных задач в практике обучения специалиста-психолога" описывает созданную нами систему 0ие81Макег, предназначенную для симуляции ситуационных задач. Экзаменуемый действует в ситуационной задаче, выбирая один из путей развития ситуации. Дальнейшее развитие ситуации зависит от выбора испытуемого. Система также включает в себя функционал создания ситуационных задач и экспертной оценки вариантов действия испытуемых в них. Наличие в структуре задачи экспертных оценок вариантов ответов позволяет оценивать успешность деятельности испытуемого на основе сделанных им выборов.

Рисунок 1. Часть графа симуляции с вынесенными оценками.

Описываются возможности, предоставляемые программой С>ие81Макег автору ситуационной задачи (инструктору, педагогу, психологу):

1) Ввод первого вопроса (корень дерева), с которого начинается симуляция, и возможных вариантов ответа на первый вопрос. Ввод осуществляется в

12

диалоге ввода вопроса. Автор симуляции волен задавать от 2 до 10 вариантов ответа. Первый вопрос после ввода отображается в виде графа. Вершина графа - прямоугольник, в котором полностью приведен текст вопроса. От нижней стороны прямоугольника выходят короткие линии, которые оканчиваются на других прямоугольниках. В них вписаны варианты ответа. Для любого прямоугольника (и вопроса и вариантов ответа) отношение высоты к ширине равно золотому сечению (0,62). Это правило, впрочем, может нарушаться в сторону небольшого увеличения высоты, если это необходимо для того, чтобы воспроизвести текст в прямоугольнике без переносов.

2) Щелчок по прямоугольнику — варианту ответа вызывает диалог ввода вопроса. После того как вопрос и варианты введены, новый вопрос отрисовывается в графе под корневым вопросом. Вариант ответа корневого вопроса и новый вопрос соединены в графе прямой линией.

3) Аналогично можно добавлять вопросы-следствия как к другим вариантам корневого вопроса, так и к вариантам предыдущих вопросов-следствий. Получающийся древовидный граф (рис. 1) не ограничен в ширину и в глубину. Отрисовка графа реализована через построение предварительной матрицы топологии, в которой задан только порядок расположения узлов в дереве, с последующим вызовом рекурсивной реентерабельной процедуры, определяющей расстояния в пикселях, на которых вопросы в графическом отображении должны находиться друг под другом. Получающийся граф можно прокручивать, зажав левую кнопку мыши.

Описывается процедура экзамена, которая напоминает тестирование в любом программном продукте, использующемся для контроля знаний: испытуемому предъявляется вопрос и под ним варианты ответа. Вариант ответа, на который наведена мышь, выделен зеленым цветом. Щелчок левой кнопкой мыши фиксирует выбор испытуемого, так что данный вариант ответа остается подсвеченным зеленым, а динамический подсвет отключается. До тех пор, пока испытуемый не нажал кнопку "Далее" переводящую его к следующему узлу, он

может изменить свой выбор щелчком мыши по вновь избранному варианту ответа

Рассматриваются используемые на сегодняшний день виды экспертных оценок:

— балльные оценки уместности выбора того или иного варианта ответа.

— оценки, основанные на Partial Credit Model, расширении IRT на случай, в котором задача решается в несколько шагов. Приведем уравнения РСМ, которыми выражаются вероятности того, что испытуемый сделает 0, 1 или 2 правильных шага.

__1_

К° ~ (1 + еН)+еи,) *е(0-^) (3)

е(0-5,) е(0-5,) *e(0-S,)

1Г2 = (1 + еН)+е,Н|)*е'Ы!))

Правильность шага, сделанного испытуемым, определяется из совпадения данного им ответа с шаблоном, составленным группой компетентных экспертов.

— прямые оценки уместности. В методе прямых оценок эксперт управляет сенсорным стимулом какой-либо модальности, стараясь величиной стимула выразить свою оценку уместности данного варианта ответа.

Проведенный нами анализ убеждает в предпочтительности использования метода прямых оценок.

Оценка уместности вариантов ответов в программе QuestMaker осущест-• вляется методом сравнения с заданным эталоном (Лупандин В.И., 1989). При-

14

чем эксперт волен сам выбирать среди всех экранов вариант ответа, являющийся эталонным. Этот выбор может быть неоднократно изменен в ходе экспертизы, так что различные подмножества вопросов сравниваются с различными, наиболее подходящими для них эталонами. В дальнейшем все оценки приводятся к единой шкале. Каждый вариант ответа маркируется экспертом как правильный или ошибочный. Для правильного ответа оценивается степень "правильности". Для -ошибочного - степень "ошибочности". При вычислении суммарной оценки, набранной экзаменуемым, "ошибочность" учитывается в сумме со знаком минус.

псгамгв. Та», мтатттв гтсею'нтмтв элементы, когсриенввлмают в км

Перед там и., скенквтв вариант ответа..... ■^'.1.....' Ц. .{I. I.. П«ге атвго переведите

. 1.1......т " • |(рда«я н эеганая] | .7 .... 1.1.1.'.. ......к ....... .

ае.решает "айити^; оивт»., юта мвжнс вмтаа^авв <к

ЕСЛИ ВЫ Задали ЭТАЛОНЫ-ПОМНИТЕ: ОЦЕНИОДТЬ ВАРИАНТЫ ОТВЕТАНашю соотнося сю< ЭТАЛОНАМИ [ЭТАЛОН СШИЕГЛ ДЛЯ ОШИБОЧНОГО ВАРИанТАЭТдДОИ ВЕРНОГО ОТВЕТА ОЛЯ ВЕРНОГО Еатантат

Рисунок 2. Вид экрана оценивания.

Излагаются представления о природе подобных оценок, о функциях, связывающих переживаемую оценку и ее числовое выражение.

Рассмотрим функции 1Р(Я) и А^Д). Первая переводит вариант ответа (Б) как объективную данность в испытываемое экспертом ощущение уместности

Вторая переводит физическую длину нарисованной экспертом линии II в переживаемое экспертом ощущение длины.

Вслед за Д. Кертисом (Кертис Д., 1981) предполагается что Д11) - степенная функция:

Д11)= с2*К\ (4)

Показывается, что А^Д) одинаково, вне зависимости от того, чем является реакция — числовой оценкой или нарисованной линией.

В методе прямой оценки эксперт должен:

1) Найти отношение уместности оцениваемого варианта ответа к уместности эталона.

2) Найти отношение текущей оценки (той оценки, которую эксперт готов ввести сейчас) к используемому модулю.

3) Констатировать равенство этих двух отношений, в противном случае изменить оценку.

Тривиального способа облегчить первое действие — рефлексию отношения уместностей - не известно. Однако второе действие (нахождение отношения оценки к модулю) может быть сделано легче, если оценки это длины линий и линия-модуль отображается под линией оценкой.

Исходя из этого, мы избрали длину как форму вынесения оценок.

Обобщая, укажем, что психическим явлением, участвующим во всех рассматриваемых нами взаимодействиях (ответ на теоретический вопрос, действие в условиях ситуационной задачи, вынесение экспертной оценки), является феномен выбора.

Третья глава «Результаты тестирования знаний и навыков среди студентов, обучающихся по специальности "Клиническая психология"», состоит из трех параграфов и описывает результаты пилотажного применения созданной системы.

В параграфе 3.1 " Результаты тестирования знаний студентов " описываются результаты тестирования теоретических знаний студентов психолого-педагогического факультета РГПУ им. А.И. Герцена.

Данные, полученные во время проведения экзаменов в бумажной и компьютерной формах, были приведены к формату *.rh, специфичному для программы АнализШТ. Превращение стандартных таблиц Excel в формат *.rh производилось с помощью специально написанных скриптов.

В электронном варианте тестирования пропуск студентом ответа на вопрос невозможен. В бумажном варианте такие пропуски были, но они составляют менее 0,05 от общего массива данных. Поскольку пропуски никогда не шли в конце теста, испытуемый очевидно прочитывал вопрос, но пропускал его, не зная как ответить. Исходя из этого, пустые клетки были заполнены минусами, т.е. считались за неправильные ответы.

Данные, полученные по каждой дисциплине, обрабатывались с помощью программы АнализГОТ. По каждой дисциплине программа вычислила сложности вопросов и уровень знаний каждого испытуемого по данной дисциплине. По выборке испытуемых были построены гистограммы, отражающие распределение в выборке уровня знаний по разным дисциплинам (Наследов А.Д., 2004).

Анализ гистограмм уровней знаний студентов по различным дисциплинам приводит к следующим заключениям.

1) Большинство гистограмм имеют правостороннюю асимметрию. Это значит, что студенты с относительно высоким уровнем знаний преобладают в выборке.

2) Распределение параметра 0 для большинства дисциплин далеко от нормального. Распределения первичных баллов тоже в большинстве случаев не соответствуют критерию нормальности. Это означает невозможность применения классической теории теста. Легко найти этому объяснение — неуспевающие студенты просто исключаются из ВУЗов, и распределение успеваемости по каждому предмету приобретает правостороннюю асимметрию. Получение нами

17

именно таких результатов подтверждает правильность выбора Ш.Т модели, чье применение не требует нормальности распределения, как решения для обработки данных.

Мы попытались выявить общие причины уровней знаний, подвергнув кластерному анализу матрицу корреляций между уровнями знаний по разным дисциплинам.

Результат представлен ниже:

нейропсихология-!

аномалии развития--

патопсихология-^

клиническая психология—р. -

методы клинич. пс;—'

неврозология-т—1 — психосоматика-1

теории личности--

методология исслед.— расстройства личн:--

Рисунок 3. "Эмпирические компетенции " будущего специалиста — клинического психолога, выделенные на основе кластерного анализа ШТ-оценок успешности испытуемых в разных дисциплинах.

Ясно выделяются 3 "'эмпирические компетенции". Первая объединяет нейропсихологию, аномалии развития и патопсихологию. Эта компетенция связана с работой клинического психолога с тяжелыми заболеваниями. Вторая "эмпирическая компетенция" (клиническая психология, методы клинической психологии) может быть названа отвечающей за общую профессиональную культуру.

Третья эмпирическая компетенция может быть названа психотерапевтической, так как в нее входят дисциплины, обучающие работе с личностью.

С другой стороны, ФГОС-3 соотносит каждую дисциплину с несколькими компетенциями. Соответственно, каждую компетенцию можно представить как соотнесенную с несколькими дисциплинами. Уровень развития компетен-

ции у данного учащегося получается суммированием уровней знаний по дисциплинам, соотнесенным с данной компетенцией, и делением на число этих соотнесенных дисциплин.

Отметим, что поскольку шкала уровней знаний по какой-либо дисциплине по определению является интервальной, уровень развития компетенции есть:

УРкомпсгспция 1 [ (ОдИС! [И[ 1.1. l+constl )+(0;tiicr|HMii.2+COnSt2)+ +(0 ДИСЦИ11Л. 3+const3)]/3.

В компетенцию 2 могут входить другие дисциплины. Шкалы уровней знаний для этих других дисциплин имеют собственные константы: const 4, const 5, и т.д. Отсюда можно заключить, что получаемая данным алгоритмом шкала уровня развития компетенции является интервальной. Используя ее, можно сравнивать уровень развития какой-либо компетенции у разных студентов, но не корректно сравнивать численные значения развитости двух разных компетенций у одного студента.

Отметим, что, поскольку оценки уровней знаний по дисциплинам центрированы (среднему уровню знаний соответствует 0 интервальной шкалы), оценки уровней развития компетенций также центрированы (среднему в выборке уровню развития компетенции соответствует 0).

Вычисленные по этому алгоритму оценки компетенций сводились в гистограммы аналогично анализу данных по дисциплинам. Выводы по данным гистограммам аналогичны выводам из анализа, выполненного по отдельным дисциплинам.

Во параграфе 3.2 " Коррекция содержания банка заданий" приводится пример процедуры коррекции содержания банка заданий, направленной на улучшение свойств итогового педагогического теста.

В параграфе 3.3 " Экспериментальная оценка профессиональных навыков с помощью макета автоматизированной системы моделирования

ситуационных задач" описывается применение системы симуляции ситуационных задач и приводятся примеры полученных результатов.

«юо

3030 2М0 1000 о

-1030 -2030 -3530 ■ -«ЮС ■

\

4

А

V

Порядковый номер решения и СП ьггуе!^ ого

Рисунок 4. Пример графика динамики успешности испытуемого в ситуационной задаче.

Визуальный анализ графиков указывает на следующее:

1) У эксперта есть предпочитаемые значения оценок. Каждое из таких значений фигурирует при оценке разных вариантов в разных узлах.

2) Некоторые испытуемые следуют одним и тем же путем через

граф.

3) Иногда наблюдаются возвраты испытуемого в уже пройденные узлы. Возможность этого была обеспечена восходящими связями, заложенными в симуляцию автором, наряду с нисходящими.

4) Протоколы симуляций могут отличаться по длине даже в 2

раза.

5) Некоторые протоколы заканчиваются ошибкой (оценка отрицательна), в то время как другие — верным ответом.

6) Если использовать суммарную оценку по протоколу как меру эффективности испытуемого в задаче, распределение таких оценок по выборке скошено влево.

7) Если использовать суммарную оценку по протоколу как меру

эффективности испытуемого в задаче мы получим низкую корреляцию

(Наследов А.Д., 2004) между задачами.

Параграф 3.3 также содержит рассмотрение возможностей дальнейшего развития метода ситуационных задач.

Можно выделить 4 направления развития метода ситуационных задач, способствующих внедреншо его в практику. Два направления развития экстенсивные (вширь) и 2 интенсивные (вглубь):

1) Первое экстенсивное направление может содержать следующие мероприятия:

— увеличение количества разработанных ситуационных задач по разным отраслям науки и-практики;

— накопление банков данных, содержащих в себе набранные студентами и экспертами оценки успешности;

— установление критериальных (зачет/незачет) величин успешности, основанных на анализе банков данных;

— внедрение метода ситуационных задач в практику высшего образования на уровне юридических документов.

2) Второе экстенсивное направление использует ситуационные задачи для клинико-психологической оценки больных, перед компьютером усаживается не терапевт, а пациент. Перед пациентом на экране развертываются различные социальные ситуации, в которых в которых пациент реагирует. Реакции пациента приводят к оценкам, которые заранее заданы в структуре ситуационной задачи, как было описано в соответствующей главе. Суммарная оценка может отражать социальную компетентность, выраженность психического дефекта и вообще любую характеристику, которую клиницист изберет при конструировании ситуационной задачи. В сущности, речь идет об автоматизации метода полуструктурированного интервью, что дает объективные и сравнимые результаты.

3) Первое интенсивное направление связано с использованием аппарата

построения квазиобъективных шкал (Худяков А.И., 2013), позволяющим по

21

массиву экспертных оценок уместности вариантов ответов находить квазиобъективные уместности, не зависящие от субъективности экспертов. Данный подход основан на использовании закона Вебера.

4) Наконец, второе интенсивное направление предполагает психосемантическое шкалирование элементов ситуационных задач как преподавателями, так и студентами. Это позволит связать наблюдаемые различия в эффективности решения задач с различиями семантических репрезентаций испытуемых и, в конечном итоге, с различной степенью совпадения репрезентации проблемной области у студента с репрезентацией этой же области у преподавателя.

Исследование резюмируется в следующих выводах:

1. Созданная программа АнализЖТ надежно определяет уровни трудности теоретических вопросов и уровни подготовленности студентов.

2. Разработанная нами ЬгасЬ-система "Квестопостроитель" обеспечивает все возможности, обычные для такого рода программ. В отличие от конкурентов, она является offline системой, что дает необходимую надежность.

3. Использование методов балльной оценки в системах симуляции ситуационных задач встречает возражения теоретического порядка из-за неподходящего типа шкалы. Использование методов прямой оценки в системе "Квестопостроитель" оправданно как с теоретической, так и с практической точки зрения.

ОСНОВНЫЕ НАУЧНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИОННОГО ИССЛЕДОВАНИЯ:

1. Иванов Г.В. Перцептивная группировка и неосознаваемое

восприятие.// Вестник Южно-Уральского Государственного Университета Серия: психология.- 2013.-№ 1.-C.90-100

2. Иванов Г.В., Алехин А.Н., Худяков А.И. Психофизиологическое обоснование тактико-технических характеристик устройств и средств визуальной маскировки.// Вопросы оборонной техники Серия 16.-2012.- выпуск 3-4.-94-97

3. Получено авторское свидетельство на программу для ЭВМ «Анализ IRT» (№2013613103) от 26 марта 2013 года.

4. Иванов Г.В. О связи между стохастической теорией тестов

(Item response theory, IRT) и теорией выбора по сходству (Similarity

choice model, SCM) в аспекте конструирования систем мониторинга

знаний.// Материалы конкурса научно-исследовательских работ студентов и аспирантов в области информатики и информационных технологий.- Белгород, изд. дом «Белгород», 2012.-566 е.- с.252-257

5. Иванов Г.В., Алехин А.Н.Опыт конструирования автоматизированной системы мониторинга знаниевых составляющих компетенций специалиста II Universum: Вестник Герценовского университета.-2012.-№ 3.-е.50-55

6. Иванов Г.В., Худяков А.И. Новое программное обеспечение для проведения психофизических экспериментов.// Сборник "Научные материалы V съезда Российского Психологического общества".- М.: РПО, 2012.-448 е.- с. 171-172

7. Иванов Г.В., Алехин А.Н. Принципы метрической оценки

компетентности специалистов при решении тестовых задач.// Universum: Вестник Герценовского университета.- 2013,- № 3.- с. 105-113

8. Иванов Г.В. О необходимости психосемантического обоснования измерения знаний.// Инновация в образовании. Современная психология в обучении: II Всероссийская научная Интернет-конференция: материалы конференции (Казань, 8 октября 2013 г.).- Казань, ИП Синяев Д.Н., 2013 .-377 с..-с.99-100

9. Иванов Г. В., Худяков А. И. Программа MS.exe для многомерного шкалирования категориальных данных// Труды международной научно-практической конференции "Психология труда, инженерная психология и эргономика 2014",- СПб., Межрегиональная эргономическая ассоциация, 2014.452 с..- с. 132-134

Подписано в печать 24.03.2015 Формат 60x90/16 Бумага офсетная. Усл. печ. л. 1,75 Тираж 100 экз. Заказ 145

Отпечатано в типографии «Адмирал» 199178, Санкт-Петербург, В.О., 7-я линия, д. 84 А