автореферат и диссертация по психологии 19.00.01 для написания научной статьи или работы на тему: Эффекты категориальности восприятия переходных экспрессий лица
- Автор научной работы
- Куракова, Ольга Александровна
- Ученая степень
- кандидата психологических наук
- Место защиты
- Москва
- Год защиты
- 2013
- Специальность ВАК РФ
- 19.00.01
Автореферат диссертации по теме "Эффекты категориальности восприятия переходных экспрессий лица"
00506002Э
На правах рукописи
Куракова Ольга Александровна
ЭФФЕКТЫ КАТЕГОРИАЛЬНОСТИ ВОСПРИЯТИЯ ПЕРЕХОДНЫХ ЭКСПРЕССИИ ЛИЦА
Специальность 19.00.01 - общая психология, психология личности, история психологии
Автореферат диссертации на соискание ученой степени кандидата психологических наук
г з май ш
Москва — 2013
005060029
Работа выполнена в Центре экспериментальной психологии ГБОУ ВПО г. Москвы Московский городской психолого-педагогический университет
Научный руководитель:
доктор психологических наук, профессор, член-корреспондент РАО Барабанщиков Владимир Александрович
Официальные оппоненты:
доктор психологических наук, профессор, старший научный сотрудник кафедры психологии Международного университета природы, общества и человека «Дубна» Мещеряков Борис Гурьевич
кандидат психологических наук, доцент, старший научный сотрудник лаборатории психологии труда факультета психологии Московского государственного университета им. М. В. Ломоносова Блинникова Ирина Владимировна
Ведущая организация:
Государственное образовательное учреждение высшего профессионального образования Московский государственный областной университет
Защита состоится « 13 » июня 2013 г. в 12 00 часов на заседании диссертационного совета Д 002.016.02 при Федеральном государственном бюджетном учреждении науки Институте психологии РАН по адресу: 129366, г. Москва, ул. Ярославская, 13.
С диссертацией можно ознакомиться в библиотеке Федерального государственного бюджетного учреждения науки Института психологии РАН
Автореферат разослан « » мая 2013 г.
Ученый секретарь диссертационного совета кандидат психологических наук, доцент
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность
Работа посвящена изучению особенностей восприятия экспрессии базовых и переходных эмоций на лице человека. Уникальность лица как объекта восприятия отмечается в общей и социальной психологии, психологии личности, психофизиологии (В. А. Барабанщиков, R. Adolphs, V. Bruce, G. Rhodes, A. Young, L. Zebrowitz и др.). Одной из основных проблем, связанных с изучением лица, является восприятие выраженных на нем эмоциональных состояний. Способность узнавать лица и распознавать их экспрессии начинает проявляться уже у новорожденных детей, что говорит о ее высокой эволюционной и социальной значимости (О. Pascalis, D. J. Kelly).
Несмотря на большое число работ по изучению разных аспектов восприятия лиц и их экспрессии, многие вопросы остаются спорными или нерешенными. В частности, таковым является вопрос о соотношении репрезентаций экспрессии различных модальностей (R. Reisenzein, J. Russell), отражающий фундаментальную проблему дискретности и непрерывности в восприятии действительности. Воспринимаемые экспрессии лица, наряду с другими проявлениями эмоциональных состояний, рассматриваются либо как непрерывный континуум в многомерном пространстве (R. Woodworth, С. Osgood, D. Bimler, J. Russell), либо в виде дискретных эмоциональных категорий (P. Ekman, С. Izard, Е. Ortony, Т. Turner). Отмечается возможность взаимодополнения дискретных категорий и непрерывного изменения границ между ними (А. В. Жегалло, Т. Fujimura).
Дискретные или непрерывные свойства восприятия экспрессий проявляются при изучении эффектов категориальности восприятия, в которых проверяется связь эффективности различения объектов с их принадлежностью к одной или разным категориям. Значительная часть исследований данного вопроса проводится с использованием переходных изображений, сформированных при помощи компьютерного линейного преобразования (пространственного морфинга) опорных фотоизображений базовых экспрессий. Экологическая валид-ность подобного материала вызывает сомнения.
Актуальными в этой связи являются следующие вопросы: насколько точно и однозначно человек способен определять эмоциональное состояние другого по его мимике? Зависит ли эта точность от близости воспринимаемой экспрессии к сформировавшемуся у наблюдателя прототипу выражения той или иной базовой эмоции? Отличаются ли проявления категориальных эффектов восприятия мимически выраженных и искусственно созданных изображений экспрессий?
Объект исследования: восприятие базовых эмоциональных экспрессий лица и переходов между ними.
Предмет исследования: эффект категориальности восприятия базовых экспрессий лица. ■
Цель: изучить особенности категориальных эффектов при восприятии экологически валидных (мимически выраженных) и искусственных (сгенерированных компьютером) переходных экспрессии лица человека.
Гипотезы исследования:
■ Экологически валидные изображения переходных эмоциональных экспрессии лица воспринимаются иначе, чем изображения переходных экспрессии, сгенерированные компьютером.
■ Восприятие переходных экспрессии определяется не только модальностью основной эмоции, но и дополнительными эмоциональными характеристиками.
■ Эффект категориальности восприятия проявляется при различении как искусственно сгенерированных, так и экологически валидных переходных экспрессии.
Задачи исследования:
■ Анализ проблемы категоризации воспринимаемых экспрессии лица.
■ Разработка экологически валидного способа получения и презентации изображений переходных экспрессии.
« Экспериментальное изучение закономерностей восприятия переходных экспрессии.
■ Сопоставление категориальных эффектов, проявляющихся при экспозиции экологически валидных и искусственных переходных экспрессии.
Методологическая база и теоретическая основа исследования:
■ Коммуникативный подход к исследованию перцептивных процессов (В. А. Барабанщиков, В. Н. Носуленко, Е. С. Самойленко).
■ Психофизический подход к изучению категориальное™ восприятия (S. Hamad, A. Liberman, N. Macmillan).
■ Представления о базовых эмоциях и их экспрессиях (P. Ekman, С. Izard).
■ Концепция восприятия выражений лица (В. А. Барабанщиков).
Методы и методики исследования:
■ высокоскоростная видеосъемка переходных экспрессий опытного натурщика;
■ процедура линейного компьютерного морфинга изображений;
■ расчет физических различий между изображениями по модели Г. Хакена (Haken, 2004);
■ оценка изображений базовых экспрессий по «Шкале дифференциальных
эмоций» К. Изарда в русскоязычной адаптации (Леонова, Капица, 2003);
■ психофизические методики идентификации (множественный выбор названий эмоций) и различения (последовательно-параллельная задача АВХ).
Статистическая обработка полученных результатов проводилась с использованием пакета R и применением следующих методов анализа данных: точный тест Фишера (двусторонний), критерии U Манна-Уитни и х Пирсона, коэффициент внутриклассовой корреляции ICC (2, к), коэффициент корреляции р Спирмена.
Этапы исследования:
На первом этапе (2009-2010 гг.) анализировались история и современное состояние проблемы, уточнялись цели и задачи исследования, определялись методические подходы, подбирался адекватный понятийный аппарат.
На втором этапе (2010-2011 гг.) апробировался способ создания экологически валидных изображений экспрессии, апробировались методики исследования идентификации и различения переходных изображений, проводились основные серии экспериментальных исследований.
На третьем этапе (2012-2013 гг.) выполнялась обработка полученных данных, анализ и осмысление результатов исследования, их включение в сложившуюся систему психологического знания.
Достоверность полученных результатов обеспечивается опорой на верифицированные положения отечественной и зарубежной науки, использованием методов и методик, адекватных целям и задачам исследования, обширностью выборки (общий объем: 736 испытуемых, 106616 экспозиций выражения лица), тщательностью анализа полученных материалов, применением адекватных методов математической обработки данных.
Научная новизна исследования
■ Разработан новый способ создания и презентации фотоизображений переходных экспрессий лица. Особенностями данного материала по сравнению с существующим являются: экологическая валидность, учет детальных мимических изменений, происходящих при смене экспрессии, описание физических различий между изображениями в метрике Г. Хаке-на. Стимульные изображения отражают реальное многообразие мимики лица человека и свободны от артефактов линейного компьютерного морфинга.
■ Апробирована методика исследования восприятия переходных экспрессий лица, созданных путем компьютерного морфинга и. видеосъемки натурщика.
■ Получены новые данные относительно природы восприятия естественных экспрессии лица. Описаны основные формы проявления эффекта категориальное™ восприятия в исследованных ситуациях. Получены детальные характеристики эмоций, воспринимаемых на изображениях базовых и переходных экспрессий из набора РОРА П. Экмана и из авторского стимульного набора.
Теоретическая значимость исследования
В теоретическом плане исследование способствует решению проблемы дискретности/непрерывности восприятия выражений лица человека. Согласно полученным данным, адекватное решение может быть выражено формулой единства дискретности и непрерывности воспринимаемых экспрессий. Показан неоднозначный характер проявлений эффекта категориальное™ в зависимости от модальности экспрессий. Исследование вносит вклад в разработку концепции восприятия выражений лица (Барабанщиков, 2009, 2012), позволяет раскрыть особенности восприятия естественных переходных экспрессий, уточнить содержание перцептогенеза экспрессий лица.
Практическая значимость исследования
Выявленные закономерности представляют интерес для таких сфер общественной практики как реклама, изобразительное искусство, пограничный и таможенный контроль и др. Способы оценки эмоционального состояния человека по выражению его лица актуальны при организации деятельности операторов систем видеонаблюдения в местах большого скопления людей, а также при разработке широкого круга компьютерных программ, связанных с распознаванием, моделированием и отображением естественных экспрессий. Предложенная методика может быть использована в экспериментальных исследованиях различных аспектов восприятия как лицевых экспрессий, так и других классов сложных изображений.
На защиту выносятся следующие положения:
1. Структура идентификации компьютерно сгенерированных переходных экспрессий лица отличается от структуры идентификации переходных мимических экспрессий. Техника линейного пространственного морфинга обеспечивает лишь частичное соответствие искусственных изображений фотографиям переходных экспрессий.
2. При экспозиции компьютерно сгенерированных переходных изображений экспрессий имеют место три основных паттерна зависимости эффективности различения в паре изображений от их положения в переходном ряду: «пик» (классический эффект категориальное™ восприятия), «плато» и равномерное распределение (отсутствие проявлений эффекта категориальное™). «Плато» -наиболее часто встречающийся вид паттерна различения переходных изображений, характеризующий размытость межкатегориальной границы.
3. При экспозиции эквидистантных экологически валидных фотоизображений переходных экспрессий эффект,категориальности восприятия сохраняется.
Апробация исследования
Материалы исследования обсуждались на заседаниях Центра экспериментальной психологии Московского городского психолого-педагогического университета, Лаборатории познавательных процессов и математической психологии Института психологии РАН (2009-2013 гг.), а также на 14 всероссийских и международных конференциях, в том числе на IV и V Международных конференциях по когнитивной науке (Томск, 2010 г.; Калининград, 2012 г.), XXXIII, XXXIV и XXXV Европейских конференциях по зрительному восприятию -ЕСУР (Лозанна, 2010 г.; Тулуза, 2011 г.; Альгеро, 2012 г.), XVI Европейской конференции по движениям глаз - ЕСЕМ (Марсель, 2011 г.), II Европейской конференции по когнитивной науке - ЕигоО^Бс! (София, 2011 г.), XII Конференции Общества наук о зрении - VSS (Нейплз, 2012 г.), XI и XII Международных чтениях памяти Л. С. Выготского (Москва, 2010 г.; 2011 г.), Всероссийских научных конференциях «Экспериментальная психология в России: традиции и перспективы» (Москва, 2010 г.), «Познание в деятельности и общении: от теории и практики к эксперименту» (Москва, 2011 г.), I Региональной научной конференции «Когнитивная наука в Москве: новые исследования» (Москва, 2011 г.), Междисциплинарном симпозиуме «Лицо человека как средство общения: междисциплинарный подход» (Москва, 2012 г.).
Содержание работы отражено в 18 публикациях, три из которых представлены в рецензируемых журналах, рекомендованных ВАК РФ.
Структура и объем диссертации
Работа состоит из введения, четырех глав, заключения, выводов, списка литературы и приложений. Основной текст диссертации изложен на 135 страницах. В тексте содержится 19 рисунков и 19 таблиц. Список литературы включает 208 наименований, из них 176 на иностранных языках.
ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ
Во введении обосновывается актуальность диссертационного исследования, определяются объект и предмет исследования, формулируются цели, задачи и положения, выносимые на защиту, раскрывается научная новизна, теоретическая и практическая значимость работы.
В первой главе излагаются основные подходы к исследованию категори-альности восприятия, вводится система понятий, проводится обзор результатов изучения эффекта категориальности восприятия экспрессий лица.
Проблема категоризации занимает важное место в когнитивной психологии восприятия. Категоризация определяется как операция по классификации объектов и событий (Cohen, Lefebvre, 2005), является базисом для построения наших знаний о мире и фундаментальной проблемой когнитивной науки и различных областей психологии. Дж. Брунер (1977) рассматривает акт категоризации как одну из главных характеристик восприятия в частности и познания в целом. С. Харнад (Harnad, 2005) среди основных путей изучения проблемы категоризации в качестве наиболее перспективного выделяет психофизический подход.
Психофизические исследования категоризации (Angelí et al., 2008; Beale, Keil, 1995; Campanella et al., 2003; Campbell et al., 1999; Hartendorp et al., 2010; Levin, 2000; Liberman et al., 1957; McCullough, Emmorey, 2009; Paramei, 2005; Roberson et al., 2000; Studdert-Kennedy et al., 1970 и др.) сосредоточены на изучении эффекта категориальности восприятия. В его проявлениях отражается одно из важнейших свойств восприятия действительности и фундаментальная проблема соотношения дискретного и непрерывного в познании окружающего мира. Феномен описывается в терминах сходства/различия воспринимаемых объектов в зависимости от того, входят ли они в одну или в разные перцептивные категории. Сравнивается эффективность выполнения заданий на различение и классификацию (идентификацию) ряда объектов, образующих переход между двумя смежными категориями, в котором физические различия соседних объектов остаются неизменными, но в одной из пар объекты разделены межкатегориальной границей. В такой паре наблюдается наиболее эффективная дифференциация объектов, а различие между ними оценивается как максимальное.
Для объяснения эффекта категориальности предложен ряд психофизических моделей. Среди них - пороговые модели, в которых граница между категориями рассматривается как абсолютный порог на континууме физического признака (Miller et al., 1976; Pastore, 1990; Rosen, Howell, 1990): подпороговые стимулы воспринимаются как неразличимые, а надпороговые - в соответствии с законом Вебера. Существуют объяснения категориальных эффектов в терминах теории обнаружения сигнала (Macmillan, 1977, 1990), согласно которой воспринимаемая принадлежность к категории рассматривается как сигнал на фоне шума, а также в теории установки критерия (Treisman et al., 1995), предполагающей, что субъективный критерий различения сигнала устанавливается заново в каждой экспериментальной пробе и подвержен влияниям контекста. Модель категориальной настройки (Duffy et al., 2006; Huttenlocher et al., 2000) основана на объединении информации о непосредственно воспринимаемых свойствах объекта и хранящихся в памяти знаний о его категориальной принадлежности, что позволяет различать объекты внутри категорий, а вклад каждого из источников информации определяется конкретной ситуацией восприятия.
Контекстные факторы не учитывались в первоначально предложенной интерпретации эффекта категориальности (Liberman et al., 1957), но дальнейшие исследования позволили выявить их важную роль. На подвижность межка-
тегориальных границ влияют локальные и глобальные эффекты последовательности стимулов, избирательная адаптация и эффекты интеграции разноуровневых признаков категорий (Repp, Liberman, 1990). Межкатегориальные границы располагаются в области наибольшей неопределенности, где действие дополнительных признаков максимально.
Проведенный обзор показал, что современные модели эффекта категориальное™ учитывают неравнозначность объектов внутри категории - возможность континуального, непрерывного восприятия различий между ними. В то время как классические психофизические модели в основном предсказывают статичные свойства эффекта категориальное™, модели категориальной настройки и установки критерия сфокусированы на его динамике и связи репрезентаций разных уровней организации.
Рассматривая лицо человека как особую перцептивную категорию, вовлекающую наблюдателя в системные субъект-субъектные отношения (Барабанщиков, 2012), можно выделить ряд проблем, связанных с восприятаем и оценкой лица и его экспрессий: в частности, как взаимосвязаны процессы восприятия экспрессий и индивидуальных особенностей человека по его лицу, какова структура перцептивного пространства эмоций и их мимических выражений, как соотносятся дискретное и непрерывное восприятие экспрессий. Одним из способов решения последнего вопроса является представление о дискретном, категориальном строении перцептивного пространства. На основании крос-скультурных исследований (Ekman, 1994; Ekman, Friesen, 1978; Izard, 1992, 1993) описан ряд базовых эмоций - универсальных эмоциональных прототипов, каждый из которых образует вокруг себя отдельную категорию, или эмоциональный кластер, и характеризуется определенными мимическими проявлениями. Другой способ - представление экспрессий как континуума в многомерном пространстве, измерения которого описывают некоторые характеристики экспрессий, например, валентность (положительные/отрицательные эмоции), уровень активации или интенсивность (Вудвортс, 1950; Вундт, 2002; Измайлов и др., 1999; Bimler, Paramei, 2006; Ortony, Turner, 1990; Russell, Fehr, 1987). В последнее время противопоставление дискретного и непрерывного восприятия экспрессий сменяется тенденцией к синтезу двух подходов. Категориальные эффекты при восприятии экспрессий лица не исключают непрерывного характера восприятия свойств валентности или активации (Fujimura et al., 2012).
Соотношение дискретности и непрерывности восприятия экспрессий лица рассматривается в когнитивно-коммуникативном подходе, разрабатываемом В. А. Барабанщиковым (2009, 2012) на основе положений системного подхода (Ломов, 1996). Выражения лица изучаются в условиях викарного общения, когда образ коммуниканта и его ОН-концепция формируются при экспозиции его изображений. При анализе мимических проявлений, входящих в состав базовых экспрессий, выделены характерные признаки, или экзоны, определяющие информационную основу восприятия той или иной экспрессии (Барабанщиков, 2009). В рамках когнитивно-коммуникативного подхода сформулированы ме-
тодические принципы исследования структуры перцептивного пространства экспрессий (Барабанщиков, Жегапло, 2007; Барабанщиков, Жегалло, Хозе, 2009). Его описание в терминах категориального поля, включающего центр (основную категорию, репрезентирующую эмоцию) и периферию (репрезентацию дополнительных эмоций) позволяет учитывать как непрерывные, так и дискретные свойства восприятия экспрессий. Проблема их соотношения может быть решена следующим образом: дискретный, категориальный характер экспрессий лица сочетается с континуальным изменением границ категорий между смежными эмоциями (Жегалло, 2007).
За два десятилетия экспериментальных исследований эффекта категори-альности восприятия экспрессий лица он был продемонстрирован на материале схематических (Etcoff, Magee, 1992) и фотографических (Calder et al., 1996; de Gelder et al., 1997; Young et al., 1997) изображений, описаны особенности его проявления у младенцев (Kotsoni et al., 2001), при повреждениях структур мозга, связанных с восприятием и переживанием эмоций (Adolphs et al., 1999), при шизофрении (Kee et al., 2006) и аутизме (Teunisse, de Gelder, 2001). Результаты большинства исследований подтверждают, что экспрессии базовых эмоций воспринимаются категориально. Тем не менее, проявления эффекта категори-альности варьируют в зависимости от пары конкретных экспрессий, между которыми формируется переход (Kurakova, 2011): так, они наблюдаются в переходных экспрессиях, включающих радость или гнев (Calder et al., 1996; Etcoff, Magee, 1992; de Gelder et al., 1997; McCullough, Emmorey, 2009; Roberson, Davidoff, 2000; Teunisse, de Gelder, 2001; Young et al., 1997), хотя имеются данные об их отсутствии в отдельных переходных рядах (Calder et al., 1996; Fiorentini, Viviani, 2009; de Gelder et al., 1997). В ряде работ эффект категориальное™ не был выявлен (Schiano et al., 2004), показано его исчезновение в условиях вербальной интерференции (Roberson, Davidoff, 2000; Roberson et al., 2007).
Обобщая накопленные данные, можно говорить, во-первых, о фундаментальном характере эффекта категориапьности восприятия экспрессий; во-вторых, о его важной роли в социальном познании; в-третьих, о неравномерности проявления эффекта и подвижности межкатегориальных границ. Поскольку большинство исследований было проведено на материале линейных переходных изображений, сгенерированных компьютером, для уточнения особенностей проявления эффекта категориальности в экологически валидных условиях восприятия целесообразным представляется его изучение на материале фотоизображений реальных мимических переходов между экспрессиями.
Во второй главе диссертации описывается разработка способа создания и презентации экологически валидного стимульного материала (ЭВС), а также методики, использованные при проведении эмпирического исследования эффекта категориальное™.
Существующие базы данных изображений экспрессий включают фотографии или видеоклипы, которые отражают динамику экспрессий относительно
нейтрального выражения лица (напр., Ebner et al., 2010; Lucey et al., 2010; Pantic et al., 2005; Roy et al., 2012). Однако, в таких базах отсутствуют изображения мимических переходов от одной базовой экспрессии к другой. Необходимость в них обусловлена задачей изучения эффекта категориальное™ на экологически валидном материале. Кроме того, требуется количественное описание создаваемого материала и его верификация относительно стандартных изображений базовых экспрессий.
В качестве стандартного материала использовались фотографии базовых экспрессий радости, удивления, страха, печали, отвращения, гнева, спокойного лица натурщика JJ из набора «Pictures of facial affect» - POFA (Ekman, 1993), a также сформированные при помощи линейного компьютерного морфинга переходные ряды между ними (тип С- «стандартный»). Для всех пар 7 исходных изображений в программе компьютерного морфинга создавались переходные ряды, из которых по критерию равных теоретических расстояний выбраны по 6 изображений, включая 2 опорные экспрессии и 4 переходных изображения. Формальный критерий теоретических расстояний основан на метрике Г. Хакена (Haken, 2004) и реализован при помощи программы Dimg (Жегалло, 2007): он рассчитывался как вычтенное из единицы скалярное произведение векторов, компонентами которых являются нормированные уровни яркости отдельных пикселей изображений. Пример переходного ряда типа С представлен на рисунке 1 а.
1 2 3 4 5 6
Рисунок 1. Переходные ряды между экспрессиями радости и удивления: а) тип С - линейный морфинг стандартных изображений из РОРА; б) тип Ф - фотоизображения мимики натурщика; в) тип М - морфинг между фотоизображениями; 1 - прототипы радости, 6 - прототипы удивления, 2-5 - переходные экспрессии
Разрабатываемый экологически валидный материал (тип Ф - «фото») включал фотоизображения мимических переходов между парами экспрессий, полученные путем высокоскоростной видеосъемки (300 кадров/с). Натурщик (мужчина европеоидной расы, возраст 42 года) предварительно практиковался перед зеркалом в изображении мимических переходов между экспрессиями, используя иллюстративные материалы, содержащие вербальное описание экспрессий по П. Экману и примеры фотографий. Видеосъемка проводилась анфас на белом фоне, обеспечивалось равномерное освещение. Видеофрагменты преобразовывались в последовательности изображений - отдельных кадров. В каждой последовательности изображений определялись начало и конец перехода между экспрессиями, рассчитывались теоретические расстояния. На рисунке 1 б представлен ряд типа Ф «радость-удивление».
Третьим типом материала (тип М - «морфы») стали искусственные переходные ряды, сконструированные путем линейного морфинга между парами базовых экспрессий натурщика, расположенных в начале и конце переходных рядов типа Ф. Таким образом, для рядов типа Ф и М опорные изображения совпадали. Искусственные переходные ряды создавались только для тех пар изображений, для которых существенно не менялась конфигурация рта натурщика (открытый/закрытый рот - особенность экспрессий, приводящая к максимальной эффективности их различения). Пример представлен на рисунке 1 в.
Детальная характеристика изображений базовых экспрессий была получена с использованием Шкалы дифференциальных эмоций (ШДЭ) К. Изарда (2006) в русском переводе и адаптации (Леонова, Капица, 2003), позволяющей оценивать интенсивность тридцати воспринимаемых состояний, объединенных в 10 интегральных шкал. Изображения типа С оценивали 57 человек (26 мужчин, 31 женщина, ср. возраст 22±6.2 года). Изображения базовых эмоций типа Ф были разбиты на 6 наборов по 7 экспрессий, каждый из которых оценивали по 30-35 человек (общий объем выборки 198 человек: 53 мужчины, 145 женщин, ср. возраст 24.4±8.6 лет). Значения оценок по каждой из 30 субшкал эмоций для изображений типов С и Ф сравнивались при помощи критерия U Ман-на-Уитни. Корреляция среднегрупповых профилей оценок экспрессий типа С с соответствующими экспрессиями типа Ф оценивалась при помощи коэффициента корреляции р Спирмена, который варьировал от 0.64 до 0.97. В качестве меры согласованности оценок наблюдателей относительно каждого изображения применялся внутриклассовый коэффициент корреляции ICC (2, к), изменявшийся от 0.87 до 0.99. Все коэффициенты корреляции значимы на уровне р < 0.05.
Сопоставление оценок позволяет описать особенности нового фотоматериала (тип Ф) по сравнению со стандартным (тип С). Экспрессии радости оцениваются испытуемыми как имеющие максимально сходные характеристики воспринимаемых эмоций (рис. 2). Оценки удивления и страха значительно пересекаются для обоих типов изображений. Оценки экспрессий страха типа Ф по шкалам отвращения, стыда и страха значимо отличаются от оценок изображения типа С; удивление выражено на первых в целом больше, чем на вторых.
Оценки удивления типа Ф по шкале интереса значимо выше, чем для типа С. Оценки изображений печали типа Ф по шкалам презрения и отвращения, а в некоторых случаях также стыда и вины, выше аналогичных оценок изображения типа С. В отличие от экспрессии отвращения типа С, на экспрессиях типа Ф в целом меньше воспринималась выраженность шкал горя, презрения и гнева. На изображениях гнева типа Ф сильнее выражены эмоции интереса, отвращения и презрения, однако меньше средние оценки эмоции удивления и страха. На спокойном лице типа Ф состояния горя и презрения оценивались как более выраженные, а состояние радости - как менее выраженное, чем на материале типа С. Состояние интереса воспринималось в умеренной степени на изображениях экспрессий радости, удивления и страха типа Ф, а для гнева и спокойствия оценки выраженности этого состояния достигали высоких значений.
29 30 1 2 3 28 4 27 5 26 • у^й^Х 6 25 Г^ / 7 24 / 8 23 9 22 10 21 ; Ч " 20 12 19 13 18 17 л с 14 17 16 15 радость 29 30 1 2 3 28 4 27 5 26 6 25 ГД 7 24 I 8 23 9 22 10 21 11 20 12 19 13 18 17 ,6 15 14 удивление 29 30 1 2 3 28 4 27 5 26 6 25 Г\ 7 24 ( 12*\ 4 5 8 22 Ю 21 11 20 12 19 13 18 ,, 14 17 16 15 страх 29 30 1 2 3 28 4 27 5 5 9 22 \ / 10 21 11 20 . V Ц ' '12 19 13 18 ,7 ,„ ,5 14 печаль
29 30 1 2 3 28 4 27 5 26 6 25 Гч 7 24 / ^ 8 23 ) ' У2 3 4 5 9 22 \ / 10 20 Ч_1 12 19 13 18 ,7 <е 14 17 16 15 отвращение 29 30 1 2 3 28 4 27 5 26 ГХ 6 25 1 I 7 24 / \ 8 \ 1 2 3 4 5 23 / / 9 22 \ 10 21 \ \ 11 20 \Щ/ 12 19 13 18 .7 1 С 14 17 16 15 гнев 29 30 1 2 3 28 4 27 5 3459 22 10 21 ' - 11 20 12 19 13 18 ,7 «с 14 17 16 15 спокойное лицо Интегральные шкалы 1-3: интерес 4-6: радость 7-9: удивление 10-12:горе 13-15: гнев 16-18: отвращение 19-21: презрение 22-24: страх 25-27: стыд 28-30: вина
Рисунок 2. Профили средних оценок изображений типов С (серые области) и Ф (черные линии, усреднение по 6 изображениям каждой экспрессии); радиальная координата - оценка интенсивности; угловая координата - 30 субшкал ШДЭ
На основании описанных результатов можно утверждать следующее: как и изображения экспрессий из стандартной базы РОРА, валидизированной на различных культурах и использующейся во множестве исследований, новый экологически валидный стимульный материал преимущественно воспринимается как содержащий признаки не только одной базовой эмоции, но и дополнительных эмоций, составляющих категориальное поле (Барабанщиков, 2009). Наибо-
лее существенные отличия нового набора изображений (типа Ф) от стандартного заключаются в следующем:
■ структура экспрессии страха, включающая более сильную выраженность отвращения и менее сильную - страха и стыда;
■ меньшая выраженность презрения и гнева в экспрессиях отвращения;
■ большая выраженность интереса в экспрессиях удивления и гнева;
* отличия структуры состояний, воспринимаемых на изображениях спокойного лица, в том числе большая выраженность презрения и меньшая -радости.
С каждым из трех типов стимульного материала проводились экспериментальные серии с использованием психофизических методик идентификации эмоциональных состояний и различения (дифференциации) соседних в переходном ряду изображений. Общая схема представлена в таблице 1.
Таблица 1. Обшая схема исследования эффекта категориальное™
Задача Тип изображений
РОКА ЭВС
тип С (морфы) тип Ф (фото) тип М (морфы)
идентификация 7 серий х 3 переходных ряда 2 серии х 3 переходных ряда 2 серии х 3 переходных ряда
различение 7 серий х 3 переходных ряда (основные серии) + 2 серии х 3 переходных ряда (дополнительные серии) 2 серии х 3 переходных ряда 2 серии х 3 переходных ряда
Межгрупповыми независимыми переменными выступали: способ формирования переходных рядов между базовыми экспрессиями (фотоизображения/ компьютерный морфинг); лицо натурщика (из базы РОРА/из материала ЭВС). Все используемые в исследовании переходные ряды были разбиты на тройки для обеспечения оптимального соотношения продолжительности эксперимента и достаточного количества экспозиций стимульных изображений одному испытуемому. В каждой из серий исследования принимали участие по 18-23 испытуемых (общий объем выборки 481 человек: 119 мужчин, 362 женщины, ср. возраст 23.8±7.5 лет). Зависимыми переменными являлись: в задаче идентификации - частоты выбора названий семи эмоций для каждого из предъявленных изображений; в задаче различения - частоты правильных ответов при различении между соседними в переходном ряду изображениями. Общее количество экспозиций каждого изображения в задаче идентификации составляло 36-72 (некоторые изображения базовых экспрессий натурщика из базы РОРА предъявлялись в 2 раза чаще для обеспечения сопоставимости с результатами серий, проведенных на новом стимульном материале, где одни и те же базовые эмоции были представлены в нескольких вариантах в составе разных переходных рядов). Общее количество экспозиций каждой пары изображений в задаче разли-
чения составляло 40СМ60. Порядок предъявления изображений испытуемым был случайным.
Традиционная психофизическая процедура изучения категориальное™ позволяет сравнить результаты, полученные в настоящей работе, с результатами ранее проведенных исследований. В качестве экспериментальных процедур используются задачи идентификации и различения переходных экспрессий.
Задача идентификации изображений. В задаче идентификации на экране монитора при помощи программы РХЬаЬ в случайном порядке последовательно предъявлялись изображения из трех переходных рядов на сером фоне. Время экспозиции каждого изображения составляло 3 с, размеры изображения -244x349 точек для стандартных изображений и 227*315 точек для стимульного материала типов М и Ф. После каждой экспозиции на экран выводился вопрос: «Какие эмоции присутствовали на изображении?» с вариантами ответа «радость», «гнев», «страх», «удивление», «отвращение», «печаль», «спокойное лицо». Порядок вывода названий на экран был фиксированным. На рисунке 3 а представлена последовательность выполнения одной пробы.
а б
Рисунок 3. Процедура выполнения задач идентификации (а) и различения (б)
Различение переходных изображений. В последовательно-параллельной дискриминационной задаче АВХ предъявлялись пары соседних в переходном ряду изображений. Каждая проба включала: фиксационный крест (600 мс); 2 тестовых изображения А и В слева и справа от центра экрана (1500 мс; при расстоянии от центра экрана 57 см угловые размеры каждого изображения — 6.7°х9.3°, расстояние между ними - 2.3°); шумовой маскировочный паттерн (400 мс; 17.5°х9.3°); эталонное изображение в центре экрана X (1500 мс; 6.7°х9.3°), совпадающее либо с А, либо с В; слово «Ответ», обозначающее
ожидание ответа испытуемого. Ответ давался при помощи нажатия на соответствующую кнопку на клавиатуре: 1 - X совпадает с А; 2 - X совпадает с В. 15 пар изображений предъявлялись испытуемым в случайном порядке, каждая пара - 20 раз (пять повторов четырех комбинаций: АВ-А, АВ-В, ВА-А, ВА-В). Перед началом основной серии испытуемые выполняли короткую тренировочную серию, в которую входили изображения из других рядов, не предъявляющиеся в основной серии. На рисунке 3 б представлена процедура выполнения задания.
Для оценки того, насколько эффективность различения изображений в задаче АВХ может быть предсказана, исходя из результатов их идентификации, и каков вклад идентификации в категориальные эффекты, проведено сопоставление теоретического и эмпирического распределения эффективности различения последовательных изображений. В отличие от классической формулы, предложенной в психофизических исследованиях категориальное™ восприятия фонем (УЬегтап & а1., 1957) и основанной на представлениях о полной детерминации различения стимулов их классификацией, в используемой в нашей работе формуле учитывается и базовый уровень различения, полученный эмпирически для соответствующего переходного ряда, что предлагается в работах Э. Кальдера (СаЫег е! а!., 1996):
РАВ = ОЭД + 02) + 0.25 - Рт)2,
где РЛВ - теоретическая вероятность правильного различения стимулов А и В; £>,, £>2 - эмпирические доли правильного различения первой и последней пар в переходном ряду в задаче АВХ; / = 1...7 - названия категорий; РА„ РВ1 - средние доли выбора данных названий в задаче идентификации. Теоретические и эмпирические распределения сопоставлялись при помощи критерия Пирсона и непараметрической корреляции Спирмена.
Таким образом, во второй главе диссертации описан процесс создания нового экологически валидного материала изображений лица человека, демонстрирующего переходы между парами базовых экспрессий. Выявлены формальные и содержательные сходства и различия нового материала со стандартной базой данных РОРА. Сравнение их оценок по Шкале дифференциальных эмоций К. Изарда, показавшее высокую степень сходства воспринимаемых эмоциональных состояний, дает возможность использовать новый материал при изучении эффекта категориальное™ в задачах идентификации и различения в соответствии с описанными процедурами.
Третья глава посвящена эмпирическому изучению эффекта категориальное™ на созданном стимульном материале. Проведены основные экспериментальные серии с использованием методик идентификации и различения, их результаты сопоставлялись друг с другом. Две дополнительные серии на материале типа С направлены на оценку воспроизводимости эффекта категориально-сти и его устойчивости к изменению общего контекста предъявляемых эмоциональных состояний.
Анализ результатов показал, что для части рядов вклад дополнительных эмоций в идентификацию переходных изображений (рис. 4) не выходит за пределы 20%, хотя оценки опорных экспрессии при этом могут быть неоднородными. Такими являются переходные ряды типа С: радость-удивление, печаль-спокойствие, удивление-страх, отвращение-радость, печаль-отвращение, спокойствие-удивление, удивление-отвращение, спокойствие-радость, а также ряды отвращение-гнев из материала типов Ф и М. В этих рядах граница эмоциональных категорий определяется точкой пересечения функций идентификации двух основных эмоций. Следовательно, опорные экспрессии, между которыми построены эти переходные ряды, представляют смежные категории и имеют общую межкатегориальную границу.
Рисунок 4. Примеры функций идентификации разных типов изображений экспрессий. По оси абсцисс - номера последовательных изображений в переходных рядах, по оси ординат - относительная частота идентификации
В других переходных рядах типа С изображения, расположенные в центре ряда, часто идентифицируются с дополнительными эмоциями, отличающимися от основных: с печалью в рядах страх-отвращение и гнев-спокойствие, отвращением - в рядах страх-печаль, печаль-гнев и страх-гнев, страхом - в рядах гнев-удивление и удивление-печаль, спокойствием - в ряде радость-печаль, удивление в ряде страх-гнев. Изображения в середине ряда спокойствие-страх идентифицируются с удивлением до 60% случаев, в ряде гнев-радость - до 50%. Для ряда радость-удивление типа Ф в структуру прототипа экспрессии удивления включена эмоция страха, а переходные изображения в центре ряда в четверти случаев идентифицируются с отвращением. В рядах страх-радость и гнев-печаль значителен вклад спокойствия, отвращения и удивления в структуру восприятия экспрессии. В рядах удивление-страх и печаль-отвращение как базовые, так и переходные экспрессии имеют сложную эмоциональную структуру, а четкой границы между категориями не наблюдается. Таким образом, граница между категориями опорных экспрессий в данных рядах оказывается размытой.
При помощи точного теста Фишера (двустороннего) сравнивались частоты выбора эмоций при описании одних и тех же базовых экспрессий, входящих в разные переходные ряды и, следовательно, предъявлявшихся в различном эмоциональном окружении. Оценивались проявления эффектов контекста и адаптации. Экспрессии радости, печали, страха типа С не меняют структуру категориального поля при изменении контекста восприятия - других предъявляемых в той же экспериментальной серии базовых и переходных экспрессий. Экспрессии удивления, гнева и отвращения значимо чаще идентифицируются со страхом (в случае удивления), с удивлением и страхом (в случае гнева), с гневом (в случае отвращения) при их отсутствии в контексте восприятия. В переходных рядах морфов (тип М) по сравнению с фотоизображениями (тип Ф) меняется структура категориальных полей экспрессий на границе категорий (1-2 изображения в центре каждого переходного ряда); структура категорий базовых экспрессий и близких к ним переходных сохраняется. Уровни значимости теста Фишера при сравнении изображений типов Ф и М приведены в таблице 2.
Таблица 2. Сравнение результатов идентификации изображений типов Ф и М (уровни значимости точного теста Фишера)
Переходный ряд Номер изображения в переходном ряду
1 2 3 4 5 6
радость-удивление 0.867223 0.56421 0.000232 0.522692 0.241628 0.09504
удивление-страх 0.212262 0.785674 0.622277 0.021761 0.017602 0.151183
страх-радость 0.522382 0.165018 0.209422 3.65х10"8 0.239407 0.607858
отвращение-гнев 0.114833 0.840507 0.004374 0.338411 1 0.090911
гнев-печаль 0.105088 0.284284 0.00169 0.046136 0.876717 0.090442
печаль-отвращение 0.375483 0.002369 0.004461 0.537482 0.91653 0.078092
Результаты различения переходных изображений (рис. 5) между экспрес-сиями типа С показали, что классический межкатегориальный пик (ЫЬегтап е1 а1., 1957) не является основной формой функции различения экспрессии и наблюдается в трех рядах из двадцати одного (удивление-печаль, страх-отвращение, гнев-радость). В качестве пика рассматривались такие три последовательные точки дискретной функции различения, для которых значение в центральной точке значимо больше, чем в двух соседних, по критерию %2 (р < 0.05). В двух рядах распределение эффективности различения не отличается от равномерного (радость-печаль: (4) = 5.9; р = 0.6568; страх-гнев: х (4) = 8.2; р = 0.5980). Наиболее часто встречается третий вид распределения - плато, в котором в двух или более последовательно расположенных парах в центре переходного ряда точность различения изображений сохраняется неизменно высокой, а вблизи опорных экспрессий значимо снижается (критерий р < 0.05). Плато наблюдалось в переходных рядах: радость-удивление, удивление-страх, отвращение-радость, страх-печаль, печаль-гнев, гнев-удивление, печаль-отвращение, отвращение-спокойствие, спокойствие—страх, отвращение-гнев, гнев—спокойствие, удивление—отвращение и спокойствие—радость. Проявления плато могут быть объяснены, исходя из гипотезы о включении в структуру переходного ряда дополнительных категорий, принадлежность изображений к которым позволяет лучше отличать их от опорных экспрессий.
В условиях изменения общего контекста экспрессий функции различения рядов типа С значимо меняются (радость-удивление: ^ (4) = 16.14; р = 0.003; удивление-печаль: ^ (4) = 34.26; р < 0.001; радость-печаль: х* (4) = 12.28; р = 0.015). При точном воспроизведении одной из серий сохранились формы распределений для рядов радость-удивление (х2 (4) = 2.09; р = 0.718) и удивление-печаль (х (4) = 8.53; р = 0.074), но не для ряда печаль-спокойствие (х2 (4) = 14.53; р = 0.006).
Распределения точности ответов для изображений типов Ф и М значимо отличались от равномерного во всех переходных рядах.
При сопоставлении теоретической и эмпирической дискриминационных функций (рис. 5) выявлено отсутствие различий для 12 переходных рядов между изображениями типа С (радость-удивление, удивление-печаль, печаль-спокойствие, удивление-страх, страх-отвращение, отвращение-радость, страх-печаль, печаль-отвращение, спокойствие-страх, радость-печаль, удивление-отвращение, страх-гнев); для ряда радость-удивление типа Ф; для рядов удивление-страх, страх-радость, печаль-отвращение типа М. Независимо от способа получения переходных изображений (фото или морфинг), на материале экспрессии разных натурщиков (из базы РОРА и из нового материала) для переходных рядов отвращение-гнев и печаль-гнев эффект категориальности не проявляется.
Резюмируем основные результаты, изложенные в третьей главе: в зависимости от модальности базовых и переходных экспрессий они в различной степени подвержены влияниям контекста при эмоциональной идентификации; восприятие компьютерных морфов наиболее существенно отличается от вос-
приятия фотоизображений вблизи границы категорий; по результатам различения переходных изображений описаны три паттерна дискриминационной функции - пик, плато и равномерное распределение; теоретическая и эмпирическая функции различения согласуются только в половине изученных ситуаций, включающих презентацию трех типов переходных рядов.
1 2 3
радость-удивление
12 3 4
удивление-печаль
печаль-спокоиствие
12 3 4 5
радость-удивление
12 3 4
удивление-страх
страх-радость
1 2 3 4 5
радость-удивление
12 3 4
удивление-страх
страх-радость
Рисунок 5. Примеры эмпирических (черные линии) и теоретических (серые линии) функций различения изображений экспрессий. По оси абсцисс - номера пар последовательных в переходном ряду изображений, по оси ординат - точность различения
В четвертой главе проводится обсуждение полученных в работе результатов и их сопоставление с ранее проведенными исследованиями. В ходе исследования удалось показать следующее.
Во-первых, апробирован способ создания экологически валидных фотоизображений мимических переходов между базовыми экспрессиями. Для этого использовалась высокоскоростная съемка натурщика, что позволило зареги-
стрировать естественную динамику лица при смене эмоциональных состояний. Показано различие структуры воспринимаемых эмоциональных категорий для фотоизображений и сгенерированных компьютером переходных экспрессий, расположенных вблизи категориальной границы. При подготовке экологически валидного материала наблюдался и отмечаемый в литературе (Жегагтло, 2007; Scherer, Ellgring, 2007) эффект гистерезиса: мимический переход от эмоции А к эмоции В не является обратным переходу от В к А.
Во-вторых, детально описана структура категориальных полей базовых экспрессий как из стандартного, так и из нового экологически валидного материала. В новом материале, как и в базовых экспрессиях из POFA, охарактеризованных в работах В. А. Барабанщикова (2009, 2012), однозначно воспринимаются экспрессии радости; наблюдается значительное сходство выражений удивления и страха, воспринимаемых на изображениях соответствующих экспрессий; состояние вины в значительной степени выражено на экспрессиях печали; состояние интереса воспринимается на изображениях спокойного лица. Отличие нового материала от POFA состоит в более сложной структуре экспрессий страха и печали, включающей восприятие отвращения; меньшей выраженности презрения на экспрессиях отвращения, но большей ее выраженности на экспрессиях гнева и печали; различиях в структуре восприятия спокойного лица. Структура оценок нейтрального лица из нового материала отличается от структуры нейтрального лица натурщика JJ. Причиной этого может быть различие морфотипов лиц натурщиков, что наблюдается при восприятии индуцированных экспрессий (Барабанщиков, 2012; Барабанщиков, Хозе, 2013).
В-третьих, описана категориальная структура переходных экспрессий (как фото, так и морфов). Множественный выбор категорий в задаче идентификации позволил соотносить с каждым предъявленным изображением семь базовых эмоций. Благодаря этому получены расширенные по сравнению с ранее проведенными исследованиями (Calder et al., 1996; de Gelder et al., 1997; Teunisse, de Gelder, 2001; Young et al., 1997 и др.) данные об эмоциональной категоризации переходных экспрессий. В отличие от работы Д. Шиано (Schiano et al., 2004), где также применялся множественный выбор, в настоящем исследовании восприятие переходных экспрессий носило структурированный характер. В некоторых переходных рядах классификация осуществлялась преимущественно по двум основным категориям, в то время как в других рядах для изображений, удаленных от обоих опорных изображений, выявлен существенный вклад дополнительных эмоциональных категорий. В частности, такой дополнительной категорией, с которой в значительной части случаев идентифицируются изображения-морфы в центре переходного ряда, является печаль для ряда страх-отвращение и отвращение для ряда печаль-гнев. Таким образом, подтвердилась гипотеза об обусловленности восприятия переходных экспрессий неоднородным категориальным полем, состоящим из ядра (основной эмоции) и периферии (дополнительных эмоциональных характеристик).
Для части переходных рядов отмечены влияния контекста. Категориальные поля экспрессий радости, печали, страха и спокойного лица в гораздо
меньшей степени подвержены контекстным эффектам, чем экспрессии удивления и гнева. Закономерные «ошибки» при идентификации базовых и переходных экспрессии наблюдаются и в условиях рандомизированного предъявления семи базовых экспрессий и переходов между ними, что исключает влияния адаптации к уменьшенному набору изображений (Young et al., 1997). На результаты могли также повлиять якорные эффекты (Russell, Fehr, 1987), приводящие к деформации структуры перцептивного пространства. Однако, полученные нами результаты полностью не объясняются влиянием контекста и адаптации. Мы предполагаем, что в значительной степени данное явление связано с включением дополнительных категорий в воспринимаемый переходный ряд между двумя опорными экспрессиями.
В-четвертых, описаны три основных типа функций различения переходных экспрессий: пик, плато и равномерное распределение. Показано, что особенностью различения эмоциональных экспрессий лица является не наличие или отсутствие эффекта категориальности, а степень его выраженности и разные типы его проявления в зависимости от модальности экспрессий. Для части полученных распределений характерен сдвиг максимальной эффективности различения в сторону одного из полюсов. Профили со смещением максимума указывают на экспрессивную неравнозначность эмоциональных категорий. Эти результаты согласуются с работой А. В. Жегалло (2007), в которой было показано, что на раннем этапе перцептогенеза (до 200 мс) большую роль играют ярко выраженные экспрессии, тогда как на более позднем этапе (до 3 с) - спокойное выражение лица. Неклассические профили различения экспрессий наблюдались и в ранее проводившихся исследованиях (Levin, Beale, 2000; Schiano et al., 2004; Young et al., 1997). Нельзя исключать возможность проявления эффекта категориальности в виде нескольких пиков (последовательная смена нескольких воспринимаемых эмоциональных категорий в рамках одного переходного ряда между двумя базовыми экспрессиями), а также сочетания пиков и плато в одном распределении, однако для проверки такого рода гипотез необходимы дальнейшие исследования с увеличением численности выборки и разделения ее на контрастные группы, а также с увеличением дробности переходных рядов.
В-пятых, изучен эффект категориальности восприятия и различения переходных изображений экспрессий. По результатам проведенного исследования гипотеза об эффекте категориальности (соотнесенности результатов идентификации и различения) подтвердилась на 12 переходных рядах из 21 между экспрессиями из набора POFA, для трех из шести переходных рядов, составленных из морфов между фотографиями натурщика. Эффект категориальности выявлен на материале естественных мимических переходов между базовыми экспрессиями (в частности, радости и удивления). В двух случаях (переходные ряды отвращение-гнев и гнев-печаль) эффект категориальности отсутствовал на всех трех видах стимульного материала, что согласуется с результатами работы (Fiorentini, Viviani 2009), но не с более ранними исследованиями (Calder et al., 1996; Young et al., 1997).
Проблема структуры репрезентации воспринимаемых экспрессии, согласно полученным результатам, находит ответ в форме единства дискретного и непрерывного в восприятии переходных экспрессии. Эффект категориальное™ как соответствие различения экспрессии их идентификации проявляется в половине изученных ситуаций, однако пик дискриминационной функции на границе перцептивных категорий не является наиболее частотным паттерном различения экспрессии. Категориальные эффекты в целом носят сложный нелинейный характер и проявляются в различной степени в зависимости от модальности воспринимаемой экспрессии, ее взаимосвязей с контекстом восприятия и типом перехода между базовыми экспрессиями.
В заключении подведены итоги выполненной работы и намечены перспективы дальнейших исследований. Перспектива разработки экологически валидного стимульного материала может включать съемку большего числа натурщиков, в том числе разного пола, возраста и этнического типа, как это сделано в известных базах экспрессии. Проведенная высокоскоростная видеосъемка натурщика позволяет в дальнейшем расширить исследования эффекта категориальное™ и включить в них динамический аспект.
Выводы:
1. На материале большинства переходных экспрессии лица человека подтвержден тезис о многомерности их восприятия. Категориальное поле переходных экспрессии включает ядро (отображение основной эмоции) и периферию (отображение дополнительных эмоций).
2. Дальнейшее подтверждение получил тезис об однозначном характере восприятия экспрессии радости. Уточнена структура категориальных полей гнева, удивления, страха, отвращения и печали. Удивление и страх, и, в меньшей степени, отвращение и гнев являются парами экспрессий, ядерные характеристики которых включены в категориальные поля друг друга в качестве периферических. Печаль включает в периферию категориального поля вину, спокойное лицо — состояние внимания, а также ряд других состояний в зависимости от морфотипа лица натурщика.
3. Описана структура идентафикации переходных изображений разных типов. Искусственные изображения, сконструированные с помощью линейного компьютерного морфинга, идентифицируются иначе, чем фотоизображения мимических переходных экспрессий, удаленных от опорных изображений экспрессий. Методы компьютерной графики обеспечивают лишь частичное соответствие получаемых изображений экологически валидным преобразованиям лица при выражении переходных экспрессий.
4. Дано целостное описание пространства воспринимаемых экспрессий лица, полученных путем морфинга. Выделены три основные паттерна эффек-
тивности различения в зависимости от номера пары в ряду: «пик» (проявление эффекта категориальности), «плато» и «равномерное распределение» (полное отсутствие эффекта). «Плато» - основной, наиболее часто встречающийся вид паттерна различения переходных изображений, указывающий на размытость межкатегориальной границы.
5. Эффект категориальности, наблюдаемый при решении задач идентификации и различения экспрессии, имеет место при восприятии как переходных рядов, сгенерированных компьютером, так и образованных путем естественных изменений мимики натурщика (на материале ряда радость-удивление).
Основное содержание диссертации отражено в следующих публикациях автора:
Статьи в рецензируемых журналах, рекомендованных ВАК РФ:
1. Куракова, О. А. Эффект категориальности восприятия: основные подходы и психофизические модели [Текст] / О. А. Куракова // Экспериментальная психология.-2013.-Т. 6.-№ 1.-С. 61-75.
2. Куракова, О. А., Жегалло, А. В. Эффект категориальности восприятия экспрессии лица: многообразие проявлений [Текст] / О. А. Куракова, А. В. Жегалло // Экспериментальная психология. - 2012. - Т. 5. -№ 2. - С. 22-38.
3. Ананьева, К. И., Куракова, О. А., Лупенко, Е. А., Хозе, Е. Г. Новые шаги в развитии когнитивной психологии в России [Текст] / К. И. Ананьева, О. А. Куракова, Е. А. Лупенко, Е. Г. Хозе // Экспериментальная психология. - 2012. - Т. 5.-№3.-С. 122-128.
Статьи в научных журналах и сборниках, тезисы докладов:
4. Куракова, О. А. Создание новой базы фотоизображений естественных переходов между базовыми эмоциональными экспрессиями лица [Текст] / О. А. Куракова // Лицо человека как средство общения: междисциплинарный подход / Отв. ред. В. А. Барабанщиков, А. А. Демидов, Д. А. Дивеев. - М.: Когито-Центр, 2012.-С. 287-309.
5. Kurakova, О. Discrimination of real, but not morphed, facial expressions correlates with emotional labeling [Text] / O. Kurakova// Perception. - 2012. - V. 41 . -Supplement. - P. 106.
6. Kharitonov, A., Zhegallo, A., Ananyeva, K„ Kurakova, O. Registering eye movements in collaborative tasks: methodological problems and solutions [Text] / A. Kharitonov, A. Zhegallo, K. Ananyeva, O. Kurakova // Perception. - 2012. - V. 41. -Supplement. - P. 104-105.
7. Kurakova, О. A., Zhegallo, A. V. The role of emotional labeling in categorization of inverted expressive faces [Text] / O.A. Kurakova, A.V. Zhegallo // The Fifth International Conference on Cognitive Science: Abstracts. - Kaliningrad, 2012. - V. 1.-P. 110-112.
8. Kurakova, O. A., Zhegallo, A. V. Categorical structure and perception of facial expressions in dyadic same-different task [Text] / O.A. Kurakova, A.V. Zhegallo // Journal of Vision. - 2012. - V. 12. - № 93. - P. 972.
9. Куракова, О. А., Жегалло, А. В. Структура категорий при совместном восприятии эмоциональных экспрессии лица [Текст] / О. А. Куракова, А. В. Жегалло // Знак как психологическое средство: субъективная реальность культуры: Материалы XII Международных чтений памяти JI. С. Выготского / Под ред. В. Т. Кудрявцева. - М.: РГГУ, 2011. - С. 301-303.
10. Жегалло, А. В., Куракова, О. А., Харитонов, А. Н. Проблема регистрации окуломоторной активности в парном компьютеризованном эксперименте [Текст] / А. В. Жегалло, О. А. Куракова, А. Н. Харитонов // Познание в деятельности и общении: от теории и практики к эксперименту / Под ред. В. А. Бара-банщикова, В. Н. Носуленко, Е. С. Самойленко. - М.: «Институт психологии РАН», 2011.-С. 52-56.
11. Kurakova, О. A., Zhegallo, А. V. Shared perception of facial expressions and patterns of eye movements during remote dyadic communication [Text] / O.A. Kurakova, A.V. Zhegallo // Journal of Eye Movement Research. -2011. - V. 4. - № 3. -P. 101.
12. Kurakova, O. Using ABX task to study categorical perception on natural transitions between facial expressions [Text] / O. Kurakova // Perception. — 2011. — V. 40. - Supplement. - P. 156.
13. Куракова, О. А. Категориальность восприятия экспрессий: да, нет, зависит? [Текст] / О. А. Куракова // Когнитивная наука в Москве: новые исследования / Под ред. Е. В. Печенковой, М. В. Фаликман. - М.: БукиВеди, 2011. - С. 162-167.
14. Kurakova, О. A. Categorical perception effect in discrimination of morphed transitions between facial expressions [Electronic resource] / O.A. Kurakova // European Perspectives on Cognitive Science. Proceedings of the European Conference on Cognitive Science / Eds. B. Kokinov, A. Karmiloff-Smith, N. J. Nersessian. - Sofia: New Bulgarian University Press, 2011. - P. [1-6]. - Mode of access: http://nbu.bg/cogs/eurocogsci2011/proceedings/pdfs/EuroCogSci-paperl67.pdf
15. Куракова, О. А., Жегалло, А. В. Эффект категориальности восприятия -величина абсолютная или относительная? (Особенности различения переходных эмоциональных экспрессий) [Текст] / О. А. Куракова, А. В. Жегалло // Экспериментальная психология в России: традиции и перспективы / Под ред. В. А. Барабанщикова. - М.: «Институт психологии РАН», 2010. - С. 270-274.
16. Куракова, О. А. Категориальный эффект при восприятии эмоциональных выражений лица [Текст] / О. А. Куракова // «Зона ближайшего развития» в теоретической и практической психологии: Материалы XI Международных чтений памяти JI. С. Выготского / Под ред. В. Т. Кудрявцева. - М.: РГГУ, 2010. - С. 340-342.
17. Kurakova, О. First step across the categorical border requires higher neural response [Text] / O. Kurakova // Perception. - 2010. - V. 39. - Supplement. - P. 125-126.
18. Kurakova, O. A. Perceptual space of naturally expressed emotions: a proposed study [Text] / O.A. Kurakova I I The Fourth International Conference on Cognitive Science: Abstracts. - Tomsk: Tomsk State University, 2010. - V. 1. - P. 66-67.
Подписано в печать: 08.05.2013 Объем: 1,5 усл.п.л. Тираж: 100 экз. Заказ № 867 Отпечатано в типографии «Реглет» 101000, г. Москва, Пл. Мясницкие Ворота д.1, стр.3 (495) 971-22-77 www.reglet.ru
Текст диссертации автор научной работы: кандидата психологических наук, Куракова, Ольга Александровна, Москва
ДЕПАРТАМЕНТ ОБРАЗОВАНИЯ ГОРОДА МОСКВЫ
Государственное бюджетное образовательное учреждение высшего профессионального образования г. Москвы
МОСКОВСКИЙ ГОРОДСКОЙ ПСИХОЛОГО-ПЕДАГОГИЧЕСКИЙ УНИВЕРСИТЕТ
Центр экспериментальной психологии
На правах рукописи
04201357792
Куракова Ольга Александровна
ЭФФЕКТЫ КАТЕГОРИАЛЬНОСТИ ВОСПРИЯТИЯ ПЕРЕХОДНЫХ ЭКСПРЕССИЙ ЛИЦА
Специальность 19.00.01 - общая психология, психология личности,
история психологии
Диссертация на соискание ученой степени кандидата психологических наук
Научный руководитель: доктор психологических наук, член-корреспондент РАО, профессор Барабанщиков Владимир Александрович
Москва-2013
\
Оглавление
Введение.......................................................................................................................4
Глава 1. Категориальность восприятия эмоциональных экспрессий лица.........12
1.1. Категоризация как способ познания...............................................................12
1.1.1. Основные подходы к изучению категоризации.........................................13
1.1.2. Особенности формирования категорий......................................................18
1.2. Лицо человека как базовая категория восприятия........................................22
1.2.1. Идентификация лица и восприятие его экспрессий..................................23
1.2.2. Пространство эмоций и их мимических проявлений................................27
1.3. Эффект категориальности восприятия...........................................................33
1.3.1. Определение..................................................................................................34
1.3.2. Психофизические модели............................................................................37
1.3.3. Роль контекста...............................................................................................42
1.3.4. Критика..........................................................................................................48
1.3.5. Категориальные эффекты при восприятии экспрессий............................50
Глава 2. Разработка экологически валидного стимульного материала и методики исследования............................................................................................55
2.1. Подготовка стимульного материала...............................................................55
2.1.1. Компьютерный морфинг стандартных изображений экспрессий...........58
2.1.2. Создание фотоизображений переходных экспрессий...............................60
2.1.3. Компьютерный морфинг фотоизображений базовых экспрессий...........63
2.2. Дифференцированная эмоциональная оценка изображений.......................64
2.2.1. Процедура......................................................................................................64
2.2.2. Оценка стандартных изображений.............................................................67
2.2.3. Оценка экологически валидных фотоизображений..................................68
2.2.4. Сопоставление оценок..................................................................................78
2.3. Методика исследования эффекта категориальности восприятия................83
2.3.1. Общий план...................................................................................................83
2.3.2. Выборка..........................................................................................................84
2.3.3. Процедура исследования............................... ...............................................86
2.3.4. Задача идентификации эмоций....................................................................89
2.3.5. Задача различения изображений.................................................................90
2.3.6. Сопоставление теоретической и эмпирической эффективности различения................................................................................................................92
Глава 3. Экспериментальное исследование эффекта категориальности.............95
3.1. Эффект категориальности на материале стандартных изображений экспрессий..................................................................................................................95
3.1.1. Выполнение задачи идентификации эмоций.............................................95
3.1.2. Выполнение дискриминационной задачи................................................101
3.1.3. Сопоставление результатов.......................................................................107
3.1.4. Устойчивость и воспроизводимость результатов различения изображений..........................................................................................................108
3.2. Эффект категориальности на экологически валидном материале.............109
3.2.1. Выполнение задачи идентификации эмоций...........................................110
3.2.2. Выполнение дискриминационной задачи................................................114
3.2.3. Сопоставление результатов.......................................................................116
3.3. Сравнение результатов, полученных на разных типах изображений.......118
Глава 4. Общее обсуждение результатов..............................................................119
Заключение..............................................................................................................131
Выводы ....................................................................................................................134
Литература...............................................................................................................136
Приложения.............................................................................................................156
Приложение А. Стимульный материал, созданный при помощи компьютерного морфинга стандартных изображений экспрессий (тип С).... 157
Приложение Б. Инструкция натурщика.............................................................161
Приложение В. Стимульный материал, созданный при помощи высокоскоростной съемки натурщика (тип Ф)..................................................167
Приложение Г. Стимульный материал, созданный при помощи компьютерного морфинга фотографий натурщика (тип М)............................170
Введение
Актуальность. Уникальность лица человека как объекта восприятия подтверждается многочисленными исследованиями в общей и социальной психологии, психологии личности, психофизиологии (напр., Барабанщиков, 2012; Михайлова, 2005; Adolphs, 2002 а, Ь, 2008; Bruce, Young, 1986, 2000; Haxby et al., 2000; Zebrowitz, 2011). Даже быстрого взгляда на лицо, не превышающего по длительности одной зрительной фиксации, достаточно, чтобы получить огромный объем самой различной информации о поле, возрасте, расовой принадлежности человека, его социальном статусе, эмоциональном состоянии, направлении взгляда, возможных действиях и многом другом. Идентификация лица успешно происходит в широком диапазоне условий (как внешних - изменение освещения, поворота, так и присущих самому лицу -кратковременные и долговременные мимические изменения и т.д.) и в различном контексте (например, в естественных сценах, в вербально заданном контексте восприятия и т.д.).
Одной из основных проблем, связанных с изучением лица, является восприятие выраженных на нем эмоциональных состояний (Adolphs, 2002 а). Способность узнавать лица и распознавать их эмоциональные выражения начинает проявляться уже у новорожденных младенцев, что говорит о ее чрезвычайной эволюционной и социальной значимости (Darwin, 1872; Pascalis, Kelly, 2009). Согласно гипотезе о существовании базовых эмоций, основные мимические эмоциональные паттерны культурно универсальны и распознаются одинаково эффективно всеми людьми (Watson, 2004). Но, несмотря на большое количество работ по изучению разных аспектов восприятия лиц и их эмоциональных выражений, проведенное за последние несколько десятков лет, многие вопросы остаются спорными или нерешенными, что ведет к появлению новых гипотез и исследований для их проверки.
В частности, таковым является вопрос о соотношении репрезентаций экспрессий различных модальностей и структуре перцептивного пространства
экспрессий (Osgood, 1966; Reisenzein, 2000; Russell, 1980, 1994), отражающий фундаментальную проблему дискретности и непрерывности в восприятии действительности. Существует ряд подходов к решению данного вопроса, каждый из которых подкрепляется обширным эмпирическим материалом. Полярные точки зрения представляют всю совокупность эмоциональных проявлений, включая экспрессии лица, либо как непрерывный континуум в пространстве, ортогональные измерения которого могут быть описаны с помощью таких неэмоциональных характеристик как интенсивность (сильная—слабая), валентность (положительная—отрицательная), активация и др. (см. Reisenzein, 2000), либо как набор дискретных эмоциональных категорий, каждая из которых обладает уникальными свойствами и до определенной степени является независимой от остальных. Помимо этого, предложен ряд интегральных моделей, объединяющих дискретность эмоциональных категорий и непрерывный характер изменения границ между смежными категориями (Жегалло, 2007; Fujimura et al., 2012).
Дискретные или непрерывные свойства восприятия экспрессий проявляются при изучении эффектов категориальности восприятия, в которых проверяется связь эффективности различения объектов с их принадлежностью к одной или разным категориям. Значительная часть исследований данного вопроса проводится с использованием переходных изображений, сформированных при помощи компьютерного линейного преобразования (пространственного морфинга) опорных фотоизображений базовых экспрессий. Экологическая валидность подобного материала вызывает сомнения.
Актуальными в этой связи являются следующие вопросы: насколько точно и однозначно человек способен определять эмоциональное состояние другого по его мимике? Зависит ли эта точность от близости воспринимаемой экспрессии к сформировавшемуся у наблюдателя прототипу выражения той или иной базовой эмоции? Отличаются ли проявления категориальных эффектов восприятия мимически выраженных и искусственно созданных изображений экспрессий?
В настоящем исследовании предлагается изучение пространства эмоциональных экспрессий и переходов между ними с использованием психофизической методики оценки эффекта категориальности восприятия (ЫЬегшап е1 а1., 1957), а также дифференцированной оценки базовых эмоциональных экспрессий, позволяющей детально описать их категориальное поле (Барабанщиков, 2009, 2012). Исследование проводится на материале экологически валидных фотоизображений естественной мимики при переходе между базовыми экспрессиями, а также переходных изображений, созданных при помощи компьютерного морфинга.
Объект исследования: восприятие базовых эмоциональных экспрессий лица и переходов между ними.
Предмет исследования: эффект категориальности восприятия базовых экспрессий лица.
Цель: изучить особенности категориальных эффектов при восприятии экологически валидных (мимически выраженных) и искусственных (сгенерированных компьютером) переходных экспрессий лица человека.
Гипотезы исследования:
• Экологически валидные изображения переходных эмоциональных экспрессий лица воспринимаются иначе, чем изображения переходных экспрессий, сгенерированные компьютером.
• Восприятие переходных экспрессий определяется не только модальностью основной эмоции, но и дополнительными эмоциональными характеристиками.
• Эффект категориальности восприятия проявляется при различении как искусственно сгенерированных, так и экологически валидных переходных экспрессий.
Задачи исследования:
• Анализ проблемы категоризации воспринимаемых экспрессий лица.
• Разработка экологически валидного способа получения и презентации изображений переходных экспрессий.
• Экспериментальное изучение закономерностей восприятия переходных экспрессий.
• Сопоставление категориальных эффектов, проявляющихся при экспозиции экологически валидных и искусственных переходных экспрессий.
Методологическая база и теоретическая основа исследования:
• Коммуникативный подход к исследованию перцептивных процессов (В. А. Барабанщиков, В. Н. Носуленко, Е. С. Самойленко).
• Психофизический подход к изучению категориальности восприятия (S. Harnad, A. Liberman, N. Macmillan).
• Представления о базовых эмоциях и их экспрессиях (P. Ekman, С. Izard).
• Концепция восприятия выражений лица (В. А. Барабанщиков).
Методы и методики исследования:
• высокоскоростная видеосъемка переходных экспрессий опытного натурщика;
• процедура линейного компьютерного морфинга изображений;
• расчет физических различий между изображениями по модели Г. Хаке-на (Haken, 2004);
• оценка изображений базовых экспрессий по «Шкале дифференциальных эмоций» К. Изарда в русскоязычной адаптации (Леонова, Капица, 2003);
• психофизические методики идентификации (множественный выбор названий эмоций) и различения (последовательно-параллельная задача АВХ).
Статистическая обработка полученных результатов проводилась с использованием пакета R и применением следующих методов анализа данных: точный тест Фишера (двусторонний), критерии U Манна-Уитни и % Пирсона, коэффициент внутриклассовой корреляции ICC (2, к), коэффициент корреляции р Спирмена.
Этапы исследования:
На первом этапе (2009-2010 гг.) анализировались история и современное состояние проблемы, уточнялись цели и задачи исследования, определялись методические подходы, подбирался адекватный понятийный аппарат.
На втором этапе (2010-2011 гг.) апробировался способ создания экологически валидных изображений экспрессий, апробировались методики исследования идентификации и различения переходных изображений, проводились основные серии экспериментальных исследований.
На третьем этапе (2012-2013 гг.) выполнялась обработка полученных данных, анализ и осмысление результатов исследования, их включение в сложившуюся систему психологического знания.
Достоверность полученных результатов обеспечивается опорой на верифицированные положения отечественной и зарубежной науки, использованием методов и методик, адекватных целям и задачам исследования, обширностью выборки (общий объем: 736 испытуемых, 106616 экспозиций выражения лица), тщательностью анализа полученных материалов, применением адекватных методов математической обработки данных.
Научная новизна исследования
• Разработан новый способ создания и презентации фотоизображений переходных экспрессий лица. Особенностями данного материала по сравнению с существующим являются: экологическая валидность, учет детальных мимических изменений, происходящих при смене экспрессии, описание физических различий между изображениями в метрике Г. Хакена. Стимульные изображения отражают реальное многообразие мимики лица человека и свободны от артефактов линейного компьютерного морфинга.
• Апробирована методика исследования восприятия переходных экспрессий лица, созданных путем компьютерного морфинга и видеосъемки натурщика.
• Получены новые данные относительно природы восприятия естествен-
ных экспрессий лица. Описаны основные формы проявления эффекта категориальное™ восприятия в исследованных ситуациях. Получены детальные характеристики эмоций, воспринимаемых на изображениях базовых и переходных экспрессий из набора РОРА П. Экмана и из авторского стимульного набора.
Теоретическая значимость исследования
В теоретическом плане исследование способствует решению проблемы дискретности/непрерывности восприятия выражений лица человека. Согласно полученным данным, адекватное решение может быть выражено формулой единства дискретности и непрерывности воспринимаемых экспрессий. Показан неоднозначный характер проявлений эффекта категориальности в зависимости от модальности экспрессий. Исследование вносит вклад в разработку концепции восприятия выражений лица (Барабанщиков, 2009, 2012), позволяет раскрыть особенности восприятия естественных переходных экспрессий, уточнить содержание перцептогенеза экспрессий лица.
Практическая значимость исследования
Выявленные закономерности представляют интерес для таких сфер общественной практики как реклама, изобразительное искусство, пограничный и таможенный контроль и др. Способы оценки эмоционального состояния человека по выражению его лица актуальны при организации деятельности операторов систем видеонаблюдения в местах большого скопления людей, а также при разработке широкого круга компьютерных программ, связанных с распознаванием, моделированием и отображением естественных экспрессий. Предложенная методика может быть использована в экспериментальных исследованиях различных аспектов восприятия как лицевых экспрессий, так и других классов сложных изображений.
На защиту выносятся следующие положения:
1. Структура идентификации компьютерно сгенерированных переходных экспрессий лица отличается от структуры идентификации переходных
мимических экспрессий. Техника линейного пространственного морфинга обеспечивает лишь частичное соответствие искусственных изображений фотографиям переходных экспрессий.
2. При экспозиции компьютерно сгенерированных переходных изображений экспрессий имеют место три основных паттерна зависимости эффективности различения в паре изображений от их положения в переходном ряду: «пик» (классический эффект категориальное™ восприятия), «плато» и равномерное распределение (отсутствие проявлений эффекта категориально-сти). «Плато» - наиболее часто встречающийся вид паттерна различения переходных изображений, характеризующий размытость межкатегориальной границы.
3. При экспозиции эквидистантных экологически валидных фотоизображений переходных экспрессий эффект категориальности восприятия сохраняется.
Апробация исследования
Материалы исследования обсуждались на заседаниях Центра экспериментальной психологии Московского городского психолого-педагогического университета, Лаборатории познавательных процессов и математической �