Организационная и психологическая эффективность разных способов представления психодиагностической информации

Науменко, Анна Сергеевна

Темы диссертаций по психологии » Психология труда. Инженерная психология, эргономика.

автореферат и диссертация по психологии 19.00.03 для написания научной статьи или работы на тему: Организационная и психологическая эффективность разных способов представления психодиагностической информации

Автореферат

Автор научной работы: Науменко, Анна Сергеевна
Ученая степень: кандидата психологических наук
Место защиты: Москва
Год защиты: 2008
Специальность ВАК РФ: 19.00.03

Диссертация

Автореферат диссертации по теме "Организационная и психологическая эффективность разных способов представления психодиагностической информации"

На правах рукописи

а-

Науменко Анна Сергеевна

ОРГАНИЗАЦИОННАЯ И ПСИХОЛОГИЧЕСКАЯ ЭФФЕКТИВНОСТЬ РАЗНЫХ СПОСОБОВ ПРЕДСТАВЛЕНИЯ ПСИХОДИАГНОСТИЧЕСКОЙ ИНФОРМАЦИИ

19.00.03 - Психология труда, инженерная психология, эргономика (психологические науки)

Автореферат диссертации на соискание ученой степени кандидата психологических наук

Москва - 2008

СЮ3455 1Ь^

003455162

Работа выполнена на кафедре психологии труда и инженерной психологии факультета психологии Московского государственного университета имени М.В. Ломоносова

Научный руководитель: доктор психологических наук, профессор

Шмелёв Александр Георгиевич

Официальные оппоненты: доктор психологических наук, профессор

Моргунов Евгений Борисович кандидат психологических наук Сугак Екатерина Евгеньевна

Ведущая организация: Институт психологии

Российской академии наук

Защита диссертации состоится » -{ 2008 г. в часов

на заседании диссертационного совета Д.501,001.11 при МГУ имени М.В. Ломоносова по адресу 125009, Москва, ул. Моховая, д. 11, корп. 5, ауд.^

С диссертацией можно ознакомиться в Научной библиотеке МГУ имени М.В. Ломоносова

Автореферат разослан «. /£» К^Я^Л 2008 г.

Ученый секретарь диссертационного совета кандидат педагогических наук, доцент

Володарская И.А.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность. Настоящая диссертационная работа посвящена исследованию особенностей восприятия различных форм представления результатов тестирования и особенностей принятия решений на основании различным образом представленной психодиагностической информации (ПДИ). Сегодня во всем мире психологическое тестирование широко используется в самых различных контекстах. Проблемы, связанные с различными вариантами анализа и учета результатов тестирования, стали особенно актуальны с появлением и распространением технологий компьютерной психодиагностики, делающих проведение тестирования массовым явлением.

При правильном использовании результаты психологического тестирования могут быть чрезвычайно полезны в качестве одного из аргументов для принятия управленческих решений. К сожалению, по данным различных опросов специалистов, далеко не всегда тестирование используется эффективно: опыт многих российских компаний показывает, что результатам диагностики уделяется недостаточно внимания, и на дальнейшую судьбу сотрудников в организации они влияют редко. Знания об индивидуальных различиях в восприятии обратной связи респондентами могут быть чрезвычайно полезны не только для кадровых специалистов, но и для психологов-консультантов и психотерапевтов, помогая им более эффективно довести до клиента обратную связь, которую он не готов воспринять. Таким образом, практическую актуальность работы мы видим в изучении существующей практики использования результатов тестирования и поиске способов повышения эффективности донесения ПДИ до ее потребителя -клиента, прошедшего тестирование, или специалиста, использующего психологическое тестирование в профессиональных целях. Актуальность исследования в теоретическом плане состоит в изучении воздействия качественной (семантической) и количественной ПДИ на решения, принимаемые человеком на ее основе.

Несмотря на широкое распространение тестирования, во всем мире проводится крайне мало исследований, изучающих процедуры или формы представления и интерпретации результатов тестирования. Ретроспективные обзоры литературы зарубежных авторов Р. Гудйиа (Goodyear, 1990), X. Тинсли и С. Чу (Tinsley, Chu, 1999), Ч. Клейборна и У. Хэнсона (Claibom, Hanson, 2006) насчитывают, соответственно, по 44, 65 и 75 исследований, посвященных тестовым интерпретациям. Первая работа, в которой затрагиваются вопросы предоставления обратной связи по результатам тестирования, датируется 1950 годом (Dressel, Matteson, 1950). За исключением двух неопубликованных работ (Науменко, 2002; Соловейчик, 1990), выполненных под руководством А. Г. Шмелёва, исследований, посвященных представлению ПДИ, в отечественной психологии нам неизвестно. Отдельные (достаточно редкие) рекомендации по составлению постдиагностических отчетов можно встретить скорее в практико-ориентированной и популярной, чем в научной литературе (Аксенова и др., 2002). Определенное внимание отечественные социальные психологи уделяют предоставлению обратной связи как процессу межличностного общения (Арупонян, Петровская, 1981; Базаров, Ладионенко, 2008; Журавлева, 2004).

Основными пелями нашей работы было, с одной стороны, выявление взаимосвязи между формой ПДИ (количественно-графической или качественно-текстовой) и принятием решений профессионалами, использующими в работе результаты тестирования, а с другой стороны - между формой ПДИ и ее восприятием и оценкой неискушенными испытуемыми.

Тем самым мы разделили 1) использование тестовых интерпретаций самими испытуемыми и 2) анализ результатов тестирования клиентов или испытуемых специально обученными профессионалами. С первым типом ситуаций мы связали понятие психологической эффективности ПДИ, или доступности и удобства представления результатов тестирования для самого испытуемого. Ко второй категории ситуаций было применено понятие организационной эффективности ПДИ, или удобства и доступности тестовых интерпретаций для профессионалов - сотрудников организаций,

анализирующих «чужие» результаты для принятия определенных решений в интересах своих организаций. Организационная и психологическая эффективность различных форм ПДИ и явились объектом нашего исследования.

Основные задачи работы:

1. Структурирование данной новой проблемной области, в частности, путем анализа литературы, посвященной различным аспектам изучения способов представления ПДИ.

2. Выполнение эмпирического исследования тенденций, характеризуюпйос восприятие ПДИ рекрутерами.

3. Проведение исследования предпочтений ПДИ у неискушенных испытуемых.

4. Подготовка практических рекомендаций по предоставлению обратной связи для психологов-консультантов и специалистов по конструированию психодиагностических методик.

Гипотезы:

1. Форма представления ПДИ влияет на решения, принимаемые на ее основе.

2. Содержательное оформление ПДИ (в терминах компетенций или в терминах личностных черт) влияет на степень импульсивности/рефлексивности решений, принимаемых на ее основе.

3. Рекрутеры отдают предпочтение ПДИ, оформленной а) в качественном виде (скорее, чем в количественном) и б) в терминах компетенций.

-64. Специальная инструкция, формирующая установку на более внимательное отношение к количественной информации, может изменять стиль работы с ПДИ.

5. По сравнению с опытными кадровыми работниками рекрутеры с меньшим опытом работы более склонны к поиску дополнительной информации и с большей готовностью анализируют ПДИ в количественной форме.

6. У неискушенных испытуемых существуют предпочтения качественной или количественной ПДИ, определяющиеся их индивидуально-личностными особенностями.

Часть гипотез была сформулирована не сразу, а по ходу эмпирических исследований, после получения определенных результатов. Подробно эволюция исследовательских гипотез описана в тексте диссертации.

Методологической основой работы служат теории развития профессионализма, разработанные Т. В. Кудрявцевым, Е. А. Климовым, А. К. Марковой, Э. Ф. Зеером и др.; теория формирования индивидуального стиля деятельности, изложенная в трудах В. С. Мерлина и Е. А. Климова; принципы и подходы классической теории тестов (А. Анастази, А. А. Бодалев, JI Ф. Бурлачук, Н. Гронлунд, П. Клайн, В. В. Столин, А. Г. Шмелев и др.); концептуальный аппарат компьютерной психодиагностики (В. А. Дюк, Е. Б. Моргунов, К. Р. Червинская, О. Ю. Щелкова, J, N. Butcher, D. Lachar, J. Е. Williams, N. С. Weed и др.).

В нашей работе мы использовали ряд методов, принятых в психологии труда и психодиагностике: анализ литературы; отдельные элементы методов наблюдения и трудового метода анализа профессии; лабораторно-полевой эксперимент (моделирование элементов трудового процесса); анализ продуктов деятельности; Интернет-опрос; компьютеризированное тестирование (метод тестов); элементы метода обучения как преобразующего метода психологии труда; статистический анализ данных (t-критерий Стьюдента и F-коэффициент Левена, коэффициент Хи-квадрат, коэффициент конкордации Кендалла W).

Эмпирической базой исследования стали результаты опросов, проведенных в 2007-2008 годах. Выборка включает специалистов по подбору персонала (N=262), специалистов, использующих тестирование в профессиональной деятельности (N=68), неискушенных испытуемых -посетителей форумов автомобильной тематики в сети Интернет (N=1200).

Научная новизна работы состоит в следующем:

1. Впервые на русском языке выполнен литературный обзор научных исследований, посвященных различным аспектам восприятия, представления и эффективности ПДИ.

2. Разработаны и применены оригинальные экспериментальные схемы для анализа процесса восприятия и принятия решений на основе ПДИ.

3. Выявлены и исследованы факторы, опосредующие влияние качественной и количественной формы ПДИ на принятие решений специалистами по подбору персонала.

4. Исследованы факторы, сопровождающие восприятие качественной и количественной формы ПДИ самими испытуемыми.

5. Впервые для исследования восприятия неискушенными испытуемыми ПДИ о себе в качестве стимульного материала использованы истинные тестовые интерпретации, а не псевдоинтерепретации, как в подавляющем большинстве зарубежных работ.

Теоретическая значимость. Проведенное нами исследование вносит вклад в понимание особенностей развития профессионализма и принятия решений специалистами с различным уровнем профессионального опыта. Полученные эмпирические данные дают определенное представление об особенностях использования рекрутерами ПДИ и ее роли в принятии организационных решений. Возможности изучения организационной и психологической эффективности ПДИ расширяются благодаря предложенным оригинальным экспериментальным схемам, которые показали себя эффективным инструментом изучения выбранного нами объекта исследования.

Практическая значимость. Полученные данные о тенденциях восприятия обратной связи испытуемыми с различными индивидуально-психологическими особенностями могут быть использованы в практике психологического консультирования и при предоставлении ПДИ различным сотрудникам в организации. В работе предложены методические приемы, которые могут быть полезны в обучении рекрутеров и других специалистов, работающих с результатами тестирования, в частности, в обучении наиболее эффективному использованию ПДИ.

На защиту выносятся следующие положения:

1. Воздействие качественной или количественной формы представления психодиагностической информации на принятие решений специалистами по отбору персонала носит не прямой, а опосредованный характер.

2. Воздействие формы представления психодиагностической информации опосредовано индивидуальными особенностями лиц, принимающих решения (включая пол, когнитивный стиль, профессиональный опыт), но в большой степени организационным контекстом (условиями) решения профессиональной задачи. Чем в большей степени психодиагностическая информация учитывается в ходе принятия решения, тем большую роль играет форма ее представления.

3. Существует более значимое воздействие не столько качественной или количественной формы представления информации, сколько ее содержания: специалисты склонны в большей степени учитывать психодиагностическую информацию, сформулированную в терминах компетенций (организационно значимых умений), чем в терминах личностных черт.

4. Негативные эффекты, снижающие организационную эффективность психодиагностической информации (эффект Барнума, эффект когнитивного туннеля, эффект ореола), несколько усиливаются в случае ее оформления в виде качественного текста и в терминах личностных

черт и ослабляются - при использовании количественно-графического профиля и терминологии компетенций.

5. Существует значимая взаимосвязь между предпочтением определенной формы представления психодиагностической информации и индивидуальными характеристиками испытуемых, в частности полом, уровнем агрессивности и тревожности. Однако, как и в случае с профессионалами, эти факторы вступают в тесное взаимодействие с содержательными особенностями психодиагностической информации.

Достоверность полученных результатов обеспечиваются применением методов получения и обработки данных, адекватных предмету и задачам настоящего исследования, организацией экспериментов в соответствии со стандартами экспериментальной психологии и психологии труда, а также использованием при обработке результатов современных статистических методов, отвечающих специфике эмпирических данных.

Апробация работы проводилась на кафедре психологии труда и инженерной психологии факультета психологии МГУ имени М.В. Ломоносова. Основные результаты докладывались на 4-ой международной научно-практической конференции «Дружининские чтения» (Сочи, 2005), 6-ой научно-практической конференции «Экономическая психология: актуальные теорешческие и прикладные проблемы» (Иркутск, 2005), Межрегиональной научно-практической конференции «Прикладная психология как ресурс социально-экономического развития современной России» (Москва, 2005), Международной научной конференции студентов, аспирантов и молодых учёных «Ломоносов-2008» (Москва, 2008), 6-ой конференции Международной комиссии по тестированию «Влияние тестирования на людей и общество: повышение значимости тестирования» (Ливерпуль, 2008),- Всероссийской научной конференции «Современная психодиагностика в изменяющейся России» (Челябинск, 2008), 1-ой европейской летней школе исследователей в области психологии труда и организационной психологии (Берлин, 2008).

Структура и объем диссертации. Работа состоит из введения, 7 глав, выводов, заключения, библиографии и приложений. Текст сопровождается 17 таблицами и 4 рисунками. Список использованной литературы включает 222 источника, в том числе 186 на английском языке. Основное содержание работы изложено на 172 страницах. В приложениях представлены методические материалы, использованные в исследовании.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснованы актуальность, научная новизна, теоретическое и практическое значение работы, определены предмет, объект, гипотезы, цели и задачи исследования, сформулированы положения, выносимые на защиту.

Глава 1 «Психодиагностика как технология сбора и представления психологической информации» очерчивает проблемное поле, в котором проводилось диссертационное исследование, дает общее представление о методах психодиагностики и принятых способах представления ПДИ для внешнего пользователя и клиента, прошедшего тестирование.

В первом разделе первой главы приведена классификация психодиагностических задач [Бодалев, Столин, 2000], определяющая особенности методов, способы предоставления обратной связи, используемые диагностом, а также зону его ответственности и степень вмешательства. Указаны психодиагностические задачи, ставшие объектом внимания в экспериментальной части работы.

Второй раздел первой главы посвящен различным классификациям методов современной психодиагностики. Рассмотрено два основания для классификации - 1) степень объективности-субъективности результатов диагностики; по этому критерию различают тестовые (количественные, объективные) и клинические (субъективные, качественные) методы [Анастази, Урбина, 2001; Бурлачук, Морозов, 2000; Шмелев, 1996]; 2) процедура проведения тестирования, по этому основанию выделяют компьютерные и бланковые методики [Бурлачук, 2008; Дюк, 1994; Червинская, Щелкова, 2002 и

др.]. Дано сравнение возможностей и преимуществ каждой группы методов, в сводной таблице приведены результаты исследований эквивалентности бланковых и компьютерных форматов одних и тех же методик.

Третий раздел первой главы посвящен общим вопросам технологии представления результатов тестирования (ПДИ). Упомянуты возможные содержательные единицы представления ПДИ, зависящие от конструкта, положенного в основу диагностического инструмента (черты, типы, факторы, компетенции и пр.). Рассмотрены две классификации тестовых интерпретаций

- 1) по форме представления (количественные - график, диаграмма, таблица; качественные - текст), 2) по предполагаемому пользователю (для испытуемого; для профессионального психолога, психодиагноста; для клиента, лица, принимающего решения). Отдельно описаны классификации компьютерных тестовых интерпретаций [Butcher et al., 2000; Roid, Gorsuch, 1984]. Обоснован выбор измерений «компетенции - психологические черты» и «текстовый отчет

- графический шкальный профиль» в качестве двух независимых переменных для стимульного материала экспериментального исследования.

В данном разделе также описаны исследования качественной и количественной формы представления информации, важные для формулирования одной из центральных гипотез диссертационного исследования (о психодиагностических предпочтениях рекрутеров). Обоснована первичность количественной формы ПДИ (шкальный профиль, диаграмма, таблица баллов) по отношению к качественной форме (текстовое диагностическое заключение, психологический портрет, характеристика). Текст, использующий достаточно неоднозначные слова («часто», «редко», «обычно», «как правило», «практические всегда», «очень», «чрезмерно» и т.д.),

- это всегда лишь приближенное выражение количественных показателей.

В главе 2 «Психологическая эффективность психодиагностической информации» дан обзор исследований, посвященных психологической эффективности ПДИ и различных ее форм, т.е. особенностям восприятия, понимания и принятия ПДИ клиентом (испытуемым), прошедшим

тестирование. Рассмотрены различные критерии, использованные исследователями для оценки психологической эффективности ПДИ.

В первом разделе второй главы дано представление об обратной связи как о психологическом воздействии. Во многих работах авторам не удалось обнаружить значимых различий в эффектах, вызванных разными формами тестовых интерпретаций [Rogers, 1954; Rubinstein, 1978;Luzzo, Day, 1999]. Тем не менее большая часть исследований показала, что само по себе предоставление обратной связи (неважно, в какой форме) оказывает положительное влияние на испытуемых и может быть использовано в качестве терапевтического воздействия. Результаты основных исследований данного направления представлены в сводной таблице.

Второй раздел второй главы посвящен особенностям восприятия испытуемыми различного содержания ПДИ. Описаны исследования 1) восприятия псевдоинтерпретаций - эффект Барнума [см. подробные обзоры Snyder et al., 1977; Dickson, Kelly, 1985; Furnham, Schofield, 1986], 2) восприятия приятной и неприятной обратной связи - эффект Поллианны [Matlin, Stang, 1978; Hanson, Claiborn, 2006; Baillargeon, Danis, 1984; Ruzzene, Noller, 1986], 3) восприятия обратной, связи, совпадающей и не совпадающей с представлениями о себе [Layne, Ally, 1980; Furnham, Varían, 1988].

В третьем разделе второй главы речь идет о влиянии формы представления ПДИ на ее восприятие испытуемыми. Работ, посвященных анализу формы ПДИ, традиционно меньше, чем тех, что посвящены исследованию содержания ПДИ. Выделено и рассмотрено два направления - 1) сравнение воздействия индивидуальной и групповой формы предоставления обратной связи [Oliver, 1977; Wright, 1963; Miller, Cochran, 1979; Forster, 1969; Rubinstein, 1978] и 2) влияние стиля предоставления обратной связи на ее восприятие клиентами [Rogers, 1954; Dressel, Matteson, 1950; Hanson et al., 1997; Hanson, Claiborn, 2006]. Исследований, в которых, подобно нашему, сравнивалось бы воздействие количественной и качественной формы представления данных на испытуемых, нам неизвестно.

В четвертом разделе второй главы рассмотрено влияние личностных особенностей испытуемых на восприятие ПДИ. В нескольких работах, выполненных на материале истинных результатов тестирования [Froehlich, Moser, 1954; Rogers, 1954; Swanson, 1964; Hay et al., 1976], были получены данные о связи между интеллектом и запоминанием результатов тестирования. Большая же часть работ данного направления выполнена на материале псевдоинтерпретаций. Получены данные о связи степени принятия псевдообратной связи с такими личностными чертами, как авторитарность [Orpen, Jamotte, 1975], потребность в одобрении [Mosher, 1965; Orpen, Jamotte, 1975], локус контроля [Snyder, Larson, 1972; Orpen, Jamotte, 1975], эмоциональная нестабильность [Fichten, Sunerton, 1983; Snyder, Clair, 1977; Fumham, Varían, 1988], экстраверсия [Furnham, Varían, 1988].

В пятом разделе второй главы рассмотрены возможности изучения взаимовлияния индивидуальных особенностей испытуемых (пол, возраст, социо-экономический статус, индивидуально-психологические различия) н факторов, связанных с оказываемым на них воздействием (специфическое поведение консультанта, способы представления ПДИ). Приведены результаты немногочисленных исследований, в которых удалось [Kivlighan et al., 1981; Kivlighan, Shapiro, 1987] либо не удалось [Jones, Gelso, 1988; Barak, Friedkes. 1981; Forster, 1969] зафиксировать такого рода взаимодействия.

В главе 3 «Организационная эффективность психодиагностической информации» рассмотрены различные аспекты эффективности ПДИ в качестве фактора принятия организационных решений специалистами, использующими в своей профессиональной деятельности психологическое тестирование.

В первом разделе третьей главы обсуждаются вопросы психологии принятия решений в приложении к деятельности рекрутеров. Обзор различных подходов к анализу принятия решений (рациональное принятие решений, естественное принятие решений, синтетический подход) подводит к пониманию принятия решения как результата взаимодействия двух различных

систем переработки и представления информации - рефлексивной и импульсивной [Chaiken, Trope, 1999; Smith, DeCoster, 2000; Strack, Deutsch, 2004]. Рефлексивная система работает для того, чтобы были приняты рациональные решения, оптимальные с точки зрения максимизации выгоды и минимизации проигрыша. Работа импульсивной системы больше похожа на то, что принято называть интуицией, - она опирается на часто повторяющиеся ассоциации и события и постепенно формирует готовые поведенческие схемы для действия в разных ситуациях. Работа рефлексивной системы требует больших затрат когнитивных ресурсов, а оперирование готовыми поведенческими схемами, напротив, не требует усилий. Поэтому импульсивная система является ключевой при принятии решений в экстремальных условиях, при нехватке времени и в часто повторяющихся ситуациях. Приведен перечень ловушек импульсивной системы, приводящих к ошибочным решениям, и их возможные проявления в деятельности рекрутеров.

Обсуждаются теории развития профессионализма [Кудрявцев, 1981; Климов, 1996; Маркова, 1996; Зеер, 2003], этапы формирования индивидуального стиля деятельности [Мерлин, 1986] и вытекающие особенности принятия решений новичками и более опытными профессионалами [Dreyfus, 1997]. Резюмируя, можно сказать, что по мере овладения профессиональными навыками человек все меньше полагается на абстрактные принципы (рефлексивная система) и все больше на конкретный практический опыт (кристаллизующийся в виде стереотипов и эвристик импульсивной системы).

Проведенный нами анализ литературы подвел нас к более глубокому пониманию связи формы и содержания в представлении ПДИ. Мы предположили, что графический шкальный профиль можно на операциональном уровне связать, во-первых, с количественной формой представления информации, а во-вторых, интерпретировать как форму, востребованную в контексте принятия более продуманных, взвешенных решений, основанных на рефлексивном стиле. В то же время отвержение

количественно-графической формы (или пренебрежение) к ней можно рассматривать как индикатор импульсивного стиля принятия решения.

Второй раздел третьей главы посвящен экспертной оценке качества тестовых интерпретаций. Приведены результаты четырех направлений исследований компьютерных тестовых интерпретаций - 1) сравнение тестовых интерпретаций, сформированных компьютером и человеком (экспертом) [Bringmann et al., 1972; Labeck et al., 1983]; 2) сравнение реальных и псеводинтерпретаций, сформированных компьютером [Moreland, Onstad, 1987; Williams, Weed, 2004; Prince, Guastello, 1990]; 3) сравнение компьютерных тестовых интерпретаций с внешним критерием [Williams, Weed, 2004; Hedlund, et al, 1972; Epstein, 1993; Chase, 1974; Crumpton, 1975; Harriington, 1999]; 4) исследования удовлетворенности экспертов качеством компьютерных тестовых интерпретаций [Webb et al., 1969, 1970; Lachar, 1974; Adams, Shore, 1976; Eyde et al., 1991; Butcher et al., 1998; Williams, Weed, 2004].

В главах с четвертой по седьмую описаны эмпирические исследования, проведенные автором по теме работы. Во всех экспериментах для привлечения и опроса испытуемых были использованы Интернет-технологии. В тексте приведены данные анализа эффективности и сравнительных возможностей Интернет-исследований по сравнению с более привычными бланковыми техниками [Жичкина, 2000; Науменко, Орел, 2005; Simsek, Viega, 2001; Mathy et al., 2003; Yun, Trumbo, 2000; Smith et al., 2007] и обоснована возможность использования Интернет-техник для решения задач работы.

Глава 4 «Поисковое исследование организационной эффективности психодиагностической информации» описывает первый в серии из трех проведенных нами экспериментов, посвященных анализу организационной эффективности ПДИ. Его основной задачей было обнаружить наиболее общие тенденции в восприятии и использовании ПДИ рекрутерами и наметить пути дальнейшей работы.

Первыйраздел четвертой главы касается организации исследования: в нем описаны гипотезы пилотного исследования, методика и процедура, группы испытуемых и экспертов.

В качестве испытуемых выступили 5 претендентов на вакансию бизнес-аналитика, каждый из которых прошел тестирование по методике 16 РФ1 и предоставил его результаты и свое резюме (краткую профессиональную биографию) для анализа. В роли экспертов выступили специалисты по подбору персонала (всего 51 человек). В данном эксперименте был использован факторный план для двух независимых переменных (качественная -количественная информация, информация в терминах компетенций - в терминах личностных черт). По каждому испытуемому было составлено 4 отчета, состоящих из резюме и данных тестирования, представленных в одной из 4 форм, образованных сочетаниями независимых переменных (см. табл. 1). Далее было сформировано 4 набора по 5 отчетов по принципу «латинского квадрата» [Дружинин, 2001, с. 120]. Экспертам было предложено ранжировать пятерых соискателей по степени соответствия вакансии бизнес-аналитика, а также ответить на несколько вопросов по каждому из претендентов.

Второй раздел четвертой главы посвящен полученным результатам. Первый этап обработки результатов подтвердил, что экспертные оценки по всем наборам согласованы (на уровне р < 0,0001). На втором этапе были обнаружены значимые различия между отчетами по трем испытуемым (см. табл. 1).

Анализ зафиксированных различий и комментариев экспертов позволил сделать выводы об отвержении самой простой логической конструкции главной гипотезы данного диссертационного исследования. Сама по себе форма представления тестовой интерпретации (количественно-графическая или текстовая качественная) не предопределяет предпочтение тех или иных данных о кандидатах, то есть не имеет прямых организационных последствий.

1 Аналог американского 16-фахторного опросника Кэттелла, основанный на оригинальном перечне вопросов и оригинальной системе 15 русскоязычных личностных факторов и шкалы социальной желательности [Шмелев,

2002]

Таблица 1. Оценка значимости различий между средними рангами по различным формам ПДИ. _,_,_,

Испыт. Форма ПДИ Среднее* Комментарий

ДА. профиль, черты 1,54 Значимые различия между средними рангами по шкальному профилю и тексту в терминах черт, t-крит.** = 1,75; уровень значимости р= 0,084.

текст, черты 2,17

профиль, компетенции 2,00

текст, компетенции 1,92

Б.К. профиль, черты 3,69 Значимые различия между средними рангами по профилям в терминах черт и компетенций, t-крит. = 1,73; уровень значимости р = 0,082

текст, черты 3,88

профиль, компетенции 4,17

текст, компетенции 4,00

Г.А. профиль, черты 4,57 Значимые различия между средними рангами по текстам в терминах черт и компетенций, t-крит. =1,80; уровень значимости р = 0,067.

текст, черты 4,85

профиль, компетенции 4,50

текст, компетенции 4,08

П.Т. профиль, черты 2,67 Нет значимых различий между различными формами ПДИ

текст, черты 2,57

профиль, компетенции 2,31

текст, компетенции 2,67

Л.И. профиль, черты 2,42 Нет значимых различий между различными формами ПДИ

текст, черты 1,92

профиль, компетенции 1,86

текст, компетенции 2,23

* Среднее - средний ранг по форме ПДИ (от 1 до 5). ** t-крит. = значение меритерия Стъюдента.

Мы показали, что на принятие решений кадровыми специалистами лишь в некоторых случаях влияла форма ПДИ. Мы можем говорить о присутствии эффекта более высокого порядка, то есть не о прямом влиянии определенных параметров стимула на решения экспертов, а об «опосредованном», «контекстно-зависимом». В нашем случае то, будет или форма ПДИ влиять на решения экспертов, зависело от следующих факторов:

• степень подробности резюме, сопровождающего результаты тестирования (чем более кратко резюме, тем больше интереса вызывает ПДИ),

• собственно результаты тестирования,

• эмоционально окрашенный образ, формирующегося на основании анализа ПДИ (ПДИ в терминах личностных черт провоцируют эмоциональную реакцию, которая переносится на оценку профессиональных качеств соискателей: отрицательные _ эмоции

связаны с заниженными оценками профессионализма, положительные - с завышенными; ПДИ в терминах компетенций, будучи более релевантны организационному контексту, смещений восприятия не вызывают и стимулируют механизмы рефлексивной системы принятия решений).

Глава 5 «Взаимовлияние формы и содержания как фактор организационной эффективности психодиагностической информации» посвящена исследованию психодиагностических предпочтений специалистов по подбору персонала.

Первый раздел пятой главы описывает организационные аспекты эксперимента - гипотезы, методику, процедура, выборку. Опираясь на результаты поискового исследования, мы сформулировали основную гипотезу данного - о наличии значимых различий в частоте предпочтений ПДИ в терминах компетенций и в терминах психологических черт (в пользу более релевантных компетенций).

Методически данное исследование включало два независимых Интернет-опроса - 1) о формах и методах психологического тестирования, предпочитаемых различными специалистами, использующими тестирование в профессиональной деятельности (испытуемые - 68 человек), и 2) об особенностях использования ПДИ рекрутерами (испытуемые - 66 человек). В первом опросе респондентов прямо спрашивали об их предпочтениях. Второй опрос был построен по принципу «мысленного эксперимента», чтобы спровоцировать более «поведенческую» (в противовес «умозрительной») реакцию испытуемых. Участникам было предложено прочесть описание вакансии «Администратор магазина» и просмотреть три резюме претендентов на данную вакансию. Для каждого резюме экспертам предлагали выбрать один из 4 типов дополнительного психодиагностического заключения (те же, что и в главе 4), которое могло бы помочь в принятии решения о приглашении или отказе кандидату в личной встрече. Сама ПДИ не предъявлялась.

Второй раздел пятой главы посвящен полученным результатам. Вопреки ожиданиям, значимые различия между предпочтениями информации в терминах компетенций и личностных черт обнаружились только по одному из трех резюме (см. табл. 2).

Таблица 2. Предпочтения различных способов представления ПДИ.

Способ представления □скходиагносгаческой информации Резюме 1, кол-во исп., выбравших данный вариант ответа Резюме 2 Резюме 3 Суммарно

таблица или профиль, психологические черты 8* 16 15 39

таблица или профиль, компетенции 24* 14 18 56

словесное описание психологических черт 7** 15 18 40

текстовое описание компетенций 27** 21 15 63

* - значимые различия; Хи2= 4,27, р = 0,0389. ** - значимые различия; Хи2 = 6,44, р = 0,0112.

Проведя дополнительный содержательный анализ резюме, мы предположили, что возможным фактором влияния является также степень соответствия резюме вакансии, обратно связанная со значимостью ПДИ для принятия решения (чем лучше профессиональный опыт кандидата соответствует вакансии, тем менее важна ПДИ для принятия решения). Итогом результатов двух исследований (главы 4-5) стала схема взаимодействия различных факторов, опосредующих предпочтения рекрутеров относительно формы и содержания ПДИ (рис. 1).

Были выявлены противоречия между ответами на два опросника: отвечая на прямые вопросы, 75% испытуемых сообщают о предпочтении количественной информации, но лишь 26% респондентов в мысленном эксперименте во всех трех случаях выбирают количественную ПДИ. У нас есть основания исключить вероятность сознательной фальсификации результатов, поэтому мы полагаем, что в ответах на прямые вопросы имеем дело с нормативными представлениями, а в результатах мысленного эксперимента - с более реальными способами деятельности. Нормативные представления, по-

видимому, формируются в процессе обучения и представляют собой продукт рефлексивной системы принятия решений. Реальные способы деятельности формируются в процессе профессиональной деятельности и несут на себе отпечаток эвристик и стереотипов импульсивной системы.

Рис. 1. Факторы, влияющие на психодиагностические предпочтения рекрутеров.

Основной вывод, который мы делаем из данного исследования, - о том, что предпочтения экспертов определяются не столько особенностями ПДИ (ее функциональным удобством), сколько индивидуально-личностными или профессиональными особенностями (например, возрастом, полом, стажем работы, характером образования, структурой интеллекта и т.д.).

В хлаве б «Исследование особенностей принятия решений кадровыми специалистами» описано последнее, проведенное нами исследование организационной эффективности ПДИ. В нем мы попытались проконтролировать два фактора - 1) особенности задачи, в рамках которой происходит анализ ПДИ и 2) индивидуальные особенности экспертов, принимающих решения.

В первом разделе шестой главы описаны особенности организации исследования - гипотезы, методика, процедура, экспериментальная выборка. Учитывая результаты предшествующих исследований для данного мы

сформулировали две гипотезы: 1) о влиянии инструкции, в частности установки на более внимательное отношение к количественной информации, на стиль принятия решений; 2) о влиянии профессионального опыта на принятие решений (о более активном использовании количественной информации новичками).

Данное исследование проводилось в рамках реального конкурсного отбора на вакансии консультанта по оценке персонала (для опытных специалистов) и ассистента консультанта по оценке персонала (для новичков). Специалистам, откликнувшимся на объявление, было предложено выполнить тестовое задание в режиме онлайн-диалога с компьютером. В тестовом задании участников просили ознакомиться с описанием гипотетической вакансии и отрывками из текстовых психологических портретов двух претендентов на нее. Испытуемых просили определить, кто из кандидатов по личностным качествам лучше соответствует требованиям вакансии, а потом спрашивали, достаточно ли у них было данных для принятия обоснованного решения и нуждаются ли они в дополнительной информации (количественных результатах тестирования, представленных в табличной форме). Испытуемые были случайным образом распределены по двум условиям: контрольная группа (58 человек) получала инструкцию, включающую описание вакансии и словесное описание 4 личностных черт двух соискателей, экспериментальная группа (59 человек), помимо инструкции, получала информацию о необходимом уровне выраженности искомых личностных качеств у успешного кандидата (количественный показатель).

Во втором разделе шестой главы обсуждаются полученные результаты. Значимых различий в содержательной стороне ответов и частоте поиска дополнительной количественной ПДИ между экспериментальной и контрольной группой обнаружено не было. То есть инструкция запланированного нами побудительного эффекта не имела, и мы можем говорить об отвержении первой экспериментальной гипотезы. Такой результат может означать 1) неверную гипотезу, 2) неудачно оказанное воздействие (в

частности плохо составленную инструкцию) или 3) неудачно подобранное задание для испытуемых. В тексте изложены возможные способы изменения схемы исследования (в т.ч. инструкции и задачи), которые могут пролить дополнительный свет на проблему.

Нам удалось зафиксировать значимые различия в стратегиях принятия решений новичками и экспертами (вторая гипотеза). Новички значимо чаще сообщали о недостаточности предоставленной информации и стремились проанализировать дополнительные количественные данные. Кроме того, новички значимо чаще, чем более опытные специалисты, изменяли свое первоначальное решение после просмотра количественной информации (см. табл. 3). !

Таблица 3. Особенности принятия решений новичками и экспертами.

Достаточность информации* Изменение решения**

Да Нет Да Нет

Иовнчкя 18 28 4 39

Эксперты 42 29 0 44

* - значимые различия; Хи= 4,48, р = 0,0343 ** - значимые различия; Хи2 = 3,62, р = 0,05

Итогом наших размышлений об особенностях принятия решения новичками и экспертами стала схема, представленная на рис. 2.

Рис. 2. Схема принятия решений опытными и неопытными рекрутерами

Глава 7 «Психодиагностические предпочтения неискушенных испытуемых» посвящена эмпирическому исследованию психологической эффективности ПДИ.

Первый раздел седьмой главы касается организации исследования - в нем описаны гипотезы, методика и процедура исследования, экспериментальная выборка. В исследовании приняли участие 1200 посетителей форумов автолюбителей в сети Интернет, им' было предложено пройти тест «Стиль вождения» для определения особенностей собственного водительского стиля. До начала тестирования испытуемые выбирали форму, в которой хотели бы получить обратную связь (шкальный профиль или текстовое заключение). По окончании тестирования 199 человек из числа участников первого этапа оценили качество предоставленной им обратной связи по 8 заданным критериям.

Во втором разделе седьмой главы изложены полученные результаты. Обнаружены тендерные различия в предпочтениях ПДИ: женщины значимо чаще предпочитают качественное представление данных, мужчины -количественное. Этот факт может быть объяснен с позиций дифференциальной психологии, согласно которой у женщин, как правило, лучше развит вербальный интеллект, а у мужчин — зрительно-пространственный [Бендас, 2005; Виноградова, Семенов, 1993; Чекалина, 2006; Maccoby, Jacklin, 1975; Mayes et al., 1988; McGuinness, 1976; Siegel, Schadler, 1977; Vasta et al., 1980]. Предположительно с этими различиями может быть связана обнаруженная нами тенденция рекрутеров, большинство из которых женщины, по мере накопления профессионального опыта меньше внимания уделять точным количественным данным и больше - качественным.

Несмотря на отсутствие значимых различий в удовлетворенности количественной и качественной ПДИ, на уровне тенденции мы наблюдаем следующий эффект: в среднем неискушенные испытуемые несколько чаще заявляют о своем предпочтении количественной ПДИ (53% против 47%), однако в среднем же демонстрируют несколько большую удовлетворенность

качественной ПДИ. В этом смысле их предпочтения схожи с предпочтениями менее опытных профессионалов (рекрутеров).

Еще одним результатом является обнаруженная в исследовании связь низкой агрессивности (в приложении к стилям вождения) и предпочтения количественного способа представления информации. Мы предполагаем, что низкая агрессия связана с большей рефлексивностью, вдумчивостью, склонностью к анализу и потому побуждает испытуемых больше интересоваться точными количественными данными. Также мы показали, что такие характерологические черты, как тревожность, дисциплинированность и импульсивность, влияют на удовлетворенность респондентов качеством обратной связи по результатам тестирования.

Мы получили свидетельства того, что высоко тревожные испытуемые по 7 из 8 критериев оценили качество обратной связи ниже, чем испытуемые с низкой тревожностью. Этот результат в известной степени противоречит данным зарубежных работ, в которых изучалось доверие к псевдоинтерпретациям (в духе Барнума)2. В экспериментах западных коллег [Fichten, Sunerton, 1983; Furnham, Varían, 1988; Snyder, Clair, 1977] испытуемые с высокими баллами по шкале нейротизма демонстрировали больше доверия к любого рода информации, чем эмоционально устойчивые респонденты. В тексте приведено несколько причин, которые могут лежать в основе противоречия между нашими и зарубежными данными, однако центральное предположение состоит в существенном отличии псевдоинтерпретаций от истинной ПДИ. Мы предполагаем; что генерализованная обратная связь не является таким уж хорошим материалом для изучения связи индивидуальных особенностей испытуемых с их восприятием обратной связи.

Итогом работы на основании изучения литературных источников и результатов, полученных в эмпирических исследованиях, являются следующие выводы:

2 За исключением нескольких работ, в которых изучалась связь интеллекта или академической успеваемости с восприятием ПДИ [Froehlich, Moser, 1954; Rogers, 1954; Swanson, 1964], зарубежные исследователи в качестве стимульного материала использовали псевдоинтерпретации, основным преимуществом которых считается сгандартизованность.

-251. Степень и характер влияния формы тестовых интерпретаций на ее организационную и психологическую эффективность опосредованы различными факторами и, прежде всего, содержанием самой психодиагностической информации.

2. На проявление эффектов формы влияют следующие факторы:

• степень подробности резюме, предваряющего результаты тестирования;

• собственно тестовые результаты;

• содержательный способ оформления тестовой интерпретации (использованная терминология, понятийный аппарат);

• эмоционально окрашенный образ, формирующийся у кадрового специалиста на основании знакомства с тестовыми результатами;

• значимость психодиагностической информации для принятия организационного решения;

• организационно-деятельностные условия принятия решения рекрутером;

• индивидуальные особенности эксперта, анализирующего «чужие» результаты тестирования;

• индивидуальные особенности реципиента-испытуемого, прошедшего тестирование и получившего обратную связь;

• содержание обратной связи, ее «приемлемость» для испытуемого, прошедшего тестирование.

3. Декларативные и реальные психодиагностические предпочтения рекрутеров различаются, на словах специалисты утверждают о большем интересе к количественным данным, тогда как на практике анализируют их в меньшей степени.

4. Организационная эффективность психодиагностической информации тесно связана с профессиональным опытом специалиста, принимающего решение. В частности менее опытные рекрутеры с большей готовностью пользуются количественными данными и потенциально могут

использовать психодиагностическую информацию более активно и эффективно3.

5. Негативные эффекты восприятия (эффекты Барнума, ореола, когнитивного туннеля), снижающие организационную эффективность психодиагностической информации, усиливаются при ее оформлении в качественной форме и в терминах личностных черт и ослабляются при использовании количественной формы и терминологии компетенций.

6. Психологическая эффективность психодиагностической информации тесно связана с полом реципиента - женщины значимо чаще предпочитают текстовый способ представления психодиагностической информации, мужчины - количественно-графический.'

В заключении обсуждаются перспективы дальнейших исследований, в частности постэкспериментальные гипотезы, возможные направления экспериментальной работы и методические находки; даны практические рекомендации по предоставлению обратной связи для разработчиков и различных групп пользователей психодиагностических методик.

Список публикаций по теме диссертации

Работы, опубликованные в ведущих рецензируемых научных журналах, рекомендованных ВАК Министерства образования и науки РФ

1. Науменко А. С. Влияние формы тестовых интерпретаций на принятие решений специалистами по подбору персонала. /Науменко А. С. // Психология. Журнал Высшей школы экономики. 2007.4 (3). - С. 127-140.

2. Науменко А. С. Способ представления психодиагностической информации как фактор ее организационной эффективности. /Науменко А. С., Шмелев А. Г. // Вестник МГУ. Серия 14. Психология. 2008. № 3. -С. (авт. вклад - 50%).

3 Возможно, в данном случае существенную роль играет не опыт как таковой, а сопутствующий опыту фактор «самонадеянности», который мы в нашем исследовании не контролировали.

Другие работы, опубликованные по теме диссертации

3. Науменко А. С. Использование Интернет-технологий для проведения психологических исследований. /Науменко А. С., Орел Е. А. // Отечественная психология в контексте мировой науки и практики. Материалы Международной научной конференции студентов, аспиранта» и молодых ученых «Ломоносов-2004». Секция «Психология» (Москва, 13-14 апреля 2004 г.) / Под ред. А.И. Донцова, Т.Ю. Базарова. М., Факультет психологии МГУ им. М.В. Ломоносова, 2005. - С. 147-154 (авт. вклад - 50%).

4. Науменко А. С. Проблемы и перспективы профессии рекрутера. / Науменко А. С.// Прикладная психология как ресурс социально-экономического развития современной России. Материалы межрегиональной научно-практической конференции. Москва, факультет психологии МГУ им. М.В. Ломоносова, 17-20 ноября 2005 года. М.: AHO УМО «Инсайт», 2005. - С. 311-313.

5. Науменко А. С. Автоматизация работы психолога: возможности и перспективы. /Науменко А. С. //Экономическая психология: актуальные теоретические и прикладные проблемы. Материалы конференции. Иркутск, 2005. - С. 271-273.

6. Науменко А. С. Классификация различных способов предъявления психодиагностической информации. /Науменко А. С. // Дружининские чтения: Материалы 4-й международной научно-практической конференции, г. Сочи, 5-7 мая 2005 г./ Мин-во образования и науки РФ; Соч. гос. ун-т туризма и курорт, дела; Соц-пед. ин-т; Под ред. С.Н. Тесля, И.Б. Шуванова, C.B. Кикгева. Сочи, 2005. - С. 163-164.

7. Науменко А. С. Влияние личностных особенностей на восприятие результатов тестирования. /Науменко А. С, // Современная психология: от теории к практике. Материалы XV Международной конференции студентов, аспирантов и молодых ученых «Ломоносов - 2008». Секция «Психология». Москва, 9-10 апреля 2008 г. М.: МГУ, 2008. - С. 315-318.

-288. Naumenko A. S. The influence of different forms of test interpretation on the decision making among HR specialists. /Naumenko A. S., Orel E. A. // Programme and Summaries of the 6th Conference of the International Test Commission "The Impact of Testing on People and Society: Enhancing the Value of Test Use". Liverpool, 13-16 July 2008. - P. 96. (авт. вклад - 80%). 9. Науменко А. С. Влияние способа представления результатов тестирования на их восприятие и использование неискушенными испытуемыми и профессионалами. /Науменко А. С. // Современная психодиагностика в изменяющейся России - сборник тезисов Всероссийской научной конференции. Челябинск: Издательство ЮУрГу, 2008. - С. 85-86.

Сдано в набор 14.10.08. Подписано в печать 15.10.08. Формат 60x90 1/16. Бумага офсетная. Объем 1,75 п. л. Заказ 301. Тираж 100

Подготовлено и отпечатано в типографии ИПХФ РАН. 142432, Московская обл., г. Черноголовка, пр-т академика Семенова, 5

Содержание диссертации автор научной статьи: кандидата психологических наук, Науменко, Анна Сергеевна, 2008 год

ВВЕДЕНИЕ

ГЛАВА 1. ПСИХОДИАГНОСТИКА КАК ТЕХНОЛОГИЯ СБОРА И ПРЕДСТАВЛЕНИЯ ПСИХОЛОГИЧЕСКОЙ ИНФОРМАЦИИ

1.1. Психодиагностические задачи

1.2. Классификация методов современной психодиагностики

1.2.1. Тестовые и клинические методы психодиагностики.

1.2.2. Бланковые и компьютеризированные психодиагностические методики.

Компьютерные и компьютеризированные методы.

Эквивалентность традиционных и компьютеризированных форматов тестирования.'.

1.3. Общие вопросы технологии представления психодиагностической информации

1.3.1. Содержательные единицы представления психодиагностической информации.

1.3.2. Классификации тестовых интерпретаций.

1.3.3. Количественная и качественная форма представления результатов тестирования.

ГЛАВА 2. ПСИХОЛОГИЧЕСКАЯ ЭФФЕКТИВНОСТЬ

ПСИХОДИАГНОСТИЧЕСКОЙ ИНФОРМАЦИИ

2.1. Предоставление обратной связи как воздействие

2.2. Восприятие испытуемыми различного содержания психодиагностической информации

2.2.1. Псевдоинтерпретации.

Использование псевдоинтерпретаций в качестве стимульного материала.

2.2.2. Приятная и неприятная обратная связь.

2.2.3. Обратная связь, соответствующая и не соответствующая представлениям о себе.

2.3. Влпяпие формы представления психодиагностической информации па ее восприятие испытуемыми

2.3.1. Индивидуальные и групповые тестовые интерпретации.

2.3.2. Спиши предоставления обратной связи.

2.4. Влияние личностных особенностей испытуемых на восприятие психодиагностической информации

2.4.1. Связь индивидуальных особенностей с восприятием истинных интерпретаций.

2.4.2. Связь личностных особенностей с восприятием псевдоинтерпретаций.

2.5. Взаимовлияние индивидуальных особенностей испытуемых и формы тестовых интерпретаций

ГЛАВА 3. ОРГАНИЗАЦИОННАЯ ЭФФЕКТИВНОСТЬ

ПСИХОДИАГНОСТИЧЕСКОЙ ИНФОРМАЦИИ

3.1. Психология ириилтил решений в приложении к деятельности специалистов но подбору персонала

3.1.1. Импульсивное и рефлексивное в принятии решений рекрутерами.

Ловушки импульсивной системы.

Как не попасть в ловушку импульсивной системы.

3.1.2. Принятие решений новичками и опытными специалистами.

3.2. Экспертная оценка качества тестовых интерпретаций

3.2.1. Сравнение КТИ с отчетами, составленными специалистами.

3.2.2. Сравнение реальных и генерализованных КТИ.

3.2.3. Сопоставление КТИ с внешним критерием.

3.2.4. Исследования удовлетворенности экспертов качеством КТИ.

ГЛАВА 4. ПОИСКОВОЕ ИССЛЕДОВАНИЕ ОРГАНИЗАЦИОННОЙ

ЭФФЕКТИВНОСТИ ПСИХОДИАГНОСТИЧЕСКОЙ ИНФОРМАЦИИ

4.1. Организация исследования

4.1.1. Гипотезы.

Влияние формы ГТДИ на импульсивность/рефлексивность принимаемых решений.'.

Восприятие вероятностной информации.

4.1.2. Участники.

4.1.3. Методика и процедура.

4.2. Результаты

4.2.1. Обработка.

4.2.2. Полученные результаты.

4.2.3. Обсуждение.

Преимущество биографических данных.

Катализаторы импульсивных и рефлексивных механизмов принятия решений

Удобство и легкость восприятия вероятностной информации.

Зрительная инерция.

4.2.4. Резюме.

ГЛАВА 5. ВЗАИМОВЛИЯНИЕ ФОРМЫ И СОДЕРЖАНИЯ КАК ФАКТОР

ОРГАНИЗАЦИОННОЙ ЭФФЕКТИВНОСТИ ПСИХОДИАГНОСТИЧЕСКОЙ

ИНФОРМАЦИИ

5.1. Организация исследования

5.1.1. Гипотезы.

Психодиагностические предпочтения кадровых специалистов.

Взаимодействие факторов формы и содержания.

Удобство представления вероятностной информации.

Влияние содержания деятельности на предпочитаемые формы представления психодиагностической информации.

5.1.2. Методика и процедура.

Опрос 1 «Использование психологического тестирования различными специалистами».

Опрос 2 «Использование психодиагностической информации специалистами по подбору персонала».

5.1.3. Участники.

Опрос 1 «Использование психологического тестирования различными специалистами».

Опрос 2 «Использование психодиагностической информации специалистами по подбору персонала».

5.2. Результаты

5.2.1. Обработка.

5.2.2. Полученные результаты.

Опрос 1 «Использование психологического тестирования различными специалистами».

Опрос 2 «Использование психодиагностической информации специалистами по подбору персонала».

5.2.3. Обсуждение.

Психодиагностические предпочтения кадровых специалистов.

Взаимодействие факторов формы и содержания.

Удобство представления вероятностной информации.

Влияние содержания деятельности на предпочитаемые формы представления психодиагностической информации.

5.2.4. Резюме.

ГЛАВА 6. ИССЛЕДОВАНИЕ ОСОБЕННОСТЕЙ ПРИНЯТИЯ РЕШЕНИЙ

КАДРОВЫМИ СПЕЦИАЛИСТАМИ

6.1. Организация исследования

6.1. L Гипотезы.

Влияние инструкции на принятие решений.

Влияние профессионального опыта на принятие решений.

6.1.2. Методика и процедура.

6.1.3. Участники.

6.2. Результаты

6.2.1. Обработка.

6.2.2. Полученные результаты.

6.2.3. Обсуждение.

Влияние инструкции на принятие решений.

Влияние профессионального опыта на принятие решений.

6.2.4. Резюме.

ГЛАВА 7. ИССЛЕДОВАНИЕ ПРЕДПОЧТЕНИЙ ПСИХОДИАГНОСТИЧЕСКОЙ

ИНФОРМАЦИИ У НЕИСКУШЕНЫХ ИСПЫТУЕМЫХ

7.1. Организация исследования

7.1.1. Гипотезы.

7.1.2. Методика и процедура.

Тестирование по методике «Стиль вождения».

Оценка качества обратной связи.

7.1.3. Испытуемые.

7.2. Результаты

7.2.1. Обработка.

7.2.2. Полученные результаты.

Тендерные различия в предпочитаемых формах КТИ.

Связь личностных особенностей с предпочитаемыми формами КТИ.

Оценка качества КТИ.

7.2.3. Обсуждение.

Тендерные различия в предпочитаемых формах КТИ.

Оценка качества КТИ.

Связь личностных особенностей с предпочитаемыми формами КТИ.

7.2.4. Резюме.

ВЫВОДЫ

Как на самом деле рекрутеры используют результаты тестирования

Как воспринимают результаты тестирования неискушенные испытуемые

Введение диссертации по психологии, на тему "Организационная и психологическая эффективность разных способов представления психодиагностической информации"

Настоящая диссертационная работа посвящена исследованию особенностей восприятия различных форм тестовых (психодиагностических) интерпретаций и особенностей принятия решений на основании различным образом представленной психодиагностической информации (здесь и далее - ИДИ)1, в настоящее время во всем мире психологическое тестирование широко используется в самых различных контекстах. Проблемы, связанные с различными вариантами анализа и учета результатов тестирования, стали особенно актуальны при появлении и распространении технологий компьютерной психодиагностики, делающих проведение тестирования массовым явлением.

При правильном использовании результаты психологического тестирования могут быть чрезвычайно полезны в качестве одного из аргументов для принятия управленческих решений. К сожалению, далеко не всегда тестирование используется эффективно: опыт многих российских >компаний показывает, что результатам диагностики уделяется недостаточно внимания, и на дальнейшую судьбу сотрудников в организации они влияют редко. Знания об индивидуальных различиях в восприятии обратной связи респондентами могут быть чрезвычайно полезны не только для кадровых специалистов, но и для специалистов в области личностного консультирования и психотерапии, помогая им более эффективно довести до клиента обратную связь, которую он не готов воспринять. Таким образом, практическую актуальность работы мы видим в поиске способов повышения эффективности донесения ПДИ до ее потребителя - клиента, прошедшего тестирование, или специалиста, использующего

1 Соотношению терминов «психодиагностическая информация», «^тестовые интерпретации» и «обратная связь» посвящен раздел 1.3 первой главы. психологическое тестирование в профессиональных целях. Актуальность исследования в теоретическом плане состоит в изучении воздействия качественной (семантической) и количественной ПДИ на решения, принимаемые человеком на ее основе.

Несмотря на широкое распространение тестирования, во всем мире проводится крайне мало исследований, изучающих процедуры или формы представления и интерпретации результатов тестирования. Ретроспективные обзоры литературы зарубежных авторов Р. Гудйиа (Goodyear, 1990), X. Тинсли и С. Чу (Tinsley, Chu, 1999), Ч. Клейборна и У. Хэнсона (Claiborn, Hanson, 2006) насчитывают, соответственно, по 44, 65 и 75 исследований, посвященных тестовым интерпретациям. Первая работа, в которой затрагиваются вопросы предоставления обратной связи по результатам тестирования, датируется 1950 годом (Dressel, Maltson, 1950). За исключением двух неопубликованных работ (Науменко, 2002; Соловейчик, 1990), выполненных под руководством А. Г. Шмелёва, исследований, посвященных представлению ПДИ, в отечественной психологии нам неизвестно . Отдельные (достаточно редкие) рекомендации по составлению поетдиагностических отчетов можно встретить скорее в практико-ориентированной и популярной, чем в научной литературе (Аксенова и др., 2002). Определенное внимание отечественные социальные психологи уделяют предоставлению обратной связи как процессу межличностного общения (Арутюнян, Петровская, 1981; Базаров, Ладионепко, 2008; Журавлева, 2004).

Эти наблюдения и факты побудили нас достаточно подробно осветить особенности и результаты исследований по данной теме, начиная с 1950-х годов и до последнего времени. Мы полагаем, что Отчасти это можно объяснить долгое время доминировавшей установкой отечественных психологов на применение нестандартизованных, качественных методов диагностики, результатом которых может быть лишь свободный, слабоструктурированный текст. Количественные методики (собственно тесты) большей частью заимствовались из-за рубежа, откуда они приходили с готовым аппаратом и форматом представления результатов. составленный нами обзор литературы станет первым русскоязычным обзором, посвященным проблемам представления ПДИ для клиентов и специалистов, использующих тестирование в профессиональной деятельности. Ввиду отсутствия отечественных публикаций работы, которые мы обсуждаем, выполнены в большинстве своем зарубежными коллегами.

Основными целями нашей работы было, с одной стороны, выявление взаимосвязи между формой ПДИ (количественно-графической или качественно-текстовой) и принятием решений профессионалами, использующими в работе результаты тестирования, а с другой стороны - между формой ПДИ и ее восприятием и оценкой неискушенными испытуемыми.

Таким образом, мы разделили 1) использование тестовых интерпретаций самими испытуемыми и 2) анализ результатов тестирования клиентов или испытуемых специально обученными профессионалами. С первым типом ситуаций мы связали понятие психологической эффективности ПДИ, или доступности и удобства представления результатов тестирования для самого испытуемого. Ко второй категории ситуаций было применено понятие организационной эффективности ПДИ, или удобства и доступности тестовых интерпретаций для профессионалов, анализирующих «чужие» результаты для принятия определенных организационных решений. Организационная и психологическая эффективность различных форм ПДИ и явились объектом нашего исследования.

Предметом изучения выступили факторы, влияющие на восприятие неискушенными испытуемыми и использование профессионалами (в частности специалистами по подбору персонала - рекрутерами) различным образом представленной ПДИ. Среди всего многообразия специалистов, для которых психологическое тестирование является профессиональным инструментом, рекрутеры были выбраны ввиду растущей популярности и массовости данной специальности и одновременно в связи с той ролью, которую играет тестирование в процессе подбора персонала. В условиях внедрения новых информационных технологий в кадровый менеджмент тестирование все чаще используется на ранних этапах подбора персонала, в том числе и до личной встречи, и играет роль первичного фильтра, а не источника дополнительной информации о пациенте или клиенте. То есть, с одной стороны, психологический тест для рекрутера является достаточно грубым инструментом (специалист обращает внимание на наиболее общие тенденции и закономерности, выявленные тестом), а с другой стороны, на основании результатов тестирования может быть принято важное решение (например, об отказе соискателю даже в приглашении на интервью).

Основные задачи работы:

2. Выполнение эмпирического исследования тенденций, характеризующих восприятие ПДИ рекрутерами.

3. Проведение исследования предпочтений ПДИ у неискушенных испытуемых.

Мерлина и Е. А. Климова; принципы и подходы классической теории тестов (А. Г. Шмелев, А. А. Бодалев, В. В. Столин, JI. Ф. Бурлачук, С. М. Морозов, А. Анастази, Г1. Клайн, Н. Гронлунд и др.); концептуальный аппарат компьютерной психодиагностики (К. Р. Червинская, О. Ю. Щелкова, В. А. Дюк, Е. Б. Моргунов, J. N. Butcher, D. Lachar, J. Е. Williams, N. С. Weed и др.).

Для решения поставленных задач мы использовали смешанный подход, предполагающий одновременный сбор качественной и количественной информации. Мы применили ряд методов, принятых в психологии труда и психодиагностике:

• На этапе формулирования экспериментальных гипотез были использованы отдельные элементы метода непосредственного наблюдения и трудового метода анализа профессии.

• Лабораторно-полевой эксперимент (в частности моделирование отдельных элементов трудового процесса) был использован для выявления особенностей восприятия ПДИ специалистами по подбору персонала, сопровождающих этапы выбора типа дополнительного психодиагностического обследования для принятия решения о соответствии соискателей вакансии (глава 5), выбора кандидата, наиболее соответствующего вакансии (глава 6), ранжирования соискателей по степени соответствия вакансии (глава 4).

• Элементы метода анализа продуктов деятельности были использованы для качественного анализа высказываний кадровых специалистов, обосновывающих принятые ими организационные решения (главы 4, 6).

• Интернет-опрос (анкетирование) применялся для выявления декларативных установок специалистов, использующих психологическое тестирование в профессиональной деятельности (глава 5).

• Компьютеризированное тестирование стилей вождения (метод тестов) было использовано для выявления предпочтений ПДИ у неискушенных испытуемых, а также связи психодиагностических предпочтений с индивидуально-личностными особенностями испытуемых (глава 7).

• Элементы метода обучения как преобразующего метода психологии труда были использованы при составлении инструкции для кадровых специалистов - участников экспериментальной группы (глава 6).

• Для анализа полученных в эмпирическом исследовании результатов и статистической проверки экспериментальных гипотез использовались методы статистической обработки данных.

Научная новизна работы состоит в следующем:

5. Впервые для исследования восприятия неискушенными испытуемыми ПДИ о себе в качестве стимулыюго материала использованы истинные тестовые интерпретации, а не псевдоинтерепретации, как в подавляющем большинстве зарубежных работ.

На защиту выносятся следующие положения: 1. Воздействие качественной или количественной формы представления психодиагностической информации на принятие решений специалистами по отбору персонала носит не прямой, а опосредованный характер.

2. Воздействие формы представления психодиагностической информации опосредовано индивидуальными особенностями лиц, принимающих решения (включая пол, когнитивный стиль, профессиональный опыт), но в большой степени организационным контекстом (условиями) решения профессиональной задачи. Чем в большей степени психодиагностическая информация учитывается в ходе принятия решения, тем большую роль начинает играть форма ее представления.

Основные результаты диссертационной работы докладывались на 4-ой международной научно-практической конференции «Дружининские чтения» (Сочи, 2005), 6-ой научно-практической конференции «Экономическая психология: актуальные теоретические и прикладные проблемы» (Иркутск, 2005), Межрегиональной научно-практической конференции «Прикладная психология как ресурс социально-экономического развития современной России» (Москва, 2005), Международной научной конференции студентов, аспирантов и молодых учёных «Ломоносов-2008» (Москва, 2008), 6-ой конференции Международной комиссии по тестированию «Влияние тестирования на людей и общество: повышение значимости тестирования» (Ливерпуль, 2008), Всероссийской научной конференции «Современная психодиагностика в изменяющейся России» (Челябинск, 2008), 1-ой европейской летней школе исследователей в области психологии труда и организационной психологии (Берлин, 2008).

Заключение диссертации научная статья по теме "Психология труда. Инженерная психология, эргономика."

выводы

Как на самом деле рекрутеры используют результаты тестирования

На основании трех экспериментов, посвященных организационной эффективности ПДИ, мы пришли к выводу о том, что характер использования результатов тестирования рекрутерами зависит от контекста, в котором они используются, и изменяется по мере овладения профессией.

По всей видимости, результаты тестирования играют для рекрутеров второстепенную роль по сравнению с. биографической информацией, содержащейся в резюме. Если биографическая информация совсем плохо или, напротив, очень хорошо соотносится с требованиями профессии, то результатам тестирования будет уделено незначительное внимание - они будут проинтерпретированы в соответствии с уже имеющейся у специалиста гипотезой относительно пригодности/непригодности кандидата. Если анализ биографической информации не дает однозначного ответа о соответствии или несоответствии соискателя вакансии, то результаты тестирования будут играть более существенную роль в принятии решения. В этом случае наибольшую организационную эффективность будет иметь ПДИ, сформулированная в терминах компетенций (а не личностных черт).

Наибольший интерес к количественной информации, составляющей суть результатов тестирования, проявляют менее опытные специалисты, которые не столь уверены в своем профессиональном чутье и решениях, принимаемых на его основе. Более опытных специалистов количественные данные интересуют в меньшей степени. Они формируют индивидуальный стиль деятельности, в рамках которого готовы рассматривать результаты тестирования в основном как способ «самопроверки». А поскольку они не очень охотно «возятся» с цифрами, а предпочитают читать текстовые отчеты, которые, как мы уже неоднократно обсуждали, весьма расплывчаты, то в них они легко находят подтверждение собственного мнения о соответствии или несоответствии кандидата вакансии.

Одним из основных результатов нашей работы стал выявленный нами перечень факторов, влияющих на проявление эффектов формы психодиагностической информации. Среди них:

• степень подробности резюме, предваряющего результаты тестирования;

• собственно тестовые результаты;

• значимость психодиагностической информации для принятия организационного решения;

• организационно-деятельностные условия принятия решения кадровым специалистом;

• индивидуальные особенности эксперта, анализирующего «чужие» результаты тестирования.

Мы также обнаружили, что кадровые специалисты подвержены определенным негативным эффектам восприятия, выражающимся в частности в безотчетном доверии любой, даже противоречивой психодиагностической информации (эффект Барнума), а также в стремлении к подтверждению первого импульсивного впечатления и решения (эффект «когнитивного туннеля»). Действие этих эффектов в известной степени зависит от формы представления психодиагностической информации - оно усиливается при ее оформлении в виде качественного текста и в терминах личностных черт и уменьшается при оформлении в виде количественно-графического профиля и в терминах компетенций.

Как воспринимают результаты тестирования неискушенные испытуемые

В нашем исследовании психологической эффективности психодиагностической информации мы обнаружили тендерные различия в психодиагностических предпочтениях (предпочитаемых формах представления результатов тестирования) неискушенных испытуемых. Испытуемые-женщины значимо чаще предпочитали текстовый способ представления психодиагностической информации, а испытуемые-мужчины - . количественно-графический. Эти данные хорошо соотносятся с расхожими представлениями (подтвержденными, впрочем, результатами многочисленных научных исследований) о большей развитости вербально-логического интеллекта у женщин и нумерического - у мужчин.

Индивидуальные особенности испытуемых (личностные черты -импульсивность, тревожность, дисциплинированность) не влияли на предпочитаемый способ представления результатов тестирования, однако оказались связаны с удовлетворенностью испытуемых обратной связью. Единственная личностная черта, которая была связана с предпочтениями способа представления психодиагностической информации, - это агрессивность водительского стиля. Испытуемые с низкой агрессивностью значимо чаще предпочитали количественно-графическую форму ПДИ. Мы связали это с их большей рефлексивностью, вдумчивостью и склонностью к анализу.

Практические рекомендации

Полученные результаты позволили нам сформулировать несколько практических рекомендаций, касающихся способов представления и обучения работе с ПДИ.

В наших исследованиях мы опирались на предположение о том, что активное использование количественной информации дает кадровым специалистам определенное преимущество при принятии решений. Одновременно мы заметили, что по мере накопления профессионального опыта специалисты по подбору персонала все меньше склонны полагаться на количественные данные. По нашему мнению, для повышения эффективности работы с ПДИ имеет смысл обучение специалистов приему «мысленного перевода» текстовых характеристик в количественные эквиваленты. Этот прием может быть эффективно использован для количественного контроля правильности интуитивных решений.

В то же время наше исследование выявило вполне здравый результат: большинство специалистов готовы пользоваться комплексными тестовыми интерпретациями, включающими обе формы представления психодиагностической информации. Это дает возможность рекомендовать строить программы обучения на основе задачи формирования навыка одновременного использования и той, и другой формы в одном комплексном заключении.

В практике психологического консультирования и психотерапии могут найти применение полученные нами данные об индивидуальных различиях в восприятии обратной связи. Консультантам следует обратить внимание на то, что женщины предпочитают получать тестовую интерпретацию в виде текстового отчета, а мужчины - в форме количественного профиля. Очень аккуратно следует давать обратную связь эмоционально нестабильным респондентам - сообщение о тревожности может вызвать недовольство результатами тестирования, которое с легкостью будет перенесено и на саму консультацию, и консультанта. Дисциплинированные испытуемые будут стремиться извлечь максимум пользы из предоставленной информации, поэтому им можно давать конкретные рекомендации и советы. Агрессивные индивиды, напротив, будут подвергать сомнению любые предложения и предположения, поэтому консультанту следует давать наиболее общую информацию, подводя клиента к самостоятельному формулированию решения или способа поведения в проблемной ситуации.

Уже после анализа наших экспериментальных данных мы обнаружили, что практики, обобщая обширный консультативный опыт, формулируют в целом сходные рекомендации по предоставлению обратной связи людям с различными личностными особенностями (Джерелиевская, Яшина, 2008). Однако наш способ поиска закономерных взаимосвязей между индивидуальными особенностями и восприятием обратной связи (эксперимент) представляется нам более быстрым и менее затратным.

И последний цикл рекомендаций - в адрес разработчиков психодиагностических систем. Наша работа дает основание для постановки новой задачи перед подобными разработчиками: задачи создания такого нового формата отчета, в котором текстовые качественные и графические количественные элементы были бы органично объединены друг с другом в единый синтезированный и, возможно, интерактивный продукт-сервис, позволяющий пользователю запросить компьютерную систему о том, как именно элементы текстовой и графической информации соотносятся друг с другом, какой смысл скрывается за теми или иными графическими элементами (например, с помощью техники всплывающих подсказок при наведении курсором и т.д.).

Список литературы диссертации автор научной работы: кандидата психологических наук, Науменко, Анна Сергеевна, Москва

1. Азаров В. Н. Структура импульсивного и рефлексивно-волевого стилей действования. //Вопросы психологии. 1988. 3. С. 132-138.

2. Аксенова Е. А., Базаров Т. Ю., Еремин Б. Л., Малиновский П. В., Малиновская II. М. Управление персоналом: Учебник. /Под ред. Базарова Т. Ю, Еремина Б. Л. 2-е изд. перераб. и доп. М.: ЮНИТИ, 2002. - 422 с.

3. Анастази А., Урбина С. Психологическое тестирование. СПб.: Питер, 2001.-688 с.

4. Арутюнян М. Ю., Петровская Л. А. Обратная связь в системе восприятия человека человеком. // Психология межличностного познания. / Под ред. А. А. Бодалева. М.: Педагогика, 1981. 224 с.

5. Базаров Т. Ю., Ладионенко М. А. Принятие критической обратной связи по итогам оценки персонала. // Журнал Вестник МГОУ. Серия «Психологические науки». 2008.3. С. 3-18.

6. Бендас Т. В. Тендерная психология: Учебной пособие. СПб: Питер, 2005.-431 с.

7. Бодалев А. А., Столин В. А. Общая психодиагностика. СПб.: Изд-во «Речь», 2000. 440 с.

8. Бурлачук Л.Ф. Психодиагностика: Учебник для вузов. 2-е изд. СПб.: Питер, 2008. 384 с.

9. Бурлачук Л. Ф., Морозов С. М. Словарь-справочник по психодиагностике. СПб.: Питер, 2000. 518 с.

10. Виноградова Т. В., Семенова В. В. Сравнительное исследование познавательных процессов у мужчин и женщин: роль биологических и социальных факторов. // Вопросы психологии. 1993. 2. С. 63-72.

11. Дружинин В. Н. Экспериментальная психология. СПб.: Питер, 2001.-320 с.

12. Дюк В. А. Компьютерная психодиагностика. СПб.: Братство. 1994.-364 с.

13. Жичкина А. Е. О возможности психологических исследований в сети Интернет. // Психологический журнал. 2000. 21 (2). С. 7558.

14. Зеер Э. Ф. Психология профессий. М. Екатеринбург, 2003. -331 с.

15. Журавлева Н. С. Способы подачи обратной связи и ее эффекты в корпоративном тренинге. Дисс.канд. психол. наук. М., 2004.

16. Иванова Е. М. Психологическая системная профессиография. М.: ПЕР СЭ, 2003.-208 с.

17. Климов Е. А. Как выбирать профессию. М.: «Просвещение», 1990. 159 с.

18. Климов Е. А. Образ мира в разнотипных профессиях. М.: Изд-во МГУ, 1995.-224 с.

19. Климов Е. А. Психология профессионала. М.: Изд-во «Институт практической психологии»; Воронеж: НПО "МОДЭК", 1996. -400 с.

20. Корнилова Т. В. Психология риска и принятия решений: Учебное пособие для вузов. М.: Аспект Пресс, 2003. 286 с.

21. Кудрявцев Т. В. Психолого-педагогические проблемы высшей школы. // Вопросы психологии. 1981. 2. С. 20-30.

22. Маркова А. К. Психология профессионализма. М.: «Знание», 1996.-308 с.

23. Мерлин В. С. Очерк интегрального исследования индивидуальности. М.: Педагогика, 1986. 256 с.

24. Науменко A.C. Влияние профконсультации на субъективную классификацию профессий. Рукопись курсовой работы, 2002.

25. Ромек В. Г., Сатин Д. К. Сохранение надёжности многофакторных тестов при их использовании в сети Интернет. // Психологический журнал. 2000. 21 (2). С. 70-75

26. Спенсер-мл. Л. М., Спенсер С. М. Компетенции на работе. М.: HIPPO, 2005. 384 с.

27. Чекалина А. А. Тендерная психология: Учебное пособие. М: Ось-89, 2006. - 254 с.

28. Червинская К. Р., Щелкова О. Ю. Медицинская психодиагностика и инженерия знаний. СПб.: Ювента; М.: Издательский центр «Академия». 2002 624 с.

29. Шадриков В. Д. Проблема еиетемогенеза профессиональной деятельности. М.: Наука, 1982. 184 с.

30. Шмелев А. Г. Введение в экспериментальную психосемантику: теоретико-методологические основания и психодиагностические возможности. М: МГУ, 1983. 158с.

31. Шмелев А. Г. Основы психодиагностики. Ростов-на-Дону: Феникс, 1996. 544 с.

32. Шмелев А. Г. Песнь о Вещем Олеге и профессиональные предпочтения в области психодиагностики. // Вестник московского университета. Серия 14. Психология. 2004. 4. С. 13-23.

33. Шмелев А. Г. Психодиагностика личностных черт. Спб: Речь, 2002.-480 с.

34. Adams К. М., Shore D. L. The accuracy of an automated MMPI interpretation system in a psychiatric setting. // Journal of Clinical Psychology. 1986. 32. P. 80-82.

35. Anseel F., Lievens F. An examination of strategies for encouraging feedback interest after career assessment. // Journal of Career Development. 2007. 33 (3). P. 250-268.

36. Aron A., Aron E. N. Statistics for psychology (2nd ed.). Upper Saddle River, NJ: Prentice Hall, 1999.

37. Baillargeon J., Danis C. Barnum meets the computer: A critical test. // Journal of Personality Assessment. 1984. 48. P. 415-419.

38. Barak A., Friedkes R. The mediating effects of career indecision subtypes on career-counseling effectiveness. // Journal of Vocational Behavior. 1981. 20. P. 120-128.

39. Barrick M. R., Mount M. K. The Big Five personality dimensions and job performance: a meta-analysis. // Personnel Psychology. 1991. 44. P. 1-26.

40. Bass B. M., Cascio W. F., O'Connor E. J. Magnitude estimations of expressions of frequency and amount. // Journal of Applied Psychology. 1974. 59. P. 313-320.

41. Berdie R. F. Changes in self-ratings as a method of evaluating counseling. // Journal of Counseling Psychology. 1954. 1(1). P. 4954.

42. Bettman J. R., Johnson E. J., Payne J. W. A componential analysis of cognitive effort in choice. // Organizational Behavior and Human Decision Processes. 1990. 45. P. 111-139.

43. Beyth-Marom R. How probable is probable? A numerical translations of verbal probability expressions // Journal of Forecasting. 1982. 1. -P. 257-269.

44. Bornstein B. H., Zickafoose D. J. I know, I know it, I know I saw it: The stability of overconfidence across domains. // Journal of Experimental Psychology: Applied. 1999. 5. P. 1-13.

45. Bringmann W. G., Balance W. D., Giesbrecht C. A. The computer vs. the technologist: Comparison of psychological reports on normal and elevated MMPI profiles. Psychological Reports, 1972. 31. P. 211217.

46. Brown R. E. Acceptance of scholastic ability data and personal adjustment. // Vocational Guidance Quarterly. 1966. 14. P. 111-114.

47. Brun W., Teigen K. H. Verbal probabilities: Ambiguous, context-dependent, or both? // Organizational Behavior and Human Decisions Processes. 1988. 41. P. 390^104.

48. Budescu D. V., Wallsten T. S. Consistency in interpretation of probabilistic phrases // Organizational Behavior and Human Decisions Processes. 1985. 36. P. 391-405.

49. Butcher J. N., Perry J. N., Atlis M. M. Validity and utility of computer-based test interpretation. // Psychological Assessment. 2000. 12 (l).-P. 6-18.

50. Chaiken S.,Trope Y. (Eds.) Dual-process theories in social psychology. New York: Guilford. 1999.

51. Chase L. L. An evaluation of MMPI interpretation systems (Doctoral dissertation, University of Minnesota, 1974). // Dissertation Abstracts International. 1974. 35. 3009.

52. Choca J., Morris J. Administering the Category Test by computer: Equivalence of results. // The Clinical Neurologist. 1992. 6. P. 9-15.

53. Claiborn C. D., Hanson W. E. Test interpretation: A social influence perspective. // In J. W. Lichtenberg J. W., Goodyear R. K. (Eds.) Scientist-practitioner perspectives on test interpretation. Boston, MA: Allyn & Bacon. 1999. P. 151-166.

54. Crumpton C. A. An evaluation and comparison of three automated MMPI interpretive reports (Doctoral dissertation, University of Texas, 1975). Dissertation Abstracts International. 1975. 35. 6090.

55. Davidshofer C. O., Thomas M.E., Preble M.G. Career development groups: a program description. // Journal of College Student Personnel. 1976. 17(5). P. 413-416.

56. Dawes R. M. The robust beauty of improper linear models in decision making. // American Psychologist. 1979. 34(7). P. 571-582.

57. Dawes R. M., Corrigan B. Linear models in decision making. // Psychological Bulletin. 1974. 81. P. 95-106.

58. Dawes R. M., Faust, D., Meehl P. E. Clinical versus actuarial judgment. // Science. 1989. 243. 1668-1674.

59. Dickson D. H., Kelly I. W. The "Barnum Effect" in personality assessment: A review of the literature. // Psychological Reports. 1985. 57. P. 367-382.

60. Dies R. R. Personal gullibility or pseudodiagnosis? A further test of the "fallacy of personal validation". // Journal of Clinical Psychology. 1972. 28.-P. 47-50.

61. Dressel P. L., Matteson R.W. The effect of client participation in test interpretation. // Educational and Psychological Measurement. 1950. 10. P. 693-706.

62. Dreyfus H. L. Intuitive, deliberative and calculative models of expert performance. // In Zsambok C. E., Klein G. (Eds.) Naturalistic Decision Making. Lawrence Erlbaum Associates. 1997. P. 17-28.

63. Eddy D. M. Probabilistic reasoning in clinical medicine: Problems and opportunities. // In Kahneman D., Slovic P., Tversky A. (Eds.) Judgment Under Uncertainty: Heuristics and Biases. Cambridge. 1982.

64. Edwards W. Conservatism in human information processing. // In Kleinmuntz (ed.) Formal Representation of Human Judgment. New York: John Wiley. 1968. P. 17-52.

65. Edwards W. Decision making. In G. Salvendy (Ed) Handbook of Human Factors. New York: Wiley. 1987.

66. Eichman W. J. Computerized scoring and interpreting services. // In Buros O.K. (Ed.), Seventh mental measurements yearbook (Vol. 1). Highland Park, NJ: Gryphon Press. 1972.

67. Einhorn H. J., Hogarth R. M. Behavioural decision theory: Processes of judgement and choice. Annual Review of Psychology. 1981. 32. -P. 53-88.

68. Einhorn H. J., Hogarth R. M. Prediction, diagnosis, and causal thinking in forecasting. Journal of Forecasting. 1982. 1. P. 23-36.

69. Epstein J. The utility of computer versus clinician-authored assessments in aiding the prediction of symptomatology (Doctoral dissertation, University of South Carolina, 1993). Dissertation Abstracts International. 1993. 53. 6546.

70. Epstein S., Pacini R., Denes-Raj V., Heier H. Individual differences in intuitive-experiential and analytical-rational thinking styles. // Journal of Personality and Social Psychology. 1996. 71. P. 390405.

71. Erev I., Cohen B. L. Verbal versus numerical probabilities: efficiency, biases, and the preference paradox. // Organizational Behavior and Human Decision Processes. 1990. 45. P. 1-18.

72. Eyde L. D., Kowal D. M., Fishburne F. J., Jr. The validity of computer-based test interpretations of the MMPI. // In T. Gutkin B., Wise S.L. (Eds.), The computer and the decision-making process (pp. 75-123). Hillsdale, NJ: Lawrence Erlbaum.1991.

73. Fichten C. S., Sunerton D. Popular horoscopes and the "Barnum Effect".//Journal of Psychology. 1983. 114.-P. 123-124.

74. Finger M. S., Ones D. S. Psychometric equivalence of the computer and booklet forms of the MMPI: A meta-analysis. // Psychological Assessment. 1999. 11. P. 58-66.

75. Finn S. E., Tonsager M. E. Therapeutic effects of providing MMPI-2 test feedback to college students awaiting therapy. // Psychological Assessment. 1992. 4. P. 278-287.

76. First M. B. Computer-assisted assessment of DSM—III—R diagnosis. // Psychiatric Annals. 1994. 24. P. 25-29.

77. Fischhoff B., MacGregor D. Subjective confidence in forecasts. // Journal of Forecasting. 1982. 1(2).-P. 155-172.

78. Fischhoff B., Slovic P., Lichtenstein S. Knowing with certainty: The appropriateness of extreme confidence. // Journal of Experimental Psychology: Human Perception and Performance. 1977. 3. P. 552564.

79. Foley B. J. The expression of certainty. // American Journal of Psychology. 1959. 72. P. 614-615.

80. Forer B. R. The fallacy of personal validation: a classroom demonstration of gullibility. // Journal of Abnormal and Social Psychology. 1949. 44. P. 118-123.

81. Forster J. R. Comparing feedback methods after testing. // Journal of Counseling Psychology. 1969. 16. P. 222-226.

82. Frei R. L., McDaniel M. A. Validity of customer service measures in personnel selection: A review of criterion and construct evidence. Human Performance. 1997. 11. P. 1-27.

83. French C. C., Beaumont J. G. A clinical study of the automated assessment of intelligence by the Mill Hill Vocabulary Test and the

84. Standard Progressive Matrices Test. 11 Journal of Clinical Psychology. 1990. 46.-P. 129-140

85. Froehlich C. P., Moser W. E. Do counselees remember test scores? // Journal of Counseling Psychology. 1954. l.-P. 149-152.

86. Furnham A. Personality and the acceptance of diagnostic feedback. // Personality and Individual Differences. 1989. 10 (11). P. 11211133.

87. Furnham A., Schofield S. Accepting personality test feedback: a review of the Barnum effect. // Current Psychological Review Results. 1987. 7. P. 162-178.

88. Furnham A., Varian C. Predicting and accepting personality feedback. // Personality and individual differences. 1988. 9. P. 735-748.

89. Godek J., Murray K. B. Willingness to pay for advice: The role of rational and experiential processing. // Organizational Behavior and Human Decision Processes. 2008 (in press).

90. Goldman L. The use of tests in counseling. New York: Appleton-Century-Crofts, 1973.

91. Goodyear R. K. Research on the effects of test interpretation. // The Counseling Psychologist. 1990. 18 (2). P. 240-257.

92. Green C. J. The diagnostic accuracy and utility of MMPI and MCMI computer interpretive reports. // Journal of Personality Assessment, 1982.46.-P. 359-365.

93. Guastello S. J., Rieke M. L. The Barnum effect and validity of computer-based test interpretations: The Human Resource

94. Development Report. // Psychological Assessment. 1990. 2. P. 186190.

95. Hammond K. R., Hamm R. M., Grassia J., Pearson T. Direct comparison of the efficacy of intuitive and analytical cognition in expert judgement. // IEEE Transactions on Systems, Man and Cybernetics. 1987. 17 (5). P. 753-767.

96. Hanson W. E., Claiborn C. D. Effects of test interpretation style and favorability in the counseling process. // Journal of Counseling and Development. 2006. Vol. 84. P. 349-357.

97. Hanson W. E., Claiborn C. D., Kerr B. Differential effects of two test interpretation styles in counseling: A field study. // Journal of Counseling Psychology. 1997. 44. P. 400-405.

98. Hanson, W. E., Creswell, J. W., Clark. V. L. P., Petska, K. S., Creswell, J. D. Mixed Methods Research Designs in Counseling Psychology. // Journal of Counseling Psychology. 2005. 52(2). P. 224-235.

99. Harrington A. The relative validity of computer-based interpretations of the MMPI-2 (Doctoral dissertation, University of Mississippi, 1999). Dissertation Abstracts International. 1999. 60. 6364.

100. Harris W. G., Niedner D., Feldman C., Fink A., Johnson J. N. An online interpretive Rorschach approach: Using Exner's comprehensive system. // Behavior Research Methods and Instrumentation. 1981. 13. -P. 588-591.

101. Hay N. M., Rohen T. M., Murray R. E. Three approaches to vocational counseling: A multifactor evaluation. // Journal of College Student Personnel. 1976. 17. P. 475-479.

102. Hedlund J. L., Morgan D.W., Master F. D. The Mayo Clinic automated MMPI program: Cross-validation with psychiatric patientsin an army hospital. // Journal of Clinical Psychology. 1972. 28. P. 505-510.

103. Heis R. Psychologische Diagnostic: Einfuhrung und Ueberblick. // Handbuch der Psychologie. Goettingen. 1966. Bd. 6. P. 7-16.

104. Henry R. A., Sniezek J.A. Situational factors affecting judgments of future performance. // Organizational Behavior and Human Decision Processes. 1993. 54 (1). P. 104-132.

105. Hile M. G., Adkins R. E. Do substance abuse and mental health clients prefer automated assessments? // Behavior Research Methods, Instruments, and Computers. 1997. 29. P. 146-150.

106. Hobbs N. Sources of gain in psychotherapy. // American Psychologist. 1962. 17. P. 741-747.

107. Holden R. R., Hickman D. Computerized versus standard administration of the Jenkins Activity Survey (Form T). // Journal of Human Stress. 1987. 13.-P. 175-179.

108. Holland J. Making vocational choices: A theory of vocational personalities and work environments (3rd ed.). 1997. Odessa, FL: Psychological Assessment Resources.

109. Jemelka R. P., Wiegand G. A., Walker E. A., Trupin E. W. Computerized offender assessment: Validation study. // Psychological Assessment. 1992,4.-P. 138-144.

110. Johnson E. J., Payne J. W., Bettman J. R. Information displays and preference reversals. // Organizational Behavior and Human Decision Processes. 1988. 42. P. 1-21.

111. Johnson E. M. Encoding of qualitative expressions of uncertainty (Technical paper № 250). Arlington, VA: U.S. Army Research Institute for the Behavioral and Social Sciences, 1973.

112. Jones A. S., Gelso C. J. Differential effects of style of interpretation: Another look. // Journal of Counseling Psychology. 1988. 35 (4). P. 363-369.

113. Kahneman D., Tversky A. On the psychology of prediction. // Psychological review. 1973. 80. P. 237-257.

114. Kiesler D.J. Some myths of psychotherapy research and the search for a paradigm. // Psychological Bulletin. 1966. 65. P. 110-136.

115. Kivlighan D.M., Hageseth J. A., Tipton R.M., McGovern T.V. Effects of matching treatment approaches and personality types in group vocational counseling. // Journal of Counseling Psychology. 1981. 28. -P. 315-320.

116. Kivlighan D. M., Shapiro R. M. Holland type as a predictor of benefit from self-help career counseling // Journal of Counseling Psychology. 1987. 34. P. 326-329.

117. Klein G. A. Sources of errors in naturalistic decision making tasks. Proceedings of the 37th Annual Human Factors and Ergonomics Society Meeting. 1996.

118. Klein G. A. Recognition primed decisions. // In W. B. Rouse (Ed) Advances in Man Machine Systems Research. Greenwich, CT : JAI Press.-1989. 5. P. 47-92.

119. Kleinmuntz B. Why we still use our heads instead of formulas: Toward an integrative approach. // Psychological Bulletin. 1990. 107 (3).-P. 296-310.

120. Krause P., Clark D. A. Representing uncertain knowledge: An artificial intelligence approach. Intellect. Oxford. 1993.

121. Labeck L. J., Johnson J. H., HarrisW. G. Validity of a computerized on-line MMPI interpretive system. // Journal of Clinical Psychology. 1983. 39.-P. 412-416.

122. Lachar D. Accuracy and generalizability of an automated MMPI Interpretation System. // Journal of Consulting & Clinical Psychology. 1974. 42(2). P. 267-273.

123. Lambert, M. E., Andrews, R. H., Rylee, K., Skinner, J. Equivalence of computerized and traditional MMPI administration with substance abusers. // Computers in Human Behavior. 1987. 3. P. 139-143.

124. Lambert M. J., Shapiro D. A., Bergin A. E. The effectiveness of psychotherapy. In Garfield S.L., Bergin A.E. (Eds.) Handbook of psychotherapy and behavior change (3rd ed.). New York: Wiley. 1986.-P. 157-212.

125. Layne C., Ally G. How and why people accept personality feedback // Journal of Personality Assessment. 1980. 44 (5). P. 541-546.

126. Lehto M. Decision making. // In Salvendy G. (ed.) Handbook of Human Factors and Ergonomics. 2nd Edition. New York: John Wiley & Sons, Inc. 1997.-P. 1201-1248.

127. Lichtenstein S., Newman J. R. Empirical scaling of common verbal phrases associated with numerical probabilities. // Psychonomic Science. 1967. 9. P. 563-564.

128. Maccoby E. E., Jacklin C. N. The psychology of sex differences. Oxford: Oxford Univ. Press, 1975. 271 p.

129. Matlin M.W., Gawron V.J. Individual differences in Pollyannaism. Journal of Personality Assessment. 1979. 43 (4). P. 411-412.

130. Matlin M.W., Stang D.J. The Pollyanna principle: selectivity in language, memory, and thought. Schenkman. 1978.

131. Mathy R. M., Kerr D. L., Haydin B. M. Methodological rigor and ethical considerations in Internet-mediated research. // Psychotherapy: Theory, Research, Practice, and Training. 2003. 40. P. 77-85.

132. McClelland D. C. Testing for competence rather than for intelligence. // American Psychologist. 1973. 28. P. 1-14.

133. McGuinness D. Sex differences in the organization of perception and cognition // Lloyd B., Archer J. L. (eds.) Exploring sex differences. L., etc., 1976.-P. 123—156.

134. Meehl P. E. Clinical versus statistical prediction: A theoretical analysis and a review of the evidence. Minneapolis, MN: University of Minnesota Press. 1954.

135. Meehl P.E. Wanted a good cookbook. // American Psychologist. 1956. 11. 262-272.Meili R. Podrecznik diagnostyki psychologicznej.1969. PWN, Warszawa.

136. Merrens M.R., Richards W.S. Acceptance of generalized versus "bona fide" personality interpretations. // Psychological Reports.1970. 27.-P. 690-694.

137. Merten T., Ruch W. A comparison of computerized and conventional administration of the German versions of the Eysenck Personality Questionnaire and the Carroll Rating Scale for depression. // Personality & Individual Differences. 1996. 20. P. 281-291.

138. Miller M. J., Cochran J. R. Evaluating the use of technology in reporting SCII results to students. // Measurement and Evaluation in Guidance. 1979. 12. P. 166-173.

139. Moreland K. L. Assessment of validity in computer-based test interpretations. // In T. Gutkin B., Wise S.L. (Eds.), The computer and the decision-making process (pp. 43-74). Hillsdale, NJ: Lawrence Erlbaum. 1991.

140. Moreland K. L. Computerized psychological assessment: What's available.// In J. N. Butcher (Ed.) Computerized psychological assessment: A practitioner's guide. New York: Basic Books. 1987. -P. 64—86.

141. Moreland K. L. Validation of computer-based test interpretations: Problems and prospects. // Journal of Consulting & Clinical Psychology. 1985. 53(6). P. 816-825.

142. Moreland K. L., Onstad J. A. Yes, our study could have been better: Reply to Cash, Mikulka, and Brown. // Journal of Consulting and Clinical Psychology. 1987. 57. P. 313-314.

143. Mosher D.L. Approval motive and acceptance of "Fake" personality test interpretations which differ in favourability. // Psychological Reports. 1965. 17. P. 395-402.

144. Mynatt C.R., Doherty M.E., Tweney R.D. Confirmation bias in a simulated research environment: an experimental study of scientific inference. // Quarterly Journal of Experimental Psychology. 1977. 29. P. 85-95.

145. Ness M. E. Ordinal positions and scale values of probability terms as estimated by three methods. // Measurement and Evaluation in Counseling and Development. 1995. 28. P. 152-161.

146. Oliver L.W. Evaluating career counseling outcome for three modes of test interpretation. // Measurement and Evaluation in Guidance. 1977. 10(3).-P. 153-160.

147. Ones D. S., Visweveran C., Schmidt F. L. Comprehensive metaanalysis of integrity test validities: findings and implications of personnel selection and theories of job performance. II Journal of Applied Psychology. 1993. 78. P. 679-703.

148. Orasanu J., Fischer U. Finding decisions in natural environments: The view from the cockpit. II In Zsambok C., Klein G. (Eds.). Naturalistic Decision Making. Hillsdale, NJ: Erlbaum. 1997. P. 343-357.

149. Orpen R. B., Jamotte A. The acceptance of generalized personal interpretations. II Journal of Social Psychology. 1975. 96. P. 147148.

150. Payne J. W., Bettman J. R., Johnson E. J. The adaptive decision maker. Cambridge University Press. 1993.

151. Pellegrino J. W., Hunt E. B., Abate R., Farr S. A computer-based test battery for the assessment of static and dynamic spatial reasoning abilities. II Behavior Research Methods, Instruments, & Computers. 1987. 19.-P. 231-236

152. Penrose M. J. Does order make a difference in resumes? II Journal of Business Communication. 1973. 10. P. 15.

153. Peterson C. R., Beach L. R. Man as an intuitive statistician. // Psychological Bulletin. 1967. 68. 1. P. 29-46.

154. Pinsoneault T. B. Equivalency of computer-assisted and paper-and-pencil administered versions of the Minnesota Multiphasic Personality Inventory—2. II Computers in Human Behavior. 1996. 12.-P. 291-300.

155. Pious S. The psychology of judgement and decision making. Mcgraw-Hill. 1993.

156. Prince R. J., Guastello S. J. The Barnum effect in a computerized Rorschach interpretation system. // Journal of Psychology: Interdisciplinary and Applied. 1990. 124. P. 217-222.

157. Randahl G. J., Hansen J. C., Haverkamp B. E. Instrumental behaviors following test administration and interpretation: Exploration validity of the Strong Interest Inventory // Journal of Counseling & Development. 1993. 71. P. 435-439.

158. Reardon R., Loughead T. A comparison of paper pencil and computer versions of the Self-Directed Search. // Journal of Counseling and Development. 1988. 67. - P. 249-252.

159. Roback H. B. Inexact personality interpretations and behavior change. // The Ontario Psychologist. 1972. 4. P. 92-99.

160. Rogers L. B. A comparison of two kinds of test interpretation interview // Journal of Counseling Psychology. 1954. 1(4). P. 224231.

161. Ross H. E., Swinson R., Larkin E. J., Doumani S. Diagnosing comorbidity in substance abusers: Computer assessment and clinical validation. // The Journal of Nervous and Mental Disease. 1994. 182. -P. 556-563.

162. Rozin P., Royzman E. B. Negativity bias, negativity dominance, and contagion. // Personality and Social Psychology Review. 2001. 5(4). -P. 296-320.

163. Rubinstein M.R. Integrative interpretation of vocational interest inventory results // Journal of Counseling Psychology. 1978. 25(4). -P. 306-309.

164. Ruzzene M., Noller P. Feedback motivation and reactions to personality interpretations that differ in favourability and accuracy //

165. Journal of Personality and Social Psychology. 1986. 51. P. 12931299.

166. Salgado J. F. Big Five personality dimensions and job performance in army and civil occupations: a European perspective. // Human Performance. 1998. 11. P. 271-288.

167. Sampson J. P. Jr. Computer-assisted testing in counseling and therapy. ERIC digest. // ERIC Clearinghouse on Counseling and Student Services Greensboro NC. 1995.

168. Schmidt F. L., Hunter J. E. The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. // Psychological Bulletin. 1998. 124. P. 262-274.

169. Schul, Y., Mayo, R. Searching for certainty in an uncertain world: The difficulty of giving up the experiential for the rational mode of thinking. // Journal of Behavioral Decision Making. 2003. 16. P. 93-106.

170. Schuldberg D. The MMPI is less sensitive to the automated testing format than it is to repeated testing: Item and scale effects. // Computers in Human Behaviors. 1988. 4. P. 285-298.

171. Schustack M. W., Sternberg R. J. Evaluation of evidence in causal inference. // Journal of Experimental Psychology: General. 1981. 110. -P. 101-120.

172. Serfaty D„ MacMillan J., Entin E. E., Entin E. B. The decisionmaking expertise of battle commanders. // Zsambok C. E., Klein G. (Eds.) Naturalistic Decision Making. Lawrence Erlbaum Associates. 1997.

173. Shanteau J. Competence in experts: the role of task characteristics. // Organizational Behavior and Human Decision Processes. 1992. 53(2). P. 252-266.

174. Sharf R. S. Interest inventory interpretation: Implications for research and practice. // Measurement and Evaluation in Guidance. 1974. 7. -P. 16-23.

175. Siegel A. W., Schadler M. The development of young childrens spatial representation of their classrooms // Child Devel. 1977. 48. 3. P. 388—394.

176. Simpson R.H. Stability in meanings for quantitative terms: A comparison over 20 years. // The Quarterly Journal of Speech. 1963. 49.-P. 146-151.

177. Simsek Z., Viega J. F. A primer on Internet organizational surveys. // Organizational Research Methods. 2001. 4. P. 218-235.

178. Smith E. R., DeCoster J. Dual process models in social and cognitive psychology: Conceptual integration and links to underlying memory systems. // Personality and Social Psychology Review. 2000. 4. P. 108-131.

179. Smith S. R., Wiggins C. M., Gorske T. T. A survey of psychological assessment feedback practices. // Assessment. 2007. 14 (3). P. 310319.

180. Snyder C. R., Shenkel R. J., Lowery C. R. Acceptance of personality interpretations: the 'Barnum Effect' and beyond. // Journal of Consulting and Clinical Psychology. 1977. 45. P. 104-1 14.

181. Snyder C. R., Clair M. S. Does insecurity breed acceptance? Effects of trait and situational insecurity on acceptance of positive and negative diagnostic feedback. // Journal of Consulting and Clinical Psychology. 1977. 45. P. 843-850.

182. Snyder C. R., Larson G. R. A further look at student acceptance of general personality interpretations. // Journal of Consulting and Clinical Psychology. 1972. 38. P. 384-388.

183. Snyder С. R., Newburg С. L. The Barnum effect in a group setting. // Journal of Personality Assessment. 1981. 45. P. 622-629.

184. Stone E. R., Yates J. F., Parker A. M. Effects of numerical and graphical displays on professed risk-taking behavior. //Journal of Experimental Psychology: Applied. 1997. 3. P. 243-256.

185. Strack F., Deutsch R. Reflective and impulsive determinants of social behavior. // Personality and Social Psychology Review. 2004. 8(3). -P. 220-247.

186. Sukigara M. Equivalence between computer and booklet administrations of the new Japanese version of the MMPI. // Educational & Psychological Measurement. 1996. 56. P. 570-584.

187. Sundberg N. D. The acceptance of 'fake' versus 'bona fide' personality test interpretations. // Journal of Abnormal and Social Psychology. 1955. 50. P. 145-147.

188. Swanson R.A. A study of factors related to distortion of interest inventory information interpreted to individuals and groups. // Dissertation Abstracts. 1964. 304.

189. Tett R. P., Jackson D. N., Rothstein M. Personality measures as predictors of job performance: a meta-analytic review. // Personnel Psychology. 1991. 44. P. 703-742.

190. Timar Balas D., Balas V. E. Decision-making in human resources selection methodology. // Soft Computing Applications, SOFA. 2nd International Workshop. 21-23 Aug. 2007. P. 123-127.

191. Tinsley H. E. A., Chu S. Research on test and interest inventory interpretation outcomes // In Savickas M. L., Spokane R.A. (Eds.), Vocational interests: Meaning, measurement, and counseling use. Palo Alto, С A: Davies-Black. 1999. P. 257-276'

192. Tipton R. M. Relative effectiveness of two methods of interpreting ability test scores // Journal of Counseling Psychology. 1969. 16(1). -P. 75-80.

193. Tversky A., Kahneman D. Judgment under uncertainty: Heuristics and biases.//Science. 1974. 185.-P. 1124-1131.

194. VanVoorhis C. W., Morgan B. L. Statistical rules of thumb: What we don't want to forget about sample sizes. // University of Wisconsin-La Crosse (http://www.psichi.org/pubs/articles/article 182.asp)

195. Varey C., Mellers B. A., Birnbaum M. H. Judgments of proportions. // Journal of Experimental Psychology: Human Perception and Performance. 1990. 16. P. 613-625.

196. Vasta R., Regan K. G., Kerieg J. Sex differences in pattern coping: Spatial cues or motor skills? // Child Devel. 1980. 51. 4. P. 932— 934.

197. Wallsten T. S., Budescu D. V., Zwick R. Comparing the calibration and coherence of numerical and verbal probability judgments, Management Science. 39. 1993. P. 176-190.

198. Wallsten T. S., Budescu D. V., Zwick R., Kemp S. M. Preferences and reasons for communicating probabilistic information in verbal or numerical terms. // Bulletin of the Psychonomic Society. 1993. 31 (2). -P. 135-138.

199. Wallsten T. S., Fillenbaum S., Cox J. A. Base rate effects on the interpretation of probability and frequency expressions. // Journal of Memory and Language. 1986. 25. P. 571-587.

200. Wason P., Johnson-Laird P. Psychology of reasoning: structure and content. Harvard University Press, Cambridge, MA. 1972.

201. Watson, C. G., Juba, M., Anderson, P. E. & Manifold, V. What does the Keane et al. PTSD scale for the MMPI measure? // Journal of Clinical Psychology. 1990. 46. P. 600-606.

202. Webb J. T„ Miller M. L., Fowler R. D. Jr. Validation of a computerized MMPI interpretation system. // Proceedings of the Annual Convention of the American Psychological Association; 1969. P. 523-524.

203. Webb J. T., Miller M. L., Fowler R. D. Jr. Extending professional time: A computerized MMPI interpretation service. // Journal of Clinical Psychology. 1970. 26. P. 210-214.

204. Westbrook F. D. A comparison of three methods of group vocational counseling. // Journal of Counseling Psychology. 1974. 21. P. 502506.

205. Wickens C. D., Stokes A., Barnett B., Hayman F. The effects of stress on pilot judgement in a MIDIS simulator. // In Svenson O., Maule A. J. (Eds.) Time Pressure and Stress in Human Judgement and Decision Making. New York: Plenum Press. 1993.

206. Wickens C. D., Hollands J. G. Engineering psychology and human performance (3rd ed.). Upper Saddle River, NJ: Prentice Hall, 2000.

207. Williams J. E., Weed N. C. Relative User Ratings of MMPI-2 Computer-Based Test Interpretations. // Assessment. 2004. 11(4). P. 316-329

208. Woods D. D., Cook R. I. Perspectives on Human Error: Hindsight Bias and Local Rationality. // In Durso F., Nickerson R., Schvanevelt J. (Eds.). Handbook of Applied Cognition. New York. 1999.

209. Woods D. D., Johannesen L. J., Cook R. I., Sarter N. B. Behind Human Error: Cognitive Systems, Computers, and Hindsight. Crew Systems Ergonomics Information Analysis Center. 1994.

210. Wright E. W. A comparison of individual and multiple counseling for test interpretation interviews. // Journal of Counseling Psychology. 1963. 10.-P. 126-135.

211. Yun G. W., Trumbo C. W. Comparative response to a survey executed by post, e-mail, and Web form. // Journal of ComputerMediated Communication. 6 (1). Available at http://icmc.indiana.edu/vol6/issuel/yun.html

212. Zakay D., Wooler S. Time pressure, training and decision effectiveness. // Ergonomics. 1984. 27 (3). P. 273-284.

213. Zsambok C. E., Klein G. (Eds.) Naturalistic Decision Making. Lawrence Erlbaum Associates. 1997.