Диагностическая процедура определения точности профессиональных оценок

Иноземцев, Дмитрий Вячеславович

Темы диссертаций по психологии » Общая психология, психология личности, история психологии

автореферат и диссертация по психологии 19.00.01 для написания научной статьи или работы на тему: Диагностическая процедура определения точности профессиональных оценок

Автореферат

Автор научной работы: Иноземцев, Дмитрий Вячеславович
Ученая степень: кандидата психологических наук
Место защиты: Челябинск
Год защиты: 2012
Специальность ВАК РФ: 19.00.01

Диссертация

Автореферат диссертации по теме "Диагностическая процедура определения точности профессиональных оценок"

005042594

На правах рукописи

Иноземцев Дмитрий Вячеславович

Диагностическая процедура определения точности профессиональных оценок (на примере оценки личностных качеств)

Специальность 19.00.01 - «Общая психология, психология личности, история

психологии»

Автореферат

диссертации на соискание ученой степени кандидата психологических наук

1 0 ¿0:2

Челябинск-2012

005042594

Работа выполнена в ФГБОУ ВПО «Южно-Уральский государственны, университет» (национальный исследовательский университет)

Научный руководитель - доктор психологических наук, профессор

Батурин Николай Алексеевич.

Официальные оппоненты:

Дементий Людмила Ивановна,

доктор психологических наук, профессор, ФГБОУ ВПО «Омский государственный университет им. Ф.М. Достоевского», декан факультета психологии;

Волочков Андрей Александрович,

доктор психологических наук, профессор, ФГБОУ ВПО «Пермский государственный педагогический университет», зав.кафедрой практической психологии.

Ведущая организация ■

ФГАОУ ВПО «Уральский федеральный университет имени первого Президента России Б.Н.Ельцина»

Защита состоится 25 мая 2012 года в 16:00 часов на заседании диссертационного совета ДМ 212.298.17 при ФГБОУ ВПО «Южно-Уральский государственный университет» (национальный исследовательский университет) (454080, г.Челябинск, пр. им. В.И. Ленина, 76, ауд. 363).

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «ЮУрГУ» (НИУ) (454080, г. Челябинск, пр. им. В.И. Ленина, 87, корпус Зд).

Автореферат разослан 25 апреля 2012 г.

Ученый секретарь

диссертационного совета / ' Ю.В. Всемирнова

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность. В современном обществе экспансия оценочных методов в экономике и управлении социальными процессами непрерывно нарастает (СЬеп, 2006, International Atlas of Evaluation, 2002, Циганков, 2008).

Под влиянием производственной необходимости в' различных сферах деятельности при вынесении оценок появляются внешние, общепризнанные критерии, например, МКБ-10 в медицине.

Внутри психологической науки также заметна экспансия методов использующих оценки или совокупность оценок: например, в работе ассессмент-центров, дая определения квалификации специалиста и отбор кандидатов на должность, для определения наиболее эффективных путей мотивирования, для разработки и выбора общей стратегии деятельности и т п Данные методы активно используют возможности человеческой психики отражать и обрабатывать информацию о сложных объектах, завершая этот процесс формированием оценок различных видов и родов.

Известно, что когнитивные способности человека ограничены, поэтому закономерно, что его оценки и решения существенно отличаются от рациональных, они не оптимальны и полны ошибок (Simon, 1957). При этом очевидно, что одного только факта признания таких искажений и ошибок недостаточно: необходимо изучение причин их возникновения (Батурин, 2011).

Исследование пределов, в которых эксперт способен выносить оценочные суадения, максимально приближенные к достоверным, а также отбор лучших из них для работы в сфере оценки невозможен без изучения условий и факторов влияющих на повышение точности оценивания. Несмотря на это данном этапе развития психологической науки еще не существует диагностических инструментов, способных оценить качество работы эксперта-оценщика.

В данном исследовании поставлена цель разработать научно-обоснованную и эффективную методику диагностики точности профессиональной оценки, соответствующей современным психометрическим стандартам и позволяющей оценить качество работы эксперта-оценщика.

Цель исследования: разработать диагностическую процедуру определения точности профессиональных оцепок.

Объект исследования: точность профессиональной оценки.

Предмет исследования: способ диагностики точности профессиональной оценки личностных качеств

Основная гипотеза исследования: существует возможность определения точности профессиональной оценки с помощью диагностической процедуры, соответствующей основным психометрическим требованиям.

Дополнительные гипотезы:

1. Для диагностики точности профессиональных оценок необходим! наличие внешнего оценочного основания, сформированного на ochobi интеграции данпых о предмете оценки, полученных различным способами.

2. Разработанная . диагностическая процедура позволяв дифференцировать испытуемых относительно «максимального» ил1 «минимального» результата.

3. Разработанная диагностическая процедура позволяет получат] устойчивые (надежные) результаты точности профессиональных оценок.

4. Проверку конструкгной валидности можно осуществлять путеи расчета коэффициентов корреляции между индексом точностг профессиональной оценки с интеллектуальными, личностными качествами i эмоциональным интеллектом.

В соответствии с целью, гипотезой, объектом и предметом исследованш были выдвинуты следующие задачи исследования:

1. Проанализировать особенности использования различных методо! диагностики для разработки процедуры определения точное« профессиональных оценок.

2. Описать концепт и операционализировать конструкт «точносп профессиональной оценки».

3. Разработать алгоритм создания диагностической процедур!, определения точности профессиональных оценок.

4. Создать диагностическую процедуру определения точности профессиональной оценки, состоящую из объекта оценки (поведенчеекго проявлений личностных качеств, представленных в форме видеозаписи) к «внешнего» оценочного основания (ноуровневое описание выраженности эти> же личностных качеств) с определенными заранее эталонными оценками личностных качеств.

5. Провести психометрическую проверку диагностической нроцедурь: определения точности профессиональной оценки с вычислением индексов трудности и дискриминативности, а также предметно-ориентированных норм и параметров надежности и валидности.

6. Апробировать разработанное методическое средство определении точности профессиональной оценки на выборке специалистов-менеджеров.

Теоретико-методологической базой исследования послужили:

- принципы детерминизма, системности и развития (A.B. Петровский, М.Г. Ярошевский);

- системный подход (Б.Г. Ананьев, Б.Ф. Ломов);

- принципы и подходы к разработке тестов (А. Анастази, А А Бодалев Н.А. Батурин, Л.Ф. Бурлачук, П. Клайн, A.II. Майоров, Н.Н. Мельникова В в' Столин, Д.В. Ушаков, А.Г. Шмелев);

- теория оценки и оценивания (Н. А. Батурин).

Методы и методики исследовании. Для решения поставленных задач использовались следующие методы: теоретический анализ методы психометрической проверки основных параметров надежности и валвдности диагностической процедуры определения профессиональных оценок.

Для обработки результатов исследования применялся методический аппарат современного статистического анализа, включая анализ основных математических статистик, метод согласования независимых экспертных оценок, структурно-матричный анализ матриц ингеркорреляций однофакторный дисперсионный анализ, множественный регрессионный анализ' проводимые с помощью пакетов Excell, статистической программы SPSS 17 0

Для проверки конструктной валидности диагностической процедуры на различных этапах ее создания использовались «Компактный интеллеюуалышй тест Санкт-Петербург - Челябинск» (КИТ СПЧ) (НА. Батурин, Н.А Кургапский), «Многофакторный личностный опросник Р. Кеттела» (16-PF) (Р. Кетгел), «Калифорнийский психологический опросник» (CPI) (Г Хау) «Методика диагностики оценочного стиля Evaluation Style - ES (версия 2.0)»' (H.А. Батурин, И.В. Выбойщик), Русскоязычная версия теста Дж Мэйера П Соловея и Д. Карузо MSCEIT v. 2.0 (The Mayer-Salovey-Catyzo Emotional Intellegence Test), адаптированного E.A. Сергиенко и И.И. Ветровой.

Основные этапы исследования.

Первый этап (2007-2009 гг.). Теоретический анализ литературы по проблемам точности профессиональных оценок и факторов, искажающих оценки. Анализ ключевых особенностей различных методов и технологий конструирования психодиагностических процедур. Построение концептуального аппарата исследования и разработка программы исследования.

Второй этап (2009-2010 гг.). Создание стамульнош материала (объекта оценки) и уровневого описания личностных качеств («внешнего» оценочного основания). Коррекция стимульного материала и уровневого описания личностных качеств с целью устранения эффектов, влияющих па точность профессиональной оценки, повышение содержательной валидности диагностической процедуры.

Третий этан (2010-2012 гг.) Проведение комплекса исследований по психометрической проверке диагностической процедуры определения точности профессиональной оценки: анализ пунктов с определением индексов трудности

и дискриминативности заданий, проверка основных видов надежности и оценка основных видов валвдности диагностической процедуры. Апробация диагностической процедуры определения точности профессиональной оценки на выборке специалистов управленческого сектора.

Эмпирическая база исследования.

Выборку эмпирического исследования на разных этапах исследования составили студенты Южно-Уральского государственного университета (125 человек), менеджеры среднего звена (150 человек), эксперты - менеджеры по персоналу, преподаватели и психологи, работающие по специальности от 5 лет (17 человек).

Надежность результатов исследования и достоверность сделанных на их основе выводов обеспечивалась:

1. Всесторонним теоретическим анализом проблемы исследования и, как следствие, непротиворечивостью теоретико-методологической базы исследования.

2. Соответствием структуры и содержания разработанной диагностической процедуры положениям теории оценки и оценивания, а также требованиям к разработке психологических методик.

3. Результатами психометрической проверки диагностической процедуры определения точности профессиональной оценки.

4. Использованием комплекса методов математико-статистической обработки эмпирических данных, адекватных цели и задачам исследования, а также применением пакета компьютерных программ статистического анализа, обеспечивающих надлежащую точность вычислений.

Научная новизна работы заключается в следующем:

1. На основании описанного концепта «точность профессионального оценивания» и технологии разработки психодиагностических методик создана диагностическая процедура определения точности оценивания личностных особенностей. При разработке данной процедуры учтены факторы, повышающие качество работы оценщиков и снижающие возможность возникновения ошибок.

2. В рамках решения проблемы обобщения частных показателей оценок, полученных различными способами предложено использовать интегральные показатели, инвариантные по отношению к допустимым преобразованиям используемых шкал.

3. Диагностическая процедура определения точности профессиональной оценки отвечает основным психометрическим требованиям, и может быть использована в качестве диагностического средства.

Теоретическая значимость исследования:

1. Результаты диссертационного исследования развивают направление исследований психологии оценки и оценивания: уточнен конструкт «точность профессиональной оценки», проведена работа по его операционализации

2. Обоснована возможность диагностики точности профессиональной оценки путем определения соответствия между оценками сформированным у оценщика с оценками объектом, принятым в качестве эталонных.

3. Получены оригинальные данные о личностных особенностях менеджеров, получивших высокие и низкие индексы точности профессиональных оценок.

4. Выделены психологические характеристики, влияющие на точность профессиональной оценки.

Практическая значимость:

1. Создана стандартизированная диагностическая процедура определения точности профессиональных оценок. Диагностическая процедура рекомендована для использования специалистам, осуществляющим различные практические задачи, требующие диагностики точности профессиональной оценки, например, экспертам-оценщикам, участвующим в работе ассесмент-центров.

2. Описанная в диссертационном исследовании технология разработки диагностической процедуры определения точности профессиональной оценки может быть использована практическими психологами и специалистами кадровых служб предприятий для разработки собственного инструментария диагностики точности оценивания других объектов оценки, отвечающего современным требованиям в области конструирования диагностических методик и запросам практики профессионального оценивания.

3. Материалы исследования рекомендованы для использования при проведении лекционных, семинарских и практических занятий для студентов ЮУрГУ в рамках курсов общей, дифференциальной психологии, психологии оценки и оценивания, а также по курсу психологической диагностики.

Положения, выносимые на защиту:

1. Существует специфический алгоритм создания полноценной и качественной диагностической процедуры определения точности профессиональных оценок.

2. Разработанная и апробированная диагностическая процедура является надежным, достоверным и репрезентативным средством для определения точности оценки личностных качеств.

3. При проверке конструктной валидности обнаружены значимые положительные взаимосвязи между индексом точности профессиональной оценки и некоторых шкал методики КИТ, СР1, Оценочный стиль, МБСЕИ; и отрицательные корреляции индекса точности профессиональной оценки с

некоторыми шкалами методики СР1.

4. Созданная диагностическая процедура определения точности профессиональных оценок личностных характеристик человека позволяет выделить личностные особенности оценщиков групп с высокими и низкими индексами точности профессионального оценивания.

Соответствие диссертации паспорту научной специальности.

Работа соответствует пункту 24 «Психогенетика и психология индивидуальных различий. Генетические предпосылки и онтогенез психологических способностей», пункту 27 «Устойчивость и ситуативная обусловленность поведения. Черты личности, их диагностика. Психометрика. Конструирование и апробация опросников личностных черт», паспорта специальности 19.00.01 «Общая психология, психология личности, история психологии».

Апробация и внедрение результатов исследования.

Основные положения и результаты исследования докладывались и обсуждались на V Всероссийском Съезде психологов (2012). Обсуждались на 3-й и 4-й научных конференциях аспирантов и докторантов ЮУрГ'У (2011, 2012).

Результаты исследования обсуждались на заседании кафедры психологической диагностики и консультирования Южно-Уральского государственного университета (2010, 2011) и заседаниях Лаборатории «Психологическая диагностика» Южно-Уральского государственного университета (2008, 2009, 2010,2011).

По теме диссертационного исследования опубликовано 8 работ.

Структура диссертации отражает общую логику исследования и состоит из введения, трех глав, заключения, библиографического списка и приложений. Основной текст диссертационпой работы изложен на 157 страницах, содержит 22 таблицы, 18 рисунков, 19 приложений. Библиографический список содержит 256 источников, из них 35 на английском языке.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснованы актуальность проблемы исследования, ее прикладная и теоретическая значимость. Определены цель, задачи, объект, предмет и гипотеза исследования, методы и методики исследования,' раскрываются научная новизна, теоретическая и практическая значимость работы, формулируются положения, выносимые па защиту.

В первой главе «Теоретические основы разработки диагностической

процедуры определения точности профессиональной оценки», содержащей

четыре параграфа, представлены концептуальные особенности различных

методов диагностики. Дается описание теории оценки и оценивания,

определяется исходный теоретический концепт «Точность профессиональной

оценки». Описываются принципы и технологии разработки диагностических методов.

В параграфе 1.1. «Основные методы диагностики и границы их применения» рассмотрены основные требования к диагностическим методикам, рассмотрена классификация методов диагностики и проанализированы ограничения конкретных методов и методик, применяемых в психологии.

Описываются ассесмент-центры и системы комплексной оценки - large-

scale assessment - включающие сразу несколько видов диагностических

процедур (Biggs, 1995; Gullickson, 1985; Guskey, 1994; Kennedy 2005- Linn. 2001). ' ^

Рассмотрены проблемы, возникающие при согласовании результатов диагностических методик, полученных с использованием качественного и количественного методов сбора данных. Дается обзор математических и статистических процедур, позволяющих повысить меру объективности субъективных оценок экспертов.

Дается вывод о применимости различных методов диагностики для определения точности профессиональной оцешеи.

В параграфе 1.2 «Основные компоненты структуры единичного оценочного акта» изложены основные положения теории оценки и оценивания Н.А. Батурина, определена специфика оценок различного вида, их классификация и структура системы оценочных явлений.

Структура единичного оценочного акта предполагает наличие предмета оценки, оценочного основания, а также процесс их сравнения между собой и выражения результата сравнения в какой-либо форме. При этом предмет оценки может быть отражен на разных уровнях и в разных формах: в форме сенсорного или сенсорно-перцептивного образа, в форме образа представления, в форме понятия или суждения, изменения поведения или эмоциональной реакции.

В параграфе 1.3. «Операционализацня теоретического концепта «точность профессиональной оценки» анализируется понятие «точность профессиональной оценки».

Дается определение понятия «профессиональная оценка», описание особенностей профессиональных оценок, анализируются их отличия от «житейских» оценок (H.A. Батурин, И.В. Выбойнщк). Выделены следующие особенности профессиональных оценок: наличие осознанной цели «оценить», опыт профессионального взаимодействия, использование дополнительных мегодолошческих средств при оценивании, существование внешнего эталонного оценочного основания.

Раскрывается понятие «точность профессиональной оценки» как качество профессиональной оценки, означающее строгое соответствие внешпему оценочному основанию.

В качестве критерия точности профессиональных оценок предложена мера соответствия оценок, вынесенных испытуемым в отношении объекта оценки, оценкам объекта, принятым как эталонные. Эта мера представляет конечную разность между значениями оценок испытуемых со значениями «эталонных» (интегральных) оценок. Под точными профессиональными оценками будут подразумеваться те оценки, у которых конечная разность равна нулю.

В параграфе 1.4. «Технологии разработки диагностических процедур» описана технология создания диагностических процедур, предназначенных для определения точности профессиональных оценок.

В основе диагностической процедуры лежат принципы, используемые в работе ассесмент-центров. Особенностью является использование в разработке процедур психометрической проверки, характерных для категории стандартизированных психодиагностических методик.

Описаны технологические этапы разработки психодиагностического инструментария, подходы к формированию шкал оценки и стимульного материала, а также этапы процесса психометрической проверки созданного стимульного материала.

В качестве интегральной характеристики предполагается использовать как можно больший набор видов данных: самооценки, групповые оценки, экспертные оценки, оценки по стандартизированному тесту Р. Кеттела.

Во второй главе «Организация и методы исследования» представлены программа эмпирического исследования, описание используемых методов и психодиагностических методик. С целью создания диагностической процедуры определения точности профессиональных оценок выполнены следующие условия: подобран комплекс исследовательских методик, направленных на изучение связей точности профессиональной оценки с когнитивными особенностями.

Описание программы исследования.

Разработка диагностической процедуры определения точности профессиональных оценок была разделена на два этапа:

Этап 1. Разработка диагностической процедуры определения точности профессиональной оценки:

Блок 1.1. Отбор 5 личностных качеств, подлежащих оцениванию. Разработка кратких описаний каждого из 5 личностных качеств. Разделение континуума степени выраженности каждого качества на пять уровней.

Блок 1.2. Подбор 4 деловых игр, при выполнении которых участники могут проявить личностные качества, отобранные ранее.

Блок 1.3. Выявление эталонных оценок личностных качеств людей, выполняющих деловые игры, с помощью сбора 4 типов оценок:

- экспертных оценок;

- тестовых оценок;

- взаимных оценок;

- внешних оценок.

Выявление интегрального показателя с помощью усреднения данных, полученных от 4 типов оценок.

Блок 1.4. Видеозапись лиц, участвующих в деловых играх.

Блок 1.5. Формирование банка видеофрагментов. Просмотр банка видеофрагментов экспертами и оценка степени проявления 5 личностных качеств у участников деловых игр. Отбор видеофрагментов с наиболее проявленными в поведении оцениваемыми личностными качествами.

Блок 1.6, Конструирование 2 параллельных форм видеоряда стимулыюго материала.

Этап 2. Психометрическая проверка разработанной диагностической процедуры определения точности профессиональных оценок:

Блок 2.1. Проведение первичного отбора пунктов на основе описательных статистик.

Блок 2.2. Определение надежности-согласованности шкал.

Блок 2.3. Вычисление величин дискриминативности и уровня трудности заданий.

Блок 2.4. Проверка ретестовой надежности шкал.

Блок 2.5. Проведение процедур определения валидности.

Блок 2.6. Апробация диагностической процедуры определения точности профессиональных оценок.

Методы исследования:

1. Методика диагностики оценочного стиля Evaluation Style - ES (версия 2.0) (П. Л. Батурин, И.В. Выбойщик). Методика «Evaluation Style»

предназначена для диагностики стилей оценивания, которые проявляются у большинства людей в разных жизненных ситуациях и не зависят от объекта оценки.

2. Компактный интеллектуальный тест (H.A. Батурин, H.A. Курганский). Методика создана на основе тестовых материалов УИТ СПЧ-М И.М. Дашковым, H.A. Курганским и Л.К. Федоровой (С.-Петербург). Стандартизация, включая шкалирование, осуществлена H.A. Батуриным (Челябинск) и Н.А Курганским (С.-Петербург). Методика имеет 4 параллельные формы (А, Б, В и Г), каждая из которых состоит из 6 субтестов, предназначенных для диагностики различных интеллектуальных функций.

3. Многофакторный личностный опросник Р. Кеттела 16-PF (Р. Кеттел). Опросник Кэттелла является одним из наиболее распространенных анкетных методов оценки индивидуально-психологических особенностей личности. Он предназначен для описания широкой сферы индивидуально-личностных отношений, направлен на выявление относительно независимых 16 факторов (первичных черт) личности.

4. Калифорнийский психологический опросник (CPI) (Г. Хау). Опросник был разработан для решения задач при оценке личности, он включает в себя 18 стандартизированных шкал, каждая шкала предназначена для оценки одной важной грани межличностной психологии.

5. Русскоязычная версия теста Дж. Мэйера, П. Соловея и Д. Карузо MSCEIT v. 2.0 (The Mayer-Salovey-Caryzo Emotional Intellegence Test), адаптированная E.A. Сергиенко, И.И. Ветровой. Методика измеряет 4 компонента эмоционального интеллекта «Восприятие, оценка и выражение эмоций», «Использование эмоций», «Понимание и анализ эмоций», «Сознательное управление эмоциями», также существует общий показатель эмоционального интеллекта.

В третьей главе «Эмпирические исследования психометрических свойств методической процедуры определения точности профессионального оценивания», состоящей из шести параграфов, описаны результаты процедуры разработки, психометрической проверки и эмпирической апробации диагностической процедуры определения точности профессиональной оценки.

В параграфе 3.1 описана теоретическая основа диагностической процедуры.

В качестве личностных качеств, подлежащих оценке, были выбраны 5 личностных качеств, соответствующих факторам методики Р. Кеттела.

Далее был осуществлен отбор факторов, которые в дальнейшем предполагалось использовать в качестве параметров оценивания. Для этого был проведен анализ конструктов, лежащих в основе шкал многофакторного личностного опросника Р. Кеттела 16-PF, и были составлены их подробные

описания. Затем была проведена процедура экспертной проверки данных описаний с целью устранения неточностей и несогласованности в описаниях, а главное доступных для понимания рядового испытуемого. Экспертам предлагалось выбрать и нроранжировать выбранные описания шкал по нескольким параметрам: «внутренне согласованные», «наименее всего выраженные в поведении», «наиболее всего выраженные в поведении» и «наиболее значимые в профессиональной деятельности».

После этой процедуры были отобраны 5 личностных качеств, в отношении которых у экспертов было единое мнение о выраженности и профессиональной значимости. В дальнейшем именно они составили перечень параметров, которые испытуемые должны были оценивать на видеофрагментах.

Далее было разработано описание уровней выраженности личностных качеств. Уровневое описание шкал оценки также прошло процедуру экспертного оценивания.

Параграф 3.2. посвящен описанию процесса создания стимулыюго материала для диагностической процедуры.

В качестве стимулыюго материала были выбраны личностные качества. В качестве ситуаций, в которых могли раскрыться выбранные личностные качества, были выбраны типичные для человеческой деятельности ситуации профессионального взаимодействия: интервью, работа в паре, работа в пятерке.

Для каждого типа ситуаций были разработаны задания, выполняя которые участники могли бы раскрыть свои личностные качества, заложенные в шкалах. Содержательная валидность заданий проверялась с помощью 8 экспертов, которые оценивали возможность наблюдать личностные характеристики в поведении, записанном па видеофрагментах.

Далее была проведена процедура записи видеофрагментов, в результате был создан банк 30 видеофрагментов.

На этапе записи видеофрагментов эксперты оценивали участников с помощью разработанных ранее параметров оценки.

Также каждый участник исследования прошел процедуру тестирования по многофакторному опросйику Р. Кеттела 16-РК Кроме того, в отношении участников исследования были собраны внешние оценки их близких и друзей, а также самооценки каждого участника по тем же самым параметрам, которые должны были впоследствии отслеживать испытуемые.

Такой комплексный подход к сбору данных о личностных характеристиках исследования позволил в дальнейшем вычислить интегральный показатель выраженности каждой личностной характеристики для каждого участника.

Для расчета интегрального показателя были использованы следующие виды оценок, собранные до видеозаписи: значения участников по'тесту,

внешние оценки, самооценки и оценки экспертов. Данные оценки были проверены на согласованность между собой, несогласованные оценки были исключены из общей выборки. В качестве точных оценок признавалась медиана между всеми видами собранных данных.

Видеозапись искажает некоторые проявления личностных характеристик, и человек может не расгрыть их во время видеозаписи. Поэтому после вычисления интегрального показателя видеофрагменты были показаны 9 экспертам, была повторно проведена процедура сбора экспертных оценок, был вычислен интегральный показатель оценок экспертов.

Далее были сравнены между собой интегральные оценки, полученные на этапе видеозаписи, и интегральные оценки, полученные после просмотра видеофрагментов. Для каждого участника видеозаписи по каждой ситуации количество совпадающих личностных характеристик варьировалось от 2 до 3. Данные оценки были приняты как эталонные.

В качестве меры точности профессиональной оценки была взята разница между эталонными значениями и оценками испытуемого при прохождении диагностической процедуры.

После данных процедур был подобран и апробирован стимульный материал методики:

Набор видеофрагментов с записью поведения 4 респондентов в трех различных ситуациях: индивидуальная работа (интервью), работа в паре (ролевая игра), работа в составе группы из шести человек (групповая дискуссия). Каждый фрагмент длительностью от 4 до 7 минут.

Пять шкал оценки с описанием 5 уровней выраженности личностных, характеристик: «Открытость - замкнутость», «Интеллект», «Эмоциональная стабильность - эмоциональная неустойчивость», «Доминантность -конформность», «Сознательность - безответственность».

Процедура проведения предполагает последовательный просмотр испытуемыми набора видеофрагментов и последующую оценку личностных характеристик респондента по двум (из пяти) шкалам оценки.

После окончания процедуры просмотра видеофрагментов, благодаря наличию интегральных («эталонных») оценок, существует возможность оценить степень их соответствия полученным оценкам и определить точность профессиональной оценки.

В параграфе 3.3. описываются процедуры отбора пунктов на основе первичных описательных статистик, и вычисление предметно-ориентированных норм.

Разброс значений ответов испытуемых при вычислении первичных описательных статистик составил от 2 до 5, что составляет 80 % шкалы, а для 60 % распределения ответов респондентов вся шкала от 1 до 5.

Среднее в распределении ответов исньпуемых находится от 3,05 до 3,48; стандартное отклонение от 0,6 до 0,94.

При составлении первичной формы теста были учтены традиционные психодиагностические требования (Л. Анастази, А.А Бодалев, Л.Ф. Бурлачук, ВЛЗ. Сталин, А.Г. Шмелев и др.) и проведены процедуры, повышающие объективность и диагностическую ценность методик.

Параграф 3.4. посвящен описанию этапов создания двух параллельных форм диагностической процедуры, алгоритмам вычисления -величин дискриминативности и определения надежности-согласованности шкал.

Поскольку на ранних этапах исследования было принято решение о создании двух параллельных форм диагностической процедуры, первым шагом в создании диагностической процедуры была проверка корреляционных связей, существующих между оценками личностных характеристик.

Были вычислены коэффициенты взаимной корреляции для оценок личностных характеристик разных людей для каждой ситуации. Для различных фрагментов корреляционные связи составляли от 0,334 до 0,567. На основании полученных корреляций видеофрагменты с сильными корреляциями были разнесены в две различные формы.

Однако также стояла задача обеспечить внутреннюю согласованность шкалы, поэтому параллельно проводились процедуры вычисления внутренней согласованности шкал диагностической процедуры.

В результате процесса конструирования диагностической процедуры удалось добиться коэффициентов корреляции для параметра надежности-согласовакности для первой формы - 0,788, для второй - 0,728, при коэффициенте корреляции между формами 0, 675.

На основе результатов проведения диагностической процедуры для определения пригодности каждого из пунктов методики был проведен анализ пунктов, предполагающий проверку на трудность и дискриминативность. Для первой формы величины индекса трудности варьируют от 0,280 до 0,627 а для второй формы - от 0,261 до 0,689. Полученные данные можно интерпретировать следующим образом: несмотря на то, что существует разброс в трудности заданий, основная выборка, на которой рекомендуется проводить методическую процедуру, - это испытуемые со средними по выраженности способностями оценки личностных качеств.

Показатели дискриминативности для пунктов обоих форм диагностической процедуры получены не ниже 0,3.

Далее были определены два наиболее важных параметра надежности теста: надежность как устойчивость измерений и надежность как точность измерений.

Для проверю! ретестовой надежности диагностической процедуры 30 испытуемых были повторно протестированы (интервал составил в каждом

конкретном случае от 5 до 6 месяцев). Коэффициент надежности составил 0,602.

При проверке надежности как точности измерений были использованы формулы Спирмена-Брауна и Кьюдера-Ричардсона. Полученные коэффициенты оказались значимыми (их значение в каждом конкретном случае оказалось больше 0,6), что свидетельствует о достаточной надежности теста.

В параграфе 3.5. были проведем процедуры определения валидности диагностической процедуры определения точности профессионального оценивания.

Обеспечение содержательной валидности проводилось на предыдущих этапах исследования: на этапе разработки теоретического конструкта определения точности профессиональной оценки и его операционализации, на этапе отбора шкал оценки, определения ситуаций для видеозаписи, отбора заданий для выполнения участникам видеозаписи, а также при экспертной проверке и согласовании оценок, полученных на этапе до видеозаписи и после.

Для проверки критериальной валидности использовался метод контрастных групп. В качестве валидизационного критерия выступили две группы: первую группу составили 30 менеджеров по персоналу, вторую группу составили 30 студентов 3 курса факультета психологии.

Оценка статистической значимости различий между специалистами и студентами проводилась с помощью и критерия Манна-Уитни. Получены значимые различия между группой специалистов и группой студентов (Л=34, р<0,05). Таким образом, группа специалистов оценивает личностные характеристики точнее, нежели группа студентов. Эти показатели критериальной валидности удовлетворяют психометрическим требованиям к разрабатываемым методикам.

Для проверки конструктной валидности исследовались корреляционные связи между шкалами диагностической процедуры определения точности профессиональной оценки и другими методиками (Компактный интеллектуальный тест, СИ, Оценочный стиль и М8СЕ1Т). Данные представлены на рисунке 1.

Шкала «Точность профессиональной оценки» значимо связана со шкалами теста КИТ «Осведомленность» (1=0,306), шкалами методики «Оценочный стиль» «Изменчивость» (г=0,541) и «Поляризация» (г=0,355), шкалами методики М8СЕ1Т «Понимание и анализ эмоций» (г=0,239) и «Восприятие, оценка и выражение эмоций» (г=0,445) и шкалами методики СР1 СИ («Хорошее впечатление) (г=0,631), Ру («Психологическая направленность») (1=0,572), 1е («Интеллектуальная эффективность») (г=0,414).

Шкала «Точность профессиональной оценки» имеет отрицательные корреляционные связи со шкалами методики СР1: Оо («Доминирование») (г=-0,683), Ас («Достижение через конформность») (1=-0,412).

Рис 1. Взаимосвязь шкалы «Точность» со шкалами методик «КИТ», Оценочный стиль», «МБСЕГГ»

Уровень значимости р<0,05

Таким образом, методическая процедура отвечает основным психометрическим требованиям в отношении разрабатываемых психодиагностических методик, и представляет набор видеофрагментов с записью поведения 4-х лиц в трех различных ситуациях: индивидуальная работа, работа в паре, работа в составе группы из шести человек, каждый фрагмент длительностью от 4 до 7 минут. Описание пяти уровней выраженности параметров оценки - 5 личностных характеристик: «Открытость - замкнутость», «Интеллект», «Эмоциональная стабильность - эмоциональная неустойчивость», «Доминантность - конформность», «Сознательность -безответственность». Определены точные («эталонные») оценки для каждой личностной характеристики по каждому видеофрагменту.

В параграфе 3.6. проведена апробация разработанной диагностической процедуры определения точности профессиональной оценки. Индекс точности профессиональных оценок менеджеров определен путем суммирования значений точности для каждой личностной характеристики в каждом видеофрагменте.

При помощи аппарата математической статистики было подсчитано среднее значение точности профессиональной оценки в выборке менеджеров (М=28) и стандартное отклонение значений (сг=4,47), это позволило выделить

зоны низких, средних и высоких индексов точности профессиональных оценок: низкие индексы [19; 23], средние значения [24; 33], высокие значения [34; 38].

Это позволяет нам выделить две группы испытуемых: тех испытуемых, чьи результаты попали в зону высоких значений, мы относим к группе оценщиков с низким индексом точности оценивания (38 человек); тех испытуемых, чьи результаты попали в зону низких значений, мы относим к группе оценщиков с высоким индексом точности оценивания (41 человек).

В дальнейшем с помощью и критерия Манна-Уитни было проведено исследование различий между группами.

Таблица 1

Значения II критерия Манна — Уитни между группами оценщиков с низким индексом точности профессиональной оцепки и высоким индексом

Названия шкал Значения U критерия Манна Уитни Уровень значимости

Осведомленность 327,5 0,018*

Скрытые фигуры 345,0 0,033*

Умозаключения 449,0 0,041*

Поляризация 301,0 0,006**

Изменчивость 152,5 0,001***

Понимание и анализ эмоций 427,0 0,005**

Восприятие, оценка, выражение эмоций 292,5 0,001***

условные обозначения: * - уровень значимости <0,05; ** - уровень значимости <0,01; *** - уровень значимости <0,001.

По результатам субтеста «Осведомленность» в группе оценщиков с высоким индексом точности оценивания получены более высокие значения, чем в группе оценщиков с низким индексом точности оценивания. Результаты различаются по и-критерию Мана-Уитни (11=327,5; р<0,05). Процессы памяти оценщиков с высоким индексом точности оценивания можно охарактеризовать как более эффективные, они лучше способны к сосредоточению, чем оценщики с низким индексом точности оценивания. Способность сосредоточиться, извлечь из памяти существенные характеристики объектов оценивания является одним из условий повышения точности оценивания.

Субтест «Скрытые фигуры» выявляет гибкость восприятия. По полученным результатам оценщики с высоким индексом точности оценивания более независимы от поля восприятия (и=345, р<0,05), нежели оценщики с низким индексом точности оценивания. Можно сделать вывод о том, что оценщики с высоким индексом точности оценивания более полно отражают существенные признаки предметов и явлений, успешнее вычленяют и

анализируют отдельные свойства объектов, чем эксперты-оценщики с низким индексом точности оценивания.

По результатам субтеста «Умозаключения» в группе экспертов-оценщиков с высоким индексом точности оценивания получены более высокие значения, чем в группе оценщиков с низким индексом точности оценивания. Результаты различаются по И-критерию Мана-Уитпи (и=449, р<0,05). Таким образом, у оценщиков с высоким индексом точности оценивания хорошо развиты дедуктивное мышление, способность оперировать упорядоченной информацией. Они умеют сосредоточиться и противостоять влияниям чужих мнений.

Показатель «Изменчивость» служит для определения степени гибкости и адагггабельности индивидуального стиля оценивания. В группе менеджеров с высоким индексом точности оценивания результаты значимо отличаются (и=301, р<0,001) от результатов, полученных в группе менеджеров с низким индексом точности оценивания.

Показатель «Поляризация» служит для определения степени гибкости и адаптабельности индивидуального стиля оценивания. В группе менеджеров с высоким индексом точности оценивания результаты значимо отличаются (и=152, р<0,001) от результатов, полученных в группе менеджеров с низким индексом точности оценивания.

Показатель «Понимание и анализ эмоций» определяет способность человека к маркировке эмоций и их вербализации. Понимание разницы между отличными по названию, но близкими по смыслу эмоциями. Способность интерпретировать значение смены эмоций, причинно-следственных связей. Способность понимать комплекс чувств: одновременной любви и ненависти или благоговейного страха, скомбинированного из страха и удивления. Способность распознавать неожиданное изменение эмоций. В группе менеджеров с высоким индексом точности оценивания результаты значимо отличаются (и=427, р<0,01) от результатов, полученных в группе менеджеров с низким индексом точности оценивания.

Также были выявлены значимые различия между группой менеджеров с высоким индексом точности оцепивания и группой менеджеров с низким индексом точности оценивания по показателю «Восприятие, оценка и выражение эмоций» (и=292,5, р<0,001). Показатель «Восприятие, оценка и выражение эмоций» определяет способность идентифицировать эмоцию в физических состояниях, ощущениях и мыслях. Способность идентифицировать эмощш других людей в картипах, художественных работах и т. д., через язык, звук, проявления и поведение. Способности точно выражать эмоции и потребности, связаиные с этим ощущением. Способность различать точные и неточные, подлинные или неподлинные выражения чувств.

Таким образом, оценщики с высоким индексом точности оценивания, отличаются от оценщиков с низким индексом точности оценивания по характеристикам интеллекта, оценочного стиля и эмоционального интеллекта.

Для изучения взаимосвязи индекса точности профессиональной оценки с такими переменными, как интеллект, оценочный стиль и эмоциональный интеллект, использовался множественный регрессионный анализ.

В качестве независимых переменных, вошедших в окончательную модель, вошли: (Константа), «Поляризация», «Изменчивость», «Восприятие, оценка и выражение эмоций», «Понимание и анализ эмоций», «Осведомленность». В качестве зависимой переменной был определен индекс точности профессиональных оценок.

Коэффициент множественной корреляции для окончательной модели статистически достоверен, поэтому модель множественной регрессии может быть содержательно интерпретирована. Коэффициент множественной детерминации достаточный, регрессионная модель объясняет более 54 % дисперсии зависимой переменной, и результаты предсказания могут быть приняты во внимание. Можно сделать предположение о том, что остальные 46% дисперсии могут быть объяснены эмоциональными факторами, не учтенными в исследовании, а также не учтенными в исследовании когнитивными факторами, например, когнитивными стилями.

В таблице 2 указаны те регрессионные коэффициенты, которые являются статистически значимыми и, следовательно, могут быть принятыми во внимание.

Однако следует заметить, что исключение 10 переменных на этапах регрессионного анализа снизило предсказательную ценность регрессионной модели на 4 %, со всеми независимыми переменными регрессионная модель объясняла 59 % дисперсии, к тому же значения коэффициентов признавались не значимыми.

Таблица 2

Коэффициенты независимых переменных, вошедших в _окончательную регрессионную модель _

Название шкал Стандартиз. коэффициенты (Ве1а) Т критерий Стьюдепта Уровень значимости

(Константа) -0,43122 -2,33 0,022

Осведомленность 0,190866 2,19 0,031

Поляризация 0,256656 3,08 0,002

Изменчивость 0,370395 4,05 0,001

Понимание и анализ эмоций 0,140291 1,68 0,096

Восприятие, оценка и выражение эмоций 0,309697 3,76 0,001

Путем вычисления оценок по уравнению регрессии, в соответствии с формулой, итоговое уравнение множественной регрессии для конструкта индекс «точности профессиональных оценок» можно представить в следующем виде:

«Точность профессиональной оценки» = -0,43 + 0 42 *

«Осведомленность» + 0,06 * «Поляризация» + 0,09 * «Изменчивость» + 0 03 *

«Понимание и анализ эмоций» + 0,07 * «Восприятие, оценка и выражение эмоций».

Таким образом, была проведена апробация разработанной диагностической процедуры. Выделены две группы оценщиков: с высокими значениями точности профессионального оценивания и с низкими значениями точности профессионального оценивания. Определены психологические „особенности каждой из групп оценщиков, а также составлено уравнение множественной регрессии, описывающее вклад различных психологических характеристик в формирование индекса точности профессиональной оценки.

В заключении подводятся итоги диссертационного исследования, определяются перспективные направления дальнейшего исследования и формулируются основные выводы исследования:

1. При разработке диагностических процедур необходимо соединение качественного и количественного подходов. Наряду с четким описанием предмета оценки, разработкой пошаговой схемы и бланков фиксации результатов проведения процедуры, необходима стандартизация разрабатываемого диагностического инструмента.

2. На основании теоретического анализа концепции оценки и оценивания описан концепт «точность профессиональной оценки». В качестве критерия точности профессиональных оценок предложена мера соответствия оценок, вынесенных испытуемым в отношении объекта оценки, оценкам объекта, принятым как эталонные.

3. Разработан алгоритм создания диагностической процедуры определения точности профессиональных оценок, который позволяет разрабатывать аналогичные диагностические процедуры для определения точности профессиональных оценок других объектов.

4. Стимульный материал диагностической процедуры определения точности профессиональных оценок представляет собой набор видеофрагментов с записью поведения 4 респондентов в трех различных ситуациях.

5. Сконструированная методическая процедура отвечает основным психометрическим требованиям в отношении разрабатываемых психодиагностических методик (надежности, копструктной и критериальной валидности).

6. Апробация разработанной диагностической процедуры определения точности профессиональной оценки на значимом уровне дифференцирует между собой группы оценщиков с разной точностью.

7. На точность профессиональной оценки личностных качеств влияют такие психологические характеристики испытуемых, как общая осведомленность, склонность к поляризации оценок, склонность постояшю менять оценки, способность понимать и анализировать эмоции и способность воспринимать, оценивать и выражать эмоции.

СПИСОК РАБОТ

Содержание диссертации отражено в следующих публикациях автора.

Статьи, опубликованные в рецензируемых научных журналах, определенных ВАК:

1. Иноземцев, Д.В. Разработка метода изучения точности профессиональной оценки / И.В. Выбойщик, Д.В. Иноземцев, Г.В. Карлышев, Ю.Л. Юсупова // Вестник ЮУрГУ. Серия «Психология». - 2010. - Выи. 8. -С. 58-63.

2. Иноземцев, Д.В. Разработка диагностической процедуры диагностики когнитивных свойств оценщиков / Д.В. Иноземцев // Вестник ЮУрГУ. Серия «Психология». -2010. -Вып. 15. - С. 101-106.

Другие научиые публикации автора

3. Иноземцев, Д.В. К вопросу о точности измерения / Д.В. Иноземцев // Научный поиск : материалы третьей научной конференции аспирантов и докторантов. Социально-гуманитарные науки. - Челябинск : Изд. цетр ЮУрГУ, 2011.-117-119 с.

4. Иыоземцев, Д.В. Факторы, влияющие на точность оценки / Д.В. Иноземцев // Научный поиск : материалы четвертой научной конференции аспирантов и докторантов. Социально-гуманитарные науки. - Челябинск : Изд. центр ЮУрГУ, 2012. - 153-155 с.

5. Иноземцев, Д.В. Факторы, влияющие на процесс психологического оценивания человека / Д.В. Иноземцев // Актуальные проблемы социально-гуманитарного знания : материалы четвертой международной научно-практической конференции. - Пенза - Витебск : Научно-издательский центр «Социосфера», - 2012. - Вып. 5 - С. 115-117.

6. Иноземцев, Д.В. Этапы создания диагностической процедуры определения точности профессиональной оценки / Д.В. Иноземцев // Сб. науч. ст. / гл. ред. А. И. Масалимов. - Бугульма : ФЭН-Наука, 2012 - Вып. 3. - 87-89 с.

7. Иноземцев, Д.В. Разработка и создание методики изучения точности профессиональной оценки / Д.В. Иноземцев // Тезисы V съезда Российского Психологического Общества, - 2012, Москва. - С. 356 -357.

8. Иноземцев, Д.В. Когнитивные факторы, влияющие на точность профессионального оценивания / Д.В. Иноземцев // Дулатовские чтения. Т. 2. Костанай, 2011. - С. 54-57.

Подписано к печати 24.04.2012 Формат 60x84 1/16. Объем 1,4уч.-изд.л. Заказ № 1003/ Тираж 100 экз. Отпечатано па ризографе в типографии ФГБОУ ВПО 454080, г. Челябинск, пр. Ленина, 69

Текст диссертации автор научной работы: кандидата психологических наук, Иноземцев, Дмитрий Вячеславович, Челябинск

61 12-19/423

ФГБОУ ВПО «Южно-Уральский государственный университет» (национальный исследовательский университет)

Иноземцев Дмитрий Вячеславович Диагностическая процедура определения точности профессиональных оценок (на примере оценки личностных качеств)

Специальность: 19.00.01 - общая психология, история психологи и

психология личности

На правах рукописи

Диссертация на соискание ученой степени кандидата психологических наук

Научный руководитель: доктор психологических наук, профессор Батурин Н.А.

Челябинск - 2012

Содержание

Введение......................................................................................................................4

Глава 1. Обзор исследований Теоретические аспекты изучения точности оценок........................................................................................................................14

1.1. Основные методы диагностики и границы их применения...........................14

1.2. Основные компоненты отражения в структуре единичного оценочного акта..............................................................................................................................39

1.3. Операционализация теоретического концепта точность профессиональной оценки.........................................................................................................................50

1.4. Описание технологии создания диагностической процедуры определения

точности оценки........................................................................................................57

Глава 2. Организация и методы исследования.................................................62

2.1. Цель, задачи, объект, предмет и гипотеза исследования...............................62

2.2. Методы и методики исследования ..................................................................63

2.3. Методы математической статистики...............................................................65

Глава 3. Эмпирические исследования психометрических свойств диагностической процедуры определения точности профессионального оценивания...............................................................................................................67

3.1. Определение теоретической основы диагностической процедуры точности профессиональной оценки и определение предмета оценки................................67

3.2. Создание стимульного материала....................................................................74

3.3. Определение предметно-ориентирвоанных норм и первичный отбор пунктов.......................................................................................................................81

3.4. Психометрическая проверка шкал и проверка надежности диагностической процедуры определения точности профессиональной оценки............................89

3.5. Психометрическая проверка валидности диагностической процедуры определения точности профессиональной оценки..............................................100

3.6. Эмпирическая проверка диагностической процедуры определения точности

профессиональной оценки.................................... ..................................................108

Общие выводы........................................... .............................................................131

Заключение.............................................................................................................133

Список литература........................................ ........................................................135

Приложения............................................................................................................150

Введение

Актуальность.

В современном обществе экспансия оценочных методов в экономике и управлении социальными процессами непрерывно нарастает [26, 88 ,109].

Под влиянием производственной необходимости в различных сферах деятельности при вынесении оценок появляются внешние, общепризнанные критерии, например, МКБ-10 в медицине.

Внутри психологической науки также заметна экспансия методов, использующих оценки или совокупность оценок: например, в работе ассессмент-центров, для определения квалификации специалиста и отбор кандидатов на должность, для определения наиболее эффективных путей мотивирования, для разработки и выбора общей стратегии деятельности и т. п. Данные методы активно используют возможности человеческой психики отражать и обрабатывать информацию о сложных объектах, завершая этот процесс формированием оценок различных видов и родов.

Известно, что когнитивные способности человека ограничены, поэтому закономерно, что его оценки и решения существенно отличаются от рациональных, они не оптимальны и полны ошибок [129]. При этом очевидно, что одного только факта признания таких искажений и ошибок недостаточно: необходимо изучение причин их возникновения [22].

Исследование пределов, в которых эксперт способен выносить оценочные суждения, максимально приближенные к достоверным, а также отбор лучших из них для работы в сфере оценки невозможен без изучения условий и факторов, влияющих на повышение точности оценивания. Несмотря на это, на данном этапе развития психологической науки еще не существует

диагностических инструментов, способных оценить качество работы эксперта-оценщика.

В исследовании представлена попытка - разработать научно-обоснованную и эффективную методику диагностики точности профессиональной оценки, соответствующей современным психометрическим стандартам и позволяющей оценить качество работы эксперта-оценщика.

Цель исследования: разработать диагностическую процедуру определения точности профессиональных оценок.

Объект исследования: точность профессиональной оценки.

Предмет исследования: способ диагностики точности профессиональной оценки личностных качеств

Дополнительные гипотезы:

1. Для диагностики точности профессиональных оценок необходимо наличие внешнего оценочного основания, сформированного на основе интеграции данных о предмете оценки, полученных различными способами.

2. Разработанная диагностическая процедура позволяет дифференцировать испытуемых относительно «максимального» или «минимального» результата.

3. Разработанная диагностическая процедура позволяет получать устойчивые (надежные) результаты точности профессиональных оценок.

4. Проверку конструктной валидности можно осуществлять путем расчета коэффициентов корреляции между индексом точности профессиональной оценки с интеллектуальными, личностными качествами и эмоциональным интеллектом.

В соответствии с целью, гипотезой, объектом и предметом исследования были выдвинуты следующие задачи исследования:

1. Проанализировать особенности использования различных методов диагностики, для разработки процедуры определения точности профессиональных оценок.

2. Описать концепт и операционализировать конструкт «точность профессиональной оценки».

3. Разработать алгоритм создания диагностической процедуры определения точности профессиональных оценок.

4. Создать диагностическую процедуру определения точности профессиональной оценки, состоящую из объекта оценки (поведенческих проявлений личностных качеств, представленных в форме видеозаписи) и «внешнего» оценочного основания (поуровневое описание выраженности этих же личностных качеств) с определенными заранее эталонными оценками личностных качеств.

5. Провести психометрическую проверку диагностической процедуры определения точности профессиональной оценки с вычислением индексов трудности и дискриминативности, а также предметно-ориентированных норм и параметров надежности и валидности.

6. Апробировать разработанное диагностическое средство определения точности профессиональной оценки на выборке специалистов-менеджеров.

Теоретико-методологической базой исследования послужили:

- принципы детерминизма, системности и развития (A.B. Петровский, М.Г. Ярошевский);

- системный подход (Б.Г. Ананьев, Б.Ф. Ломов);

- принципы и подходы к разработке тестов (А. Анастази, А.А. Бодалев, Н.А. Батурин, Л.Ф. Бурлачук, П. Клайн, А.Н. Майоров, Н.Н. Мельникова, В.В. Столин, Д.В. Ушаков, А.Г. Шмелев);

- теория оценки и оценивания (Н.А. Батурин).

Методы и методики исследования. Для решения поставленных задач использовались следующие методы: теоретический анализ, методы психометрической проверки основных параметров надежности и валидности диагностической процедуры определения профессиональных оценок.

Для обработки результатов исследования применялся методический аппарат современного статистического анализа, включая анализ основных математических статистик, метод согласования независимых экспертных оценок, структурно-матричный анализ матриц интеркорреляций, однофакторный дисперсионный анализ, множественный регрессионный анализ, проводимые с помощью пакетов Excell, статистической программы SPSS 17.0.

Для проверки конструктной валидности диагностической процедуры на различных этапах ее создания использовались «Компактный интеллектуальный тест Санкт-Петербург - Челябинск» (КИТ СПЧ) (Н.А. Батурин, Н.А. Курганский), «Многофакторный личностный опросник Р. Кеттела» (16-PF) (Р. Кеттел), «Калифорнийский психологический опросник» (CPI) (Г. Хау), «Методика диагностики оценочного стиля Evaluation Style - ES (версия 2.0)» (Н.А. Батурин, И.В. Выбойщик), Русскоязычная версия теста Дж. Мэйера, П. Соловея и Д. Карузо MSCEIT v. 2.0 (The Mayer-Salovey-Caryzo Emotional Intellegence Test), адаптированного E.A. Сергиенко и И.И. Ветровой.

Основные этапы исследования.

конструирования психодиагностических процедур. Построение концептуального аппарата исследования и разработка программы исследования.

Второй этап (2009-2010 гг.). Создание стимульного материала (объекта оценки) и уровневого описания личностных качеств («внешнего» оценочного основания). Коррекция стимульного материала и уровневого описания личностных качеств с целью устранения эффектов, влияющих на точность профессиональной оценки, повышение содержательной валидности диагностической процедуры.

Третий этап (2010-2012 гг.) Проведение комплекса исследований по психометрической проверке диагностической процедуры определения точности профессиональной оценки: анализ пунктов с определением индексов трудности и дискриминативности заданий, проверка основных видов надежности и оценка основных видов валидности диагностической процедуры. Апробация диагностической процедуры определения точности профессиональной оценки на выборке специалистов управленческого сектора.

Эмпирическая база исследования.

Надежность результатов исследования и достоверность сделанных на их основе выводов обеспечивалась:

Научная новизна работы заключается в следующем:

Теоретическая значимость исследования:

4. Выделены психологические характеристики, влияющие на точность профессиональной оценки.

Практическая значимость:

Положения, выносимые на защиту:

3. При проверке конструктной валидности обнаружены значимые положительные взаимосвязи между индексом точности профессиональной оценки и некоторых шкал методики КИТ, СР1, Оценочный стиль, М8СЕ1Т; и отрицательные корреляции индекса точности профессиональной оценки с некоторыми шкалами методики СР1.

4. Созданная диагностическая процедура определения точности профессиональных оценок личностных характеристик человека, позволяет выделить личностные особенности оценщиков групп с высокими и низкими индексами точности профессионального оценивания.

Соответствие диссертации паспорту научной специальности.

Апробация и внедрение результатов исследования.

Основные положения и результаты исследования докладывались и обсуждались на V Всероссийском Съезде психологов (2012). Обсуждались на

3-й и 4-й научных конференциях аспирантов и докторантов ЮУрГУ (2011, 2012).

По теме диссертационного исследования опубликовано 8 работ.

Структура диссертации отражает общую логику исследования и состоит из введения, трех глав, заключения, библиографического списка и приложений. Основной текст диссертационной работы изложен на 135 страницах, содержит 17 таблиц, 8 рисунков, 4 приложения. Библиографический список содержит 140 источников, из них 35 на английском языке.

Глава 1. Обзор исследований Теоретические аспекты изучения

точности оценок 1.1. Основные методы диагностики и границы их применения

Одной из самых актуальных проблем современной психодиагностики является разработка новых подходов в создании новых типов психодиагностического инс