автореферат и диссертация по психологии 19.00.03 для написания научной статьи или работы на тему: Психология извлечения экспертных знаний субъектов труда
- Автор научной работы
- Червинская, Ксения Ральфовна
- Ученая степень
- доктора психологических наук
- Место защиты
- Санкт-Петербург
- Год защиты
- 2010
- Специальность ВАК РФ
- 19.00.03
Автореферат диссертации по теме "Психология извлечения экспертных знаний субъектов труда"
САНКТ-ПЕТЕРБУРГСКИИ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
На правах рукописи
□034Э4283 Червинская Ксения Ральфовна
Психология извлечения экспертных знаний субъектов труда
Специальность 19.00.03 - психология труда, инженерная психология,
эргономика
Автореферат диссертации на соискание ученой степени доктора психологических наук
5 МАР 2010
Санкт-Петербург 2010
003494283
Работа выполнена на кафедре эргономики и инженерной психологии факультета психологии Санкт-Петербургского государственного университета
Официальные оппоненты:
доктор психологических наук профессор
Александр Георгиевич Шмелев
доктор психологических наук доктор медицинских наук профессор
Андрей Александрович Благинин
доктор психологических наук профессор
Александр Алексеевич Грачев
Ведущая организация Учреждение Российской Академии наук Институт
психологии Российской академии наук.
Защита состоится Ч.оЧ 2010 г. в {/С часов на заседании совета Д 212.232.02 по защите докторских и кандидатских диссертаций при Санкт-Петербургском государственном университете по адресу: факультет психологии, ауд.227, наб. Макарова, 6, Санкт-Петербург, 199034.
С диссертацией можно ознакомиться в научной библиотеке им. М.Горького Санкт-Петербургского государственного университета (Университетская наб. 7/9, Санкт-Петербург.)
Автореферат разослан_^ £ 1О 1.
дата
Ученый секретарь диссертационного совета
Е.С.Старченкова
ОБЩАЯ ХАРАКТЕРИСТИКА ИССЛЕДОВАНИЯ
Актуальность исследования и степень разработанности проблемы. Проблема извлечения экспертных знаний возникла в конце 1970-х годов в результате создания первых экспертных систем - интеллектуальных (компьютерных) программ, моделирующих в рамках определенной предметной области решение задач экспертами. Зародившись в русле теории искусственного интеллекта как технического направления но созданию интеллектуальных (компьютерных) систем, она вышла за рамки практических рекомендаций для программистов, остро поставив очевидные психологические проблемы: что такое экспертные знания, как их можно «извлечь» или эксплицировать, как построить работоспособную модель принятия решений специалистом предметной области для создания экспертной системы -интеллектуальной программы, решающей профессиональные задачи также, как это делает опытный профессионал.
Трудности проведения экспертизы и получения экспертных знаний для создания концептуальных моделей в различных предметных областях (медицина, химия и пр.) положили начало самостоятельному научному направлению - инженерии знаний (от англ. knovvledge engineering), предназначенному для изучения проблем извлечения и структурирования экспертных знаний, представления, формирования, обработки и приобретения знаний интеллектуальными системами [Feigenbaum, 1980; Boose, 1986; Поспелов, 1986; Гаврилова, Червинская, 1992; Adeli, 1994; Tuthill, 1994; Гаврилова, Хорошевский, 2001; Червинская, Щелкова, 2002]. Психологический аспект инженерии знаний касается исследования проблемы извлечения экспертных знаний, возникающей в процессе построения модели экспертных представлений и рассуждений путем взаимодействия двух субъектов труда: инженера по знаниям или когитолога (специалиста по извлечению знаний, от лат. cogitio - мыслить; греч. logos - слово, учение) и эксперта (специалиста предметной области).
Рассмотрение эволюционного развития работ в области искусственного интеллекта как направления по моделированию познавательных процессов человека показывает, что с начала 1980-х годов вплоть до настоящего времени центральной парадигмой проектирования экспертных систем является концепция «экспертных знаний» [Поспелов, 1989; Попов, 1987; Яшин, 1990; Ларичев, Моргоев, 1991; Хейес-Ротт, Уотермена, Ленат, 1987; Осуга, 1989; Gaines, 1993]. По мнению специалистов в области искусственного интеллекта, эффективность экспертных систем определяется не столько формальными схемами логического вывода, сколько знаниями экспертов предметной области, которые удалось «выявить» и «перенести» в компьютер.
Анализ исследовательских работ в области инженерии знаний как основы проектирования экспертных систем (область компьютерных наук) показывает, что, несмотря на успехи в разработке компьютерной аппаратуры, программного обеспечения, оптических носителей (дисков), электронных коммуникаций и прочих новейших технологий, центральной проблемой создания любой экспертной системы является процесс передачи знаний и опыта решения задач экспертом в компьютерную систему, называемый «приобретением знаний» [Boose, 1989; Hart, 1986; Осипов, 1997; Ford, Bradshaw, Adams-Webber, Agnew, 1997]. Для разрешения проблемы «приобретения знаний» компьютерной системой специалистами в области искусственного интеллекта разработаны методологии проектирования экспертных систем, учитывающие последовательное прохождение этапов приобретения знаний, в которой отдельно выделены этапы извлечения и концептуального анализа экспертных
знаний. Считается, что создание каждой конкретной системы вплоть до настоящего времени является скорее искусством, чем наукой и основано на «ad hoc» технологии, т.е. технологии, применительно к случаю [Гаврилова, Хорошевский, 2001].
Создание систем «приобретения знаний» или инструментальных сред автоматического проектирования баз знаний, разработка промышленной методологии и на ее основе технологии построения интеллектуальных систем являются основным полем деятельности специалистов в области «приобретения знаний». Сращивание идей искусственного интеллекта и современных технологий программирования способствует дальнейшему развитию и расширению современных исследований в области «приобретения знаний» [Хорошевский, 1994]. Очевидно, что психологическая составляющая в таких работах отсутствует.
Анализ работ, посвященных исследованию психологического аспекта инженерии знаний, показывает крайне слабую степень разработанности проблемы извлечения экспертных знаний. Извлечение знаний (от англ. knowledge elicitation) понимается довольно узко как процедура взаимодействия когитолога с экспертом, в результате которой становятся явными рассуждения специалистов при принятии решений и структура их представлений о предметной области. Извлечение экспертных знаний традиционно считается «узким местом» (от англ. bottleneck) в проектировании экспертных систем [Гаврилова, 1996; Ларичев, Моргоев, 1991; Gammack, Young, 1984; Leplat, 1986; Cooke, McDonald, 1987]. По количеству цитируемое™ в литературе по инженерии знаний это изречение стало классическим и довольно точно отражает состояние дел. Исследователи в большинстве своем указывают на трудности получения экспертизы, а преодоление указанных трудностей видят в создании методов извлечения экспертных знаний и в привлечении когнитивных моделей, разработанных в русле когнитивной психологии как экспериментальной науки, с целью проведения концептуального анализа знаний. В связи с этим создание теоретико-психологических оснований извлечения экспертных знаний субъектов труда (когитолога и эксперта) является актуальной в научном плане и востребованной в практике конструирования экспертных систем.
Изучение проблемы извлечения экспертных знаний субъектов труда также востребованно при решении задач проектирования когнитивных компьютерных систем, человеко-компьютерного взаимодействия, исследуемых в русле современной эргономики и инженерной психологии.
Анализ эволюционного развития работ в области инженерной психологии, теоретических подходов к человеку и технике, концепций автоматизации, как отечественных, так и зарубежных, позволяет особо выделить так называемый антропоцентрический подход, в котором техника (компьютер) принципиально интерпретируется как нечто вторичное в субъект-объектных отношениях, как элемент человеческой деятельности [Леонтьев, Ломов, 1963; Голиков, 2003]. Основным теоретическим фундаментом антропоцентрического подхода в ранних отечественных инженерно-психологических исследованиях являлась теория деятельности, предполагающая анализ структуры и динамики операторской деятельности и механизмов ее психической регуляции. Идея о том, что существенным моментом в проектировании систем «человек-техника» является выявление концептуальной модели в деятельности оператора, впервые предложена в отечественных работах [Ошанин, 1973; Завалова, Ломов, Пономаренко, 1971; Зинченко, Гордеева, Девишвили, 1975; Моросанова, 1975; Конопкин 1980].
С появлением такой области исследования как человеко-компыотериое взаимодействие зарубежные исследователи обнаружили ограниченность когнитивного подхода, что привело к смене парадигмы исследования путем активного заимствования идей культурно-исторической школы Л.С.Выготского, теории деятельности А.Н.Леонтьева и когнитивной антропологии М.Коула [Engestrom, Miettinen, 1999; Kuutti, 1996; Nardi 1996 и др.]. Методологическим приемом антропоцентрического подхода в области когнитивной эргономики становится когнитивный анализ деятельности как процесс создания концептуальной модели деятельности путем выявления и анализа знаний, которыми владеют субъекты труда в процессе взаимодействия с артефактами [Rasmussen, 1986; Rasmussen, Pejtersen, Goodstein, 1994; Vicente, 1999]. В рамках антропоцентрической парадигмы исследователи различают деятельность по проектированию когнитивных систем и деятельность по их использованию [Ришар, 1998; Рабардель, 1999; Darses, 2001]. В обоих случаях встает проблема извлечения знаний субъектов труда, в первом случае (проектирование) - извлечение знаний экспертов, а во втором (использование) -извлечение знаний пользователей.
В настоящее время отмечается слабая степень разработанности проблемы проведения когнитивного анализа деятельности в отечественных исследованиях. Анализ зарубежных исследований показывает, что данное направление представлено диапазоном методологий когнитивного анализа деятельности, когнитивными моделями, которые можно использовать в процессе решения практических задач, а также методами, позволяющими получать знания людей об их деятельности [Fidel, Pejtersen, 2004; Vicente, 1999; Naikar, Hopcroft, Moylan, 2005 и др.]. Исследователи отмечают недостаточную проработанность данной проблемы в теоретическом и прикладном аспектах, а также указывают на необходимость построения концептуальной базы прикладной когитологии, предполагающей систематизацию и использование разработанных в русле когнитивной психологии моделей для проектирования и оценки когнитивных технических (компьютерных) систем [Woods, E.M.Roth, 1988; Darses, 2001; Величковский, 2006].
Разработка экспертных психодиагностических систем, баз знаний оказалась востребованной в практике медицинской психологии. Под экспертными психодиагностическими системами (ЭПС) понимаются компьютерные методики, осуществляющие вербальную интерпретацию результатов тестирования испытуемых на основе баз психодиагностических знаний. В основе таких баз знаний лежат концептуальные модели интерпретации тестовых данных, построенные путем извлечения (эксплицирования) знаний специалистов - медицинских психологов, имеющих имплицитные знания интерпретационных схем методик и опыт их использования в процессе подготовки потребных психодиагностических заключений. Проведение экспериментальных работ по созданию моделей интерпретации тестовых данных приводит к эксплицированию и отчуждению знаний опытных специалистов, превращая такие «отчужденные знания» в интеллектуальный ресурс практических психологов. Очевидно, что тиражирование экспертного опыта по интерпретации тестовых данных открывает новые возможности повышения качества как обучения, так и практической работы медицинских психологов.
Реализация принципов инженерии знаний в области медицинской психодиагностики способствовала появлению психодиагностической технологии принципиально нового класса: конструированию экспертных психодиагностических
систем. В связи с этим актуальным является разработка методологических положений конструирования экспертных психодиагностических систем как эффективных и качественных инструментов работы практических психологов.
Таким образом, актуальность диссертационной работы обусловлена отсутствием теоретико-психологических оснований извлечения экспертных знаний субъектов труда, необходимостью построения концептуальной базы прикладной когитологии, необходимостью создания экспертных психодиагностических систем, востребованных в практике медицинской психодиагностики, и их обоснования как принципиально новой психодиагностической технологии конструирования качественного инструментария для практических психологов.
Цель исследования: теоретико-психологическое обоснование и апробация концепции извлечения экспертных знаний, включая разработку и эмпирическую верификацию моделей интерпретации тестовых данных и экспертных психодиагностических систем в области медицинской психодиагностики.
Объект исследования; индивидуальный опыт субъектов труда как экспертов по решению проблем предметной области.
Предмет исследования: психологические основания извлечения экспертных знаний субъектов труда (когитолога и эксперта) с целью построения модели экспертных представлений и рассуждений для создания экспертных систем.
Общая гипотеза исследования.
Проявление феноменов когнитивной деятельности эксперта влияет на эксплицирование экспертных знаний. Выявление структуры феноменов, затрудняющих эксплицирование знаний, позволяет наметить пути разрешения проблемы и сформулировать аспекты обоснования концепции извлечения экспертных знаний. Теоретико-психологические основания извлечения экспертных знаний способствуют созданию методологии построения моделей интерпретации тестовых данных в области медицинской психодиагностики, которая, в свою очередь, обусловливает разработку конкретных моделей интерпретации тестовых данных для формирования баз знаний экспертных психодиагностических систем.
Задачи исследования;
1. Осуществить сравнительный анализ теоретико-психологических и методологических оснований инженерии знаний и когнитивной эргономики; показать, что процесс извлечения экспертных знаний субъектов труда составляет основу когнитивного анализа деятельности специалиста (пользователя, эксперта) для проектирования когнитивных компьютерных систем: экспертных систем, систем поддержки принятия решений, систем «человеко-компыотерного взаимодействия».
2. Систематизировать феномены когнитивной деятельности эксперта, влияющие на эксплицирование экспертных знаний; построить системную модель «экспертное™»; проанализировать компоненты «экспертное™» на предмет выявления структуры феноменов эксплицирования, показывающих трудности извлечения экспертных знаний; наметить пути разрешения трудностей; определить теоретико-психологические основания концепции извлечения экспертных знаний.
3. Разработать коммуникативные модели взаимодействия субъектов труда, детерминирующие выбор адекватных методов извлечения экспертных знаний.
4. Обосновать концептуальные основы прикладной когитологии; разработать мета-язык взаимодействия субъектов труда в виде набора инструментов структурирования декларативного и процедурного типа.
5. Разработать процессуальную схему извлечения экспертных знаний субъектов труда путем установления соотношения феноменов эксплицирования, стадий, этапов и шагов.
6. Апробировать концепцию извлечения экспертных знаний в области медицинской психологии; разработать методологию создания моделей интерпретации тестовых данных путем конкретизации процессуальной схемы извлечения экспертных знаний субъектов труда; построить и описать конкретные модели интерпретации тестовых данных.
7. Верифицировать модели интерпретации тестовых данных в области медицинской психологии; сформулировать методологические положения конструирования экспертных психодиагностических систем.
Теоретико-методологической основой являлись:
• концепция «экспертных знаний», разработанная в работах по искусственному интеллекту и инженерии знаний (Д.А.Поспелов, В.Н.Пушкин, О.И.Ларичев, Э.В.Попов, А.М.Яшин, Т.А.Гаврилова, В.Ф.Хорошевский, А.Ныоэлл, Г.Саймон, Ф.Хейес-Ротт, Д.Уотермен, Д.Ленат, С.Осуга, E.Feigenbaum, J.H.Boose, B.R.Gaines, B.Buchanan и др.);
• концепция Л.С.Выготского, предполагающая, что высшая ментальная активность и деятельность человека порождаются культурно опосредованной исторически развивающейся практической деятельностью, и, в целом, опосредована знаками («психологическими инструментами») широкого класса семиотических форм (структуры естественного языка, схемы, карты, формулы, чертежи, символические образы и пр.);
• положение А.Н.Леонтьева предполагающее, что инструменты повседневной жизни, являясь социальными объектами с присущими им способами применения, выработанными в процессе коллективного труда, представляют собой средство капитализации накопленного опыта и одну из форм внешнего закрепления видового опыта;
• теория деятельности, разработанная в работах отечественных и зарубежных исследователей (А.Н.Леонтьев, Г.В.Суходольский, J.Rasmussen, B.Nardi, K.Kuutti, Y.Engeström, R.Fidel, K.J.Vicente);
• положения экспериментальной психологии познания, представленные в работах В.М.Аллахвердова, Дж.Андерсона, Дж.Брунера Б.М.Величковского, М.Минского, Р.Л.Солсо, Е.Ю.Артемьевой, А.Г.Шмелева, В.Ф.Петренко, Т.П.Зинченко, М.А.Холодной, Д.Нормана, Ж.Ф.Ришара, И.Хофмаиа и др.;
• системный подход к анализу сложных психических явлений, представленный в работах Б.Ф.Ломова, В.А.Ганзена;
• концепция «выявления концептуальной модели в деятельности оператора» (Д.А.Ошанин, Н.Д.Завалова, Б.Ф.Ломов, В.А.Пономаренко, Н.Д.Гордеева, В.М.Девишвили, В.П.Зинченко, В.И.Моросанова, О.А.Конопкин);
• концепции «артефактов», «когнитивных артефактов» и «артефактного опосредования», разработанные в работах М.Коула, М.Вартофского, E.Hutchins, Д.Нормана; S.J.Payne;
• концепция когнитивных инструментов как артефактов и схем их использования, представленная в работах П.Рабарделя;
Методы исследования, теоретические и экспериментальные, подбирались и разрабатывались в соответствии с задачами исследования. Основными
теоретическими методами исследования выступали анализ содержания научных текстов, структурно-функциональный анализ системы, моделирование. Для построения моделей интерпретации тестовых данных в области медицинской психодиагностики использовались такие методы извлечения знаний как: беседа, анализ протоколов «мыслей вслух», методологические правила для создания полуструктурированного интервью, структурированное интервью для построения дерева целей, сортировка карточек, текстологические методы (контент-анализ), работа с картинками, метод построения дерева решений, метод построения семантической сети.
Верификация моделей интерпретации тестовых данных осуществлялась путем установления валидности компьютерного психодиагностического заключения, которая, в свою очередь, устанавливалась путем проведения эмпирических исследований с привлечением экспертных оценок (врачей, участников тренинга) и проведением статистической обработки (корреляционный анализ, частотный анализ, достоверность различий по критерию /2 Пирсона).
Достоверность результатов исследования обеспечена логикой построения теоретико-методологических оснований работы на всех этапах ее осуществления, аргументирована путем описания тринадцати кейсов по извлечению экспертных знаний в области медицины и медицинской психодиагностики, верифицирована с привлечением эмпирических данных, сочетанием количественного и качественного анализа полученных данных, воспроизводимостью результатов исследования.
Материалом эмпирических исследований, проведенных для проверки эффективности разработанного психодиагностического инструментария, послужили данные 423 (48,7% мужчин и 51,3% женщин) больных психическими и психосоматическими расстройствами, а также 728 (44,7% мужчин и 55,3% женщин) здоровых респондентов. Общая выборка исследованных лиц составила 1151 человек.
Для установления валидности компьютерного психодиагностического заключения (для получения экспертной оценки) в исследовании приняли участие представители медицинской профессии в количестве 72-х человек (врачи СПбПНИ им.В.М.Бехтерева, ГПБ №7 им. академика И.П.Павлова, 4-го отделения ВМедА и ГИБ № 30 им. С.П. Боткина) и 350 студентов высших учебных заведений Санкт-Петербурга.
В процессе создания моделей интерпретации тестовых данных в области медицины и медицинской психодиагностики приняли участие 15 опытных специалистов - экспертов, из них 3 доктора медицинских наук, 4 кандидата медицинских наук и 8 кандидатов психологических наук.
Научная новизна и теоретическая значимость результатов исследования.
1. Проведено теоретико-психологическое исследование проблемы извлечения экспертных знаний как процесса взаимодействия субъектов труда с целью построения модели экспертных представлений и рассуждений. Обосновано, что извлечение экспертных знаний составляет основу когнитивного анализа деятельности специалиста (пользователя, эксперта) для проектирования когнитивных технических (компьютерных) систем: экспертных систем, систем поддержки принятия решений, систем «человеко-компыотерного взаимодействия».
2. Систематизированы феномены когнитивной деятельности экспертов, оказывающие существенное влияние на процесс эксплицирования экспертных знаний. Построена системная модель «экспертное™». Выявлена структура феноменов
эксплицирования, показывающих трудности извлечения экспертных знаний. Намечены пути разрешения трудностей. Определены аспекты рассмотрения концепции извлечения экспертных знаний.
3. Разработаны коммуникативные модели взаимодействия субъектов труда, характеризующиеся специфическим наполнением типовой структуры. Показано, что извлечение экспертных знаний детерминировано выбором структуры взаимодействия, включающей необходимость использования соответствующих методов извлечения экспертных знаний.
4. Обоснованы концептуальные основы прикладной когитологии. Определены когнитивные артефакты и инструменты структурирования как набор формализмов, полученных в результате использования когнитивных артефактов в процессе концептуального анализа знаний. Разработан мета-язык взаимодействия когитолога и эксперта как конкретный набор инструментов структурирования декларативного и процедурного типа.
5. Представлена и обоснована феноменами эксплицирования экспертных знаний процессуальная схема извлечения экспертных знаний, представляющая собой алгоритм прохождения стадий, этапов и шагов в процессе извлечения экспертных знаний.
6. На основе процессуальной схемы извлечения экспертных знаний разработана методология построения моделей интерпретации тестовых данных в области медицинской психодиагностики. Сформулированы стратегии построения моделей интерпретаций тестовых данных. Разработаны конкретные модели интерпретации тестовых данных.
7. Сформулированы методологические положения конструирования экспертных психодиагностических систем.
Результаты диссертационного исследования имеют практическую значимость.
1. Разработанные коммуникативные модели, инструменты структурирования, процессуальная схема извлечения экспертных знаний субъектов труда дают возможность проводить практические работы по проектированию когнитивных компьютерных систем (экспертных систем, систем поддержки принятия решений, систем «человеко-компыотерного взаимодействия»).
2. Разработанные модели интерпретации тестовых данных в области медицинской психодиагностики являются основой для создания баз знаний конкретных экспертных психодиагностических систем.
3. Разработанные и представленные в диссертации экспертные психодиагностические системы, являясь информативными и валидными инструментами психологической диагностики, используются в практике медицинской психологии.
4. Результаты диссертации отражены в содержании учебных курсов «Психологические основы инженерии знаний» и «Компьютерная психодиагностика», читаемых в Санкт-Петербургском государственном университете, других психологических ВУЗах г.Санкт-Петербурга.
5. Результаты исследования использованы в учебных пособиях «Психологические основы инженерии знаний» (2009) и «Компьютерная психодиагностика» (2003).
На защиту выносятся следующие положения
1. Проектирование когнитивных компьютерных систем (экспертных систем, систем поддержки принятия решений, систем «человеко-компьютерного
взаимодействия») включает в себя процесс извлечения экспертных знаний, в рамках которого осуществляется взаимодействие субъектов труда с целью построения модели экспертных представлений и рассуждений.
2. Феномены экспертной категоризации и процедурализации, проявление дискурсивных и личностных особенностей специалистов (когитолога и эксперта), эффекты чрезмерной уверенности, привязки, проекции, эвристика доступности являются барьерами и существенно затрудняют процесс эксплицирования экспертных знаний. Анализ этих феноменов позволяет наметить пути разрешения проблемы в виде аспектов рассмотрения процесса извлечения экспертных знаний: коммуникативного, операционально-инструментального и процессуального. Теоретико-психологическими основаниями извлечения экспертных знаний являются разработанные коммуникативные модели, мета-язык и процессуальная схема взаимодействия субъектов труда.
3. Коммуникативные модели взаимодействия субъектов труда характеризуются специфическим наполнением типовой структуры (субъект, объект, цель деятельности, перцепция, методы извлечения знаний и результат деятельности) и определяют диадическое и многомерное субъект-объектное и субъект-субъектное взаимодействие. Субъект-объектная модель задает взаимодействие, при котором активность проявляет один из участников, а в качестве объекта выступает как человек (когитолог или эксперт), так и другие материальные носители (текст, экспериментальные данные, компьютерная программа). Субъект-субъектная модель определяет взаимодействие, при котором активность проявляется обоими участниками, процесс извлечения знаний имеет творческий, двухсторонний характер, создающий предпосылки для возникновения синергетического эффекта, инсайта, осознания имплицитно усвоенных экспертом оснований категоризации. Выбор конкретной коммуникативной модели предопределяет структуру взаимодействия, включая необходимость использования конкретных методов в процессе извлечения экспертных знаний.
4. Мета-язык взаимодействия субъектов труда включает в себя набор инструментов структурирования декларативного и процедурного типа. В качестве когнитивных артефактов как искусственных устройств, интегрирующих знания, выступают конкретные виды когнитивных структур, опосредованные классами базовых семантических отношений: деревья, кластеры, пространства, цепочки и сети. Инструменты структурирования, определяемые в общем виде как когнитивные артефакты и схемы их использования, представляют собой набор формализмов инженерии знаний, полученных в результате использования выделенных когнитивных артефактов в процессе концептуального анализа знаний. К инструментам структурирования декларативного типа относятся классификационные деревья, фреймы, ассоциативные сети, шкалы, семантические сети и пр., а к инструментам структурирования процедурного типа - деревья решений, деревья целей, иерархические сети действий, продукционные правила, сценарии и пр. Набор инструментов структурирования может расширяться с учетом специфики разных предметных областей.
5. Процессуальная схема извлечения экспертных знаний задает алгоритм прохождения стадий, этапов и шагов в процессе извлечения экспертных знаний. В соответствии с феноменами эксплицирования процессуальная схема включает в себя следующие стадии: «Подготовка», «Выявление», «Структурирование» и «Результат».
Этап «Выявления» экспертных знаний характеризуется субъект-субъектным взаимодействием когитолога и эксперта, способствующем осознанию экспертом имплицитно усвоенного основания категоризации. Этап «Структурирования» характеризуется преимущественно субъект-объектным взаимодействием и включает этапы «Категоризации» и «Процедурализации», предназначенные для формирования модели экспертных представлений с помощью инструментов структурирования декларативного и процедурного типа.
6. Методология построения моделей интерпретаций тестовых данных, основанная на процессуальной схеме извлечения экспертных знаний, включает в себя последовательность трех этапов и пяти взаимосвязанных с ними шагов. На каждом этапе участниками взаимодействия осуществляется выбор конкретной коммуникативной модели и использование инструментов структурирования декларативного или процедурного типа. Формирование исходной и диагностической систем понятий, установление взаимосвязей и семантических отношений, проведение процедурализации и построение системы иерархически организованных продукционных правил задают последовательность разработки моделей интерпретации тестовых данных в области медицинской психодиагностики.
7. Конструирование экспертных психодиагностических систем в области медицинской психодиагностики включает в себя построение моделей интерпретации тестовых данных путем извлечения знаний экспертов - медицинских психологов; верификация моделей осуществляется путем установления валидности компьютерного психодиагностического заключения. Разработанные на основе концепции извлечения экспертных знаний и представленные в диссертации экспертные психодиагностические системы являются информативными и валидными инструментами психологической диагностики, дополняющими и объективирующими данные клинико-психологического исследования.
Апробация и внедрение результатов.
Результаты диссертационного исследования были апробированы на 1-й Всесоюзной конференции по математической психологии (Звенигород, 1986), на семинаре по проблемам представления экспертных знаний (ИСЭП, Ленинград, 1987), на заседании рабочей группы по представлению знаний и экспертным системам при научно-техническом совете по информатике и межведомственного координационного совета АН СССР (Пярну, 1988), на Всесоюзной школе-семинаре "Семиотические аспекты формализации интеллектуальной деятельности" (Боржоми, 1988), на республиканской школе-семинаре по проблемам применения экспертных систем в народном хозяйстве (Кишинев, 1989), на заседании рабочей группы по проблеме извлечения знаний при научно-техническом совете по информатике и ВТ (Кишинев, 1990), на II Всесоюзной конференции «Искусственный интеллект - 90» (Минск, 1990), Fia заседании кафедры компьютерных интеллектуальных технологий Санкт-Петербургского государственного технического университета (1992), на заседании Петербургского отделения Ассоциации искусственного интеллекта (1996), на III Международной открытой сессии «Компьютерные технологии в науке и образовании XXI века» (Ульяновск, 1999), на научно-практических конференциях «Ананьевские чтения» (Санкт-Петербург, 2004, 2006); на регулярных семинарах в лаборатории клинической психологии Психоневрологического института им.В.М.Бехтерева (19962006), на заседании кафедры эргономики и инженерной психологии СПбГУ (2006); на
Всероссийской научной конференции «Современная психодиагностика в изменяющейся России» (Челябинск, 2008).
Разработанные экспертные психодиагностические системы активно используются медицинскими психологами Психоневрологического института им.В.М.Бехтерева, на кафедрах медицинской психологии Санкт-Петербургской медицинской академии последипломного образования (МАПО), Санкт-Петербургского государственного педагогического университета имена А.И.Герцена, Челябинского, Ульяновского, Гродненского государственных университетов, в психоневрологических диспансерах и других лечебных учреждениях Санкт-Петербурга и других городов России (Ставрополь, Казань, Красноярск, Самара, Ульяновск, Тольятти, Хабаровск, Салехард, Сургут, Курган, Екатеринбург, Гродно и др.).
Структура диссертации. Диссертация состоит из введения, пяти глав, заключения, библиографии (370 наименований, из них 170 на иностранных языках) и 11-ти приложений. Основной текст диссертации изложен на 437 страницах. Диссертация содержит 30 таблиц и 71 рисунок.
ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ
Во Введении обосновываются актуальность изучаемой проблемы, определяются цель, объект, предмет исследования, формулируются задачи и гипотеза, излагаются основные положения, выносимые на защиту, описаны использованные методы. Даны формулировки научной новизны, практической значимости, положений, выносимых на защиту, представлены данные об апробации результатов исследования и его структуре.
В главе 1 Теоретические контексты проблемы извлечения экспертных знаний субъектов труда определяется место проблемы извлечения экспертных знаний в теоретических контекстах искусственного интеллекта и инженерно-психологических исследований.
В параграфе 1.1 «Извлечение экспертных знаний в теории искусственного интеллекта» проблема извлечения экспертных знаний рассматривается в контексте теории искусственного интеллекта и экспертных систем.
Прослеживается становление концепции «экспертных знаний» в искусственном интеллекте, показана эволюционная роль искусственного интеллекта как исследовательского подхода к моделированию познавательных процессов человека с помощью компьютера и как технического направления по созданию интеллектуальных (экспертных) систем [МакКарти, 1956; Ныоэлл, Саймон, 1967; Boose, 1986; Попов, 1987; Гаврилова, Хорошевский, 2001; Люггер, 2003; Джарратано, Райли, 2006]. Рассматривается проблемы в области инженерии знаний с позиций компьютерных наук, приводится классификация экспертных систем по типу решаемых задач. Обсуждается понятие «приобретения знаний» в инженерии знаний как процесс передачи знаний и опыта по решению задач от источника информации в базу знаний компьютерной системы [Boose, 1986; Hart, 1986; Попов, 1987; Осипов, 1993, 1998]. Рассматривается эволюция основных подходов, реализуемых разработчиками для создания базы знаний, представлены направления исследований в области «приобретения знаний» компьютерными системами. Осуществлен анализ исследований, посвященных психологическому аспекту инженерии знаний: проблеме извлечения экспертных знаний субъектов труда.
В параграфе 1.2 «Извлечение экспертных знаний в инженерно-психологическом контексте проектирования сложных технических систем» проблема извлечения
экспертных знаний рассматривается в контексте инженерно-психологических исследований, касающихся когнитивного анализа деятельности, проводимого с целью проектирования когнитивных технических (компьютерных) систем.
Анализ литературных источников показывает, что теоретико-психологическими основаниями проектирования когнитивных технических систем являются: во-первых, развиваемая в зарубежных исследованиях теория деятельности [Engeström, 1987; Bannon, Bodker, 1991; Engeström, Miettinen, 1999; Nardi, 1996; Kuutti, 1996; Kaptelinin, 1996; Bertelsen, Bodker, 2000; Barthelmess, Anderson, 2002; Kolari, 2003; Be'guin, 2003; Bedny, Karwowski, 2003], основа которой сформулирована в отечественных работах [Выготский, 1956; Леонтьев, 1974], а во-вторых, прикладная когитология, которая предполагает использование разработанных в русле ког нитивной психологии моделей для проектирования и оценки когнитивных компьютерных систем [Woods, Roth, 1988; Darses, 2001; Величковский, 2006]. В параграфе представлен анализ современных методологий когнитивного анализа деятельности, когнитивных моделей, которые можно использовать в процессе решения практических задач, и методов, позволяющих извлекать знания субъектов труда об их деятельности, а также осуществлен сравнительный анализ двух подходов к проектированию когнитивных систем: инженерии знании и когнитивной эргономики (табл.1). В качестве критерия для сравнения выбраны теоретико-психологические основания, методологии, модели и методы, разрабатываемые и используемые в этих двух областях исследований.
Таблица 1. Теоретико-психологические и методологические основания, модели и методы
роектировапия когнитивных компьютерных систем: инженерии знании и когнитивном эргономики.
Инженерия знаний | Когнитивная эргономика
Определение
Прикладная дисциплина, занимающаяся изучением проблем извлечения и структурирования экспертных знаний, представления, формирования, обработки и приобретения знаний интеллектуальными системами. Прикладная дисциплина, занимающаяся изучением проблем проектирования и оптимизации человеко-компыотерного взаимодействия.
Участники взаимодействия
Когнтолог (инженер по знаниям) и эксперт Эргономист и эксперт; Эргономист и пользователь
Теоретико-психологические основания
Когнитивные науки, исследующие закономерности приобретения, сохранения и использования знаний человеком [Величковский, 2006], в частности, искусственный интеллект как направление по моделированию познавательных процессов человека [Ньюэлл, Саймон, 1981], экспериментальная психосемантика [Osgood, 1959, 1968; Kelly, 1955, Артемьева, 1999; Шмелев, 1983, 2002; Петренко, 1987, 2005], когнитивная психология (в частности, выделение декларативных и процедурных знаний) [Андерсон, 2002]. Прикладная когитология, под которой понимается использование разработанных в русле когнитивной психологии моделей для проектирования и эксплуатации когнитивных систем [Woods, Roth, 1988; Darses, 2001]. Культурно-историческая школа Л.С.Выготского (1956). Теория деятельности [Леонтьев, 1975; Kuutti, 1996; Engeström, Miettinen, 1999; Rasmussen, Pejtersen, Goodstein, 1994; Рабардель, 1999]. Психологическая (когнитивная) антропология [Коул, 1997].
Методологические основания
Методологии приобретения знаний: KADS-методология [Wielinga et al., 1984], АПРИС-методология [Гаврилова, 1996] и пр. Методологии когнитивного анализа деятельности: WDA [Vicente, 1999], SAI, SACI [Рабардель, 1999] и пр.
Выделение этапа извлечения знаний, на котором происходит взаимодействие когитолога и эксперта с целью построения модели экспертных представлений и рассуждений [Гаврилова, Червинская, 19921. Выделение этапа концептуального уровня, на котором происходит взаимодействие эргономиста и эксперта (пользователя) с целью когнитивного анализа деятельности [Vicente, 1999; Darses, 2001].
Когнитивные модели
Когнитивные модели, разработанные в русле когнитивной психологии: фреймы [Minsky, 1981], семантические сети [Collins, Quillian, 1972], продукционные правила [Андерсон, 2002] и пр. Когнитивные модели, разработанные в русле прикладной когитологии [Хейес-Рот, Уотермен, Ленат, 1987; Андерсон, 2002; Poitrenaud, 1995; Keyscr, 2001; Grant, Mayes, 1991; Amalberti, Hoc, 1998; Luczak, Schlick, 2000; Darses, 20011.
Методы
Методы извлечения и структурирования знаний, диапазон которых достаточно широк: от бесед, интервью, наблюдений, лекций, диалогов, экспертных игр и экспериментов до использования формализованных процедур и компьютерных программ [Gammack, Young, 1984; Hart, 1985, 1986; Волков, Ломнев, 1989; Boose, 1989; Гаврилова, Червинская, 1992; Гаврилова, Хорошевский, 2001; Червинская, Щелкова, 2002]. Методы проектирования когнитивных систем: принципы декомпозиции задач, сортировка карточек, классификационные техники «да-нет», метод диаграмм и пр. Методы оценки когнитивных систем: юзабилити обследование, контрольный перечень, пользовательское тестирование, опросники удовлетворенности и пр. [Luczak, Schlick, 2000; Klein, 2000; Darses, 20011.
Сравнительный анализ двух направлений проектирования когнитивных компьютерных систем позволяет отметить их большое теоретико-психологическое и методологическое сходство. Оба направления указывают на необходимость выделения особого этапа - этапа извлечения знаний, на котором происходит процесс взаимодействия когитолога (эргономиста) с экспертом (пользователем) с целью моделирования когнитивной деятельности профессионала. В этом плане разрабатываемая концепция извлечения экспертных знаний может составлять основу не только инженерии знаний, но и когнитивного анализа деятельности, проводимого с целью проектирования когнитивных компьютерных систем.
В главе 2 осуществлен теоретико-прикладной анализ эксплицирования экспертных знаний. Рассмотрен объект диссертационного исследования -индивидуальный опыт эксперта. Систематизированы феномены когнитивной деятельности эксперта, влияющие на эксплицирование экспертных знаний. Построена системная модель «экспертности», компоненты которой проанализированы на предмет выявления структуры феноменов эксплицирования, показывающих трудности извлечения экспертных знаний. Намечены пути разрешения трудностей. Определены теоретико-психологические основания концепции извлечения экспертных знаний.
Методологической основой построения системной модели «экспертное™» служил системный подход к анализу сложных явлений, представленный в работах Б.Ф.Ломова, В.А.Ганзена. В большей степени мы опирались на концепцию В.Б.Ганзена (1985), которая означает разработку специальных исследовательских шагов, осуществляемых с целью получения целостного системного описания объекта. В нашем случае для изучения «экспертное™» реализуется следующая последовательность шагов.
1. Путем анализа литературных источников, посвященных описанию социально-психологического феномена экспертной деятельности, выделяются структурные компоненты «экспертности», путем установления соотношений между ними определяются системообразующие компоненты.
2. На основе анализа экспериментальных исследований индивидуального опыта эксперта (в рамках модели «новичок-опытный») выделяются характеристики «опытности»; осуществляется их последующая систематизация с целью выявления феноменов и гипотез, описывающих индивидуальный опыт эксперта.
3. На основе анализа исследований, демонстрирующих различные неосознаваемые влияния прошлого опыта на познавательную деятельность человека и проясняющих природу «подразумеваемых» знаний, устанавливаются взаимосвязи между выявленными компонентами, что позволяет представить окончательный вид модели.
Построенная таким образом системная модель «экспертное™» анализируется с целью выявления структуры феноменов, оказывающих существенное влияние на эксплицирование экспертных знаний. Анализируя феномены эксплицирования с помощью литературных данных, собственной рефлексии и опыта извлечения экспертных знаний в области медицинской психодиагностики, мы определили барьеры эксплицирования и трудности, возникающие при взаимодействии субъектов труда в процессе извлечения экспертных знаний. Анализ трудностей эксплицирования позволил наметить пути разрешения проблемы в виде аспектов рассмотрения процесса извлечения экспертных знаний: коммуникативного, операционально-инструментального и процессуального.
Параграф 2.1 «Социально-психологический феномен экспертной деятельности» посвящен анализу литературных источников для выделения аспектов описания экспертной деятельности и структурных компонентов «экспертное™». Анализ литературных данных, посвященных описанию социально-психологического феномена экспертной деятельности, позволил выделить следующие аспекты описания [Д.А.Леоньев, 2006; Сафуанов, 2006; Братченко, 2006]: личностный, - утверждающий ключевую роль личности эксперта, и динамический, - описывающий процессы экспертной деятельности: приобретение экспертных знаний (научение экспертным знаниям и умениям) и проведение экспертизы (извлечение экспертных знаний). Эксперт как центральная фигура при проведении экспертизы характеризуется «экспертностыо»; компонентами «экспертное™» являются: «профессионализм», «компетентность», «опытность», «наличие знаний, умений, навыков», «способность, готовность к эксплицированию знаний».
Параграф 2.2 «Системообразующие компоненты экспертное™» посвящен анализу выявленных структурных компонентов для определения системообразующих компонентов «экспертности». В концепции В.А.Гаизена (1984), системные исследования требуют определенной системы координат - «системного базиса», который эксплицирует необходимые и достаточные (в избранных отношениях) аспекты изучаемого системного объекта. В нашем случае предварительным системным базисом являются структурные компоненты «экспертности». Для выявления системообразующих компонент рассмотрены соотношения таких понятий как «экспертность» - «профессионализм» и «экспертность» - «компетентность». Показано, что понятие «экспертность» является более широким, чем понятие «профессионализм», а «профессионализм» - более широким, чем «экспертность». Отсюда следует, что соотношение «экспертности» и «профессионализма» - это взаимное пересечение. Анализ соотношения понятий «экспертность» -«компетентность» показывает, что «экспертность» является другой плоскостью рассмотрения но сравнению с понятием «компетентность». В предлагаемом нами смысле понятие «экспертности» отличается от распространенного и широко
обсуждаемого в литературе понятия «компетентности» по парадигмам и моделям исследования, по конструкту «вербализуемость - невербализуемость» знаний. Таким образом, две из шести выделенных структурных компонент - «опытность» (индивидуальный опыт эксперта) и «готовность, способность эксплицировать знания» - являются необходимым условием существования понятия «экспертность»; две составляющие - «знания и умения» - являются компонентами «опытности».
Параграф 2.3 «Индивидуальный опыт экспертов: феномены и гипотезы» посвящен анализу литературных источников, касающихся экспериментальных исследований индивидуального опыта эксперта, для выделения характеристик «опытности» и их последующей систематизации с целью выявления феноменов и гипотез, описывающих индивидуальный опыт эксперта.
Анализ работ, выполненных в рамках модели «новичок-опытный», показал, что индивидуальный опыт эксперта, в свою очередь, являясь сложной системой, представлен единством или интеграцией знаний и умений как способов и правил решения проблем и задач [Андерсон, 2002; de Groot, 1966; Simon, Gilmarti, 1973; Chase, Simon, 1973; Richman, Staszewski, Simon, 1995; Sweller, Mawer, Ward, 1983; Glaser, 1984; Chi, Feltovich, Glaser, 1981; Patel, Ramoni, 1997; Chi, Koeske, 1983]. Исследователи выдвигают ряд гипотез относительно когнитивного функционирования эксперта [Holding, 1979; Величковский, 2006, т.2; Gobet, Simon, 1996; Шмелев, 2002; Ericson, Kintsch, 1995; Zeitz, 1997], относительно операционализации понятия «экспертность» как «опытность» [Шмелев, 2002; Холодная, 1995, 1997], а также указывают на подверженность представлений экспертов когнитивным искажениям [Northcroft, Neale, 1987; Oskamp, 1962; Величковский, 2006, т.2] (табл.2).
Таблица 2. Формулировки характеристик «опытности» по данным экспериментальных исследований в рамках модели «новичок-опытный»._
1. Особая форма организации экспертных знаний: как декларативных, так и процедурных. [Chi, Koeske, 1983].
2. Иерархичность и высокая гибкость понятийных тезаурусов. [Richman, Staszewski, Simon, 19951
3. Высокий уровень интеграции декларативных и процедурных знаний. [Андерсон, 2002]
4. Эффект «свернутости» экспертных рассуждений. [Glaser, 19841
5. Стратегия перехода от описания задачи к ее решению без многочисленных вариантов и без каких-либо промежуточных рассуждений. [Patel, Ramoni, 1997]
6. Способность распознавать образы в виде паттернов. [de Groot, 19661
7. Умение увидеть принцип решения задачи. [Glaser, 19841
8. Качественная репрезентация проблемы в виде паттернов. (Glaser, 19841
9. Рассмотрение проблемы с точки зрения глубоких семантических связей. [Glaser, 1984]
10. Феномен процедурализации, под которым понимается процесс перехода от явного использования декларативного знания к прямому применению процедурного знания. [Андерсон, 2002]
11. Существование «оперативных единиц опознания» и «невербализованного операционального смысла». [Тихомиров, 1969, 19841
12. Классический феномен внезапного появления «идей», или вербализованных замыслов решения, нахождение принципа, «усмотрение решения». [Тихомиров, 1984]
13. Трудности процесса вербализации, определяемые путем сопоставления глазодвигательной активности испытуемых с их [Тихомиров, 1984]
вербальным отчетом.
14. Наличие «подразумеваемого» знания (tacit knowledge), которое представляет собой сложные интуитивные представления, далеко ие всегда четко вербализованные. [Glaser, 1984]
15. Наличие процессов активного поиска, изменения и более успешной интерпретации материала. [Holding, 1979]; [Величковский, 2006]
16. Более абстрактная форма хранения экспертных знаний (в виде шаблонов) по сравнению с тем, что предполагает актуальная ситуация (теория шаблонов). [Gobet, Simon, 1996]
17. Первоначальное накопление опыта сводится к освоению шаблонов, сближающих категориальные системы, а дальнейшее - к определенной дивергенции (к формированию индивидуального опыта). [Шмелев, 2002]
18. Когнитивная сложность является хорошим операциональным индикатором «экспертное™» как «опытности». [Шмелев, 2002]
19. Существование долговременной рабочей памяти, допускающей прямые связи между перцептивными процессами и структурами долговременной памяти. [Ericson, Kintsch, 1995]
20. Ограничения кратковременной памяти, практически, ие влияют на процессы переработки информации экспертом. [Величковский, 2006]
21. Хранение экспертных знаний в форме умеренно абстрактных концептуальных репрезентаций. [Zeitz, 1997]; [Величковский, 2006]
22. Высокий уровень интеграции теоретического и практического знания, который позволяет легко переходить от обобщенного рассмотрения проблемы к реализации действий. [Zeitz, 1997]; [Величковский, 2006]
23. Высокий уровень развития понятийных и числовых способностей, сформированность мобильного поленезависимого, рефлективного, гибкого стилей переработки информации. [Холодная, 1997]
24. Эффекты чрезмерной уверенности, привязки, проекции, эвристики доступности. [Northcroft, Neale, 1987]; [Oskamp, 1962]; [Boose, 19861
Систематизация характеристик «опытности» осуществлялась путем выделения феноменов как явлений, наблюдаемых в процессе эксперимента, и гипотез как предположений относительно когнитивного функционирования психики человека. При группировке феноменов учитывалась необходимость их дальнейшего анализа па предмет эксплицирования экспертных знаний. Итак, исследователи, обсуждая результаты экспериментов, проведенных в рамках модели «новичок - опытный», отмечают:
1) особую форму организации экспертных знаний (феномены экспертной категоризации и ироцедурализации);
2) феномен «подразумеваемых» знаний (свернутость экспертных рассуждений; феномен инсайта, внезапного появления идей; феномен затрудненной вербализации);
3) феномены подверженности экспертов когнитивным искажениям (эффекты чрезмерной уверенности, привязки, эвристика доступности);
4) гипотезы относительно когнитивного функционирования (существование теории шаблонов, умеренно абстрактных концептуальных репрезентаций, свойственных экспертам и пр.).
5) гипотезы относительно операционализации понятия «экспертность» (высокий уровень развития понятийных и числовых способностей, сформированность мобильного поленезависимого, рефлективного, гибкого стилей переработки информации, когнитивная сложность).
Некоторые характеристики «опытности» могут быть отнесены к разным группам феноменов. Так, например, «свернутость экспертных рассуждений» можно отнести к феномену процедурализации, поскольку в формулировке присутствует очевидная динамика (мыслительный процесс), а можно - к феномену «подразумеваемых» знаний, поскольку такая формулировка отражает некие знания, которые невозможно «развернуть», т.е. представить в виде последовательности шагов. Для установления этой взаимосвязи был рассмотрен феномен «подразумеваемых» знаний.
Параграф 2.4 «Построение системной модели экспертности» посвящен анализу литературных источников для установления взаимосвязи между особой формой организации экспертных знаний и феноменом «подразумеваемых» знаний.
Природу «подразумеваемых» знаний проясняет анализ работ, демонстрирующих различные неосознаваемые влияния прошлого опыта на познавательную деятельность человека. Многочисленные экспериментальные исследования показывают, что существуют неосознаваемые (имплицитные, автоматические) и сознательные (эксплицитные, регулируемые инструкцией) процессы обработки информации [Marcel,1983; Merikle, Reingold, 1990; Zajonc, 1980; Jacoby, 1983; Schacter, 1987; Аллахвердов, 2000, 2006; Агафонов, 2006]. Любые психические процессы, осознанно не контролируемые, т.е. выполняющиеся непроизвольно, помимо нашей воли и даже вопреки ей, считаются подверженными влиянию когнитивного бессознательного [Kihlstrom, 1990]. P.Lewicki, T.Hill, M.Czyzewska (1992) отмечают феномен существования уровней обработки неосознаваемой информации и выделяют особый когнитивный механизм, способный неосознанно генерировать новые структуры знания, не зависящие от объективной природы окружения личности, что, в терминологии Брунера (1977), соответствует феномену «выхода человека за пределы непосредственной информации».
Анализ исследований показывает, что в основе экспертного умения лежит многолетняя практика решения проблем и принятия решений, которая трансформирует декларативную память в процедурную [Kandel, 1999], обеспечивая то, что Андерсон (2002) назвал процедурализацией. В процессе научения (многолетней практики) у эксперта формируется навык - свернутое (автоматизированное, интериоризированное) действие, не требующее осознанного контроля [Александров, Максимова, 1999]. Формирование навыка связано со способностью субъекта к построению систем кодирования (категоризации) и формированию интенсиональных знаний в виде некоторых предметных закономерностей (процедурных правил) [Брунер, 1977]. В контексте рассмотрения проблемы интуиции выделяют феномен «редуцированности» как процесс поиска решения, направленный на формирование целостного интегративного образа или ключевого понятия, и феномен «свернутости» процесса поиска решения, означающий, что осознается и остается в памяти не весь ход поиска, а лишь окончательный вывод [Науменко, 2001].
В экспериментах P.Lewicki, T.Hill, I.Sasaki (1989) испытуемые формировали правило отнесения к категории, не осознавая этого, а каждое последующее столкновение с неоднозначными данными воспринимали как пример, лишь подтверждающий сформированное правило. Отсюда следует, что экспертная категоризация, как конструирование категорий экспертом, осуществляется согласно имплицитно усвоенному основанию категоризации. В других экспериментах было показано, что испытуемые способны имплицитно научаться, т.е. неосознанно
устанавливать сложные взаимосвязи между предъявляемыми стимулами [Lewicki, Hill, Czyzewska, 1992], эффективно осваивать процедуры для выполнения задачи [Berry, Broadbent, 1984] без какой-либо способности объяснить, что они делают. Отсюда следует имплицитный характер экспертного умения как способности решать проблемы на основе имплицитных знаний, приобретенных опытным путем, без возможности объяснения, как и на основе каких правил, решается задача. Фактически, это означает неспособность (экспертное анти-умение) эксплицировать (т.е. осознать и проговорить) имплицитно приобретенные процедурные правила. Таким образом, экспертная процедурализация находится вне зоны осознания эксперта, и характеризуется трудностью вербализации.
Феномен «подразумеваемых» знаний обсуждается в контексте исследований практического интеллекта [Sternberg et al., 2000; Sternberg, Horvath, 1999; Sternberg,Wagner, Williams, Horvath, 1995; Wagner, Sternberg, 1986]. В русле этих работ на основе обширных эмпирических исследований с применением факторного анализа разработана модель «подразумеваемых» знаний [Leonard, Insch, 2005], включающая три размерности: когнитивную (особую форму организации знаний, например, скрипты и пр.), размерность специальных умений (умений экспертов решать задачи) и социальную размерность (трудность вербализации неявных знаний, важность социального взаимодействия людей в процессе проявления и извлечения «подразумеваемых» знаний). Опираясь на эту трехкомпонентную модель, нами были установлены соотношения между особой формой организации экспертных знаний и феноменом «подразумеваемых» знаний, хорошо согласующиеся с приведенными выше выводами, сделанными на основе анализа работ по исследованию неосознаваемых влияний прошлого опыта на познавательную деятельность человека.
Установление взаимосвязи между особой формой организации экспертных знаний и феноменом «подразумеваемых» знаний позволило представить окончательный вид системной модели «экспертное™». В рамках этой модели «экспертность» как «опытность» характеризуется следующими феноменами, оказывающими влияние на эксплицирование экспертных знаний:
• экспертной категоризацией, осуществляемой согласно имплицитно усвоенному основанию;
• экспертной процедурализацией: имплицитным переходом от явного использования категорий к прямому применению процедур;
• затрудненной вербализацией экспертных знаний, проявляющейся в процессе социального взаимодействия;
• подверженностью представлений экспертов когнитивным искажениям: эффектам чрезмерной уверенности, привязки и эвристикой доступности.
Параграф 2.5 «Эксплицирование экспертных знаний: трудности и пути их преодоления» посвящен анализу компонентов «экспертное™» на предмет выявления феноменов эксплицирования экспертных знаний, трудностей эксплицирования и путей их разрешения.
Феномен затрудненной вербализации «подразумеваемых» знаний проясняет анализ психологических [Выготский, 1956; Корнилов, 1997] и психолингвистических работ [Хомский, 1962]. Исследователи отмечают существенное различие между коммуникативным языком и языком мыслительного процесса. Обобщение представленных в работе M.Eppler (2007) коммуникативных барьеров, возникающих при взаимодействии менеджеров и экспертов (специалистов), позволило выделить два
феномена, лежащих в основе трудности вербализации и, шире, коммуникации «подразумеваемых» знаний: проявление дискурсивных и личностных особенностей субъектов труда. Учитывая эти данные, а также структуру компонентов модели «экспертности», можно выделить структуру феноменов, существенным образом влияющих на процесс эксплицирования экспертных знаний (рис.1).
Рисунок 1. Структура феноменов, влияющих на эксплицирование экспертных знаний.
Трудности эксплицирования экспертных знаний и пути их преодоления представлены в таблице 3. В соответствии с путями разрешения трудностей эксплицирования экспертных знаний выделены следующие аспекты: коммуникативный, операционально-инструментальный и процессуальный, составляющие ядро концепции извлечения экспертных знаний.
Таблица 3. Трудности эксплицирования экспертных знаний и пути их преодоления.
Название феномена Трудности эксплицирования экспертных знаний Пути преодоления трудностей
I. Экспертная категоризация
Имплицитный характер основания категоризации. Разработка моделей взаимодействия, способствующих осознанию экспертом основного принципа решения задач. Выделение специальной стадии выявления экспертного гештальта.
II. Экспертная процедуралшация
Имплицитный переход от явного использования категорий к прямому применению процедур. Выделение специальной стадии структурирования. Разработка инструментов структурирования процедурного типа.
III. Проявление дискурсивных особенностей специалистов(когитолога и эксперта)
Терминологический «жаргон», АБК-фемомен и пр. Разработка мета-языка взаимодействия специалистов в виде набора инструментов структурирования.
IV. Проявление личностных особенностей специа1истов(когитолога и эксперта)
Когнитивная инерция, когнитивная нагрузка и пр. Разработка процессуальной схемы и коммуникативных моделей, учитывающих роль субъект-субъектных взаимодействий.
V. Эффект V резмерной уверенности
Снижение степени достоверности разработанной модели экспертных представлений. Валидизация построенной модели экспертных представлении.
VI. Эффект привяжи
Трудности приписывания цифр понятиям,явлениям, фактам и пр., расположенным на одной шкале. Искажение экспертных представлений в процессе шкалирования. Разработка коммуникативных моделей, детерминирующих адекватный выбор методов извлечения знаний. Валидизации построенной модели экспертных представлений.
VII. Эффект проекции
Искажение экспертных представлений вследствие опоры когитолога на свои,а не экспертные представления. Разработка коммуникативных моделей, учитывающих роль субъект-объектных взаимодействий.
VIII. Эвристика доступности
Невозможность получения отдельных экспертных мнений, убеждений, верований и пр. Разработка модели экспертных представлений, а не получение отдельных мнений, убеждении и пр.
В главе 3 представлены теоретико-психологические основания концепции извлечения экспертных знаний субъектов труда.
Параграф 3.1 «Коммуникативный аспект извлечения экспертных знаний» посвящен рассмотрению коммуникативного аспекта извлечения экспертных знании. Анализ литературных источников показывает, что взаимодействие когитолога и эксперта как форма коммуникативной деятельности может рассматриваться с единых позиций и иметь следующую типовую структуру [Соколов, 1996; Панфилова, 2005]: субъект деятельности (активность, инициатива); объект деятельности (пассивность, реактивность); цель деятельности; перцепция; методы извлечения знаний; результат деятельности. Для выделения коммуникативных моделей взаимодействия когитолога и эксперта выбраны следующие основания: представления о том, кто из участников взаимодействия проявляет активность и инициативу (субъект деятельности), а кто - пассивность и реактивность (объект деятельности), а также количество участников взаимодействия: диадическое взаимодействие (когитолог и эксперт) и многомерное взаимодействие (когитолог и группа экспертов).
В соответствии с выделенными основаниями определены следующие модели коммуникативного взаимодействия когитолога и эксперта.
1. Диадическое взаимодействие.
1.1. Субъект-объектное: активность, ответственность и инициативу проявляет один из участников (когитолога или эксперта), в качестве объекта может быть как человек (когитолог или эксперт), так и другие материальные носители (текст, экспериментальные данные, компьютерная программа). В зависимости от того, кто
является субъектом, а кто - объектом, можно выделить шесть ситуаций такого взаимодействия.
1.2. Субъект-субъектное: активность, ответственность и инициативу проявляют оба участника, процесс извлечения знаний имеет творческий, двухсторонний характер, создающий предпосылки для возникновения инсайта, осознания имплицитно усвоенных экспертом оснований категоризации.
2. Многомерное взаимодействие.
2.1. Субъект-объектное: активность, ответственность и инициативу проявляет когитолог, который взаимодействует с группой экспертов.
2.2. Смешанное: активность, ответственность и инициатива находятся у группы экспертов, а когитолог либо проявляет активность как ведущий или модератор группы, либо остается в роли пассивного наблюдателя процесса, фиксируя на бумагу (материальные носители) предлагаемые экспертами идеи.
Девять ситуаций коммуникативного взаимодействия когитолога и эксперта характеризуются специфическим наполнением типовой структуры: субъект, объект, цель деятельности, перцепция, методы извлечения знаний и результат деятельности. Выбор конкретной модели взаимодействия когитолога и эксперта предопределяет структуру взаимодействия, включая необходимость использования конкретных методов в процессе извлечения экспертных знаний.
Параграф 3.2 «Операционально-инструментальный аспект извлечения экспертных знаний» посвящен рассмотрению операционалыю-инструмспталыюго аспекта извлечения экспертных знаний. Анализируются понятия «когнитивные артефакты» и «инструменты структурирования», выявляются и описываются конкретные наборы «когнитивных артефактов» и «инструментов структурирования» применительно к концепции извлечения экспертных знаний, и, тем самым, задается мета-язык взаимодействия субъектов труда.
Понятия «когнитивные артефакты» и «инструменты структурирования» активно разрабатываются в зарубежных инженерно-психологических исследованиях [Раупе, 1992; Norman, 1991; Rogalsri, 1993; Cuny, 1993; Sebilotte, 1988; Рабардель, 1999]. Теоретическим обоснованием этих работ является тезис Л.С.Выготского о том, что структура и развитие психических процессов человека порождаются культурно опосредованной исторически развивающейся практической деятельностью, а высшая ментальная активность и деятельность человека в целом опосредованы «техническими инструментами» и знаками («психологическими инструментами»), под которыми понимается широкий класс семиотических форм (структуры естественного языка, схемы, карты, формулы, чертежи, символические образы и пр.). Такие инструменты в процессе их использования воссоздают целостную деятельность, кристаллизуют трудовые операции, выработанные в процессе коллективного труда, и фиксируют видовой опыт человека (А.Н.Леонтьев). В теории артефактов М.Коула (1997) традиционное понятие «артефакт» как изготовленный человеком (материальный) объект расширяется до продуктов истории человечества (идеальный объект), а культура рассматривается как целостная совокупность артефактов, накопленных социальной группой в ходе ее исторического развития. В концепции «трехуровневой иерархии артефактов» М.Вартофского (1988) предполагается, что первый уровень составляют первичные артефакты, непосредственно используемые в производстве (дубина, топоры, и пр.); вторичные артефакты включают первичные артефакты и способы действия с их использованием;
они играют центральную роль в сохранении и трансляции представлений и способов действия и включают предписания, обычаи, нормы, конституции и т.п.; третий уровень представлен схемами и сценариями.
Анализ исследований показывает, что понятия «когнитивные артефакты» и «когнитивные инструменты» трактуются не однозначно. Так, под когнитивным артефактом понимается искусственное устройство (т.е. созданное человеком), предназначенное для сохранения, представления или переработки информации с целью обеспечения репрезентативной функции [Norman, 1991]; под когнитивным инструментом - артефакт, внешний по отношению к субъекту объект, интегрирующий знания (отсюда когнитивный характер) и являющийся результатом процесса разработки, носящего социальный характер [Rogalsri, 1993]. В концепции П.Рабарделя (1999) инструмент формируется из двух составляющих: с одной стороны, из символического артефакта, созданного субъектом или другими субъектами, а с другой - из одной или нескольких схем использования. Сам по себе артефакт не является инструментом или составной его частью, даже если изначально он был создан именно для этого; его делает инструментом субъект, придавая ему статус средства для достижения целей своего действия.
Структурирование деятельности, связанное с использованием артефактов и инструментов, постулировано многими авторами [Pavard, 1985; Hulchins, 1990; Payne, 1992; Sebilotte, 1988]. Исследователи отмечают, что мышление человека оформлено, штамповано артефактами, инструментами, и что артефакты структурируют задачу пользователей, ставя новые проблемы (artifacrs-centred problems) и внося новые ресурсы для решения этих проблем [Payne, 1992]. Экспериментальные работы показывают, что стратегии деятельности испытуемых зависят от типа артефакта, которым они располагают для выполнения задачи [Pavard, 1985], и что артефакты структурируют действие не только в индивидуальном плане, но и обусловливают формы коллективных действий [Hutchins, 1990]. В рамках операционально-инструментального аспекта извлечения экспертных знаний понятие «инструменты структурирования» как когнитивные артефакты и схемы их использования конкретизируется применительно к разрабатываемой концепции.
В подпараграфе 3.2.1 «Виды знаний и их структурные описания» осуществляется анализ литературных данных для установления соответствия между различными видами знаний (знания об объектах, о действиях, о ситуациях и событиях) и способами их структурирования. Концептуальные структуры знаний сегодня описываются как особый уровень когнитивной организации, который фиксирует индивидуальный вариант «модели мира», ориентирующей деятельность в типичных условиях [Величковский, 2006]. Анализ исследований показывает, что для различных видов знаний (знания об объектах, о действиях, о ситуациях и событиях) [Ришар, 1998] существуют их всевозможные структурные описания [Collins, Quillian, 1972; Smith, Shoben, Rips, 1974; Rosch, Mervis, 1975; Брунер, 1977; Minsky, 1981; Хофман, 1986; Sebillotte, 1988; Шенк и др., 1989; Солсо, 1996; Ришар, 1998; Андерсон, 2002; Величковский, 1982, 2006]. В таблице 4 представлено установленное нами соответствие видов знаний и их структурных описаний или способов структурирования.
Таблица 4. Соответствие видов знаний и способов структурирования.
Виды знаний Способы структурирования
Объекты Когнитивная структура [Кук, Макдональд, 1986]
Категория - примеры [Хофман, 19861
Понятие - признак [Smith, Shoben, Rips, 19741
Понятие - прототип (типичное понятие) [Rosch, Mervis, 19751
Ассоциативная сеть [Хофман, 19861
Семантическая сеть [Collins, Quillian, 19721
Действия Иерархическая сеть действий fGraesser et al., 1981; Sebillotte, 1988; Ришар, 19981
Декомпозиция процедур на элементарные действия [Sebillotte, 1993; Ришар, 19981
Действие — прототип (типичное действие) [Дункер, 1965; Ришар, 19981
Результат действия - способ действия [Ришар, 19981
Результат действия - способ действия - предварительные условия [Abrahamson, 1979; Dixon, 1987; Sebillotte, 1988; Ришар, 19981.
Предварительные требования - результат действия [Ришар, 1998]
Действие - инструмент действия [Ришар, 19981
Ситуации Схема сцен: фреймы [Minsky, 19811
События Схема событий: сценарии [Шенк, Бирнбаум, Мей, 19891
В подпараграфе 3.2.2 «Когнитивные артефакты и инструменты структурирования» обсуждается соответствие видов знаний и способов структурирования, выделяются центральные элементы структурных описаний - понятия и взаимосвязи, приводится классификация видов когнитивных структур в зависимости от классов базовых семантических отношений, конкретизируются понятия «когнитивных артефактов» и «инструментов структурирования» применительно к процессу извлечения экспертных знаний.
Соответствие видов знаний и способов структурирования (табл.4) показывает, что одни и те же виды знаний могут иметь различные способы структурирования или различное описание на языке семантической репрезентации. Так, например, ситуации и события, представляемые скриптами, можно представить, например, с помощью способа структурирования под названием «декомпозиция процедур на элементарные действия» или в виде семантической сети. Любой из этих способов структурирования в основе своей имеет два элемента - это понятия (концепты), представляющие собой репрезентации объектов (характеристик объектов, признаков объектов, ситуаций, действий и пр.), и взаимосвязи как репрезентации связей между конкретными объектами или понятийными классами. С помощью этих элементов можно описывать любую феноменологию знаний, в том числе как «знания-что», так и «знания-как». Например, ситуацию, описываемую кратко как «визит к врачу» можно рассматривать как процедуру, как последовательность действий (скрипт, сценарий), а можно как понятие, имеющее определенные атрибуты: «запись на прием», «поездка на место приема», «ожидание приема», «визит», «оплата».
Термин «когнитивная структура» определен как конкретная вербальная форма семантической репрезентации, представленная в виде понятий и взаимосвязей. Эксперименты в области когнитивной психологии показывают, что существуют пять разновидностей структурных моделей семантической памяти человека или пять видов когнитивных структур: деревья, кластеры, пространства, цепочки и сет [Величковский, 1982]. Разновидность когнитивных структур определяется или порождается классами базовых семантических отношений, т.е. в зависимости от класса семантических отношений возможно следующее графическое представление различных видов когнитивных структур:
• отношения классификации порождают структуры в виде дерева;
• отношения принадлежности порождают структуры в виде кластеров;
• отношения сравнения, пространственные, порядковые и признаковые отношения предполагают пространственную структуру;
• каузальные и временные отношения отображаются в виде цепочечных структур;
• комбинации различных отношений можно представить в виде того, что называется семантической сетью и ее разновидностями, среди которых отдельно могут быть выделены ассоциативные и пропозициональные сети.
В соответствии с этим под когнитивными артефактами будем понимать виды когнитивных структур, опосредованные конкретными классами базовых семантических отношений: деревья, кластеры, пространства, цепочки и сети. Под инструментами структурирования будем понимать набор формализмов, полученных в результате использования когнитивных артефактов в процессе концептуального анализа знаний. Для того чтобы сформулировать набор таких формализмов, необходимо ответить на вопрос: «Как можно использовать приведенные выше когнитивные артефакты: деревья, кластеры, пространства, цепочки и сети?». Очевидно, что когнитивный артефакт в виде дерева можно использовать для построения как декларативных, так и процедурных знаний. В первом случае это будет классификационное дерево, а во втором - дерево решений (вывода) и дерево целей. Артефакт кластерного вида можно использовать для оценки объема понятий, что отражено в виде известных диаграмм Венна. Артефакт цепочечной структуры можно использовать для создания продукционных правил или же сценариев. Пространства служат для построения шкал, а семантические сети - для создания специализированных сетевых языков программирования или языков представления знаний.
Соответствие когнитивных артефактов и инструментов структурирования декларативного и процедурного типа представлено в таблице 5. Указанный набор инструментов структурирования является основой для проведения концептуального анализа знаний и может выступать в качестве мета-языка взаимодействия когитолога и эксперта. Набор инструментов структурирования может расширяться с учетом специфики разных предметных областей.
Таблица 5. Соответствие когнитивных артефактов и инструментов структурирования декларативного и процедурного типа._
Когнитивные артефакты Инструменты структурирования
Декларативного типа Процедурного типа
Деревья Классификационное дерево Дерево решений Таблица решений Дерево целей Иерархическая сеть действий
Кластеры Диаграммы Венна Фреймы -
Цепочки Ассоциативная сеть Продукционные правила Скрипты (сценарии)
Пространства Шкалы -
Сети Семантические сети Таблица отношений Семантические сети действий Пропозициональные сети
Параграф 3.3 «Процессуальный аспект извлечения экспертных знаний» посвящен рассмотрению процессуального аспекта извлечения экспертных зиаиий.
Устанавливаются соотношения феноменов эксплицирования, стадий, этапов и шагов
извлечения экспертных знаний для создания процессуальной схемы извлечения экспертных знаний, позволяющей дать ответ на центральный вопрос: как осуществлять моделирование экспертных представлений в практических целях. Соотношение феноменов, влияющих на эксплицирование знаний (рис.1), и выделенных на основе этих феноменов стадий, этапов и шагов извлечения экспертных знаний представлено на рисунке 2. Процессуальная схема извлечения экспертных знаний предполагает прохождение следующих стадий: «Подготовка»,
Рисунок 2. Процессуальная схема: соотношение феноменов, влияющих на эксплицирование знаний, стадий, этапов и шагов извлечения экспертных знаний.
Стадия «Подготовка» выделена особо в связи с теми трудностями, которые испытывают субъекты труда на начальном этапе взаимодействия. В основе этих трудностей лежат феномены, в частности, усиленная когнитивная нагрузка и ASK-феномен. Увеличение когнитивной нагрузки участников процесса обусловлено необходимостью в ограниченное время осмыслять значительный объем информации, причем ситуация здесь симметричная как для когитолога, так и для эксперта. Если когитологу необходимо познакомиться с основами предметной областью, то эксперту - с азами прикладной когитологии.
Стадия «Выявления экспертных знаний» выделена в связи с тем, что экспертная категоризация - процесс конструирования категорий экспертом - осуществляется согласно имплицитно усвоенному основанию категоризации, позволяющему мгновенно «усмотреть решение» или «увидеть принцип решения задачи». Для того чтобы смоделировать деятельность эксперта, построить «образы в виде паттернов» или «шаблонов» (теория шаблонов) [Gobet, Simon, 1996; Шмелев, 2002], «иерархический и гибкий понятийный тезаурус» [Richman, Staszewski, Simon, 1995], «сделать качественную репрезентацию проблемы в виде паттернов» для «рассмотрения ее с точки зрения глубоких семантических связей» [Glaser, 1984],
необходимо выявить это имплицитно усвоенное основание. В соответствии с этим рассматриваемая стадия предполагает этап «Выявления экспертного гештальта», на котором в результате субъект-субъекгного взаимодействия создаются условия для проявления феномена осознания экспертом имплицитно усвоенного основания категоризации. Методы извлечения знаний, используемые здесь, - это методы, способствующие проявлению феномена осознания экспертом основного принципа решения задачи. К ним относятся методы работы с рисунками, компьютерные программы, реализующие когнитивные инструменты для визуализации экспертных представлений, методы когнитивной компьютерной графики, разработанные нами методологические правила для извлечения подразумеваемых знаний.
Стадия «Структурирования», выделенная па основе существования феноменов экспертной категоризации и экспертной процедурализации, предполагает проведение концептуального анализа знаний с помощью инструментов структурирования декларативного и процедурного типа. Стадия содержит этапы «Категоризации» и «Процедурализации», которые в свою очередь определяют последовательность шагов, изображенных на рисунке 2. «Экспертный гештальт» можно охарактеризовать как некоторый выявленный принцип решения задачи, способствующий на этапе .«Категоризации» формированию исходной и диагностической системы понятий, установлению взаимосвязей и семантических отношений между этими понятиями. Этапы «Категоризации» и «Процедурализации» различаются по типам когнитивных инструментов, которые необходимо использовать в каждом случае. Этап категоризации характеризуется использованием инструментов структурирования как декларативного, так и процедурного типа, а этап процедурализации - инструментов процедурного типа. Показано, что возможен переход от инструментов структурирования декларативного типа к инструментам структурирования процедурного типа. Последовательность шагов этапа категоризации, завершающаяся шагом проведения процедурализации и построением модели в виде иерархически организованных процедурных правил, обусловлена именно этой возможностью перехода от инструментов структурирования декларативного типа к инструментам процедурного типа.
Стадия «Результат» выделена для того, чтобы подчеркнуть, что в результате предыдущих стадий, этапов и шагов строится модель в виде иерархически связанных процедурных правил, тем самым, имитируется переход от «свернутости экспертных рассуждений» к некоторой динамической «развернутости». Поскольку система продукционных знаний эксперта носит имплицитный характер, а потому эксплицирование ее традиционными методами (т.е. методами типа интервью, наблюдения и пр.) достаточно сложно и практически невозможно. Однако последовательное прохождение описанных выше этапов и использование инструментов структурирования декларативного и процедурного типа позволяет сформулировать иерархическую систему продукционных правил в явном (эксплицитном) виде, которая может стать основой для формирования базы знаний.
Разработанная процессуальная схема носит теоретический характер. Однако по мере движения от стадий к шагам проявляется конкретизация и специфичность, обусловленная предметной областью и решаемой в ней задачей. Если феномены, стадии и этапы покрывают широкий класс предметных областей, то выделенные нами шаги обусловлены спецификой области медицинской психодиагностики.
Для иллюстрации этапа «Выявления экспертного гештальта» приводится описание двух кейсов. В первом кейсе представлен эффект использования когнитивной компьютерной графики, способствующий проявлению феномена осознания экспертом имплицитно усвоенного основания категоризации в области химии [Зенкин, 1996], а во втором - изложены результаты работ по извлечению экспертных знаний в области медицины для создания экспертной системы анализа и интерпретации электроэнцефалограмм; на основе этих результатов сформулированы гипотезы относительно взаимодействия когитолога и эксперта на этапе выявления экспертного гештальта, послужившие базой разработки методологических правил для создания полуструктурированного интервью в процессе извлечения подразумеваемых знаний [СИетпзкауа, ЕЛУаззеппап, 2000]. Этап «Категоризации» проиллюстрирован описанием кейса, показывающего как использование косвенного метода установления семантических отношений, способствует синтезу экспертных представлений в виде инструмента структурирования - семантической сети [Червинская, Щелкова, 2002]. Этап «Процедурализации» проиллюстрирован описанием двух кейсов, показывающих как можно осуществлять переход от декларативного представления к процедурному. Первый кейс содержит пример получения иерархической системы продукционных правил распознавания фруктов, а второй - описывает процесс извлечения экспертных знаний в процессе разработки экспертной системы в области медицины [Ларичев, Нарыжный, 1999].
Глава 4 Извлечение знаний экспертов-психологов в области медицинской психодиагностики посвящена описанию экспериментальных работ по извлечению экспертных знаний в области медицинской психодиагностики и представлению результата таких работ - эксплицированных знаний экспертов-психологов - в виде конкретных моделей интерпретации тестовых данных, которые легли в основу баз знаний экспертных психодиагностических систем. В качестве экспертов выступали специалисты в области медицинской психологии, имеющие большой опыт работы как в клинике, так и в лаборатории клинической психологии Психоневрологического института им. В.М.Бехтерева.
В параграфе 4.1 «Постановка задачи создания моделей интерпретаций тестовых данных» осуществлена постановка задачи и обоснована актуальность создания моделей интерпретаций тестовых данных. Необходимо смоделировать экспертные рассуждения психологов путем эксплицирования интерпретационных схем тестовых данных для формирования базы психодиагностических знаний, которая станет основой экспертной психодиагностической системы, реализующей компьютерное заключение по результатам тестирования испытуемого. Основная сложность процесса извлечения интерпретационных схем эксперта-психолога заключается в том, что экспертные знания и опыт имеют во многом интуитивный, неосознаваемый, имплицитный и трудновербализуемый характер. Знание интерпретационных схем и умение использовать их на практике при написании психодиагностического заключения - это имплицитные знания, т.е. знания, которые трудно вербализуются, но, тем не менее, проявляются в процессе решения задачи. Проблема построения модели интерпретации тестовых данных - это проблема эксплицирования знаний психолога, т.е. выявления и четкого формулирования интерпретационных схем.
В параграфе 4.2 «Стратегии и методология создания моделей интерпретаций тестовых данных» представлены стратегии и методология построения моделей интерпретаций тестовых данных. Стратегия «приписывания портретов», характерная
для одномерных методик (шкал) или для многомерных методик с независимыми шкалами, предполагает разбиение шкалы (или шкал) на интервалы и составление психологом психологических портретов испытуемых на каждый интервал шкалы (или на каждый интервал всех шкал). Стратегия «склейки текста с учетом сочетаний», используемая для многомерных методик с совместимыми шкалами, предполагает построение заключения из отдельных описаний психологических свойств личности, «склеиваемых» компьютерной программой с учетом семантического отношения «совместимости», существующего между шкалами, в единый, связный и непротиворечивый текст, адекватный измеряемым методикой параметрам. Стратегия «склейки текста с разрешением противоречий», характерная для многомерных методик с зависимыми шкалами, предполагает построение заключения из отдельных описаний психологических свойств личности, «склеиваемых» компьютерной программой с учетом семантических отношений, существующих между шкалами, в том числе и противоречивых, в единый, связный и непротиворечивый текст. Под несовместимыми (противоречивыми) отношениями понимаются такие отношения между шкалами, которые указывают на конфликт между собой: одновременный подъем (спад) этих шкал указывает на противоречивые свойства личности. Например, стремление ориентироваться на ситуационно обусловленное поведение, отражаемое в пике профиля ММР1 на третьей шкале, может противоречить склонности следовать ригидным концепциям, характерной для личностей, профиль которых определяется пиком на шестой шкале.
Методология построения моделей интерпретаций тестовых данных вытекает из процессуальной схемы извлечения экспертных знаний (рис.2). Этап «Выявления экспертного гештальта» заключается в субъект-субъектном взаимодействии когитолога и эксперта-психолога, которое способствует проявпсм'.т. феномена осознания экспертом основного принципа решения задач. В облает медицинской психодиагностики этот этап за редким исключением оказался необходим при использовании стратегии «склейки текста с разрешением противоречий», то есть при построении модели для многомерных методик с зависимыми противоречивыми шкалами. Сам по себе феномен существования дисгармоничных шкал в рамках одной методики требует от психолога умения увязывать противоречивые паттерны интерпретационных схем. Такое умение вырабатывается в результате многократной практики решения задачи обследования испытуемых, сопоставление полученных данных клинико-психологического и экспериментального методов и написания на этой основе психодиагностического заключения. В других случаях «экспертный гештальт» определяется требованием практики, диктующей разработку рубрик структуры пофебпот нснхо.шашосшчсскош заключения для врача. На этапах кчпетризапии и пропелуралн мини нрово.име'я копиешуальпый анализ знаний с помощью инсфумешов с'ф>ы>рировл1шя. Основным нпсфуменюм процедурного пша. используемым при поемроенни мотелей и облает медицинской ненхолнашоешкн. являемся модифицированное дерево решении. Результат построения модели интерпретации тестовых данных представляет собой модель в виде иерархически организованных процедурных правил.
В параграфе 4.3 «Модели интерпретации для тестов с независимыми шкалами» представлена конкретизация методологии построения моделей интерпретаций тестовых данных для стратегии «приписывания портретов», которая иллюстрируется
описанием четырех кейсов. В этом случае методологические шаги конкретизируются следующим образом.
1. Выявление экспертного геиппалыпа происходит в тех случаях, когда необходимо отойти от интерпретации по каждой отдельной шкале. Часто методика содержит в себе гораздо больше информации, чем просто показатель по той или иной шкале. В медицинской клинике (неврологической, психиатрической) эта информация используется врачом и, как правило, содержится в психодиагностическом заключении, которое готовит психолог по результатам обследования испытуемых. Под экспертным гештальтом понимается основной принцип интерпретации тестовых данных; в данном случае такой принцип обусловлен требованием практики и необходимостью формирования психодиагностического заключения на испытуемого, удовлетворяющего нуждам клиники.
2. Формирование исходной системы понятий. В качестве исходной системы понятий выступают рубрики (в частном случае, шкалы), определяемые основным экспертным гештальтом.
3. Формирование диагностической системы понятий. Диагностическая система понятий - это интервалы, на которые можно разбить данную шкалу: очень низкий, низкий, средний, зона неопределенности, высокий и пр. Основная проблема, которая здесь решается, связана с необходимостью определить, на какое количество интервалов делить шкалу. Как правило, процесс не вызывает затруднений, психолог интуитивно разбивает шкалу, ориентируясь на диагностический потенциал будущего интервала, а каждый из полученных интервалов подлежит психологическому описанию.
4. Установление взаимосвязей и семантических отношений между понятиями. Если рубрики отсутствуют, то шкала (или независимые шкалы) разбивается на непересекающиеся диагностические понятия, между которыми отсутствуют какие-либо взаимосвязи и семантические отношения. Взаимосвязи, существующие между рубриками и подрубриками, можно определить как семантическое отношение «классификации».
5. Проведение процесса процедурализации. Построенная структура записывается в виде правил продукции: ЕСЛИ (диагностическое понятие) ТО (описание).
При прохождении описанных выше шагов используется субъект-объектная модель взаимодействия когитолога и эксперта. Эксперту предлагается разбить шкалу на интервалы, а затем описать каждый интервал, учитывая свой опыт понимания разницы между введенными интервалами. Модель интерпретации результатов тестирования для тестов с независимыми шкалами проиллюстрирована четырьмя кейсами, описывающими представленные выше шаги для методики выявления уровня невротизации (УН)1, для опросника депрессивных состояний (ОДС)2, для самооценочной шкалы депрессии3 и для симптоматического опросника невротических расстройств (ОНР-СИ)4.
1 Эксперты-психологи к.м.и. Б.В.Иовлев, к.п.н. Э.Б.Карпова, когитолог к.т.н. К.Р.Червинская.
2 Автор теста к.м.н. И.Г.Беспалько, эксперт-психолог к.п.н. Е.А.Трифонова, когитолог к.т.н. К.Р.Червинская.
3 Эксперт-психолог к.п.н. О.Ю.Щелкова, когитолог к.т.н. К.Р.Червинская.
4 Когитолог к.м.н. Б.В.Иовлев, эксперт-психолог к.п.н. О.Ю.Щелкова, эксперт-психоневролог д.м.н. В.А.Абабков, консультант к.п.н. Е.В.Кайдановская.
В параграфе 4.4 «Модели интерпретации для тестов с зависимыми совместимыми шкалами» представлена конкретизация методологии построения моделей интерпретаций тестовых данных для стратегии «склейки текста с учетом сочетаний». Модель интерпретации результатов тестирования для тестов с совместимыми шкалами проиллюстрирована тремя кейсами, описывающими представленные выше шаги для методики выявления ситуативной и личностной тревожности (CJIT), для методики выявления уровня субъективного контроля (УСК) и для интегративного теста тревожности (ИТТ)2.
В параграфе 4.5 «Модели интерпретации для тестов с зависимыми противоречивыми шкалами» представлена конкретизация методологии построения моделей интерпретаций тестовых данных для стратегии «склейки текста с разрешением противоречий», которая иллюстрируется описанием четырех кейсов.
В подпараграфе 4.5.1 «Модель интерпретации тестовых данных личностного опросника ММР1» приводятся описание двух кейсов, иллюстрирующих процесс построения модели интерпретации для методики MMPI. Исторически сложилось так, что для интерпретации результатов тестирования с помощью методики MMPI было разработано две модели, в процессе построения которых принимали участие разные эксперты, имеющие одинаково большой опыт работы с методикой в клинике. Первая модель, положенная в основу базы знаний ЭПС, известной в начале 1990-х годов как система АВТАНКЛИП3 (начальные буквы от Автоматический Анализатор КЛИнической Психодиагностики), а впоследствии - как компьютерная методика MMPI-383 (и MMPI-566)4, была не только окончательно разработана, но и апробирована в клинике института им.В.М.Бехтерева с привлечением более 1000 протоколов исследования испытуемых, а в настоящее время активно используется в практике российских психологов. Вторая модель была создана в рамках реализации компьютерной психодиагностической системы DPS3, представляющей собой научно-исследовательский прототип, предназначенный для разработки психодиагностической оболочки, позволяющей пользователю самостоятельно расширять комплект методик путем ввода вопросов теста, соответствующих данных первичной обработки н стратегий построения интерпретаций результатов тестирования для любых психодиагностических опросников. Осознание необходимости выявления экспертного гештальта, необходимости и ценности модели субъект-субъектного взаимодействия когитолога и эксперта на этом этапе - таков результат исследований, проводимых при разработке системы DPS. Если в этих работах выявление «экспертного гештальта» казалось почти случайным, то в дальнейших исследованиях по созданию моделей интерпретаций тестовых данных уже вполне осознанно были использованы разработанные нами (п.3.3)
1 Эксперт-психолог к.п.н. О.Ю.Щелкова, когитолог к.т.н. К.Р.Червинская.
2 Автор теста к.п.н. А.П.Бизюк, эксперт-пснхолог к.п.н. Е.А.Трифонова, когитолог к.т.н. К.Р.Червинская.
3 Авторы-разработчики системы АВТАНКЛИП: руководитель проекта к.м.н. Б.В.Иовлев, эксперт-психолог к.п.н. О.Ю.Щелкова, когитолог к.т.н. К.Р.Червинская, программисты Д.А.Ковригин, С.В.Сенатова, Т.А.Волохова.
4 Авторы компьютерной методики MMPI-383 (и MMPI-566): руководитель проекта к.м.н. Б.В.Иовлев, эксперт-психолог к.п.н. О.Ю.Щелкова, когитолог к.т.н. К.Р.Червинская, программист А.Е.Иванов.
5 Авторы-разработчики системы DPS: эксперт-психолог к.п.н. В.В.Бочаров, когитолог к.т.н. К.Р.Червинская, программист Е.И.Жила.
методологические правила для создания полуструктурированного интервью с целью выявления подразумеваемых знаний.
Создание модели интерпретации тестовых данных для методики ММР1 (система ММР1-383) происходила в соответствии с методологией построения моделей интерпретаций тестовых данных для стратегии «склейки текста с разрешением противоречий».
1. Выявление «экспертного гешталыпа» осуществлялось путем выявления структуры психодиагностического заключения (рубрик, подрубрик и т.д.) с помощью полуструктурированного интервью. Формальная стратегия интервью задавалась инструментом структурирования «дерево целей». Результатом явилась принятая в медико-психологических исследованиях форма психодиагностического заключения, содержащая четыре основных раздела: отношение к исследованию и достоверность результатов; эмоциональное состояние во время исследования; индивидуальные свойства личности; социальные свойства личности (система значимых отношений, характер межличностного общения, адаптация в социальной среде и пр.).
2. Формирование исходной системы понятий, установление взаимосвязей и семантических отношений между понятиями происходило с помощью текстологических методов (для формирования исходной и диагностической системы понятий), метода сортировки карточек (для установления взаимосвязей между понятиями) и косвенного метода установления семантических отношений. Таким образом, структура исходной системы понятий оказалась состоящей из концептов разного уровня обобщенности: уровень вербальных психологических характеристик (нижний уровень), уровень названий контекстов, уровень названий группировок контекстов, уровень структуры психодиагностического заключения.
3. Формирование диагностической системы понятий и установление взаимосвязей осуществлялось в процессе построения контекстов исходной системы понятий. В первоначальном варианте диагностические понятия также выписывались из литературных источников на оборотную сторону карточек, на которых фиксировались вербальные характеристики личности. В состав таких понятий входили не только интервалы, (например, Рс1>75), паттерны и Б и Рв<60), но и особые функции, определяющие, например, является ли шкала пиком или минимальной точкой профиля, входит ли в состав кода и пр. Модель интерпретации результатов тестирования для методики ММР1 представлена на рисунке 3.
Исходная система понятий
Рубрики-
Отношение к исследовании» и достоверность результатов
Эмоциональное состояние
Индивидуальные свойства личности
Социальные свойства личности
Названия групп контекстов
На1вания контекетов
Ди агн о с ти че с кая система понятий
V
84<р«38 &К"-40
|.«60 & 68<р<80 & К<66 -
84=р<83 &К«40 -ч»Г
Описани*
КОЕДО.Рс) & М|Ю(Ма) 3, С» 70 —Описание |
Ма»75 ». М1МЗ(Н5.0.Р5) -Описание]
Р|К(Ма) 1 М1М}(Р| 3. Ма>75 -Описание]
КСЮ(Р5.Р<1) & Р5>Г0 « 11.1. -Описание [
КСЮ(0.5|) 8>М1ЫЗ(Ма) & 5с<Р$ -Ц Описание]
Рисунок 3.
Модель
интерпретации
тестовых
данных для
методики
ММР1.
Итак, компьютерное психодиагностическое заключение содержит вербальные характеристики личности, которые организованы иерархическим образом. Организация текста (компьютерная интерпретация) определяется теми требованиями, которые предъявляются к компьютерному психодиагностическому заключению: связность и непротиворечивость текста, а также удобство восприятия психодиагностического заключения для тех, кому оно предназначено (в данном случае, для врачей).
4. Проведение процесса процедурализации. Изображенная на рисунке 3 структура записывается в виде иерархически организованных правил продукции.
5. Апробация модели осуществлялась в клинике Психоневрологического института им. В.М.Бехтерева.На протяжении ряда лет эксперт-психолог, обследуя испытуемых по ММР1 и получая компьютерное заключение (свыше 1000 протоколов), сравнивал свое представление о результатах тестирования с тем текстом, который формировал компьютер. Если какие-то особенности профиля не получали должного отражения в компьютерном заключении, то конкретный профиль получал описание с помощью диагностической системы понятий и вносился в базу знаний. Важной отличительной особенностью экспертной психодиагностической системы от любого другого психодиагностического инструментария является отделение базы знаний от компьютерной программы, осуществляющей автоматизированное исследование испытуемых. База знаний не является составной частью компьютерной методики (на языке программистов: не «прошита в код»), а существует независимо и доступна для просмотра и редактирования самим экспертам-психологам. Именно такая особенность и позволила на протяжении ряда лет осуществлять апробацию и модификацию модели интерпретации тестовых данных ММР1.
В подпараграфе 4.5.2 «Модель интерпретации тестовых данных методики «Семантический дифференциал времени»» приводится описание кейса, иллюстрирующего процесс построения модели интерпретации для методики «Семантический дифференциал времени» (СДВ).
Разработка модели интерпретации тестовых данных для методики СДВ1 осуществлялась в соответствии с методологией построения моделей интерпретаций тестовых данных для стратегии «склейки текста с разрешением противоречий». Основной принцип интерпретации результатов тестирования основан на результатах исследований больных с эндогенными и психогенными депрессиями [Тейверлаур, 1992; Вассерман, Кузнецов, Ташлыков, Тейверлаур, Червинская, Щелкова, 2003]. Близость испытуемого к той или иной группе определяется с помощью коэффициента корреляции Спирмена, а клинический опыт эксперта-психолога позволил осуществить проекцию экспертных представлений на отобранные испытуемым прилагательные. Формирование исходной системы понятий осуществлялось путем описания полюсов исходных факторов: активности времени (АВ), эмоциональной окраски времени (ЭВ), величины времени (ВВ), структуры времени (СВ) и ощущаемости времени (ОВ). Диагностическая система понятий, содержащая интервалы, паттерны и множественные сочетания паттернов, строилась путем использования модифицированного инструмента структурирования «дерево решений», где модификация заключалась в расширении количества ветвлений (дерево уже не двоичное), а также в возможности описания неконечных вершин.
1 Авторы модели интерпретации тестовых данных методики СДВ эксперт-психолог к.п.н. Е.А.Трифонова, когитолог к.т.н. К.Р.Червинская.
На рисунке 4 представлен фрагмент дерева решений, используемый при создании структуры диагностических понятий для описания будущего времени. В процессе построения такого дерева психологу каждый раз приходилось учитывать верхний уровень (например, повышенный или пониженный показатель структурированности будущего времени) и составлять промежуточные описания (по сочетаниям шкал), учитывая то, как они будут согласовываться с выраженностью верхнего уровня.
Ниже представлен пример вложенных правил, соответствующих серому выделению на рисунке 4. Правила были сформулированы психологом в результате прохождения вершин «дерева решений».
Если (СВб >2,34) ТО {(Испытуемый имеет довольно четкие представления и ожидания, касающиеся своей деятельности и жизненных обстоятельств в будущем.)
{Если (АВб > 5,1) ТО (Будущее представляется испытуемому периодом, насыщенным событиями и впечатлениями, напряженной деятельностью, высокой социальной активностью.)}
Если (АВн < 0,95) ТО (При этом в представлениях испытуемого в будущем ему придется проявлять более высокую степень активности. По-видимому, испытуемый ожидает определенных перемен, которые побудили бы его к энергичной деятельности, наполнили бы его жизнь новыми впечатлениями, позволили бы существенно расширить круг социальных контактов. Полярность в оценках активности психологического времени в настоящем и будущем может указывать на то, что испытуемый неудовлетворен собственной пассивностью, недостаточной событийной наполненностью жизни, однако пока не готов предпринять шаги для изменения ситуации.)}}
В подпараграфе 4.5.3 «Модель интерпретации тестовых данных интегративной системы психодиагностики методом Роршаха» приводится описание кейса, иллюстрирующего процесс построения модели интерпретации для интегративной системы психодиагностики методом Роршаха1 (от англ. Rorschach Comprehensive System), являющейся адаптированным русскоязычным вариантом методики Роршаха, предложенной американским психологом Дж.Экснером и представителями его
1 Авторы модели интерпретации тестовых данных интегративной системы психодиагностики методом Роршаха эксперт-психолог к.м.н. М.А.Ассанович, когитолог к.т.н. К.Р.Червинская.
I Описаний
Рисунок 4. Фрагмент дерева решений при создании структуры диагностических понятий для методики СДВ.
Описание""] [ Описаний
школы па основе длительных, обширных и систематизированных исследований по интеграции всех известных подходов к этому методу и установлению психометрических характеристик измеряемых параметров [Ехпег, 1991, 1993, 1995; Ассанович, 2007].
В главе 5 Конструирование экспертных психодиагностических систем в медицинской психодиагностике показано, как реализация концепции извлечения экспертных знаний в области медицинской психодиагностики привела к появлению психодиагностической технологии принципиально нового класса - конструированию экспертных психодиагностических систем. В главе также представлены результаты эмпирической верификации моделей интерпретации тестовых данных для двух экспертных психодиагностических систем.
В параграфе 5.1 «Методологические положения конструирования ЭПС» предложены методологические положения конструирования экспертных психодиагностических систем, являющихся специфическим подклассом качественного компьютерного психодиагностического инструментария. К ним относятся следующие положения.
1. Качество будущей экспертной психодиагностической системы определяется теми психометрическими показателями, которые характеризуют исходный «бланковый» вариант.
2. Необходимо исследование эквивалентности компьютерной методики ее «бланковому» аналогу, поскольку нарушение стандартных условий предъявления стимульного материала (тестирование с помощью компьютера) приводит к искажению результатов тестирования.
3. Необходимо создание базы психодиагностических знаний, в основе которой должны лежать модели интерпретации тестовых данных, построенные в результате извлечения знаний экспертов-психологов.
4. Модель интерпретации тестовых данных должна быть верифицирована путем установления критериальной валидности компьютерного психодиагностического заключения, под которой понимается показатель, подтверждающий соответствие компьютерного заключения мнению и оценкам экспертов-врачей - специалистов, ведущих данных испытуемых-больных, или мнению, оценкам экспертов-респондентов, так или иначе контактирующих с испытуемыми и имеющих представление об их личностных особенностях.
В параграфе 5.2 «Разработка ЭПС выявления интерперсональных отношений» представлен процесс конструирования методики выявления интерперсональных отношений как экспертной пспходиагпосшческой системы с учетом сформулированных меюдоло! ическнч положении. Приводятся полученные в pciy.ii,кие извлечения шаипм ншернрекшионпые схемы, ошибающиеся от фалишюпных. а шкже рс1\.1ыа1ы \ с I аном.юппя валидное! н компьютерного заключения. 1\прабо1ка модели мшсрирскшии дли мсюлпкп выявления ншерперсопальпых ошошений' осуществилась в соотеачвни с методологией построения моделей для стратегии «склейки текста с разрешением противоречий». Основная проблема создания модели заключалась в том, что, оценивая «Я реальное», испытуемые часто описывали себя противоречивым образом, например, как «доминирующие» и «сверхпокорные» (повышение по I и V октантам), или как
1 Авторы модели интерпретации для методики интерперсональных отношений: эксперт-психолог к.п.н. С.В.Ткаченко, когитолог к.т.н. К.Р.Червинская.
«независимые» и «сверхзависимые» одновременно (повышение по II и VI октантам) и пр. В этом плане этап выявления «экспертного гештальта» оказался ключевым, поскольку способствовал не только выявлению принципа интерпретации, но и эксплицированию интерпретационных схем, позволяющих увязывать противоречивые паттерны.
Для выявления «экспертного гештальта» и формулирования концепции интерпретации были использованы методологические правила для разработки полуструктурированного интервью с целью извлечения подразумеваемых знаний [СЬеп/тэкауа, ЕЛУазяеппап, 2000]. В соответствии с этими правилами необходимо было найти визуальные стимулы, предъявление которых способствует стимулированию синтетической стратегии решения задач экспертом. Такими визуальными стимулами явились циркограммы, отражающие представление результатов тестирования испытуемых в виде «циркумплексной» модели. Следуя гипотезе о влиянии формулировки вопроса в процессе выявления «экспертного гештальта», вопрос, заданный эксперту: «Что можно увидеть на циркограмме?», был уже не случайным, а вполне осмысленным. В результате полуструктурированного интервью с предъявлением визуальных стимулов было построено дерево решений. Оказалось, что эксперта в первую очередь интересует общее распределение октант в циркограмме. Закрашенные области октант могут иметь различную конфигурацию. Общее свойство, которое объединяет все закрашенные части циркограммы, было названо экспертом свойством «равномерности-неравномерности», а все множество циркограмм можно разделить на два независимых класса: равномерности или неравномерности.
Диагностирование ситуаций, характеризующих цнркограмму, основано на построении дереве решений. Нами был разработан адаптивный алгоритм, определяющий ситуации, соответствующие визуальному восприятию эксперта пиков или равномерности на циркограмме. Первоначально заданные экспертом-психологом диапазоны были реализованы на языке программирования СИ++, а затем осуществлялось последовательное уточнение диапазонов: компьютер определял ситуацию и если эксперт-психолог был с ним не согласен, то алгоритм подлежал корректировке. В результате такой алгоритм был создан путем последовательного приближения и прогона более чем 500 реальных циркограмм'. Таким образом, любую циркограмму с помощью разработанного алгоритма можно было отнести к той или иной ситуации, определяемой деревом решений.
Установление валидности компьютерного заключения. Выявленный принцип интерпретации оказался эвристичным не только для создания модели интерпретации тестовых данных, но и для эффективного практического использования ЭПС -разработки технологии проведения тренинга «зеркализации». В параграфе представлена технология проведения такого тренинга и приводятся результаты обсуждения одного из тренингов зеркализации. В период с 2003 года по 2008 год было проведено 82 тренинга «зеркализации», позволивших получить эмпирические данные для валидизации компьютерного психодиагностического заключения. Организация исследования проходила следующим образом. Группе участников до проведения тренинга предъявлялась специальная анкета, составленная таким образом, чтобы участники могли бы оценить своих партнеров по тренингу на наличие тех или
1 Авторы алгоритма, отображающего визуальное восприятие циркограмм экспертом-психологом: к.т.н. К.Р.Червинская (когитолог, программист) и к.п.н. С.В.Ткаченко (эксперт-психолог).
иных качеств, которые в несколько перефразированном виде отражают компьютерное психодиагностическое заключение. Полученные экспертные оценки группы на каждого участника усреднялись и сравнивались с его же аспектом описания «Я зеркальное». Сравнение результатов экспертной анкеты и «Я зеркального» на каждого участника группы происходило с помощью рангового коэффициента корреляции Спирмена. Статистический анализ показал высокий уровнь статистически значимых различий (критерию Пирсона, р<0,001) между количеством
коэффициентов корреляций, имеющих уровень значимости и показывающих соответствие компьютерного заключения личностным особенностям испытуемого, и количеством коэффициентов корреляции, указывающих на ие соответствие. Таким образом, использование компьютерного психодиагностического заключения, полученного по результатам тестирования с помощью методики выявления интерперсональных отношений, не приводит к снижению объективности получаемой психодиагностической информации и статистически значимо на уровне р<0,001 соответствует личностным особенностям испытуемых.
В параграфе 5.3 «Разработка ЭПС выявления невротических черт личности» представлен процесс конструирования компьютерной методики «Невротические черты личности» (НЧЛ) как экспертной психодиагностической системы, приведены данные валидностн компьютерного заключения. Разработка модели интерпретации для методики «Невротические черты личности» (НЧЛ)' осуществлялась в соответствии с методологией построения моделей интерпретаций тестовых данных для стратегии «склейки текста с разрешением противоречий».
Для выявления экспертного гешталыпа были использованы методологические правила для разработки полуструктурированного интервью с целью извлечения подразумеваемых знаний. Визуальными стимулами, способствующими стимулирование синтетической стратегии решения задач экспертом, оказались «профили черт личности» методики НЧЛ. Эксперт раскладывал изображения профилей на группы по степени похожести картинок (метод сортировки карточек). Анализ выделенных групп позволил выявить основной принцип интерпретации: методика определяет структуру личности как в виде невротических черт, то есть совокупности черт, предрасполагающих к развитию невротических реакций и состояний, так и их отсутствие по определенным заданным методикой свойствам, которые можно расценивать как адаптивные черты личности или личностные ресурсы, знание которых врачом существенно облегчает проведение психокоррекционных мероприятий. Тем самым, принцип интерпретации предполагает определение не отдельно взятых личностных черт, отраженных отдельными шкалами опросника, а совокупности черт личности испытуемого (возможно одновременно как невротических, так и ресурсных). Очевидно, что число вариантов «профилей» шкальных оценок личностных шкал методики НЧЛ практически не ограничено. Поэтому востребованной оказалась стратегия «склейки текста», позволяющая строить сколь угодно гибкие интерпретации, удовлетворяющие практическим нуждам клиники.
С целью установления валидностн компьютерного психодиагностического заключения проводилось исследование, в котором были задействованы врачи, психологи, а также три группы испытуемых: пациенты отделения неврозов
1 Авторы модели интерпретации, созданной на основе методики НЧЛ, руководитель проекта к.м.н. Б.В.Иовлев, эксперт-психолог к.п.н. О.Ю.Щелкова, когитолог к.т.н. К.Р.Червинская.
Психоневрологического института им. В.М.Бехтерева и ГПБ №7 им. академика И.П.Павлова (клиники неврозов) с диагнозом «невроз»; пациенты, находящиеся на стационарном лечении 4-го отделения ВМедА и ГИБ № 30 им. С.П.Боткина с различными видами наркомании; здоровые испытуемые, преимущественно студенты ВУЗов г.СПб. Эксперты (в данном случае лечащие врачи больных, члены ближайшего микросоциалыюго окружения здоровых испытуемых - психологи) оценивали по специально разработанной анкете степень соответствия текста компьютерного психодиагностического заключения их представлению о личностных особенностях испытуемого (от «-3» - «полностью не соответствует», до «3» -полностью соответствует).
Результаты исследования показали, что текст компьютерного заключения тестовых данных методики НЧЛ соответствует представлениям экспертов о личностных особенностях испытуемых только лишь в двух группах: здоровых испытуемых и больных невротическими расстройствами. В группе больных наркоманией наблюдалось сильное расхождение экспертных оценок, что поставило под сомнение гипотезу о валидности компьютерного заключения. Действительно, проведенный статистический анализ показал, что для группы здоровых испытуемых результаты «соответствия текста представлениям экспертов о личностных особенностях» и «не соответствия» статистически значимо различаются по критерию у_2 Пирсона на уровне р<0,01. Для группы больных невротическими расстройствами -статистически значимое различие установлено на уровне значимости р<0,001. Результаты исследования группы больных наркоманией показали отсутствие статистически значимых различий между оценками.
Для прояснения ситуации мы обратились к результатам исследования группы больных наркоманией по методике НЧЛ. Оказалось, что 70% протоколов имеют специфический паттерн профиля, который определяется повышением по шкале «Диссимуляция» с одновременным снижением по шкале «Симуляция». Это указывает на стремление испытуемых придать ответам социально одобряемый характер, избежать излишней откровенности, смягчить недостатки собственной личности, эмоционально значимые проблемы и трудности социальной адаптации. В дополнительных исследованиях было осуществлено сравнение той же группы испытуемых (больных наркоманией) и той же группы здоровых испытуемых по методике LSI, адаптированной совместно лабораторией клинической психологии и отделением наркологии Психоневрологического института им. В.М.Бехтерева [Вассерман, Ерышев, Кпубова и др., 1998], позволяющей оценить степень выраженности восьми основных механизмов Эго-защиты: отрицания, проекции, регрессии, компенсации, интеллектуализации, замещения, реактивных образований и вытеснения. Сравнительный анализ подтвердил, что больным наркоманией свойственна такая психологическая защита как «отрицание». Эти исследования позволили прояснить ситуацию с установлением валидности компьютерного заключения по результатам методики НЧЛ. Исследованный контингент - больные наркоманией - характеризуются защитным механизмом «отрицания», способствующим отрицанию эмоционально значимых проблем и трудностей социальной адаптации. Отсюда вытекает специфический паттерн методики НЧЛ, указывающий на стремление испытуемых придать ответам социально одобряемый характер, избежать излишней откровенности, смягчить недостатки собственной
личности, что в конечном итоге приводит к мотивационному искажению результатов тестирования.
Итак, использование компьютерного заключения, полученного по результатам тестирования с помощью методики «Невротические черты личности» группы здоровых испытуемых и больных невротическими расстройствами, не приводит к снижению объективности получаемой психодиагностической информации и статистически значимо (для здоровых испытуемых р<0,01; для больных невротическими расстройствами р<0,001) соответствует личностным характеристиками испытуемых. В силу ярко выраженных защитных реакций больных наркоманией не рекомендуется использовать разработанный инструментарий на этом контингенте. Полученные результаты исследования позволяют говорить и о верификации построенной модели интерпретации тестовых данных по методике НЧЛ.
Заключение диссертационной работы содержит обсуждение результатов проведенного теоретического и экспериментального исследований.
Выводы
1. Анализ литературы по инженерии знаний, а также опыт создания экспертных психодиагностических систем в области медицинской психодиагностики позволяют утверждать, что технология проектирования экспертных систем включает в себя процесс извлечения экспертных знаний, на котором происходит взаимодействие субъектов труда с целью построения модели экспертных представлений и рассуждений. В диссертационной работе разработана концепция извлечения экспертных знаний субъектов труда и определено ее место в процессе проектирования когнитивных технических (компьютерных) систем.
2. Сравнительный анализ теоретико-психологических оснований, методологий, моделей и методов двух направлений по проектированию когнитивных компьютерных систем (инженерии знаний и когнитивной эргономики) показал, что проблема извлечения экспертных знании является для них общей. Таким образом, разработанная концепция составляет основу когнитивного анализа деятельности специалиста (пользователя, эксперта) для проектирования когнитивных технических (компьютерных) систем: экспертных систем, систем поддержки принятия решений, систем «человеко-компьютерного взаимодействия».
3. Анализ литературы, касающейся описания экспертной деятельности, экспериментальных исследований индивидуального опыта эксперта, исследований, демонстрирующих различные неосознаваемые влияния прошлого опыта на познавательную деятельность человека, исследований феномена «подразумеваемых» знании в кошексге практической) пшсл.тскю н пр.. позволил поа роить системную модель «жспершосш». В рамках мой модели кошишвпая ,тея1елыюеть эксперта харакчерп зуеи'я феноменами. окан.ш.шшшмн сушеавеппое влияние па эксплицирование жснершыч ¡папин. К ним опюсжсм: экспертам категоризация, осуществляемая согласно нмплишп но усвоенному основанию; экспертная процедурализация как имплицитный переход ог явного использования категорий к прямому применению процедур; затрудненная вербализация экспертных знаний, проявляющаяся в процессе социального взаимодействия; подверженность представлений экспертов когнитивным искажениям (эффектами чрезмерной уверенности, привязки и эвристикой доступности).
4. Путем анализа компонентов модели «экспертное™» выявлена структура феноменов, оказывающих влияние на эксплицирование экспертных знаний. Феномены экспертной категоризации и процедурализации, проявление дискурсивных и личностных особенностей субъектов труда, эффекты чрезмерной уверенности, привязки, проекции, эвристика доступности являются барьерами и существенно затрудняют процесс эксплицирования экспертных знаний. Анализ этих феноменов позволил наметить пути разрешения проблемы и сформулировать аспекты обоснования концепции извлечения экспертных знаний: коммуникативный, операционально-инструментальный и процессуальный. Теоретико-психологическими основаниями извлечения экспертных знаний являются разработанные коммуникативные модели, мета-язык и процессуальная схема взаимодействия субъектов труда.
5. Рассмотрение коммуникативного аспекта извлечения экспертных знаний содержит систематизацию коммуникативных ситуаций взаимодействия субъектов труда. Для построения коммуникативных моделей выбраны следующие основания: представления о том, кто из участников взаимодействия проявляет активность и инициативу (субъект деятельности), а кто - пассивность и реактивность (объект деятельности), а также количество участников взаимодействия: диадическое (когитолог и эксперт) и многомерное (когитолог и группа экспертов) взаимодействие. В соответствии с выделенными основаниями определены четыре модели коммуникативного взаимодействия когитолога и эксперта: модель субъект-объектного взаимодействия, модель субъект-субъектного взаимодействия, модель многомерного субъект-объектного взаимодействия и модель многомерного смешанного взаимодействия.
6. Коммуникативные модели задают девять ситуаций коммуникативного взаимодействия субъектов труда, каждая из которых характеризуется специфическим наполнением типовой структуры: субъект, объект, цель деятельности, перцепция, методы извлечения знаний и результат деятельности. Извлечение экспертных знаний субъектов труда предполагает выбор когитологом коммуникативной модели, а, следовательно, и структуры взаимодействия, включающей необходимость использования соответствующих методов извлечения экспертных знаний.
7. Рассмотрение операционально-инструментального аспекта извлечения экспертных знаний субъектов труда содержит обоснование концептуальных основ прикладной когитологии. Анализ зарубежных инженерно-психологических исследований показал, что структурирование деятельности, связанное с использованием когнитивных артефактов и инструментов, постулировано многими авторами. Когнитивные артефакты определяются исследователями как искусственные устройства (т.е. созданные человеком), интегрирующие знания и являющиеся результатом процесса разработки, носящего социальный характер. Инструмент структурирования формируется из двух составляющих: когнитивного артефакта и одной или нескольких схем его использования.
8. Систематизация исследований экспериментальной психологии познания позволила определить когнитивные артефакты и инструменты структурирования как ядро операционально-инструментального аспекта разработанной концепции. В качестве когнитивных артефактов выступают конкретные виды когнитивных структур, опосредованные классами базовых семантических отношений: деревья, кластеры, пространства, цепочки и сети. Инструменты структурирования - это набор
формализмов инженерии знаний, полученных в результате использования выделенных когнитивных артефактов в процессе концептуального анализа знаний. Инструменты структурирования определяют операционально-инструментальное поле, задают мета-язык взаимодействия субъектов труда в процессе извлечения знаний и расширяют концептуальные основы прикладной когитологни.
9. Разработка процессуального аспекта извлечения экспертных знаний субъектов труда заключалась в создании процессуальной схемы, обоснованной путем установления соотношения феноменов эксплицирования, стадий, этапов и шагов. Процессуальная схема включает следующие стадии: «Подготовка», «Выявление», «Структурирование» и «Результат». Стадия «Подготовка» выделена особо в связи с теми трудностями, которые испытывают когитолог и эксперт на начальном этапе взаимодействия, и характеризуется вхождением специалиста (когитолога, эксперта) в предметную область другого специалиста (эксперта, когитолога). Стадия «Выявления» характеризуется субъект-субъектным взаимодействием когитолога и эксперта, способствующим осознанию экспертом имплицитно усвоенного основания категоризации. На стадии «Структурирования» осуществляется преимущественно субъект-объектное взаимодействие субъектов труда, способствующее формированию модели экспертных представлений с помощью инструментов структурирования декларативного и процедурного типа.
10. Процессуальная схема содержит стадию «Результат», выделенную для того, чтобы подчеркнуть, что в результате предыдущих стадий, этапов и шагов получается модель в виде иерархически связанных процедурных правил; тем самым, имитируется переход от «свернутости экспертных рассуждений» к некоторой динамической «развернутости». Поскольку система продукционных знаний эксперта носит имплицитный характер, а потому эксплицирование ее традиционными методами (т.е. методами типа интервью, наблюдения и пр.) достаточно сложно и практически невозможно. Однако последовательное прохождение описанных выше этапов позволяет сформулировать иерархическую систему продукционных правил в явном (эксплицитном) виде, которая может стать основой для формирования базы знаний. Процессуальная схема имеет теоретический характер, конкретизация и специфичность, обусловленная предметной областью и решаемой в ней задачей, проявляется по мере движения от стадий к шагам. Феномены, стадии и этапы покрывают широкий класс предметных областей, шаги обусловлены спецификой области медицинской психодиагностики.
11. Концепция извлечения экспертных знаний субъектов труда апробирована в области медицинской психологии. В диссертационной работе разработана методология построения моделей интерпретаций тестовых данных, включающая в себя последовательность трех этапов и пяти взаимосвязанных с ними шагов. На каждом этапе участниками взаимодействия осуществляется выбор конкретной коммуникативной модели и использование инструментов структурирования декларативного или процедурного типа. Опыт разработки экспертных психодиагностических систем в области медицинской психологии, а также классификация методик медицинской психодиагностики позволили сформулировать три стратегии построения моделей интерпретаций тестовых данных: «приписывания портретов», «склейки текста с учетом сочетаний» и «склейки текста с разрешением противоречий». Конкретизация методологии построения моделей интерпретаций
тестовых данных осуществляется для каждой стратегии в отдельности и иллюстрируется описанием тринадцати кейсов.
12. В области медицинской психодиагностики этап выявления «экспертного гештальта» необходим для эксплицирования основного принципа интерпретации, используемого психологом при создании потребного психодиагностического заключения и позволяющего ему в процессе интерпретации результатов тестирования интегрировать противоречивые данные. С этой целью применялись методологические правила для создания полуструктурированного интервью, предполагающие работу с «картинками» - графическими представлениями результатов тестирования испытуемых; метод сортировки карточек (сортировка вербальных характеристик личности или «картинок»); структурированное интервью, формальная стратегия которого определялась инструментом структурирования «дерево целей». При проведении этапов категоризации и процедурализации основным инструментом, используемым при построении моделей интерпретации тестовых данных, являлось модифицированное дерево решений. Результатом построения являются модели интерпретации тестовых данных в виде иерархически организованных процедурных правил.
13. Практическое применение концепции извлечения экспертных знаний в области медицинской психодиагностики привело к появлению психодиагностической технологии принципиально нового класса - конструированию экспертных психодиагностических систем. Создание экспертных психодиагностических систем, баз психодиагностических знаний, востребованных в практике медицинской психодиагностики, предполагает необходимость учета методологических положений.
14. Разработка компьютерных методик выявления интерперсональных отношений и невротических черт личности осуществлялось на основе методологических положений конструирования экспертных психодиагностических систем. Установление валидности компьютерных заключений показало, что использование таких заключений не приводит к снижению объективности получаемой психодиагностической информации и статистически значимо соответствует мнению и оценкам врачей - специалистов, ведущих данных испытуемых-больных. Полученные результаты исследований позволяют говорить о верификации построенных моделей интерпретации тестовых данных. Таким образом, разработанные на основе концепции извлечения экспертных знаний экспертные психодиагностические системы являются информативными и валидными инструментами психологической диагностики, дополняющими и объективирующими данные клинико-психологического исследования.
Основное содержание диссертации отражено в следующих публикациях автора общим объемом 92,2 п.л.
Монографии:
1. Извлечение и структурирование знаний для экспертных систем / Т.А.Гаврилова, K.P. Червинская - М.: Радио и связь, 1992. - 200 с. 12, 5/4,2 п.л.
2. Психологическая диагностика и новые информационные технологии / Л.И. Вассерман, В.А. Дюк, Б.В. Иовлев, K.P. Червинская - СПб: СЛП, 1997. - 208 с. 13/7 п.л.
3. Медицинская психодиагностика и инженерия знаний / K.P. Червинская, О.Ю. Щелкова - М.: Издательский центр «Академия», 2002. - 624 с. 39,0/23,4 п.л.
4. Компьютерная психодиагностика и ее практическое применение // Раздел в монографии // Медицинская психодиагностика: введение в теорию, практику, обучение // Л.И. Вассерман, О.Ю.Щелкова - СПб.: Филологический факультет СПбГУ; М.: Издательский центр «Академия», 2003, С. 407-455 46/3 п.л.
Статьи в научных журналах, рекомендованных ВАК:
5. Технология разработки компьютерных методик для клинической психодиагностики / K.P. Червинская, О.Ю. Щелкова // Вестник Санкт-Петербургского университета. - 2004. - Серия 6. - Вып. 3. - С. 120-125. 0,49/0,24 п.л.
6. Методологические аспекты изучения эффективности компьютерной психодиагностики / Б.В. Иовлев, М.В. Новожилова, K.P. Червинская, О.Ю. Щелкова // Вестник Санкт-Петербургского университета. - 2006. - Серия 6. - Вып. 2. - С. 115-124. 0,57/0,14 п.л. (принято к печати 7 декабря 2005).
7. Концепция «извлечения экспертных знании» в инженерно-психологическом контексте // Вестник Санкт-Петербургского университета. - 2008. - Серия 12. - Вып. 3. - С. 394-402 0,5 п.л.
8. Феномен разделения знаний в организационной психологии / K.P. Червинская,
A.А.Журавлева // Вестник Санкт-Петербургского университета. - 2009. - Серия 12. -Вып. 1.-С. 249-258 0,56/0,28 п.л.
9. Извлечение экспертных знаний: трудности и пути их разрешения // Вестник Санкт-Петербургского университета. - 2009. - Серия 12. - Вып. 3. - С. 23-33 0,625 п.л.
10. Стратегии аккультурации в процессе разделения знаний / С.А. Маничев, K.P. Червинская, Л.Н. Горюнова, М.А. Антропова // Вестник Санкт-Петербургского университета. - 2009. - Серия 12. - Вып. 3. - С. 3-12 0,56/0,14 п.л.
11. Экспертные психодиагностические системы как инструмент решения задач экспресс психологической диагностики // Ученые записки университета имени П.Ф. Лесгафта. - 2009. - № 12 (58).-С. 111-114 0,18 п.л.
Статьи в журналах и сборниках:
12. Формирование поля знаний на примере психодиагностики / Т.А. Гаврилова, K.P. Червинская, A.M. Яшин // Известия АН СССР. Техническая кибернетика, 1988. -№ 5. - С.72-85 0,8/0,4 п.л.
13. Методы концептуального анализа знаний // Методы и системы принятия решений // Сб. научных трудов Рижского технического университета, 1991. — С.116-122 0,4 п.л.
14. О направлениях использования персональных компьютеров в медицинской психологической диагностики / Л.И.Вассерман, Б.В.Иовлев, К.Р.Червинская // Обозрение медицинской психологии и психотерапии им. В.М.Бехтерева, 1993. - № 3. С.21-27 0,36/0,13 п.л.
15. Компьютерная психодиагностика: назад к клинико-психологическому мешду / Л.И. Вассерман, А.Я. Вукс, Б.В. Иовлев, K.P. Червинская, О.Ю. Щелкова // Теория и практика медицинской психологии и психотерапии, 1994. - СПб.: НИПНИ им.
B.М.Бехтерева. - С. 62-70. 0,56/0,11 п.л.
16. Экспертные системы в психодиагностике: методология проектирования и модель для MMPI / Т.А. Волохова, Б.В. Иовлев, Д.А. Ковригин, C.B. Сенатова, K.P. Червинская, О.Ю. Щелкова // Обозрение психиатрии и медицинской психологии им. В.М.Бехтерева, 1994.-№ 2.-С. 67-73 0,6/0,1 п.л.
17. Компьютерная обучающая-экзаменационная система по интерпретации данных MMPI (Экзаменатор-MMPI) / K.P. Червинская, О.Ю. Щелкова // Обозрение
психиатрии и медицинской психологии им. В.М. Бехтерева, 1998. - № 2. - С. 33-34 0,3/0,15 п.л.
18. О развитии психодиагностики в контексте новых информационных технологий / K.P. Червинская, О.Ю. Щелкова // Журнал прикладной психологии, 1998. - № 3. - С. 86-103. 0,83/0,42 п.л.
19. Методологические вопросы психодиагностики на базе новых информационных технологий / Л.И. Вассерман, Б.В. Иовлев, K.P. Червинская, О.Ю. Щелкова // Обозрение психиатрии и медицинской психологии им. В.М. Бехтерева, 1999. — № 3. — С. 23-27 0,4/0,1 п.л.
20. Some methodological aspects of tacit knowledge elicitation / K.R. Chervinskaya, E.L. Wasserman // Journal of Experimental & Theoretical Artificial Intelligence (JETAI), 2000.-V. 12. -№.1,- P. 43-55 0,75/0,36 п.л.
21. Компьютерная психодиагностика // Компьютерные технологии в науке и образовании XXI века: Сб. статей по материалам III Международной открытой сессии «Modus Academicus» // под ред. Ю.В.Полянского, А.А.Смагина. - Ульяновск: УлГУ, 2000. - С.127-148. 1,3 п.л.
22. Психологические аспекты моделирования мышления эксперта при решении задач анализа и интерпретации визуальной информации / Е.Л.Вассерман, К.Р.Червинская // Сибирский психологический журнал, 2000. - Вып.12. - С. 119-126 0,44/0,22 п.л.
23. Methodological Issues in the Development of Computerized Methods of Diagnostics in Clinical Psychology / K.R. Chervinskaya, O. Yu. Shchelkova // International Journal of Mental Health, 2005. - Winter. V. 34. - № 3. - P. 45-52. 0,52/0,26 п.л.
24. Психологическая концепция извлечения экспертных знаний на моделях медицинской психодиагностики // Вестник Южно-Уральского государственного университета, 2008. - Серия 6. - Вып. 4. - С. 68-80 0,75 п.л.
Учебно-методические работы:
25. Тестовая методика для исследования межличностных отношений и ее компьютерная версия. Методическое пособие / Л.И.Вассерман, В.В.Бочаров, С.В.Ткаченко, К.Р.Червинская. - СПб: НИПНИ им. В.М.Бехтерева, 1994. - 29 с. 1,8/0,45 п.л.
26. Основы компьютерной психодиагностики. Учебно-методическое пособие. -СПб: НИПНИ им. В.М.Бехтерева, 2002.-40 с. 2,5 п.л.
27. Компьютерный психодиагностический инструментарий в практической работе медицинского психолога: Методическое пособие / В.В. Бочаров, Л.И. Вассерман, К.Р.Червинская и др. - СПб.: НИПНИ им. В.М.Бехтерева, 2002. - 82 с. 3,46/0,38 п.л.
28. Опросник для определения невротических черт личности (НЧЛ). Пособие для врачей / Б.В.Иовлев, К.Р.Червинская, О.Ю.Щелкова, 2003. - СПб: НИПНИ им. В.М.Бехтерева.-40 с. 2,5/0,8 п.л.
29. Компьютерные психодиагностические методики: методология разработки и практика использования // Клиническая психология и психофизиология: Учебное пособие / Л.И. Вассерман, K.P. Червинская, О.Ю. Щелкова / Под ред. Г.М. Яковлева, 2003. - СПб: ЭЛБИ-СПб. - С. 150-181. 1,73/0,87 п.л.
30. Психологическая диагностика невротических черт личности. Методические рекомендации / Л.И. Вассерман, Б.В. Иовлев, K.P. Червинская, О.Ю. Щелкова, 2003. -СПб: НИПНИ им. В.М. Бехтерева. - 29 с. 1,6/0,4 п.л.
31. Компьютерная психодиагностика. Учебное пособие, 2003. - СПб: Речь. - 336 с. 21 пл.
32. Семантический дифференциал времени как метод психологической диагностики личности при депрессивных расстройствах: Пособие для психологов и врачей / Л.И. Вассерман, О.Н. Кузнецов, В.А. Ташлыков, М. Тейверлаур, K.P. Червинская, О.Ю. Щелкова. - СПб: НИПНИ им. В.М. Бехтерева, 2005. - 24 с. 1,2/0,2 п.л.
33. Методика интерперсональных отношений: опыт эксплицирования знаний эксперта-психолога, интерпретационные схемы. Методическое пособие, 2008. - СПб: Речь, - 160 с. 10 п.л.
34. Психологические основы инженерии знаний. Учебное пособие, 2009. - СПб: СПбГУ,- 145 с. 9,1 п.л.
Материалы и тезисы докладов конференции и симпозиумов:
35. Об автоматизации психодиагностических исследований // Психологическая диагностика при нервно-психических и психосоматических заболеваниях / А.Б.Иовлев, Б.В.Иовлев, К.Р.Червинская - Л.: НИПНИ, 1985. - С.22-27 0,31/0,1 п.л.
36. Моделирование интеллектуальной деятельности эксперта-психолога в рамках построения экспертной психодиагностической системы // Всесоюзная школа-семинар "Семиотические аспекты формализации интеллектуальной деятельности". -Боржоми, 1988.-С. 254-256 0,19 п.л.
37. Об автоматизированной системе интерпретации результатов исследования с помощью многопрофильного личностного опросника / В.В.Бочаров, О.Ю.Щелкова, К.Р.Червинская // Актуальные вопросы практической психологии: тез.докл. Республиканской научной конференции молодых ученых. - Тбилиси, 1988. С.42-45 0,19/0,06 п.л.
38. Использование АСУ и ЭС в связи с задачами диспансеризации психических больных / М.И.Лаврентьев, И.В.Назаренко, М.В. Цветкова, К.Р.Червинская // Теория и практика диспансеризации в неврологии и психиатрии. - Л.: НИПНИ, 1988. - С. 104108 0,25/0,06 п.л.
39. Проблемы создания системы АВТАНКЛИП // Проблемы применения экспертных систем: Тез.докл. республиканской школы-семинара. - Кишинев, 1989. -С.138-142 0,25 п.л.
40. Формальная методология стадии концептуализации на примере системы АВТАНКЛИП / Б.В.Иовлев, К.Р.Червинская, О.Ю.Щелкова // II Всесоюзная конференция "Искусственный интеллект - 90". - Минск, 1990. - С. 66-70 0,25/0,08 п.л.
41. О возможное!и использования женершых споем для психогигиенического и нспхоирофилакшческою конечлм прокипи» Б.В.Поилеи. К.Р.Червинская, О.Ю.Щелкова // Тез.докл. международной конференции. - Л.: ГПДУВ, 1990, Т.2, С.33-34 0,13,0.04 и л.
42. Компьютерная ncii.xo.uiaiноешка и проблемы психопрофилактики состояний психической дезадаптации / Л.И. Вассерман, А.Я. Вукс, Б.В. Иовлев, K.P. Червинская, О.Ю. Щелкова // Материалы XII Съезда психиатров России (1-4 ноября 1995 года). -М., 1995. - С. 578-580 0,2/0,04 п.л.
43. Компьютерная обучающая-экзаменационная система по интерпретации данных MMPI («Экзаменатор-MMPI») / Л.И.Вассерман, К.Р.Червинская, О.Ю.Щелкова //
Ежегодник Российского Психологического общества «Психология и практика», Ярославль, 1998, том 4, вып.2, С.36-37; 0,12/0,04 п.л.
44. Применение технологии инженерии знаний для психологической диагностики с помощью персональных компьютеров / Л.И.Вассерман, К.Р.Червинская // Тез. докл. научно-практической конференции «Проблемы инструментальной оценки состояния и нарушений у детей и подростков с помощью компьютерных тестовых систем (развитие медико-инженерных технологий на рубеже тысячелетий)». - М: ЗАО ВНИИМП-ВИТА, 1999.-С.21-23 0,13/0,06 п.л.
45. Компьютерная психодиагностика: парадигма конструирования психодиагностического инструментария на основе технологии инженерии знаний / Л.И. Вассерман, K.P. Червинская, О.Ю. Щелкова // Клиническая психология: Материалы первой международной конференции памяти Б.В. Зейгарник. - М., 2001. -С. 62-63 0,12/0,04 п.л.
46. Разработка методики и компьютерной психодиагностической программы «Невротические черты личности» (НЧЛ) / Б.В. Иовлев, K.P. Червинская, О.Ю. Щелкова // Современные проблемы психоневрологии (диагностика, лечение и реабилитация больных нервными и психическими расстройствами): Сб. тез. научной конференции с международным участием. - СПб.: НИПНИ им. В.М. Бехтерева, 2002. -С. 62-63. 0,12/0,04 п.л.
47. Обучение и усовершенствование в области психологической диагностики с помощью компьютерных технологий / K.P. Червинская, О.Ю. Щелкова // Медицинская психология в практическом здравоохранении: Материалы конференции к 10-летию образования кафедры медицинской психологии СПбМАПО. - СПб.: МАПО, 2003. - С. 21-24. 0,18/0,09 п.л.
48. Новые информационные технологии в клинической психодиагностике / Б.В.Иовлев, К.Р.Червинская, О.Ю.Щелкова // Актуальные проблемы клинической психологии и психофизиологии // Материалы научно-практической конференции «Ананьевские чтения-2004» / Под ред. Л.А.Цветковой, Г.М.Яковлева. - СПб.: СПбГУ, 2004 - С. 177-184 0,44/0,14 п.л.
49. Психосемантический подход в компьютерной медицинской психодиагностике / Л.И.Вассерман, К.Р.Червинская // Актуальные проблемы клинической психологии и психофизиологии // Материалы научно-практической конференции «Ананьевские чтения-2004» / Под ред. Л.А.Цветковой, Г.М.Яковлева. - СПб.: СПбГУ, 2004. - С. 5968 0,56/0,28 п.л.
50. Новые информационные технологии в клинической психодиагностике / Б.В. Иовлев, K.P. Червинская, О.Ю. Щелкова // Актуальные проблемы клинической психологии и психофизиологии: Материалы научно-практической конференции «Ананьевские чтения-2004» СПб.: СПбГУ, 2004. - С. 177-184. 0,5/0,17 п.л.
51. Опыт установления валидности компьютерного психодиагностического заключения / М.Ю.Новожилова, К.Р.Червинская // Материалы научно-практической конференции «Ананьевские чтения-2006» / Под ред. Л.А.Цветковой, А.А.Крылова. СПб.: СПбГУ, 2006. - С. 164-165 0,13/0,06 п.л.
52. Методологические аспекты разработки компьютерного психодиагностического инструментария / М.Ю.Новожилова, К.Р.Червинская // Материалы Всероссийской научно-практической конференции «Современные проблемы прикладной психологии» // Ярославль, 2006, Т. 1, С. 88-92 0,25/0,13 п.л.
53. Методологические аспекты разработки компьютерных методик для решения психодиагностических задач в клинической психологии / Б.В. Иовлев, К.Р. Червинская, О.Ю. Щелкова // Психоневрология в современном мире: Материалы Юбилейной научной сессии. - СПб.: НИПНИ им. В.М. Бехтерева, 2007. - С. 229. 0,06/0,02 п.л.
54. Компьютеризация интегративнон системы Роршаха / М.А.Ассанович, К.Р.Червинская // Материалы 4-го Всероссийского съезда Российского психологического сообщества. 18-21 сентября 2007 года: В 3 т.- Москва - Ростов на Дону.: Изд-во «Кредо», 2007. - Т.З. - С.194-195 0,13/0,06 п.л.
55. Автоматизированные психодиагностические методы выявления групп риска / Л.И.Вассерман, К.Р.Червинская // Материалы городского семинара для организаторов и специалистов 27-28 мая 2008 года // Профилактика и терапия употребления психоактивных веществ и нехимической зависимости. - СПб, 2008. - С.25-29 0,25/0,13 п.л.
Лицензия ЛР № 020593 от 07.08.97
Подписано в печать 21.01.2010. Формат 60x84/16. Печать цифровая. Усл. печ. л. 2,0. Уч.-изд. л. 2,0. Тираж 100. Заказ 5594Ь.
Отпечатано с готового оригинал-макета, предоставленного автором, в Цифровом типографском центре Издательства Политехнического университета. 195251, Санкт-Петербург, Политехническая ул., 29. Тел.:(812)550-40-14 Тел./факс: (812) 297-57-76
Содержание диссертации автор научной статьи: доктора психологических наук, Червинская, Ксения Ральфовна, 2010 год
Введение.
Глава 1. Теоретические контексты проблемы извлечения экспертных знаний субъектов труда.
1.1. Извлечение экспертных знаний в теории искусственного интеллекта.
1.2. Извлечение экспертных знаний в инженерно-психологическом контексте проектирования сложных технических систем.
Выводы по главе 1.
Глава 2. Теоретико-прикладной анализ эксплицирования экспертных знаний
2.1. Социально-психологический феномен экспертной деятельности.
2.2. Системообразующие компоненты «экспертности».
2.3. Индивидуальный опыт экспертов: феномены и гипотезы.
2.4. Построение системной модели «экспертности».
2.5. Эксплицирование экспертных знаний: трудности и пути их преодоления.
Выводы по главе 2.
Глава 3. Теоретико-психологические основания извлечения экспертных знаний субъектов труда.
3.1. Коммуникативный аспект извлечения экспертных знаний.
3.2. Операционально-инструментальный аспект извлечения экспертных знаний.
3.2.1. Виды знаний и их структурные описания.
3.2.2. Когнитивные артефакты и инструменты структурирования.
3.3. Процессуальный аспект извлечения экспертных знаний.
Выводы по главе 3.
Глава 4. Извлечение знаний экспертов-психологов в области медицинской психодиагностики.
4.1. Постановка задачи создания моделей интерпретаций тестовых данных.
4.2. Стратегии и методология создания моделей интерпретаций тестовых данных
4.3. Модели интерпретации для тестов с независимыми шкалами.
4.4. Модели интерпретации для тестов с зависимыми совместимыми шкалами.
4.5. Модели интерпретации для тестов с зависимыми противоречивыми шкалами
4.5.1. Модель интерпретации тестовых данных личностного опросника ММР1.
4.5.2. Модель интерпретации тестовых данных методики «Семантический дифференциал времени».
4.5.3. Модель интерпретации тестовых данных интегративной системы психодиагностики методом Роршаха.
Выводы по главе 4.
Глава 5. Конструирование экспертных психодиагностических систем в медицинской психологии.
5.1. Методологические положения конструирования ЭПС.
5.2. Разработка ЭПС выявления интерперсональных отношений.
5.3. Разработка ЭПС выявления невротических черт личности.
Выводы по главе 5.
Введение диссертации по психологии, на тему "Психология извлечения экспертных знаний субъектов труда"
Актуальность исследования и степень разработанности проблемы.
Проблема извлечения экспертных знаний возникла в конце 1970-х годов в результате создания первых экспертных систем - интеллектуальных (компьютерных) программ, моделирующих в рамках определенной предметной области решение задач экспертами. Зародившись в русле теории искусственного интеллекта как технического направления по созданию интеллектуальных (компьютерных) систем, она вышла за рамки практических рекомендаций для программистов, остро поставив очевидные психологические проблемы: что такое экспертные знания, как их можно «извлечь» или эксплицировать, как построить работоспособную модель принятия решений специалистом предметной области для создания экспертной системы - интеллектуальной программы, решающей профессиональные задачи также, как это делает опытный профессионал.
Трудности проведения экспертизы и получения экспертных знаний для создания концептуальных моделей в различных предметных областях (медицина, химия и пр.) положили начало самостоятельному научному направлению - инженерии знаний (от англ. knowledge engineering), предназначенному для изучения проблем извлечения и структурирования экспертных знаний, представления, формирования, обработки и приобретения знаний интеллектуальными системами [Feigenbaum, 1980; Boose, 1986; Поспелов, 1986; Гаврилова, Червинская, 1992; Adeli, 1994; Tuthill, 1994; Гаврилова, Хорошевский, 2001; Червинская, Щелкова, 2002]. Психологический аспект инженерии знаний касается исследования проблемы извлечения экспертных знаний, возникающей в процессе построения модели экспертных представлений и рассуждений путем взаимодействия двух субъектов труда: инженера по знаниям или когитолога (специалиста по извлечению знаний, от лат. cogitio - мыслить; греч. logos - слово, учение) и эксперта (специалиста предметной области).
Рассмотрение эволюционного развития работ в области искусственного интеллекта как направления по моделированию познавательных процессов человека показывает, что с начала 1980-х годов вплоть до настоящего времени центральной парадигмой проектирования экспертных систем является концепция «экспертных знаний» [Поспелов, 1989; Попов, 1987; Яшин, 1990; Ларичев, Моргоев, 1991; Хейес-Ротт, Уотермена, Ленат, 1987; Осуга, 1989; Gaines, 1993]. По мнению специалистов в области искусственного интеллекта, эффективность экспертных систем определяется не столько формальными схемами логического вывода, сколько знаниями экспертов предметной области, которые удалось «выявить» и «перенести» в компьютер.
Анализ исследовательских работ в области инженерии знаний как основы проектирования экспертных систем (область компьютерных наук) показывает, что, несмотря на успехи в разработке компьютерной аппаратуры, программного обеспечения, оптических носителей (дисков), электронных коммуникаций и прочих новейших технологий, центральной проблемой создания любой экспертной системы является процесс передачи знаний и опыта решения задач экспертом в компьютерную систему, называемый «приобретением знаний» [Boose, 1989; Hart, 1986; Осипов, 1997; Ford, Bradshaw, Adams-Webber, Agnew, 1997]. Для разрешения проблемы «приобретения знаний» компьютерной системой специалистами в области искусственного интеллекта разработаны методологии проектирования экспертных систем, учитывающие последовательное прохождение этапов приобретения знаний, в которой отдельно выделены этапы извлечения и концептуального анализа экспертных знаний. Считается, что создание каждой конкретной системы вплоть до настоящего времени является скорее искусством, чем наукой и основано на «ad hoc» технологии, т.е. технологии, применительно к случаю [Гаврилова, Хорошевский, 2001].
Создание систем «приобретения знаний» или инструментальных сред автоматического проектирования баз знаний, разработка промышленной методологии и на ее основе технологии построения интеллектуальных систем являются основным полем деятельности специалистов в области «приобретения знаний». Сращивание идей искусственного интеллекта и современных технологий программирования способствует дальнейшему развитию и расширению современных исследований в области «приобретения знаний» [Хорошевский, 1994]. Очевидно, что психологическая составляющая в таких работах отсутствует.
Анализ работ, посвященных исследованию психологического аспекта инженерии знаний, показывает крайне слабую степень разработанности проблемы извлечения экспертных знаний. Извлечение знаний (от англ. knowledge elicitation) понимается довольно узко как процедура взаимодействия когитолога с экспертом, в результате которой становятся явными рассуждения специалистов при принятии решений и структура их представлений о предметной области. Извлечение экспертных знаний традиционно считается «узким местом» (от англ. bottleneck) в проектировании экспертных систем [Гаврилова, 1996; Ларичев, Моргоев, 1991; Gammack, Young, 1984; Leplat, 1986; Cooke, McDonald, 1987]. По количеству цитируемости в литературе по инженерии знаний это изречение стало классическим и довольно точно отражает состояние дел. Исследователи в большинстве своем указывают на трудности получения экспертизы, а преодоление указанных трудностей видят в создании методов извлечения экспертных знаний и в привлечении когнитивных моделей, разработанных в русле когнитивной психологии как экспериментальной науки, с целью проведения концептуального анализа знаний. В связи с этим создание теоретико-психологических оснований извлечения экспертных знаний субъектов труда (когитолога и эксперта) является актуальной в научном плане и востребованной в практике конструирования экспертных систем.
Изучение проблемы извлечения экспертных знаний субъектов труда также востребованно при решении задач проектирования когнитивных компьютерных систем, человеко-компьютерного взаимодействия, исследуемых в русле современной эргономики и инженерной психологии.
Анализ эволюционного развития работ в области инженерной психологии, теоретических подходов к человеку и технике, концепций автоматизации, как отечественных, так и зарубежных, позволяет особо выделить так называемый антропоцентрический подход, в котором техника (компьютер) принципиально интерпретируется как нечто вторичное в субъект-объектных отношениях, как элемент человеческой деятельности [Леонтьев, Ломов, 1963; Голиков, 2003]. Основным теоретическим фундаментом антропоцентрического подхода в ранних отечественных инженерно-психологических исследованиях являлась теория деятельности, предполагающая анализ структуры и динамики операторской деятельности и механизмов ее психической регуляции. Идея о том, что существенным моментом в проектировании систем «человек-техника» является выявление концептуальной модели в деятельности оператора, впервые предложена в отечественных работах [Ошанин, 1973; Завалова, Ломов, Пономаренко, 1971; Зинченко, Гордеева, Девишвили, 1975; Моросанова, 1975; Конопкин 1980].
С появлением такой области исследования как человеко-компьютерное взаимодействие зарубежные исследователи обнаружили ограниченность когнитивного подхода, что привело к смене парадигмы исследования путем активного заимствования идей культурно-исторической школы Л.С.Выготского, теории деятельности А.Н.Леонтьева и когнитивной антропологии М.Коула [Engestrôm, Miettinen, 1999; Kuutti, 1996; Nardi 1996 и др.]. Методологическим приемом антропоцентрического подхода в области когнитивной эргономики становится когнитивный анализ деятельности как процесс создания концептуальной модели деятельности путем выявления и анализа знаний, которыми владеют субъекты труда в процессе взаимодействия с артефактами [Rasmussen, 1986; Rasmussen, Pejtersen, Goodstein, 1994; Vicente, 1999]. В рамках антропоцентрической парадигмы исследователи различают деятельность по проектированию когнитивных систем и деятельность по их использованию [Ришар, 1998; Рабардель, 1999; Darses, 2001]. В обоих случаях встает проблема извлечения знаний субъектов труда, в первом случае (проектирование) -извлечение знаний экспертов, а во втором (использование) - извлечение знаний пользователей.
В настоящее время отмечается слабая степень разработанности проблемы проведения когнитивного анализа деятельности в отечественных исследованиях. Анализ зарубежных исследований показывает, что данное направление представлено диапазоном методологий когнитивного анализа деятельности, когнитивными моделями, которые можно использовать в процессе решения практических задач, а также методами, позволяющими получать знания людей об их деятельности [Fidel, Pejtersen, 2004; Vicente, 1999; Naikar, Hopcroft, Moylan, 2005 и др.]. Исследователи отмечают недостаточную проработанность данной проблемы в теоретическом и прикладном аспектах, а также указывают на необходимость построения концептуальной базы прикладной когитологии, предполагающей систематизацию и использование разработанных в русле когнитивной психологии моделей для проектирования и оценки когнитивных технических (компьютерных) систем [Woods, E.M.Roth, 1988; Darses, 2001; Величковский, 2006].
Разработка экспертных психодиагностических систем, баз знаний оказалась востребованной в практике медицинской психологии. Под экспертными психодиагностическими системами (ЭПС) понимаются компьютерные методики, осуществляющие вербальную интерпретацию результатов тестирования испытуемых на основе баз психодиагностических знаний. В основе таких баз знаний лежат концептуальные модели интерпретации тестовых данных, построенные путем извлечения (эксплицирования) знаний специалистов — медицинских психологов, имеющих имплицитные знания интерпретационных схем методик и опыт их использования в процессе подготовки потребных психодиагностических заключений. Проведение экспериментальных работ по созданию моделей интерпретации тестовых данных приводит к эксплицированию и отчуждению знаний опытных специалистов, превращая такие «отчужденные знания» в интеллектуальный ресурс практических психологов. Очевидно, что тиражирование экспертного опыта по интерпретации тестовых данных открывает новые возможности повышения качества как обучения, так и практической работы медицинских психологов.
Реализация принципов инженерии знаний в области медицинской психодиагностики способствовала появлению психодиагностической технологии принципиально нового класса: конструированию экспертных психодиагностических систем. В связи с этим актуальным является разработка методологических положений конструирования экспертных психодиагностических систем как эффективных и качественных инструментов работы практических психологов.
Таким образом, актуальность диссертационной работы обусловлена отсутствием теоретико-психологических оснований извлечения экспертных знаний субъектов труда, необходимостью построения концептуальной базы прикладной когитологии, необходимостью создания экспертных психодиагностических систем, востребованных в практике медицинской психодиагностики, и их обоснования как принципиально новой психодиагностической технологии конструирования качественного инструментария для практических психологов.
Цель исследования: теоретико-психологическое обоснование и апробация концепции извлечения экспертных знаний, включая разработку и эмпирическую верификацию моделей интерпретации тестовых данных и экспертных психодиагностических систем в области медицинской психодиагностики.
Объект исследования: индивидуальный опыт субъектов труда как экспертов по решению проблем предметной области.
Предмет исследования: психологические основания извлечения экспертных знаний субъектов труда (когитолога и эксперта) с целью построения модели экспертных представлений и рассуждений для создания экспертных систем.
Общая гипотеза исследования.
Проявление феноменов когнитивной деятельности эксперта влияет на эксплицирование экспертных знаний. Выявление структуры феноменов, затрудняющих эксплицирование знаний, позволяет наметить пути разрешения проблемы и сформулировать аспекты обоснования концепции извлечения экспертных знаний. Теоретико-психологические основания извлечения экспертных знаний способствуют созданию методологии построения моделей интерпретации тестовых данных в области медицинской психодиагностики, которая, в свою очередь, обусловливает разработку конкретных моделей интерпретации тестовых данных для формирования баз знаний экспертных психодиагностических систем.
Задачи исследования:
1. Осуществить сравнительный анализ теоретико-психологических и методологических оснований инженерии знаний и когнитивной эргономики; показать, что процесс извлечения экспертных знаний субъектов труда составляет основу когнитивного анализа деятельности специалиста (пользователя, эксперта) для проектирования когнитивных компьютерных систем: экспертных систем, систем поддержки принятия решений, систем «человеко-компьютерного взаимодействия».
2. Систематизировать феномены когнитивной деятельности эксперта, влияющие на эксплицирование экспертных знаний; построить системную модель «экспертности»; проанализировать компоненты «экспертности» на предмет выявления структуры феноменов эксплицирования, показывающих трудности извлечения экспертных знаний; наметить пути разрешения трудностей; определить теоретико-психологические основания концепции извлечения экспертных знаний.
3. Разработать коммуникативные модели взаимодействия субъектов труда, детерминирующие выбор адекватных методов извлечения экспертных знаний.
4. Обосновать концептуальные основы прикладной когитологии; разработать мета-язык взаимодействия субъектов труда в виде набора инструментов структурирования декларативного и процедурного типа.
5. Разработать процессуальную схему извлечения экспертных знаний субъектов труда путем установления соотношения феноменов эксплицирования, стадий, этапов и шагов.
6. Апробировать концепцию извлечения экспертных знаний в области медицинской психологии; разработать методологию создания моделей интерпретации тестовых данных путем конкретизации процессуальной схемы извлечения экспертных знаний субъектов труда; построить и описать конкретные модели интерпретации тестовых данных.
7. Верифицировать модели интерпретации тестовых данных в области медицинской психологии; сформулировать методологические положения конструирования экспертных психодиагностических систем.
Теоретико-методологической основой являлись:
• концепция «экспертных знаний», разработанная в работах по искусственному интеллекту и инженерии знаний (Д.А.Поспелов, В.Н.Пушкин, О.И.Ларичев, Э.В.Попов, А.М.Яшин, Т.А.Гаврилова, В.Ф.Хорошевский, А.Ньюэлл, Г.Саймон, Ф.Хейес-Ротт, Д.Уотермен, Д.Ленат, С.Осуга, E.Feigenbaum, Т.Н.ВооБе, ВЛ-Оатез, В.ВисЬапап и др.);
• концепция Л.С.Выготского, предполагающая, что высшая1 ментальная активность и деятельность человека порождаются культурно опосредованной исторически развивающейся практической деятельностью, и, в целом, опосредована знаками («психологическими инструментами») широкого класса семиотических форм (структуры естественного языка, схемы, карты, формулы, чертежи, символические образы и пр.);
• положение А.Н.Леонтьева предполагающее, что инструменты повседневной жизни, являясь социальными объектами с присущими им способами применения, выработанными в процессе коллективного труда, представляют собой средство капитализации накопленного опыта и одну из форм внешнего закрепления видового опыта;
• теория деятельности, разработанная в работах отечественных и зарубежных исследователей (А.Н.Леонтьев, Г.В.Суходольский, J.Rasmussen, B.Nardi, K.Kuutti, Y.Engestrom, R.Fidel, К J.Vicente);
• положения экспериментальной психологии познания, представленные в работах В.М.Аллахвердова, Дж.Андерсона, Дж.Брунера Б.М.Величковского, М.Минского, Р.Л.Солсо, Е.Ю .Артемьевой, А.Г.Шмелева, В.Ф.Петренко, Т.П.Зинченко, М.А.Холодной, Д.Нормана, Ж.Ф.Ришара, И.Хофмана и др.;
• системный подход к анализу сложных психических явлений, представленный в работах Б.Ф.Ломова, В.А.Ганзена;
• концепция «выявления концептуальной модели в деятельности оператора» (Д.А.Ошанин, Н.Д.Завалова, Б.Ф.Ломов, В.А.Пономаренко, Н.Д.Гордеева, В.М.Девишвили, В.П.Зинченко, В.И.Моросанова, О.А.Конопкин);
• концепции «артефактов», «когнитивных артефактов» и «артефактного опосредования», разработанные в работах М.Коула, М.Вартофского, E.Hutchins, Д.Нормана; S J.Payne;
• концепция когнитивных инструментов как артефактов и схем их использования, представленная в работах П.Рабарделя;
Методы исследования, теоретические и экспериментальные, подбирались и разрабатывались в соответствии с задачами исследования. Основными теоретическими методами исследования выступали анализ содержания научных • текстов, структурно-функциональный анализ системы, моделирование. Для построения моделей интерпретации тестовых данных в области медицинской психодиагностики использовались такие методы извлечения знаний как: беседа, анализ протоколов «мыслей вслух», методологические правила для создания полуструктурированного интервью, структурированное интервью для построения дерева целей, сортировка карточек, текстологические методы контент-анализ), работа с картинками, метод построения дерева решений, метод построения семантической сети.
Верификация моделей интерпретации тестовых данных осуществлялась путем установления валидности компьютерного психодиагностического заключения, которая, в свою очередь, устанавливалась путем проведения эмпирических исследований с привлечением экспертных оценок (врачей, участников тренинга) и проведением статистической обработки (корреляционный анализ, частотный анализ, достоверность различий по критерию у2 Пирсона).
Достоверность результатов исследования обеспечена логикой построения теоретико-методологических оснований работы на всех этапах ее осуществления, аргументирована путем описания тринадцати кейсов по извлечению экспертных знаний в области медицины и медицинской психодиагностики, верифицирована с привлечением эмпирических данных, сочетанием количественного и качественного анализа полученных данных, воспроизводимостью результатов исследования.
Материалом эмпирических исследований, проведенных для проверки эффективности разработанного психодиагностического инструментария, послужили данные 423 (48,7% мужчин и 51,3% женщин) больных психическими и психосоматическими расстройствами, а также 728 (44,7% мужчин и 55,3% женщин) здоровых респондентов. Общая выборка исследованных лиц составила 1151 человек.
Для установление валидности компьютерного психодиагностического заключения (для получения экспертной оценки) в исследовании приняли участие представители медицинской профессии в количестве 72-х человек (врачи СПбПНИ им.В.М.Бехтерева, ГПБ №7 им. академика И.П.Павлова, 4-го отделения ВМедА и ГИБ № 30 им. С.П. Боткина) и 350 студентов высших учебных заведений Санкт-Петербурга;
В процессе создания моделей; интерпретации тестовых данных в области медицины и медицинской психодиагностики приняли участие 15 опытных специалистов - экспертов, из них 3 доктора медицинских наук, 4 кандидата медицинских наук и 8 кандидатов психологических наук.
Научная новизна и теоретическая значимость результатов исследования.
1. Проведено теоретико-психологическое исследование проблемы извлечения экспертных знаний как процесса взаимодействия субъектов труда с целью построения модели экспертных представлений и рассуждений. Обосновано, что извлечение экспертных знаний составляет основу когнитивного анализа деятельности специалиста (пользователя, эксперта) для проектирования когнитивных технических (компьютерных) систем: экспертных систем, систем поддержки принятия решений, систем «человеко-компьютерного взаимодействия».
2. Систематизированы феномены когнитивной деятельности экспертов, оказывающие существенное влияние на процесс эксплицирования экспертных знаний. Построена системная модель «экспертности». Выявлена структура феноменов эксплицирования, показывающих трудности извлечения экспертных знаний. Намечены пути разрешения трудностей. Определены аспекты рассмотрения концепции извлечения экспертных знаний.
3. Разработаны коммуникативные модели взаимодействия субъектов труда, характеризующиеся специфическим наполнением типовой структуры. Показано, что извлечение экспертных знаний детерминировано выбором структуры взаимодействия, включающей необходимость использования соответствующих методов извлечения экспертных знаний.
4. Обоснованы концептуальные основы прикладной когитологии. Определены когнитивные артефакты и инструменты структурирования как набор формализмов, полученных в результате использования когнитивных артефактов в процессе концептуального анализа знаний. Разработан мета-язык взаимодействия когитолога и эксперта как конкретный набор инструментов структурирования декларативного и процедурного типа.
5. Представлена и обоснована феноменами эксплицирования экспертных знаний процессуальная схема извлечения экспертных знаний, представляющая собой алгоритм прохождения стадий, этапов и шагов в процессе извлечения экспертных знаний.
6. На основе процессуальной схемы извлечения экспертных знаний разработана методология построения моделей интерпретации тестовых данных в области медицинской психодиагностики. Сформулированы стратегии построения моделей интерпретаций тестовых данных. Разработаны конкретные модели интерпретации тестовых данных.
7. Сформулированы методологические положения конструирования экспертных психодиагностических систем.
Результаты диссертационного исследования имеют практическую значимость.
1. Разработанные коммуникативные модели, инструменты структурирования, процессуальная схема извлечения экспертных знаний субъектов труда дают возможность проводить практические работы по проектированию когнитивных компьютерных систем (экспертных систем, систем поддержки принятия решений, систем «человеко-компьютерного взаимодействия»).
2. Разработанные модели интерпретации тестовых данных в области медицинской психодиагностики являются основой для создания баз знаний конкретных экспертных психодиагностических систем.
3. Разработанные и представленные в диссертации экспертные психодиагностические системы, являясь информативными и валидными инструментами психологической диагностики, используются в практике медицинской психологии.
4. Результаты диссертации отражены в содержании учебных курсов «Психологические основы инженерии знаний» и «Компьютерная психодиагностика», читаемых в Санкт-Петербургском государственном университете, других психологических ВУЗах г.Санкт-Петербурга.
5. Результаты исследования использованы в учебных пособиях «Психологические основы инженерии знаний» (2009) и «Компьютерная психодиагностика» (2003).
На защиту выносятся следующие положения
1. Проектирование когнитивных компьютерных систем (экспертных систем, систем поддержки принятия решений, систем «человеко-компьютерного взаимодействия») включает в себя процесс извлечения экспертных знаний, на котором осуществляется взаимодействие субъектов труда с целью построения модели экспертных представлений.и рассуждений.
2. Феномены экспертной категоризации и процедурализации, проявление дискурсивных и личностных особенностей специалистов (когитолога и эксперта), эффекты чрезмерной уверенности, привязки, проекции, эвристика доступности являются барьерами и существенно затрудняют процесс эксплицирования экспертных знаний. Анализ этих феноменов позволяет наметить пути разрешения проблемы в виде аспектов рассмотрения процесса извлечения экспертных знаний: коммуникативного, операционально-инструментального и процессуального. Теоретико-психологическими основаниями извлечения экспертных знаний являются разработанные коммуникативные модели, мета-язык и процессуальная схема взаимодействия субъектов труда.
3. Коммуникативные модели взаимодействия субъектов труда характеризуются специфическим наполнением типовой структуры (субъект, объект, цель деятельности, перцепция, методы извлечения знаний и результат деятельности) и определяют диадическое и многомерное субъект-объектное и субъект-субъектное взаимодействие. Субъект-объектная модель задает взаимодействие, при котором активность проявляет один из участников, а в качестве объекта выступает как человек (когитолог или эксперт), так и другие материальные носители (текст, экспериментальные данные, компьютерная программа). Субъект-субъектная модель определяет взаимодействие, при котором активность проявляется обоими участниками, процесс извлечения знаний имеет творческий, двухсторонний характер, создающий предпосылки для возникновения синергетического эффекта, инсайта, осознания имплицитно усвоенных экспертом оснований категоризации. Выбор конкретной коммуникативной модели предопределяет структуру взаимодействия, включая необходимость использования конкретных методов в процессе извлечения экспертных знаний.
4. Мета-язык взаимодействия субъектов труда включает в себя набор1 инструментов структурирования декларативного и процедурного типа. В качестве когнитивных артефактов как искусственных устройств, интегрирующих знания, выступают конкретные виды когнитивных структур, опосредованные классами базовых семантических отношений: деревья, кластеры, пространства, цепочки и сети. Инструменты структурирования, определяемые в общем виде как когнитивные артефакты и схемы их использования, представляют собой набор формализмов инженерии знаний, полученных в результате использования выделенных когнитивных артефактов в процессе концептуального анализа знаний. К инструментам структурирования декларативного типа относятся классификационные деревья, фреймы, ассоциативные сети, шкалы, семантические сети и пр., а к инструментам структурирования процедурного типа - деревья решений, деревья целей, иерархические сети действий, продукционные правила, сценарии и пр. Набор инструментов структурирования может расширяться с учетом специфики разных предметных областей.
5. Процессуальная схема извлечения экспертных знаний задает алгоритм прохождения стадий, этапов и шагов в процессе извлечения экспертных знаний. В соответствии с феноменами эксплицирования процессуальная схема включает в себя следующие стадии: «Подготовка», «Выявление», «Структурирование» и «Результат». Этап «Выявления» экспертных знаний характеризуется субъект-субъектным взаимодействием когитолога и эксперта, способствующем осознанию экспертом имплицитно усвоенного основания категоризации. Этап «Структурирования» характеризуется преимущественно субъект-объектным взаимодействием и включает этапы «Категоризации» и «Процедурализации», предназначенные для формирования модели экспертных представлений с помощью инструментов структурирования декларативного и процедурного типа.
6. Методология построения моделей интерпретаций тестовых данных, основанная на процессуальной схеме извлечения экспертных знаний, включает в себя последовательность трех этапов и пяти взаимосвязанных с ними шагов. На каждом этапе участниками взаимодействия осуществляется выбор конкретной коммуникативной модели и использование инструментов структурирования декларативного или процедурного типа. Формирование исходной и диагностической систем понятий, установление взаимосвязей и семантических отношений, проведение процедурализации и построение системы иерархически организованных продукционных правил задают последовательность разработки моделей интерпретации тестовых данных в области медицинской психодиагностики.
7. Конструирование экспертных психодиагностических систем в области медицинской психодиагностики включает в себя построение моделей интерпретации тестовых данных путем извлечения знаний экспертов -медицинских психологов; верификация моделей осуществляется путем установления валидности компьютерного психодиагностического заключения. Разработанные на основе концепции извлечения экспертных знаний и представленные в диссертации экспертные психодиагностические системы являются информативными и валидными инструментами психологической диагностики, дополняющими и объективирующими данные клинико-психологического исследования.
Апробация и внедрение результатов.
Результаты диссертационного исследования были апробированы на 1-й Всесоюзной конференции по математической психологии (Звенигород, 1986), на семинаре по проблемам представления экспертных знаний (ИСЭП, Ленинград, 1987), на заседании рабочей группы по представлению знаний и экспертным системам при научно-техническом совете по информатике и межведомственного координационного совета АН СССР (Пярну, 1988), на Всесоюзной школе-семинаре "Семиотические аспекты формализации интеллектуальной деятельности" (Боржоми, 1988), на республиканской школе-семинаре по проблемам применения экспертных систем в народном хозяйстве (Кишинев, 1989), на заседании рабочей группы по проблеме извлечения знаний при научно-техническом совете по информатике и ВТ (Кишинев, 1990), на II Всесоюзной конференции «Искусственный интеллект - 90» (Минск, 1990), на заседании кафедры компьютерных интеллектуальных технологий Санкт-Петербургского государственного технического университета (1992), на заседании Петербургского отделения Ассоциации искусственного интеллекта (1996), на III Международной открытой сессии «Компьютерные технологии в науке и образовании XXI века» (Ульяновск, 1999), на научно-практических конференциях «Ананьевские чтения» (Санкт-Петербург, 2004, 2006); на регулярных семинарах в лаборатории клинической психологии Психоневрологического института им.В.М.Бехтерева (1996-2006), на заседании кафедры эргономики и инженерной психологии СПбГУ (2006); на
Всероссийской научной конференции «Современная психодиагностика в изменяющейся России» (Челябинск, 2008).
Разработанные экспертные психодиагностические системы активно используются медицинскими психологами Психоневрологического института им.В.М.Бехтерева, на кафедрах медицинской психологии Санкт-Петербургской медицинской академии последипломного образования (МАЛО), Санкт-Петербургского государственного педагогического университета имена А.И.Герцена, Челябинского, Ульяновского, Гродненского государственных университетов, в психоневрологических диспансерах и других лечебных учреждениях Санкт-Петербурга и других городов России (Ставрополь, Казань, Красноярск, Самара, Ульяновск, Тольятти, Хабаровск, Салехард, Сургут, Курган, Екатеринбург, Гродно и др.).
Структура диссертации. Диссертация состоит из введения, пяти глав, заключения, библиографии (370 наименований, из них 170 на иностранных языках) и 11-ти приложений. Основной текст диссертации изложен на 437 страницах. Диссертация содержит 30 таблиц и 71 рисунок.
Заключение диссертации научная статья по теме "Психология труда. Инженерная психология, эргономика."
Выводы
1. Анализ литературы по инженерии знаний, а также опыт создания экспертных систем в области медицинской психодиагностики позволяют утверждать, что технология проектирования экспертных систем включает в себя процесс извлечения экспертных знаний, на котором происходит взаимодействие субъектов труда с целью построения модели экспертных представлений и рассуждений. В диссертационной работе разработана концепция извлечения экспертных знаний субъектов труда и определено ее место в процессе проектирования когнитивных технических (компьютерных) систем.
2. Сравнительный анализ теоретико-психологических оснований, методологий, моделей и методов двух направлений по проектированию когнитивных компьютерных систем (инженерии знаний и когнитивной эргономики) показал, что проблема извлечения экспертных знаний является для них общей. Таким образом, разработанная концепция составляет основу когнитивного анализа деятельности специалиста (пользователя, эксперта) для проектирования когнитивных технических (компьютерных) систем: экспертных систем, систем поддержки принятия решений, систем «человеко-компьютерного взаимодействия».
3. Анализ литературы, касающейся описания экспертной деятельности, экспериментальных исследований индивидуального опыта эксперта, исследований, демонстрирующих различные неосознаваемые влияния прошлого опыта на познавательную деятельность человека, исследований феномена «подразумеваемых» знаний в контексте практического интеллекта и пр., позволил построить системную модель «экспертности». В рамках этой модели когнитивная деятельность эксперта характеризуется феноменами, оказывающими существенное влияние на эксплицирование экспертных знаний. К ним относятся: экспертная категоризация, осуществляемая согласно имплицитно усвоенному основанию; экспертная процедурализация как имплицитный переход от явного использования категорий к прямому применению процедур; затрудненная вербализация экспертных знаний, проявляющаяся в процессе социального взаимодействия; подверженность представлений экспертов когнитивным искажениям (эффектами чрезмерной уверенности, привязки и эвристикой доступности).
4. Путем анализа компонентов модели «экспертности» выявлена структура феноменов, оказывающих влияние на эксплицирование экспертных знаний. Феномены экспертной категоризации и процедурализации, проявление дискурсивных и личностных особенностей субъектов труда, эффекты чрезмерной уверенности, привязки, проекции, эвристика доступности являются барьерами и существенно затрудняют процесс эксплицирования экспертных знаний. Анализ этих феноменов позволил наметить пути разрешения проблемы и сформулировать аспекты обоснования концепции извлечения экспертных знаний: коммуникативный, операционально-инструментальный и процессуальный. Теоретико-психологическими основаниями извлечения экспертных знаний являются разработанные коммуникативные модели, метаязык и процессуальная схема взаимодействия субъектов труда.
5. Рассмотрение коммуникативного аспекта извлечения экспертных знаний содержит систематизацию коммуникативных ситуаций взаимодействия субъектов труда. Для построения коммуникативных моделей выбраны следующие основания: представления о том, кто из участников взаимодействия проявляет активность и инициативу (субъект деятельности), а кто - пассивность и реактивность (объект деятельности), а также количество участников взаимодействия: диадическое (когитолог и эксперт) и многомерное (когитолог и группа экспертов) взаимодействие. В соответствии с выделенными основаниями определены четыре модели коммуникативного взаимодействия когитолога и эксперта: модель субъект-объектного взаимодействия, модель субъектсубъектного взаимодействия, модель многомерного субъект-объектного взаимодействия и модель многомерного смешанного взаимодействия.
6. Коммуникативные модели задают девять ситуаций коммуникативного взаимодействия субъектов труда, каждая из которых характеризуется специфическим наполнением типовой структуры: субъект, объект, цель деятельности, перцепция, методы извлечения знаний и результат деятельности. Извлечение экспертных знаний субъектов труда предполагает выбор когитологом коммуникативной модели, а, следовательно, и структуры взаимодействия, включающей необходимость использования соответствующих методов извлечения экспертных знаний.
7. Рассмотрение операционально-инструментального аспекта извлечения экспертных знаний субъектов труда содержит обоснование концептуальных основ прикладной когитологии. Анализ зарубежных инженерно-психологических исследований показал, что структурирование деятельности, связанное с использованием когнитивных артефактов и инструментов, постулировано многими авторами. Когнитивные артефакты определяются исследователями как искусственные устройства (т.е. созданные человеком), интегрирующие знания и являющиеся результатом процесса разработки, носящего социальный характер. Инструмент структурирования формируется из двух составляющих: когнитивного артефакта и одной или нескольких схем его использования.
8. Систематизация исследований экспериментальной психологии познания позволила определить когнитивные артефакты и инструменты структурирования как ядро операционально-инструментального аспекта разработанной концепции. В качестве когнитивных артефактов выступают конкретные виды когнитивных структур, опосредованные классами базовых семантических отношений: деревья, кластеры, пространства, цепочки и сети. Инструменты структурирования - это набор формализмов инженерии знаний, полученных в результате использования выделенных когнитивных артефактов в процессе концептуального анализа знаний. Инструменты структурирования определяют операционально-инструментальное поле, задают мета-язык взаимодействия субъектов труда в процессе извлечения знаний и расширяют концептуальные основы прикладной когитологии.
9. Разработка процессуального аспекта извлечения экспертных знаний субъектов труда заключалась в создании процессуальной схемы, обоснованной путем установления соотношения феноменов эксплицирования, стадий, этапов и шагов. Процессуальная схема включает следующие стадии: «Подготовка», «Выявление», «Структурирование» и «Результат». Стадия «Подготовка» выделена особо в связи с теми трудностями, которые испытывают когитолог и эксперт на начальном этапе взаимодействия, и характеризуется вхождением специалиста (когитолога, эксперта) в предметную область другого специалиста (эксперта, когитолога). Стадия «Выявления» характеризуется субъект-субъектным взаимодействием когитолога и эксперта, способствующим осознанию экспертом имплицитно усвоенного основания категоризации. На стадии «Структурирования» осуществляется преимущественно субъект-объектное взаимодействие субъектов труда, способствующее формированию модели экспертных представлений с помощью инструментов структурирования декларативного и процедурного типа.
10. Процессуальная схема содержит стадию «Результат», выделенную для того, чтобы подчеркнуть, что в результате предыдущих стадий, этапов и шагов получается модель в виде иерархически связанных процедурных правил; тем самым, имитируется переход от «свернутости экспертных рассуждений» к некоторой динамической «развернутости». Поскольку система продукционных знаний эксперта носит имплицитный характер, а потому эксплицирование ее традиционными методами (т.е. методами типа интервью, наблюдения и пр.) достаточно сложно и практически невозможно. Однако последовательное прохождение описанных выше этапов позволяет сформулировать иерархическую систему продукционных правил в явном (эксплицитном) виде, которая может стать основой для формирования базы знаний. Процессуальная схема имеет теоретический характер, конкретизация и специфичность, обусловленная предметной областью и решаемой в ней задачей, проявляется по мере движения от стадий к шагам. Феномены, стадии и этапы покрывают широкий класс предметных областей, шаги обусловлены спецификой области медицинской психодиагностики.
11. Концепция извлечения экспертных знаний субъектов труда апробирована в области медицинской психологии. В диссертационной работе разработана методология построения моделей интерпретаций тестовых данных, включающая в себя последовательность трех этапов и пяти взаимосвязанных с ними шагов. На каждом этапе участниками взаимодействия осуществляется выбор конкретной коммуникативной модели и использование инструментов структурирования декларативного или процедурного типа. Опыт разработки экспертных психодиагностических систем в области медицинской психологии, а также классификация методик медицинской психодиагностики позволили сформулировать три стратегии построения моделей интерпретаций тестовых данных: «приписывания портретов», «склейки текста с учетом сочетаний» и «склейки текста с разрешением противоречий». Конкретизация методологии построения моделей интерпретаций тестовых данных осуществляется для каждой стратегии в отдельности и иллюстрируется описанием тринадцати кейсов.
12. В области медицинской психодиагностики этап выявления «экспертного гештальта» необходим для эксплицирования основного принципа интерпретации, используемого психологом при создании потребного психодиагностического заключения и позволяющего ему в процессе интерпретации результатов тестирования интегрировать противоречивые данные. С этой целью применялись методологические правила для создания полуструктурированного интервью, предполагающие работу с «картинками» -графическими представлениями результатов тестирования испытуемых; метод сортировки карточек (сортировка вербальных характеристик личности или «картинок»); структурированное интервью, формальная стратегия которого определялась инструментом структурирования «дерево целей». При проведении этапов категоризации и процедурализации основным инструментом, используемым при построении моделей интерпретации тестовых данных, являлось модифицированное дерево решений. Результатом построения являются модели интерпретации тестовых данных в виде иерархически организованных процедурных правил.
13. Практическое применение концепции извлечения экспертных знаний в области медицинской психодиагностики привело к появлению психодиагностической технологии принципиально нового класса — конструированию экспертных психодиагностических систем. Создание экспертных психодиагностических систем, баз психодиагностических знаний, востребованных в практике медицинской психодиагностики, предполагает необходимость учета методологических положений.
14. Разработка компьютерных методик выявления интерперсональных отношений и невротических черт личности осуществлялось на основе методологических положений конструирования экспертных психодиагностических систем. Установление валидности компьютерных заключений показало, что использование таких заключений не приводит к снижению объективности получаемой психодиагностической информации и статистически значимо соответствует мнению и оценкам врачей -специалистов, ведущих данных испытуемых-больных. Полученные результаты исследований позволяют говорить о верификации построенных моделей интерпретации тестовых данных. Таким образом, разработанные на основе концепции извлечения экспертных знаний экспертные психодиагностические системы являются информативными и валидными инструментами психологической диагностики, дополняющими и объективирующими данные клинико-психологического исследования.
В заключение работы представим выводы, основанные на данных теоретического и экспериментального аспектов проведенного исследования.
Список литературы диссертации автор научной работы: доктора психологических наук, Червинская, Ксения Ральфовна, Санкт-Петербург
1. Агафонов А.Ю. (2006) Забывание как неосознаваемое решение сознания о невоспроизведении. // В кн. Экспериментальная психология познания: когнитивная логика сознательного и бессознательного / В.М.Аллахвердов и др. СПб.: СПбГУ.
2. Александров И.О., Максимова Н.Е. (1999) Научение // Современная психология / Под ред. В.Н.Дружинина. М.
3. Аллахвердов В.М. и др. (2006) Экспериментальная психология познания: когнитивная логика сознательного и бессознательного. СПб: СПбГУ.
4. Андерсон Дж. Р. (2002) Когнитивная психология. 5-е изд. СПб.: Питер.
5. Анастази А. (1982,2001) Психологическое тестирование: В 2 кн. М.
6. Анастази А., Урбина С. (2001) Психологическое тестирование. СПб.
7. Артемьева Е.Ю. (1980) Психология субъективной семантики. М.
8. Артемьева Е.Ю. (1999) Основы психологии субъективной семантики / под ред. И.Б.Ханиной. М.: Наука; Смысл.
9. Ассанович М.А. (2003) Метод Роршаха: долгий путь к интеграции // Сиб. психол. журн. № 18. С. 73 -78.
10. Ассанович М.А. (2003) Оценка некоторых поведенческих характеристик у больных невротическими расстройствами методом Роршаха (на основе Интегративной Системы): Автореф. дис. канд. мед. наук. Гродно.
11. Ассанович М.А. (2005) Когнитивная концепция диагностических возможностей формирования ответов при тестировании с помощью метода Роршаха // Вестник клинической психологии. №1. С.57-64.
12. Бажин Е.Ф., Голынкина Е.А., Эткинд А.М. (1993) Опросник уровня субъективного контроля личности (УСК). М. (Психодиагностическая серия. -Вып.6).
13. Бизюк А.П., Вассерман Л.И., Иовлев Б.В. (1997) Применение интегративного теста тревожности (ИТТ): Методические рекомендации. СПб.
14. Байдун В.В, Бунин А.И. (1988) Средства представления и обработки знаний в системе ШЬ/РЗ // Тез. докл. всесоюзной конференции по искусственному интеллекту-Переславль-Залесский. Т.1. С.66-71.
15. Бакирова Г.Х. (1983) Динамика группового взаимодействия как фактор эффективности психотерапии больных неврозами. Дисс. . канд. пихол. наук. -Л.: Психоневрологический институт им. В.М. Бехтерева.
16. Березин Ф.Б., Мирошников М.П., Соколова Е.Д. (1994) Методика многостороннего исследования личности (структура, основы интерпретации, некоторые области применения). М.
17. Беспалько И.Г. (1995, 2002) Опросник для психологической диагностики депрессивных состояний: Методические рекомендации. СПб: СПбНИПНИ им. В.М.Бехтерева.
18. Бурлачук Л.Ф., Морозов С.М. (1989, 1999) Словарь-справочник по психологической диагностике. Киев; изд. 2-е, перераб., доп. СПб.
19. Братченко С.Л. (2006) Мир экспертизы попытка определения координат // В кн. Экспертиза в современном мире: от знания к деятельности / Под. ред. Г.В.Иванченко, Д.А.Леонтьева. М.: Смысл.
20. Брунер Дж. (1962) Процесс обучения. М.
21. Брунер Дж. (1977) Психология познания: За пределами непосредственной информации. М.
22. Вартофский М. (1988) Модели: репрезентация и научное понимание. М.: Прогресс.
23. Вассерман Е.Л., Червинская K.P. (2000) Психологические аспекты моделирования мышления эксперта при решении задач анализа и интерпретации визуальной информации // Томск, Сибирский психологический журнал. Вып. 12. С. 119-126.
24. Вассерман Л.И. (1989) Структура и механизмы нарушений психических функций и личности у больных фокальной эпилепсией: Автореф. дис.д-ра мед.наук.
25. Вассерман Л.И., Бочаров В.В., Вассерман Е.Л., Вукс А.Я, Иовлев Б.В., Карпова Э.Б., Ромицына Е.Е., Щелкова О.Ю. (2002) Компьютерный психодиагностический инструментарий в практической работе медицинского психолога. Методические рекомендации. СПб.
26. Вассерман Л.И., Бочаров В.В., Ткаченко C.B., Червинская K.P. (1995) Тестовая методика исследования межличностных отношений и ее компьютерная версия: Пособие для врачей и психологов. СПб.
27. Вассерман Л.И., Вукс А.Я., Иовлев Б.В., Карпова Э.Б. (2003) Шкала для психологической экспресс-диагностики уровня невротизации (УН). СПб: СПбНИПНИ им. В.М.Бехтерева.
28. Вассерман Л.И., Вукс А.Я., Иовлев Б.В., Червинская K.P., Щелкова О.Ю. (1994) Компьютерная психодиагностика: назад к клинико-психологическому методу // Теория и практика медицинской психологии и психотерапии. Л. С. 62-70.
29. Вассерман Л.И, Дюк В.А., Иовлев Б.В., Червинская K.P. (1997) Психологическая диагностика и новые информационные технологии. СПб: Изд-во СЛП.
30. Вассерман Л.И., Ерышев О.Ф., Клубова Е.Б. и др. (1998) Психологическая диагностика индекса жизненного стиля: Пособие для врачей и психологов. СПб.
31. Вассерман Л.И., Иовлев Б.В., Червинская K.P. (1993) О направлениях использования персональных компьютеров в медицинской психологической диагностике // Обозрение психиатрии и медицинской психологии им.В.М.Бехтерева. №3. С. 21-27.
32. Вассерман Л.И., Карвасарский Б.В., Абабков В.А., Иовлев Б.В., Щелкова О.Ю., Вукс А.Я., Михайлова И.Н. (1998) Психодиагностическая методика для определения невротических и неврозоподобных нарушений (ОНР): Пособие для врачей и психологов. СПб.
33. Вассерман Л.И. Кузнецов О.Н. Ташлыков В.А., Тейверлаур М., Червинская К.Р., Щелкова О.Ю. (2003) Методика для психологической диагностики индивидуально-типологических свойств личности (СДВ). Учебно-методическое пособие. СПб: СПбНИПНИ.
34. Вассерман Л.И, Щелкова О.Ю. (2003) Медицинская психодиагностика: введение в теорию, практику, обучение. СПб: М.: Издательский центр «Академия».
35. Веккер Л.М. (2000) Психика и реальность: единая теория психических процессов. М.
36. Веккер Л.М. (1975, 1976, 1981) Психические процессы. Т. 1, 2, 3. Л.
37. Величковский Б.М. (2006) Когнитивная наука: Основы психологии познания: в 2 т. М.: Смысл, Издательский центр «Академия».
38. Вигерс К.И. (2004) Разработка требований к программному обеспечению. М.
39. Волков A.M., Ломнев B.C. (1989) Классификация способов извлечения опыта экспертов // Изв. АН СССР. Техн. кибернетика. № 5. С. 34-44.
40. Волохонский В.Л. (2006) Эффект привязки и семантический дифференциал // В кн.: Экспериментальная психология познания: когнитивная логика сознательного и бессознательного / В.МАллахвердов и др. СПб: Изд-во СПбГУ.
41. Воскресенская Е.Ю. (2006) Эффект генерации и законы последействия // В кн.: Экспериментальная психология познания: когнитивная логика сознательного и бессознательного / В.М.Аллахвердов и др. СПб: СПбГУ.
42. Выготский Л.С. (1956) Избранные психологические исследования. М.
43. Габидулина С.Э. (1991) Психосемантика городской среды. Автореферат кандидатской дисс.М.: Ф-т психологии МГУ, на правах рукописи.
44. Гаврилова Т.А. (1984) Представление знаний в экспертной диагностической системе АВТАНТЕСТ // Изв. АН СССР. Техн. кибернетика. № 5. С. 165-173.
45. Гаврилова Т.А. (1996) Состояние и перспективы разработки баз знаний интеллектуальных систем. // Новости искусственного интеллекта. № 1. С.5-43.
46. Гаврилова Т.А., Хорошевский В.Ф. (2001) Базы знаний интеллектуальных систем. СПб.: Питер.
47. Гаврилова Т.А., Червинская К.Р. (1992) Извлечение и структурирование знаний для экспертных систем. М.: Радио и связь.
48. Гайда В.К., Захаров В.П. (1982) Психологическое тестирование. Л.
49. Галактионов А.И. (1978) Основы инженерно-психологического проектирования АСГ ТП. М.: Энергия.
50. Ганзен В.А. (1984) Системные описания в психологии. Л: ЛГУ.
51. Гельфанд И.М., Розенфельд Б.И., Шифрин М.А. (1988) Структурная организация данных в задачах медицинской диагностики и прогнозирования // Вопросы кибернетики. Задачи медицинской диагностики и прогнозирования с точки зрения врача. М. С. 5-64.
52. Голиков Ю.Я. (2003) Методология психологических проблем проектирования техники. -М.: ПЕР СЭ. 223 с.
53. Головаха Е.И., Кроник A.A. (1984) Психологическое время личности. Киев.
54. Джарратано Дж., Райли Г. (2006) Экспертные системы: принципы разработки и программирование. Киев: Диалектика.
55. Джексон П. (2001) Введение в экспертные системы. М.
56. Джонсон У., Солоуэй Э. (1987) PROUST автоматический отладчик программ на языке ПАСКАЛЬ // Реальность и прогнозы искусственного интеллекта. М. С. 48-65.
57. Дункер К. (1965) Психология продуктивного (творческого) мышления // Психология мышления. М. С. 86-221.
58. Дюк В.А. (1994) Компьютерная психодиагностика. СПб.
59. Дюк В .А. ( 1997) Обработка данных на ПК в примерах. СПб.
60. Жила Е.И., Червинская K.P. (1995) ConText технология как новая информационная технология в образовании // Тезисы доклада на Международную конференцию. СПб.
61. Жирмунская Е.А., Лосев B.C. (1984) Системы описания и классификация электроэнцефалограмм человека. М.: Наука.
62. Завалова Н.Д., Ломов Б.Ф., Пономаренко В.А. (1971) Принцип активного оператора и распределение функций между человеком и автоматом // Вопр.психологии. № 3. С.3-15.
63. Зараковский Г.М. (1966) Психофизиологический анализ трудовой деятельности. М.: Наука.
64. Зенкин A.A. (1987) Интерактивная компьютерная графика в теоретических исследованиях: обобщение классической теоремы Гильберта-Варинга // Изв. АН СССР. Техн. кибернетика. № 5.
65. Зенкин A.A. (1996) Знание-порождающие технологии когнитивной реальности // Новости искусственного интеллекта. № 2. С.72-78.
66. Зинченко В.П., Гордеева Н.Д., Девишвили В. М. (1975) Микроструктурный анализ исполнительной деятельности. М.: ВНИИТЭ.174 с.
67. Зинченко В.П., Мунипов В.Л., Гордон В.М. (1973) Исследование визуального мышления // Вопросы психологии. № 2.
68. Иовлев А.Б., Иовлев Б.В. (1981) Об использовании ЭВМ для совершенствования психодиагностической работы клинического психолога // В кн.: Организация психиатрической и неврологической помощи городскому населению. Л. С. 133-137.
69. Иовлев Б.В., Червинская K.P., Щелкова О.Ю. (2003) Опросник для определения невротических черт личности (НЧЛ). Пособие для врачей. СПб: СПбНИПНИ им. В.М.Бехтерева.
70. Канеман Д., Словик П., Тверски А. (2005) Принятие решений в неопределенности: Правила и предубеждения // Пер. с англ. X.: Изд-во Институт прикладной психологии «Гуманитарный Центр».
71. Келли А.Дж. (2000) Теория личности. СПб: Речь.
72. Кирхлер Э., Шрот А. (2004) Принятие решений в организациях // Психология труда и организационная психология; т.4 / Пер. с нем. X.: Изд-во Гуманитарный центр.
73. Клайн П. (1994) Справочное руководство по конструированию тестов. Киев.
74. Климов Е.А. (1996) Психология профессионального самоопределения. Ростов-на-Дону: Изд-во «Феникс».
75. Крылов A.A. (1972) Человек в автоматизированных системах управления. Л.: Изд-во ЛГУ.
76. Кобринский Б.А. (2004) Извлечение экспертных знаний: групповой вариант // Новости искусственного интеллекта. №3.
77. Конопкин O.A. (1980) Психологические механизмы регуляции деятельности. М.: Наука. 256 с.
78. Коул М. (1995) Культурные механизмы развития // Вопросы психологии. № З.С. 5.
79. Коул М. (1997) Культурно-историческая психология. М.: Когито-центр.
80. Корнилов Ю.К. (1997) О различиях метакогниций учебной и профессиональной деятельности. // Когнитивное обучение: современное состояние и перспективы. М. С. 191-201.
81. Кузнецов О.Н., Алехин А.И., Самохина Т.В., Моисеева Н.И. (1985) Методические подходы к исследованию чувства времени у человека // Вопросы психологии. № 4. С. 140-144.
82. Кук Н.М., Макдональд Д. (1986) Формальная методология приобретения и представления экспертных знаний. // ТИИЭР. Т.74. № 10. С.145-155.
83. Ларичев О.И., Болотов A.A. (1996) Система ДИФКЛАСС: построение полных и непротиворечивых баз экспертных знаний в задачах дифференциальной диагностики // НТИ, Сер.2, Информ. процессы и системы. М.: ВИНИТИ. № 9; С.9-15.
84. Ларичев О.И., Нарыжный Е.В. (1999) Компьютерное обучение процедуральным знаниям // Психологический журнал. Т.20. № 6. С. 53-61.
85. Ларичев О.И., Мечитов А.И., Мошкович Е.М., Фуремс Е.М., Выявление экспертных знаний. М. Наука. 1989.
86. Ларичев О.И. Моргоев В.К. (1991) Проблемы, методы и системы извлечения экспертных знаний: Обзор. // Автоматика и телемеханика. № 6. С.3-27.
87. Левин Р., Дранг Д., Эдельсон Б. (1990) Практическое введение в технологию искусственного интеллекта и экспертных систем с иллюстрациями на БЕЙСИКЕ. М.
88. Леонтьев Д.А. (2006) Слова, идеи, тексты как объекты экспертного анализа // В кн. Экспертиза в современном мире: от знания к деятельности / Под. ред. Г.В.Иванченко, Д.А.Леонтьева. М.: Смысл.
89. Леонтьев А.Н. (1975) Деятельность. Сознание. Личность. М.: Политиздат.
90. Леонтьев А.Н., Ломов Б.Ф. (1963) Человек и техника // Вопросы психологии. № 5. С.29-37.
91. Литвак Б.Г. (1982) Экспертная информация: методы получения и анализа. М.
92. Ломов Б.Ф. (1977) О путях построения теории инженерной психологии на основе системного подхода // Инженерная психология: теория, методология, практическое применение. М.: Наука. С. 31-55.
93. Ломов Б.Ф. (1984) Методологические и теоретические проблемы в психологии. М.: Наука.
94. Люгер Дж.Ф. (2003) Искусственный интеллект: стратегии и методы решения сложных проблем, 4-е издание. Киев: Диалектика.
95. Маркова А.К. (1996) Психология профессионализма. М.: Междунар. гуман. фонд «Знание».
96. Мельников В.М., Ямпольский Л.Т. (1985) Введение в экспериментальную психологию личности. М.
97. Миллер Д. (1964) Магическое число семь плюс или минус два. // Инженерная психология. М. С. 192-225.
98. Мишин В.М. (2005) Исследование систем управления: Учебник для вузов. М.: ЮНИТИ-ДАНА.
99. Морозов A.B., Погребицкая В.Е. (2000) Компьютерная психодиагностика. Разработка интерпретаторов для психодиагностических задач // Практикум по общей, экспериментальной и прикладной психологии // Под общей ред.
100. A.А.Крылова, С.А.Маничева. СПб: Питер.
101. Моросанова В.И. (1975) Образ динамического объекта и его оперативность // Автореф. дис. . канд. психол. наук. М.: Изд-воМГУ. 17 с.
102. Морошкина Н.В. (2006) Сознательный контроль в задачах научения, или как научиться не осознавать очевидное // В кн. Экспериментальная психология познания: когнитивная логика сознательного и бессознательного /
103. B.М.Аллахвердов и др. СПб.: СПбГУ.
104. Наранхо Клаудио (1998) Характер и невроз. СПб.
105. Наследов А.Д. (1999) Методы обработки многомерных данных в психологии: Учебное пособие. СПб.: СПбГУ.
106. Наследов А.Д. (2004) Математические методы психологического исследования. СПб. Речь.
107. Науменко Е.А. (2001) Интуитивность как свойство личности // Автореф. Дис. доктора психол. наук. СПб.: СПбГУ.
108. Нонака И., Такеучи X. (2003) Компания создатель знания. М.: ЗАО «Олимп-Бизнес».
109. Никифоров Г.С. (1996) Надежность профессиональной деятельности. СПб.: СПбГУ.
110. Ньюэлл А., Саймон Г. (1967) GPS программа, моделирующая процесс человеческого мышления. // Вычислительные машины и мышление / Под ред. Э.Фейгенбаума и Дж.Фельдмана. - М. - С. 283-301.
111. Осипов Г.С. (1993) Информационные технологии, основанные на знаниях. // Новости искусственного интеллекта. № 1. - С.7-41.
112. Осипов Г.С. (1997) Приобретение знаний интеллектуальными системами. М.: Наука.
113. Осуга С. (1989) Обработка знаний: Пер. с япон. М.
114. Ошанин Д.А. (1973) Предметное действие и оперативный образ: Автореф. дис. д-ра психол. наук. М.: Изд-во АПН СССР.31 с.
115. Панфилова А.Н. (2005) Деловая коммуникация в профессиональной деятельности // Учебное пособие. СПб.
116. Перлз Ф. (2001) Практика гепггальт-терапии. М.
117. Перре М., Лайрейтер А.-Р., Бауманн У. (2002) Стресс и копинг как факторы влияния // Клиническая психология / Под ред. М. Перре, У. Бауманна. Спб. - С. 358-392.
118. Петренко В.Ф. (1983) Введение в экспериментальную психосемантику: исследование форм репрезентации в обыденном сознании. М.
119. Петренко В.Ф. (1987, 1997) Основы психосемантики: Учебное пособие. М.
120. Петренко В.Ф. (2005) Основы психосемантики: Учебное пособие. СПб.: Питер.
121. Пиаже Ж. (1994) Избранные психологические труды. М.
122. Полани М. (1985) Личностное знание. На пути к посткритической философии. М.: Наука.
123. Попов Э.В. (1987) Экспертные системы: Решение неформализованных задач в диалоге с ЭВМ. М.
124. Поспелов Д.А. (1986) Ситуационное управление: теория и практика. М.
125. Поспелов Д.А. (1989) Моделирование рассуждений. Опыт анализа мыслительных актов. М.
126. Поспелов Д.А., Литвинцева Л.В. (1996) Как совместить левое и правое. // Новости искусственного интеллекта. № 2. - С.66-71.
127. Поспелов Д.А., Пушкин В.Н. (1972) Мышление и автоматы. М.
128. Потапкин A.A. (2000) Разработка диагностического инструментария для оценки компетентности риэлтеров. Дипломная работа под рук. А.Г.Шмелева. М: Ф-т психологии МГУ.
129. Похилько В.И. (1987) Психодиагностика индивидуального сознания // Общая психодиагностика / Под ред. АА.Бодалева, В.В.Столина. М. - С. 228-244.
130. Пушкин В.Н. (1967) Эвристика наука о творческом мышлении. М.
131. Пушкин В.Н. (1971) Психология и кибернетика. М.
132. Рабардель П. (1999) Люди и технологии (когнитивный подход к анализу современных инструментов). М.: Институт психологии РАН.
133. Рейтман У. (1962) Разработка программ для решения интеллектуальных проблем. // «Зарубежная радиоэлектроника». № 1.
134. Ришар Ж.Ф. (1998) Ментальная активность. Понимание, рассуждение, нахождение решений. Пер. с франц. - М.
135. Рогозин Д.М. (2002) Когнитивный анализ опросного инструмента. М.: Институт Фонда «Общественное мнение».
136. Родлер К., Кирхлер Э. (2003) Управление в организациях // Психология труда и организационная психологи; т.2 /Пер.с нем. X.: Изд-во Гуманитарный центр.
137. Розанова В.А. (2003) Психология управления. Учебное пособие. М.: ООО Журнал «Управление персоналом».
138. Ромек В.Г., Сатин Д.К. (2000) Сохранение надежности многофакторных тестов при их использовании в сети Интернет // Психологический журнал, № 21.2. С.70-75.
139. Роршах Г. (2003) Психодиагностика: Методика и результаты диагностического эксперимента по исследованию восприятия (истолкование случайных образов). М.
140. Румизен М.К. (2004) Управление знаниями: Пер. с англ./ М.К.Румизен. М.: ACT, Астрель.
141. Рыбакова Т.Г., Балашова Т.Н. (1988) Клинико-психологическая характеристика и диагностика аффективных расстройств при алкоголизме: Методические рекомендации. Л.
142. Салливан Г.С. (1947) Концепции в современной психиатрии, Психиатрический фонд В.А.Уайта, Вашингтон, округ Колумбия: Фонд, с. 9, 10, 21
143. Сафуанов Ф.С. (2006) Гуманитарная экспертология: актуальные проблемы и перспективы // В кн. Экспертиза в современном мире: от знания к деятельности / Под.ред.Г.В.Иванченко, Д.А.Леонтьева. -М.: Смысл.
144. Свейби К.-Э.(2001) О теории фирмы, основанной на знаниях // «Интеллектуальный капитал» том 2, №4.
145. Собчик JI.H. (2003) Диагностика индивидуально-типологических свойств и межличностных отношений. СПб.
146. Собчик JI.H., Лукьянова A.A. (1978) Изучение психологических особенностей летного состава стандартизованным методом исследования личности: Пособие. М.
147. Собчик Л.Н. (1990) Стандартизованный много факторный метод исследования личности: Методическое руководство. М.
148. Соловьев A.B. (1992) Когнитивная психология и искусственный интеллект (научно-аналитический обзор). М.
149. Солсо Р.Л. (1996) Когнитивная психология. Пер. с англ. - М.
150. Степанский В.И. (1991) Свойство субъектности как предпосылка личностной формы общения // Вопросы психологии, № 5, с.98-102.
151. Столин В.В., Шмелев А.Г. ред. (1984) Практикум по психодиагностике. Дифференциальная психометрика. - М.
152. Стернберг Р.Дж., Форсайт Дж.Б., Хедланд Дж. и др. (2002) Практический интеллект // Под ред. Р.Стернберга СПб.: Питер.
153. Стрелков Ю.К. (2001) Инженерная и профессиональная психология. М.: Академия, Высшая школа.
154. Стрелков Ю.К. (1990) Операционально-смысловые структуры профессионального опыта // Вестник МГУ. Серия 14. Выпуск 3.
155. Сугак Е.Е. (2005) Эргономические аспекты проектирования пользовательского интерфейса // Дис. канд. психол. наук. 19.00.03. М.
156. Суходольский Г.В. (1998) Основы психологической теории деятельности. -СПб.
157. Суходольский Г.В. (1997) Математическая психология. СПб.
158. Тарасов С.Г. (1999) Основы применения математических методов в психологии: Учебное пособие. СПб.
159. Таунсенд К., Фохт Д. (1990) Проектирование и программная реализация экспертных систем на персональных ЭВМ: Пер. с англ. М.
160. Тейверлаур М. (1992) Исследование восприятия времени у больных с невротическими и эндогенными депрессивными расстройствами. Автореф. канд: дисс. - СПб.
161. Тиори Т., Фрай Дж. (1985) Проектирование структур баз данных: в 2-х кн.: Пер. с англ. М.
162. Тихомиров O.K. (1984) Психология мышления: Учебное пособие. М.
163. Улановский A.M. (2005) Феноменологический подход как качественная исследовательская методология// Автореферат дис. . канд. психол. наук. 19.00.01. М.
164. Уотермен Д. (1989) Руководство по экспертным системам. М.
165. Уэно X., Исидзука М. (1989) Представление и использование знаний: Пер. с япон. М.
166. Федорова T.JI. (1978) Методика семантического дифференциала и возможности ее применения в клинической практике // Психологические методы исследования личности в клинике. JI.
167. Филипс Л., Йоргенсен М.В. (2008) Дискурс-анализ. Теория и метод / Пер.с англ. X.: Изд-во «Гуманитарный Центр».
168. Финн В.К. (1991) Правдоподобные рассуждения в интеллектуальных системах типа ДСМ // Итоги науки и техники. Серия «Информатика». Т. 15: «Интеллектуальные информационные системы». ВИНИТИ. С.54-101.
169. Франселла Ф., Баннистер Д. (1987) Новый метод исследования личности: руководство по репертуарным личностным методикам. М.
170. Ханин Ю.Л. (1976) Краткое руководство по применению шкалы реактивной и личностной тревожности Ч.Д.Спилбергера. Л.
171. Хейес-Рот Ф., Уотермен Д., Ленат Д. (ред.) (1987) Построение экспертных систем. М.
172. Холодная М.А. (2005) Структура и функции естественного интеллекта в контексте проблемы искусственного интеллекта // Тезисы докл. на междисциплинарном семинаре «Философско-методологические проблемы искусственного интеллекта».
173. Холодная М.А., Кострикина И.С. (2005) Когнитивные и метакогнитивные предпосылки интеллектуальной компетентности // Тезисы докл. 1-й международной конференции по когнитивным наукам. С.244-246.
174. Холодная М.А. (2002) Когнитивные стили: О природе индивидуального ума. -М.: ПЕР СЭ.
175. Холодная М.А. (1997) Психология интеллекта: парадоксы исследования. -Томск: Изд-во Том. Ун-та. Москва: Изд-во «Барс».
176. Хомский Н. (1962) Синтаксические структуры. // Новое в лингвистике. Вып. II. М.
177. Хорни К. (2000) Невротическая личность нашего времени. М.447
178. Хорошевский В.Ф. (1989) Программный инструментарий представления знаний в экспертных системах // Экспертные системы: состояние и перспективы: Под ред. Д.А.Поспелова. M. - С.38-47.
179. Хорошевский В.Ф. (1994) Влияние искусственного интеллекта на технологию программирования. // Тез. доклада на 4-й национальной конференции по искусственному интеллекту (КИИ 94).
180. Хьелл Л., Зиглер Д. (1997) Теории личности (Основные положения, исследования и применение). — СПб.
181. Цейтин Г.С. (1985) Программирование на ассоциативных сетях // ЭВМ в проектировании и производстве. — Л. Вып. 2. - С. 16-48.
182. Червинская K.P. (2003) Компьютерная психодиагностика. Учебное пособие. СПб, Речь.
183. Червинская K.P. (2008) Методика интерперсональных отношений: опыт эксплицирования знаний эксперта-психолога, интерпретационные схемы. Методическое пособие. СПб: Речь.
184. Червинская K.P., Антропова М.А. (2008) Эффективность разделения знаний в распределенных командах // Материалы научно-практической конференции «Ананьевские чтения-2008». СПбГУ.
185. Червинская K.P., Журавлева A.A. (2009) Феномен разделения знаний в организационной психологии // Вестник СПбГУ Серия 12, вып. 1, с. .
186. Червинская K.P., Щелкова О.Ю. (1998) О развитии психодиагностики в контексте новых информационных технологий // Журнал прикладной психологии. -№ 3. -'С.86-103.
187. Червинская K.P., Щелкова О.Ю. (2002) Медицинская психодиагностика и инженерия знаний // под ред.Л.И.Вассермана СПб.: Академия. .
188. Шадриков В.Д. (1982) Проблемы системогенеза профессиональной деятельности. М.: Наука.
189. Шалютин С.М. (1985) Искусственный интеллект: Гносеологический аспект. М.
190. Шермерорн Дж. Организационное поведение Текст. / Дж. Шермерорн, Р. Осборн. СПб.: Питер, 2004. - С. 234.
191. Шенк Р., Бирнбаум Л., Мей Дж. (1989) К интеграции семантики и прагматики // Новое в зарубежной лингвистике. Компьютерная лингвистика. М;
192. Шехтер. М.С. (1967) Психологические проблемы узнавания. М. Просвещение.
193. Шмелев А.Г. (1983) Введение в экспериментальную психосемантику: теоретико-методологические основания и психодиагностические возможности. -М.
194. Шмелев А.Г. (1987) Психометрические основы психодиагностики // Общая психодиагностика / Под ред. А.А.Бодалева, В.В.Столина. М. - С. 53-112.
195. Шмелев А.Г.(2002) Психодиагностика личностных черт. СПб.: Речь.
196. Шмелев А.Г. и коллектив (1996) Основы психодиагностики: Учебное пособие. М., Ростов-на-Дону.
197. Ялом И. (1999) Экзистенциальная психотерапия. — М.
198. Яшин A.M. (1990) Разработка экспертных систем. Л.: ЛПИ.
199. Abrahamson А.А. (1979) Experimental analysis of the semantics of movements. // D.A. Norman, D.E. Rumelhart (eds.) Explorations in Cognition. San Francisco.
200. Adeli H. (1994) Knowledge Engineering. McGraw-HillPublishing Company., N.Y.
201. Aleksandrowicz J.W. et al. (1981) Kwestionariusze objawowe «S»i»0» -narzedzia sluzace do diagnozy i opisu zaburzen nerwicowych // Psychoterapia. Krakow-Czerwiec. S. 11-27.
202. Amalberti R., Hoc J.M. (1998) Cognitive activity analysis in dynamic situation: why and how? // Le Travail Humain, 61, 209-234.
203. Anderson N., Lindeman E.C. (1928) Urban Sociology: An Introduction to the Study of Urban Communities. New York.
204. Argyris, C. (1990). Overcoming Organisational Defenses, Prentice-Hall, New York, NY.
205. Argyris, C. (1986). Skilled Incompetence. Harvard Business Review. 64(5), 7479.
206. Bannon, L.J., Bodker, S., (1991) Beyond the interface: encountering artifacts in use. In: Caroll, J., (Ed.), Designing Interaction: Psychology at the Human Computer Interface, Cambridge University Press, Cambridge, pp. 227-253.
207. Bartram D., Bayliss R. (1984) Automated testing: Past, present and luture // Journal of Occupational Psychology, 57, 221-237.
208. Barthelmess P., Anderson К. M. (2002) A view of Software Development Environments based on Activity Theory // Computer-Supported Cooperative Work, 11.
209. Bastien J.M.C., Scapin D.L. (1995) Evaluating a user interface with ergonomic criteria//International Journal of Human Computer Interaction, 7, 105-121.
210. Bedny G. Z., Karwowski W. A. (2003) Systemic-Structural Activity Approach to the Design of Human-Computer Interaction Tasks // International Journal of HumanComputer Interaction, Vol. 16, No. 2.
211. Belkin, N.J. (1980). Anomalous states of knowledge as a basis for information retrieval. Canadian Journal of Information Science. 5, 133-143.
212. Bettoni Marco C. (1997) Constructivist Foundations of Modeling A Kantian Perspective // International J. of Intelligent Systems. - V. 12. - P. 577-595.
213. Berman S.L., Down J., Hill C.W.L. (2002). Tacit knowledge as a source of competitive advantage in the National Basketball Association. Academy of Management Journal, 45, 13-31.
214. Berry D.C., Broadbent D. E. (1984) On the relationship between task performance and associated verbalizable knowledge, Quarterly Journal of Experimental Psychology, 36A, 1984, p. 209-231.
215. Bertelsen O.W., Bodker S. (2000) Introduction: Information Technology in Human Activity // Scandinavian Journal of Information Systems, 12.
216. Be'guin, P. (2003) Design as a mutual learning process between users and designers Interacting with computers 15, 5.
217. Bower, G.H., Hilgard, E.R. (1981). Theories of Learning, Englewood Cliffs, New Jersey: Prentice-Hall.
218. Bobrov D. G., Winograd T. (1979) KRL: another perspective // Cognitive Science. V.3. -№1.
219. Boose J.H. (1986) Expertise transfer for expert system design. N.Y.
220. Boose, J.H. (1989) A survey of knowledge acquisition techniques and tools. // Knowledge Acquisition. V. 1. - № 1. P. - 39-58.
221. Buchanan T., Smith J.L. (1999) Using the Internet for psychological research: Personality testing on the Wold Wide Web // British Journal of Psychology, 90, 125-144.
222. Card S.K., Moran T.P., Newell A. (1983) The psychology of human-computer interaction. Hillsdale, NJ: Lawrence Erlbaum.
223. Carroll J. M. (1997) Human-computer interaction: psychology as a science of design // International Journal of Human Computer Studies, 46, 501-522.
224. Carroll J. M. (2000) Introduction to this Special Issue on «Scenario-Based System Development»// Interacting with Computers, 13, p.41-42.
225. Chase W.G., Simon H.A. (1973) Perception in chess // Cognitive Psychology. № 4.-P. 55-81.
226. Chervinskaya K.R., Wasserman E.L. (2000) Some methodological aspects of tacit knowledge elicitation // J. of Experimental & Theoretical Artificial Intelligence. V.12, № l.-P. 43-55.
227. Chi M.T., Feltovich P.J., Glaser R. (1981) Categorisation and representation of physics problem by experts and novices. Cognitive Science. V. 5. P. 121-152.
228. Chi M.T., Koeske R.D. (1983) Network representation of a child's dinosaur knowledge // Developmental Psychology. V.19(l). - P. 23-39.
229. Cloteaux Br., Eick Chr., Bouchon-Meunier B., Kreinovich V. (1998) From ordered beliefs to numbers: how to elicit numbers without asking for them (doable but computationally difficult) // International J. of Intelligent Systems. V. 13. - P. 801-820.
230. Cohen R.J., Swerdlik M.E, Smith D.K. (1992) Psychological testing and assessment, 2nd ed. Mountain View, CA: Mayfield Publishing.
231. Collins A.M., Quillian M.R. (1972) Experiments on semantic memory and language compehension. // L.W.Gregg (ed.) Cognition in learning and memory. N.Y.
232. Cooke N.M., McDonald J.E. (1987) The application of psychological scaling techniques to knowledge elicitation for knowledge-based systems. // Int. J. of Man-Machine Studies. -V. 26. P. 533-550.
233. Cooper, Arnold M., Allen J Frances, Michael H. Sacks (1990) Psychiatry. Volume I, The Personality Disorder and Neurosis. New York: Basic Books.
234. Cuny X. (1993) Outils semiques et organization des conduits de travail. Communication au Seminaire "Activités avec instruments". Laboratoire d'Ergonomie du CNAM.
235. Dahlstrom W.G., Welsh G.S. (1962) An MMPI handbook. A guide to use in clinical practice and research. Minneapolis.
236. Darses F.O. (2001) Providing practitioners with techniques for cognitive work analysis // Theoretical Issues in Ergonomics Science, V.2, № 3, 268-277.
237. Davis R. (1982) TEIRESIAS: Applications of meta-level knowledge // Knowledge-based Systems in Artificial Intelligence. N.Y.
238. David J.M., Krivine J.P., Simmons R. eds. (1993) Second Generation Expert Systems. - New York.241. de Groot A.D. (1966) Perception and memory versus thought. In B. Kleinmuntz (Ed.), Problem-solving. New York: Wiley.
239. Dietterich T.G. (1986) Learning at the knowledge level. // Machine Learning. № l.-P. 287-316.
240. Dixon P. (1987) The Processing of Organizational and Component Steps in Written Directions. // J. of Memory and Language. № 26. - P. 24-35.
241. Engeström Y. (1987) Learning by Expanding. An Activity-theoretical Approach to Developmental Research. Helsinki: Orienta-konsultit Oy.
242. Engeström Y., Miettinen R. (1999) Introduction to Perspectives on Activity Theory / Y.Engeström, R.Miettinen, R.L.Punamäki (eds.). Cambridge, MA: Cambridge University Press.
243. Engeström Y., Virkkunen J., Helle M., Pihlaja J., Poikela R. (1996) Change Laboratory as a tool for transforming work // Lifelong Learning in Europe, Vol. 1, No. 2.
244. Eppler M (2007) Knowledge Communication Problems between Experts and Decision Makers: an Overview and. Classification // The Electronic Journal of Knowledge Management Volume 5 Issue 3, pp 291 300; available online at www.ejkm.com.
245. Eppler, M., Mengis, J. (2004). The Concept of Information Overload. The Information Society an International Journal. 20(5), 1-20.
246. Ericsson K.A. (1996) The Acquisition of Expert Perfomance: An Introduction to Some of the Issues, In Ericsson K.A. (Ed.) The Road to Excellence: The Acquisition of
247. Expert Perfomance in the Arts and Sciences, Sports and Games, Hillsdale, NJ: Lawrence Erlbaum Associates, 1-51.
248. Ericsson K.A., Kintsch W. (1995) Long-term working memory // Psychological Review, 102, 211-245.
249. Ericsson K.A., Lehnmann A.C. (1996) Expert and Exceptional Perfomance: Evidence of Maximal Adaptation to Task Constraints // Annual Review of Psychology, 47:273-305.
250. Exner J.E., Jr. (1991) The Rorschach: A comprehensive system: Vol. 2. Interpretation. New York.
251. Exner J.E., Jr. (1993) The Rorschach: A comprehensive system: Vol. 1. Basic foundations. New York.
252. Exner J.E., Jr. (1995) Issues and methods in Rorschach research. Mahwah, New Jersey: LEA.
253. Exner J.E., Jr. (2000) A Primer for Rorschach interpretation. Asheville.
254. Feigenbaum E., Buchanan B. (1978) DENDRAL and Meta- DENDRAL // Artificial Intelligence. V. 11. - № 1-2.
255. Feigenbaum E. (1980) Knowledge engineering: the applied side of artificial intelligence. Stanford.
256. Fidel R., Pejtersen A.M. (2004) From information behavior research to the design of information systems: the Cognitive Work Analysis framework // Information Research, Vol. 10, № 1.
257. Ford K.M., Bradshaw J.M., Adams-Webber J.R., Agnew N.M. (1997) Knowledge acquisition as a constructive modeling activity // International J. of Intelligent Systems. -V. 12.-P. 577-595.
258. Gaines B.R. (1993) Modeling practical reasoning. // International J. of Intelligent Systems.-V. 8.-P. 51-70.
259. Gammack J.G., Young R.M. (1984) Psychological techniques for eliciting expert knowledge. // Resersh and Development in Expert Systems. / Ed. M.A.Bramer. Cambridge: Cambridge University Press. P. 105-112.
260. Gartner Group (1999) The Knowledge Management Scenario: Trends and Directions for 1998—2003.
261. Go K., Carroll J.M. (2004) The Blind Men and the Elephant: Views of Scenario-Based System Design //Interactions, 11, p.44-53.
262. Gobet F., Simon H.A. (1996) Templates in chess memory: A mechanism for recalling several boards // Cognitive Psychology, 31, 1-40.
263. Goldsmith T.E., Schvaneveldt R.W. (1985) ACES: Air combat Expert Simulation // Memory in Computer and Cognitive Science. New Mexico.
264. Glaser R. (1984) Education and thinking: The role of knowledge. // Amer. Psychologist. V.39 (2). - P. 93-104.
265. Glaser R., Chi M.T.H. (1988) Overview // In: M.T.H. Chi, R.Glaser, M.Farr (Eds.). The nature of expertise. Hillsdale, NJ: Erlbaum.
266. Graesser A.C., Robertson S.P., Anderson P.A. (1981) Incorporating Inferences in Narrative Representations: a Study of How and Why // Cognitive Psychology. № 13. -P. 1-26.
267. Grant A.S., Mayes J.T. (1991) Cognitive task analysis // Human Computer Interaction and Complex Systems. London: Academic Press, 147-167.
268. Hathaway S.R., McKinley J.C. (1951) The Minnesota multiphasic personality inventory. Manual. -N.Y.
269. Hart A. (1985) Knowledge elicitation: issues and methods // Computer-Aided Design. V. 18. - № 9. - P. 455-462.
270. Hart A. (1986) Knowledge Acquisition for Expert Systems. London.
271. Hawkins D. (1983) An analysis of expert thinking. // Int. J. of Man-Machine Studies. V. 18. № 1. P. 1-47.
272. Hayes-Roth В., Hayes-Roth F. (1979) A cognitive model of planning // Cognitive Science, 3,275-310.
273. Hinds, P. J. (1999). The Curse of Expertise: The Effects of Expertise and Debiasing Methods on Predictions of Novice Performance. Journal of Experimental Psychology: Applied, 5(2), 205-221
274. Holding D. (1979) Echoic storage // In: N.S.Sutherland (Ed.). Tutorial essays in psychology. Vol.2. Hillsdale, NJ: Erlbaum.
275. Husted, K., Michailova, S. (2002). Diagnosing and Fighting Knowledge-Sharing Hostility. Organizational Dynamics. 31(1), 60-73.
276. Hutchins E. (1990) The technology of team navigation, In Galegher J., Kraut R.E., Egido C., Intellectual Teamwork, Lawrence Erlbaum Associates Publishers.
277. Jacoby L.L. (1983) Remembering the data: Analyzing interactive processes in reading // Journal of Verbal Learning and Verbal Behavior. № 22. p.485-508.
278. Johnson, P. E. (1983). What kind of expert should a system be? Journal of Medicine and Philosophy. 8, 77-97.
279. Kandel E.R. (1999) Biology and the Future of Psychoanalysis: A New Intellectual Framework for Psychiatry Revisited // American Journal of Psychiatry; 156:505-524.
280. Kaptelinin V. (1996). Computer mediated activity: functional organs in social and development contexts. In: Nardi, В., (Ed.), Context and Consciousness: Activity Theory and Human Computer Interaction, MIT Press, Cambridge, pp. 45-68.
281. Kelly G.A. (1955) The psychology of personal constructs. V. 1. A theory of personality. - N.Y.
282. Keyser V. D. (2001) Анализ видов деятельности, задач и производственных систем // http://base.safework.ru/iloenc?doc&nd=857400288&nh=0&ssect=2
283. Kihlstrom J.E. (1990) The psychological unconscious // Handbook of personality: Theory and research. Ed. By L.Pervin. New York. P.445-464.
284. Kitto C.M., Boose J.H. (1987) Heuristics for expertise transfer: an implementation of a dialogue manager for knowledge acquisition // International J. of Man-Machine Studies. V. 26. -№ 2. - P. 403-423.
285. Klein G. (2000) Using cognitive task analysis to build a cognitive model, Proceedings of the XlVth IEA 2000 Congress, San Diego, CA, 596-599.
286. Kuutti K. (1996) Activity Theory as a Potential Framework for Human-Computer Interaction Research // Context and Consciousness: Activity Theory and HumanComputer Interaction / B. Nardi (ed.). Cambridge, MA: MIT Press.
287. LaFrance, M. (1989) The quality of expertise: Implications of expert-novice differences for knowledge acquisition. SIGART Newsletter ; 108, April, 6-14.
288. Larichev O., Moshkovich H., Rebrik S. (1988) Systematic research into human behavior in multiattribute object classification problems. // Acta Psychologica. V. 68. -P. 171-182.
289. Leary T. (1957) Interpersonal diagnosis of personality. N.Y.
290. Leary T., Coffey I. (1955) Interpersonal diagnosis: some problems of methodology and validation // J. Abnorm. Soc. Psychology. V. 50. - P. 110-124.
291. Leonard N., Insch G.S. (2005) Tacit Knowledge in Academia: A Proposed Model and Measurement Scale // The Journal of Psychology 139(6), 495-512.
292. Leplat J. (1986) The elicitation of expert knowledge // E.Hollangel et al. (eds.) Intelligent Decision Support in Process Environment. Berlin.
293. Lewicki, P., Hill, T., Sasaki, I. (1989). Self-perpetuating development of encoding biases // Journal of Experimental Psychology: General, Vol. 118, 323-337.
294. Lewicki, P., Hill, T., Czyzewska, M. (1992). Nonconscious acquisition of information. American Psychologist, Vol. 47, 796-801.
295. Luczak H., Schlick C. (2000) Utility of cognitive models // Proceedings of the XlVth IEA 2000 Congress, San Diego, CA, 585-588.
296. Marce, A.J. (1983). Conscious and unconscious perception: Experiments on visual masking and word recognition. Cognitive Psychology, 15, 187-237.
297. Mattlar C-E. (2003) Rorschach Comprehensive System is a reliable, valid, and cost-effective assessment procedure // Newsletter (E.R.A.). № 12. - P. 19 -41.
298. Meier S. (1994) The chronic crisis in psychological measurement and assessment: A historical survey. San Diego: Academic Press.
299. Merikle P.M., Reingold E.M. (1990) Recognition and lexical decision without detection: Unconscious perception? // Journal of Experimental Psychology: Human perception and Performance. № 16. p.574-583.
300. Michalski B. (1983) Theory and Methodology of Inductive Learning // Artificial Intelligence. V. 20. - № 2.
301. Milton N., Clarke D., Shadbolt N. (2006) Knowledge engineering and psychology: Towards a closer relationship // International Journal of Human-Computer Studies Volume 64, Issue 12, December 2006, P. 1214-1229.
302. Minsky M.A. (1981) Theory of memory // Perspectives in Cognitive Science. -Norwood, N.S.
303. Mounoud P. (1970) Structuration de l'instrument chez l'enfant. Delachaux et Niestle. Paris.
304. Naikar N., Hopcroft R., Moylan F. (2005) Work Domain Analysis: Theoretical Concepts and Methodology. DSTO, Australia, 102 p.
305. Nardi B. (1996) Activity Theory and Human-Computer Interaction // Context and Consciousness: Activity Theory and Human-Computer Interaction / B. Nardi (ed.). Cambridge, MA: MIT Press.
306. Newell A. (1982) The knowledge level // Artificial Intelligence. Vol. 1. - № 5.
307. Newell A., Simon H.A. (1961) Computer simulation of human thinking, Science, 134,2011-2017.
308. Newell A., Simon H.A. (1972). Human problem solving. Englewood Cliffs: Prentice Hall.
309. Nielsen J. (1993) Usability engineering. London, UK: Academic Press.
310. Nonaka I. (1994). A dynamic theory of organizational knowledge creation // Organizational Science, 5, 14-37.
311. Nonaka I., Konno N. (1998). The concept of "Ba": Building a foundation for knowledge creation. California Management Review, 40, 40-54.
312. Norman D.A. (1991) Cognitive artifacts. In: Caroll, J., (Ed.), Designing Interaction: Psychology at the Human Computer Interface, Cambridge University Press, Cambridge, pp. 17-38.
313. Northcroft G.B., Neale M. (1987) Experts, amateurs and realestate: An anchoring-and-adjustment perspective on property pricing decisions. Organizational Behavior and Human Decision Process, 39, 84-97.
314. Olson J.R., Rueter H.H. (1987) Extracting expertise from experts: methods for knowledge acquisition // Expert Systems. V. 4. - № 3.
315. Osgood Ch.E. (1959) The representational model and relevant research methods // Trends in content analysis. Urbana.
316. Osgood Ch.E., Susi G.J., Tannenbaum P.H. (1968) The measurement of meaning: Semantic differential technique. Chicago.
317. Oskamp S. (1962) The relationship of clinical experience and training methods to several criteria of clinical prediction. Psychological Monographs, 76.
318. O'Reilly, C. A. (1980). Individuals and information overload in organizations: Is inore necessarily better? Academy of Management Journal. 23, 684-696.
319. Palmer A. (2002) The Construction of Fictional Minds. Narrative. V. 10.1. P. 28-46.
320. Patel V.L., Ramoni M.F. (1997) Cognitive Models of Directional Inference in Expert Medical Reasoning // In: Feltovich P., Ford K., Hoffman R. (Eds.) Expertise in Context: Human and Machine. AAAI Press, Menlo Park, CA.
321. Pavard B. (1985) Le traitment de texte professionnel: activités et contraintes. Document du Laboratoire d'Ergonomie du CNAM
322. Payne S.J. (1992) On mental models and artefats // in Rogers Y., Rutherford A., Bibby P.A. Models in the minds: theory, perspective and application, Academic Press, London.
323. Polanyi M. (1966). The tacit dimension. London: Routledge and Kegan Paul.
324. Rasmmussen J (1986) Information Processing and Human-Machine Interaction: Ann Approach to Cognitive Engineering. NY/Amsterdam: North-Holland Series in System Science and Engineering, V. 12.
325. Rasmmussen J., Pejtersen A.M., Goodstein L.P. (1994) Cognitive Systems Engineering. New York: Wiley-Interscience.
326. Reber A.S. (1967) Implicit learning of artificial grammars // Journal of Verbal Learning and Verbal Behavior. № 6. p.855-863.
327. Reber A.S. (1995) Implicit Learning and Tacit Knowledge: An Essay on the Cognitive Unconscious. New York.
328. Richman H., Staszewski J., Simon H. (1995) Simulation of expert memory using EPAMIV // Psychological Review. V. 102. - № 2. - P. 305-330.
329. Rogalsri J. (1993) Un exemple d'outil cognitive pour la maitrise d'environnements dinamique. Communication au Seminaire "Activités avec instruments". Laboratoire d'Ergonomie du CNAM.
330. Rotter J. (1966) Generalized expectancies for internal versus external control of reinforcement // Psychol. Monogr. V. 80. - № 1.
331. Rosch E., Mervis S. (1975) Family Resemblances // Cognitive Psychology. № 7.
332. Russo, J. E., Shoemaker, P.J.H. (1989). Decision Traps, New York: Simon and Schuster.
333. Ryle G. (1984) The Concept of Mind. Chicago.
334. Schacter D.L. (1987) Implicit memory: History and current status // Journal of Experimental Psychology: Learning, Memory and Cognition. № 13. p. 501-518.
335. Sebillotte S. (1988) Hierarchical planning as method for task analysis: the example of office task analysis // Behaviour and Information Technology. V. 7. - № 3. -P. 275-293.
336. Shortliffe E. (1976) Computer based medical consultations: MYCIN. New York.
337. Simon H.A., Gilmarti R. (1973) A simulation of memory for chess positions. Cognitive Psychology, 5, P. 29-46.
338. Simon H.A. (1974) How big is a chunk? // Science. V. 183. - P. 482-488.
339. Skinner H.A., Pakula A. (1986) Challenge of computers in psychological assessment // Professional Psychology: Research and Practice, 17, 44-50.
340. Smith E.E., Shoben E.J., Rips L.J. (1974) Structure and process in semantic memory: a featural model for semantic decisions. Psychological Review, 1, 214-241.
341. Spelke E., Hirst W., Neisser U. (1976) Skills of divided attention. Cognition, 4, 215-230.
342. Spielberger Ch.D. (ed.) (1972) Anxiety: current trends in theory and research. N.Y., V. 2.
343. Sternberg R.J., Wagner R.K., Okagaki L. (1993). Practical intelligence: The nature and role of tacit knowledge in work and at school. In H. Reese & J. Puckett (Eds.), Advances in lifespan development (pp. 205-227). Hillsdale, NJ: Erlbaum.
344. Sternberg R.J., Wagner R.K., Williams W.M., Horvath J.A. (1995). Testing common sense // American Psychologist, 50, 912-927.
345. Sternberg R.J., Horvath J.A., (1999). Tacit knowledge in professional practice. Researcher and practitioner perspectives. Mahwah, NJ: Erlbaum.
346. Sternberg, R. J., Forsythe, G. B., Hedlund, J., Horvath, J. A.,Wagner, R. K.,Williams,W. M., Snook, S., & Grigorenko, E. L. (2000). Practical intelligence in everyday life. New York: Cambridge University Press.
347. Sweller J., Mawer R.K., Ward M.R. (1983) Development of expertise in mathematical problem solving. Journal of Experimental Psychology: General, 112, 463474.
348. Tuthill G.S. (1994) Knowledge Engineering. TAB Books Inc.352. van Dijk T. (1989) Structures of discourse and structures of power. In J.A. Anderson (Ed.), Communication Yearbook 12, pp. 18-59. Newbury Park, CA: Sage.
349. Vedder R.G. (1989) PC-based expert systems shells: some desirable and less desirable characteristics // Expert Systems. V. 6: - № 1. - P. 28-42.
350. Vicente K.J. (1999) Cognitive work analysis: Toward safe, productive, and healthy computer-based work. Mahwah, NJ: Lawrence Erlbaum Associates.
351. Vroom V., Yetton P. (1973) Leadership and decision-making. Pittsburgh, PA: University of Pittsburg Press.
352. Wagner R.K. (1987). Tacit knowledge in everyday intelligence behavior // Journal of Personality and Social Psychology, 52, 1236-1247.
353. Walton J.D., Musen M.A., Combs D.M., Lane C.D., Shortliffe E.H., Fagan L.M. (1985) Graphical access to medical expert systems: III. Design of a knowledge-acquisition environment. Methods of Information in Medicine, 26:78-88.
354. Wallas G. (1926) The art of though. N.Y.
355. Webster J., Compeau D. (1996) Computer-assisted versus paper-and-pencil administration of questionnaires // Behavior Research Methods, Instruments, and Computers, 28, 567-576.
356. Weiner I.B. (1998) Principles of Rorschach interpretation. Mahwah, New Jersey: LEA.
357. Welford A.T. (1961) On the human demands of automation: Mental work conceptual model, satisfaction and training // Industrial and business psychology. Copenhagen. Vol. 5., c. 186.
358. Whiteside J., Wixon D. (1987) Discussion: Improving human computer interaction a quest for cognitive science // Interfacing Thought: Cognitive Aspects of Human-Computer Interaction / J. Carrol (ed.). Cambridge, MA: MIT Press.
359. Wielinga B.J., Breuker J.A. (1984) International models for knowledge acquisition // Proc. Advances in Artificial Intelligence (ESAI, Pisa). North-Holland, Amsterdam.
360. Wood L.E., Ford J.M. (1993) Structuring interviews with experts during knowledge elicitation // International J. of Intelligent Systems. Special Issue on Knowledge Acquisition. V.8. P.71-90.
361. Woods D.D., Roth E.M. (1988) Cognitive systems engineering, in M. Helander (ed.), Handbook of Human Computer Interaction (North-Holland: Elsevier Science Publishers BV). P.3-43.
362. Yaniv, I., Kleinberger, E. (2000). Advice taking in decision making: Egocentric discounting and reputation formation. Organizational Behaviour and Human Decision Processes, 83, 260-281.
363. Zajonc R.B. (1980) Feeling and thinking: Preferences need no inferences // American Psychologist. № 35. p. 151-175.
364. Zeitz C.M. (1997) Some concrete advantages of abstraction // In: P.J.Feltovich, K.M.Ford, R.R.Hoffmann (Eds.). Expertise in context. Cambridge, MA: MIT Press.
365. Zung W.K. (1965) A self-rating depression scale // Arch. Gen. Psychiat. V. 12. P. 63-70.