автореферат и диссертация по психологии 19.00.01 для написания научной статьи или работы на тему: Принципы конструирования невербальных тестов способностей

Автореферат диссертации по теме "Принципы конструирования невербальных тестов способностей"

РОССИЙСКАЯ «САДИ,'Ж НШ ИНСТИТУТ психологии

На правах рукопдсп

Юсупов Фарит МасгутоЕН-.*

ПР1ШЩПШ КОНСТРУИРОВАНИЯ НЕВЕРБА Ш Ж ТЕСТОВ СПОСОБНОСТИ!

Спешачънооть: 19.00.01 - обкзл психология,

ИСТОРИЯ ПСИХОЛОГИИ

Автореферат дясссрхацш на соискашш учёной степешх кандидата псахологячшотх наук

Москва 1993

Работа выполнена в Институте психологии РАН

Научны11 руководитель - доктор психологических наук

В.Н.Дружинин

Официальные оппоненты: доктор психологических наук,

профессор Л.А.Митыиш кандидат психологических наук, доцент Ы.П.Ансимова

Ведущая организация: Московский государственный

университет

Защита состоится 1993г. в [/ час.

на заседании специализированного совета К 002.31.02 Института психологии РАН по адресу: 129366, Москва, ул. Ярославская, 13

О диссертацией можно ознакомиться в библиотеке Института психологии РАН.

Автореферат разослан " "__ 1993г.

Учёный секретарь специализированного учёного совета кандидат психологических наук

Е.А.Андреева

ОЕДАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. В связи с изменившимся в обществе отношением к тестовым методам в отечественной психологии наметилась тенденция их болео интенсивного развития. Серьёзным препятствием на этом пути является недостаточное внимание к психометрическому обеспечению процесса конструирования тестов. Существуют их виды, для которых слабо разработан необходимый теоретический инструментарий, позволяющий получить тест с высокими психометрическими качествами. Особешю это относится к тестам с варьирующейся сложностью заданий (тестам "уровня") . Недостаточная разработанность психометрических про -цедур значительно усложняет процесс создания такого типа тес- . тов, не гарантируя им, при всём том, высокий уровень психометрических характеристик. Конструирование невербальных тестов этого типа, к тому не, имеет дополнительные сложности, поскольку слабо изучен вопрос о возможности влияния на показатели невербальных тестов вербальных качеств испытуемого: уроЕНя развития его речи," понятийного аппарата и т.п. Всё ото делает изучение данной проблематика очень ванным и своевременным.

Цель исследования состояла в том, чтобы проанализировать особенности невербальных тестов "уровня" я на этой основе усовершенствовать их теоретическое обоснование.

Объектом исследования были невербальные тесты "уровня".

Продает исследования составляли процедуры, предназначенные для конструирования тестов данного типа, математическая, модель теста "уровня" и зллянио на его балл уровня вербатыю-го развития испытуемых.

Задачи доследования были таковы:

- предстояло выяснить, какая принципиальная особенность тостов "уровня" будет определять характер процедур, предназначенных для разработки таких тестов, и выполнение каких до-иолкителышх условий позволит улучпить психометрхческие характеристики тостов данного тина. Эти условия могут касаться вопросов определения: оптимального числа заданий в тесте "уровня" и характера их расположения на шкале трудности; ограничений, накладываемых на максимальную сложность тестовых аадшшй к диапазон изменения показателя слояностя тестового задания; числа вариантов ответов в тестовом задании.

- исходя нз принципиальных особенностей теста "уровня", разработать процедуры для его конструированы:.

- выполнить верификацию разработанных процедур.

- экспериментально проверить эффективность используемой математической модели теста "уровня" и в случае, если будут выявлены её существенные недостатки, рассмотреть возможность модификации этой модели.

- изучить возмонность влияния на успешность решения невербального теста вербальной компетентности испытуемого. .

Гипотеза исследования состояла в сл едущем:'

- ворояхчосхний характер' шестовых измерений в условиях ограниченного диапазона изменения показателя сложности задания теста "уровня" лороздаог необходимость соблюдения ряда требований в отношении принципов отбора вариантов ответов в вадокда, их числа, количества и характера расположения заданий в тесте.

- используемый в тесте "уровня" показатель неустойчив , • >

что требует его замены на другой и модификации ыахематичес-

•кой модели теста.

- показаталя невербальных тестов чувствительны к уровшо вербального развития испытуемых.

Научная новизна работы такова: разработали процедуры, лочвояявдяо улучшить процесс конструирования тестов "уровня"; предложена новая математическая модель такого теста; использование указанных процедур при анализе конструкционных особенностей теста Ранена позволило выявить в нём ряд серьёзных недостатков и дчть рекомендации по его совершенствованию; сделаны предложения по модификации показателя, используемого в тесте "уровня", что позволяет улучшить его устойчивость; установлено: показатели невербапышх тестов чувствительны к уровню вербального развития испытуемых, исходя из чего может быть уменьшена систематическая ошибка измерений.

Практическая значимость исследования заключается в том, что созданы процедуры дал конструирования гестов "уровня", Давида возмо;шость существенно улучшить их теЬшическио характеристики

Основные положения, выносимые на защиту:

- вариативность сложности заданий тестов "уровня" требует соблюдения при их конструировании ряда принципов, позвсляюцих: минимизировать вероятность случайного решения тестового задания, определить необходимое число вариантов ответов в нём и количество заданий в самом тесте, оптимизировать располояениа заданий на шкале трудности.

- невербальные интеллектуальные тесты в действительности не является вербально независимыми. На их показатшш оказывает скрытое, но существенное влияние уровень вербального развития испытуемых.

- модель теста Раша неадекватно отражает особенности процедуры диагностики способностей тестами "уровня", т.к. не учитывает .многообразия индивидуалышх стратегий испытуемых.

Апробация работы. Диссертация прошла обсуждение на засе-дании лаборатории психологии способностей Института психологии РАН; результата исследований докладывались на У11 съезде Общества психологов СССР ( Москва,1989), на конференции "Психологическая наука и практика"( Новосибирск,1987), на республиканской конференции "Психолого-педагогическиа проблемы идеалоги-ческой работы (Казань, 1939).

Публикации. Основное содержание диссертации отражено в восьми публикациях.

Объём и структура работы. Диссертация объёмом в 15? страниц состоит из введения, трёх глав, заключения, библиографии, приложений, а также содержит 17 таблиц и 6 рисунков. Список литературы включает 156 наименований, из которых 16 на иностранных языках.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность избранной теш исследования, определяются его цели и задачи, раскрывается на-учнат новизна и практическая значимость работы.

В первой главе даётся обоснование необходимости изучения теоретических аспектов конструирования невербальных тестов с варьирующейся сложностью тестовых заданий, выделяется специфика психометрической и содержательной сторон теста этого типа, намечаются подходы к их анализу.

Совершенствование психометрических характеристик тестов требует усиления снимания психологов к изучению вопросов их

конструирования. Работ, посвящёшшх теоретическим вопросам тестирования, в последнее время становится всё больше[B.C.Ава-несов,1978,1982; А.Анастази,1982; В.К.Гайда, В.П.Захаров,IS82; Ю.З.Гильбух, 1978; К.М.Гуревич,1970; B.G.Клягин, 1281; Б.В.Кулагин,1984; В.М.Мельников, Л.Т.Ямпольский,1282; В.В.Сталин , А.Г.Шмелев,1984; Й.Шванцара,1978 и др._|. Создан неплохой фонд посоолй по грамотному использованию тестов [ Н.В.Гамезо.И. А.До-машенко,1986; Б.В.Кулагин,1984; В.Л.Марищук,1984; Л.Н.Собчик , I9S0; Й.Швандара, 1978 и др.]. й.гасте с тем большая часть исследований, посвящёшшх теории тестирования, редко выходит за пределы круга тем, в значительной мере уже достаточно хорошо изученных: оценки надёжности, валидности тестов, стандартизации показателей и построения тестовых шкал. Меньше исследованы вопроси, касающиеся проектирования тестовых заданий. [А.Ана-стази,1982; Л.Ф.Бурлачук, С .И.Морозов, 1989; В.В.Столин, АГ. D&se-лев,1984 и др.]. Новым подходом в разработке теории психологического тестирования является анализ потенциальных возможностей конструируемых методик путём использования математических моделей [В.Н.Дружинин,I991; П.Ф.Лазерсфельд,1973; С.С.Паповян, 1983 и др.], позволяющих оценить некоторые из психометрических качеств создаваемого теста ещё до перехода к этапу эмпирической проверки его технических характеристик.

Существенным недостатком подавляющего большинства разработок в сфере психометрики является то, что они посвящены исследованию тестов определённого, наиболее распространённого типа - тестов "скорости". В таких тестах уровень сложности всех заданий приблизительно одинаков, показателем служит количество правильно выполненных заданий, а время тестирования испытуемых сознательно лимитируется с целью получения вариации значений

показ атолл.

Ыезду тем существует иной тип тестов, условно обозначаемых как тесты "уровня", в которых время тестирования не ограничивается, сложность заданий в тесте специально варьируется, (она последовательно, от задания к заданию, увеличивается), а тестовым показателем служат ранговое место того наиболее сложного задания, которое испытуемый смог выполнить. Данный тип тестов изучен значительно хуже предыдущего и имеет слабо разработанный теоретический инструментарий. Совершенствование его и составляло ц.елъ данного исследования, причём объект исследования был ограничен лишь невербальными тестами.

Целостное изучение невербального теста "уровня" требует анализа двух ого сторон, психометрической и содержательной . Как отмечалось ранее, психометрическому аспекту конструирования тестов такого типа внимание уделяется явно недостаточно . Это делает вопрос совершенствования психометрического обеспе -чешщ тестов "уровня" чрезвычайно актуальным.

Здесь существует целый ряд .нерешённых вопросов. Касаются они ограничений, неизбежно возникающих в отношении: допустит,того .числа заданий в тестах "уровня" и их расположения на шкале; реального, а не теоретического диапазона изменения показателя сложности тестового задания; максимально возмохного уровня слокпости тестового задания и числа вариантов ответов в нём. Нуздается в исследовании математическая модель, огщ-сывахщая такой тост, а такяв посторонние факторы, влшшцие на ого тестовый балл.»

1о, что все ати вопросы действительно имеют место и требует: своего изучения, попытаемся показать следующим образом . Остановимся подробнее на ограничениях, касающихся количества

заданий в тесто "уровня". Как известно, в теоте "скорости" нет каких-либо принцишалышх ограничений в отношения возможного числа заданий в тосте. Тестолог закладывает в тест столько заданий, сколько считает целесообразным исходя из условия качественного измерения оцениваемого свойства. Совершенно иное положение мы тлеем в тестах "уровня". Вызвало это тем, что в отличие от тостов "скорости", где все тестовые задания имеют приблизительно одну сложность, в тесто "уровня" тестовая шкала задаётся варьированием сложности тестовых г цаний. Сложность тестовых заданий ыокат бить оценена только экспериментально, путём их опробирования па некоторой выборке испытуемых, что имеет два важных следствия. Во-порвых, такая оцо-нка будет носить вероятностный характер, а значит применение показателя теста "уровня" потребует учёта статистических закономерностей я использования статистических критериев. Во-вторых, диапазон изменения показателя сложности тестового за-дшшл будет иметь ограниченную величину. Но применение статистических критериев в случае, когда шкала в тесто задаётся зя. счёт различий в сложностях тестовых заданий (что требует учёта статистических закономерностей), а диапазон изменения показателя сложности ограничен, неизбежно пороздаэт необходимость ограничения максимально возможного числа заданий в'тесте. Другим закономерно вытекаадш отсюда следствием будет ряд требований к порядку расположил на иконе самих тестовых заданий. Порядок этог должен учитывать принцип обеспечения достоверности различий в их слолностях.

Ограничения могут возникнуть и в отношении максимально допустимого уровня сложности тестового задания. Действительно, тестовое задание имеет несколько вариантов ответов. Поскольку

же реально используемое их число всегда конечно, будет существовать и конечная вероятность случайного, мнимого, или же квазирешения тестового задания. Совершенно очевидно, что сложность тестового задания должна быть такой, чтобы исключалась возможность подобного мнимого решения тестового задания. Это обстоятельство накладывает ограничения на максимально возможную сложность тестового задания, что, к тоцу se, означает су-неняе диапазона изменения показателя сложности тестового задания.

Очень вааным является вопрос о том, сколь совераенна сама система оценки, традиционно используемая в тестах "уровня" - тестовый балл как ранговое место наиболее сложного решённого задания. Чтобы разобраться в этом, предца всего нужно путём анализа теоретической модели такого теста выявить потенциальные возможности используемого в нём показателя, после чего проверить экспериментально возникшие в связи с этим предположения .

Таким образом, в области психометрического обеспечения невербальных тестов существуют серьёзные нерешённые проблемы. То ко самое можно сказать и в отношении другой стороны теста, содержательной. Когда речь идёт о невербальных тестах, к числу наиболее ванных вопросов относится возмогнооть влияния на показатели таких тестов вербального фактора.

Как известно, изначально невербальные интеллектуальные тесты разрабатывались как измерительный инструмент, исключавший влияние на тестовый балл вербальных качеств испытуемых, например, таких, как вербальная компетентность. Но если это не так, если их влияние на показатели невербальных тестов значительно, психометрические характеристики теста могут сильно

ухудшться. Действительно, в соответствии с классической моделью теста, заметное влияние на невербальный тост какого-либо постороннего фактора, в данном случае вербального, будет означать резкое увеличение систематической ошибки измерений , следствием чего может оказаться пониженно надёжности и валид-ности такого теста.

В настоящее время преобладающим является отношение к невербальным тестам как к абсолютно вербально независимым. Мея-ду тем такая позиция может бить опровергнута теоретнче та. Для этого достаточно доказать, что вербально обусловленным является восприятие - одно из наиболее вазных звеньев механизма решения невербальных тестов.

С позиций Л.С.Выготского [Л.С.Выготский,1982,1983,1934], речь является той доминантой, которая в ходе онтогенетического развития человека радикально видоизменяет структуру всех психических процессов ребёнка. У сформированной личности опц оказываются неразрывно связанными с речью, обусловленными словом, т.е. становятся вербализованными.

Описанные качествешшэ изменения затрагивают л восприятие. Го, что исчезает его незав"спмость от слова, отмечается дало на уровне простого цветоразличения [М.Коул. С.Скрябнер, 1977]. В еуо больней степени это касается случаез сло^оюй перцепции. Восприятие взрослого человека приобретает осмысленность, категориальность [Б.Г.Ананьев, М.Д.Дворяшяна и дрЛЬ'Бб]. Тшсая осшсленность возникает вследствие обучения, освоения человеком в онтогенезе культурного опыта. Восприятие у сформированной личности представляет собой психологическую систему, некий синтез натурального восприятия и мышления с доминирующей ролью в нём последнего и по сути своей, становится час-

тыо наглядного шшлення. Устатишивается теснейшая взаимосвязь меяду восприятием а речью, оно вербализуется.

Сказанное подтверждается результатами нейропсихологичес-ких и психологических исследований. Так, с позиций А.Р.Лурии , нервная система является активным фильтром, обеспечивающим избирательность еивого существа, сознание - системой отбора внешних раздражителей, а категориальность - неотъемлемым свойством восприятия [А.Р.Лурия, 1967,1968]. Изучение нейрофизиоло -гических механизмов аналетико-синтетической деятельности также указывает на то, что она невозможйа без наличия дополнительной вербальной стимуляции [Н.И.Чуприкова, 1978,1981,1985]. Наконец, данные, полученные А.Н.Соколовым [А.Н.Соколов,1988,1978], говорят о том, что работа испытуемых с наглядным материалом теснейшим образом взаимосвязана с активизацией внутренней речи, причём последняя есть не просто пассивный идеомоторный акт мыслительной деятельности, но механизм произвольного управления ею

Таким образом, есть все основания считать восприятие вер-бально обусловленным. Однако в таком случае и к невербальным тестам уже нельзя относиться как к абсолютно вербально независимым. Это предположение также требовало своей экспериментальной проверки.

В параграфе первом второй главы даётся теоретическое обоснование конструкционных процедур, предназначенных дяя разработки тестов о варьирующейся сложностью тестовых заданий.

Одшш из важнейших условий качественного тестирования интеллекта является однозначное понимание тестового задания ^ес-тологом и испытуемыми, которое, вследствие существования индивидуальных различий, будет всегда относительным. Поэтому надёжным критерием адекватного понимания идеи, заложенной в тесто-

вое задание, могут служить только теоретически обоснованные процедуры. Поскольку же значение показателя, отображающего величину измеряемого свойства, флуктуирует по вероятностным законам, критерии эти будут статистическими.

При разработке таких процедур мы исходили из следующей посылки. В процессе проектирования тестового задания тостолог склонен считать, что оно решается испытуемыми осознанно. Но по вине самого тестолога тестовое заданно мокет быть спроектировано плохо. В такой ситуации единственным путём ого "решения" для испытуемого может оказаться путь случайного выбора одного из вариантов ответов, т.е. газазиро ¡пение. Отсюда следует; необходимо определить условия, выполнение которых при проектировании тестового задания минимизировало бы вероятность такого его гаазирешеняя.

Пусть тестовое задание в тесте "уровня" имеет ГП вариантов ответов (одян - правильный, остальные - лшшо), причём его опробирование ведётся на выборке в А/ испытуемых, пз которых П человек выбирает правильный вариант ответа. Следовательно, вероятность случайного "решения" данного тестового задания - 1/гп , а эмпирически полученная вероятность решения тестового задания будет равна п/// . Тогда условиями, мннпмн-зирующцми вероятность случайного "решения" данного тестового задания будут:

I/ "условие I": для правильного варианта ответа додано выполняться неравенство: п/л/ ^ \fttx • причём это превышение дсдаио быть статистически значимым.

2/ "условие 2": для любого из лонных вариантов ответов С , тлеющего соответственно II^ выборов, должно соблздаться условие <

Выполнение зтих двух условий даст тестологу достаточно buco -кис гарантии того, что заложенная ш в структуру тестового задания логика воспринимается испытуемыми вполне однозначно.

Необходимость выполнения этих двух услрвий накладывает ряд ограничений на конструктивные характеристики и самого теста "уровня". К такому выводу подводчт следующие соображения.

В тесте "уровня" сложность тестового задания вариативна. Если использовать ужо ранео введёшше обозначения, то показатель сложности тестового задания может быть выражен через отношение n/л/. Он будет иметь диапазон изменения от 0 до I ( П¡Ñ »г о — нет решивших тестовое задание, tt//V = I - тестовое задшие решили все испытуемые). Тогда отношение л///, с одной стороны, представляет собой эмпирическую вероятность решения тестового задания, т.о. является величиной, характеризующей только тестовое задание, а с другой - есть показатель слояноста тестовых заданий и, следовательно, оно будет определять особенности всего теста в делом.

Требование соблюдения при отборе заданий "условия I" и ."условия 2" превде всего ведёт к ограничению диапазона изменения показателя словности тестового задания: практически его величина уменьшится с 0-1 (см. рис. 1а) до \Х/ , причём она будет зависеть от отношения i/гП, т.е. ГО (рис. 1б),

О 1 л/U

а --<yfltii г П i (11,1/, t / т/r////, utttií

0 1 n/y

0 . I » . JtU t(> t tt/t / tft ! <ttt/M <Uf(ftt .. .

i/tn W *

Рис. Г. Теоретический { а) а реально возможный ( б ) диапазоны изменения показателя сложности тестового задания (аеигрихованные области).

Ограничения коснутся и числа вариантов ответов в тестовом задании. Путём математических расчётов была выявлена ди-

«

намика измонення величины интервала ^ - 1 как функции числа вариантов ответов в тестовом задания . С этой целью выражение, определяющее критерий Стыодента для долей (одна из которых равна 1/т, а вторая - разрешалось относитель-

но г,у// , что позволяло при заданных о< ц N определить положение на числовой оси точки V/ * и, тем самым, вычислить величину интервала V/ _ ' . Расчёты, проведённые для Н = 100 и оС = 0,05 показали, что при т>6 скорость расширения области допустимых значений показателя сложности тестового задания резко уменьшается, а при Щ > 10 она остаётся практически неизменной. Отсюда следует, что оптимальное число вариантов ответов в тестовом задании целесообразно брать в пределах 6 -10.

Возникает необходимость и в ограничении числа заданий в самом тесте "уровня". Вызвано это спецификой тестовых измерений, их вероятностным характером. По этой причине точность из-мерегая свойства и достоверность различий в сложностях меязду соседними (т.е. -м и J■t^ -м) тестовыми заданиями будут взаимосвязаны обратно пропорциональной зависимостью: увеличе -нао точности изморения неизбежно уменьшает достоверность различий и наоборот. Таким образом, ъ условиях, когдс. различие в сложностях между соседними тестовыми заданиями гарантируется с определённой вероятностью, максимально возможное количество заданий в тесте всегда будет ограничено. Последнее мокно рас-читать теоретически методом последовательного приблежения из выражения Щ - = А где О] = ^ О " Щ),

полученного путём преобразования формулы для расчёта парамет-

ра нецентральности А = ( ^ (где ^///+6^).

Как показывают расчёты, для Л =-2,8, оС =0,05, N =100 и гарантированной достоверности различий в сложностях между j ^-И заданиями не-ниже 0,9, максимально возможное число заданий в тесте равно семи. Однако необходимость соблюдения "условия I" шнувдает исключить наиболее сложное задание, что уменьшает это число до шести.

Второй параграф второй главы посвящён верификации процедур, разработанных для конструирования теста с варьирующейся сложностью тестовых заданий, а также анализу эффективности используемого в нём показателя.

С целью проверки работоспособности предложенных процедур конструирования тестов бил экспериментально исследован широкоизвестный невербальный гесг - тест Равена, который хотя формально и нельзя назвать тестом "уровня", однако по характеру и структуре построения стимульного материала ого вполне можно отнести к разряду гаковых. В результате было установлено следующее:

I / Число вариантов ответов в заданиях теста Равена полностью соответствует теоретически целесообразному.

2/ Четыре задания- теста Равена (И,г, Е8) Е)0 и С,г) не удовлетворяют условиям, соблюдение которых минимизирует вероятность квазирешения тестового задания ( Ва, Е^ - условию I, £ГЮ и С/г - условию 2) и потому должны быть из теста исключены.

3/ Сопоставление расчётного числа заданий в тесте с реально имеющимися в тесте Равена говорит о том, что последний чрезвычайно сильно перегружен заданиями преимущественно невысокой сложности.

-154 / Используемая в теста Равена балльная (от I до 7) система классификации сложности заданий плохо согласуется с экспериментально установленной иерархией сложностей заданий, что ставит вопрос о необходимости её замени на более соответствующую реальности.

Качествешшй анализ собранного эмпирического материала позволил выдвинуть предположение, что показатель, применяемый в тесте "уровня" (ранговое место наиболее сложного задания, которое испытуемым смог выполнить), потенциально очень неустойчив. Шкалограммшй анализ матрицы исходных данных, полученный при работе с тестом Равена, показал, что подавляющее оолышшство испытуемых, решающих сложные задания, в то же время часто "проходят г/шло" решений в заданиях гораздо более простое. Чтобы удостовериться в том, что это явление не носит случайного характера, был вычислен коэффициент воспроизводимости Ч [Г.В.Осипов, Э.П.Андреев, 1977], в качественном плане характеризующий степень соответствия реальной матрицы идеальной. ¡Л'О величина = 0,822 оказалась достаточно далека от вде-ачьной 1=1, что подтверждает предполонешш о неустойчивости показателя, используемого в тесте "уровня". Причиной этого являются конструктивные особенности показателя. Тестовый балл в этом случае определяется решением всего лишь одного задания, что делает рассматршаемый показат ль чрезвычайно зависимым от неучитываемой вариацци иных, не измеряемых свойств испытуемых: ах установок, форм обработки стимульного материала, своеобразия восприятия и т.д. 1&явленннй факт указывает на целесообразность совершенствования показателя, используемого в тесте "уровня", замены его на иной, более устойчивый.

С этой целью были проанализированы несколько возможных вд-

дов тестовых показателей. Делалось это на базе теста Равени. Показателей было четыре. 1С первому относился показатель, в котором сложность заданий вообще не учитывалась - тестовый балл определялся только числом решённых тестовых заданий. Вторым был показатель, используемый в тесте Равена (со сложностью заданий, выраженной в баллах от I до 7) . Третий показатель представлял собой сумму рангов (от I до 30) решённых тестовых заданий, каждый из которых определялся в соответствии с экспериментально установленной сложностью заданий. Наконец, в последнем, четвёртом случае, тестовый балл определялся как сумма весовых коэффициентов решённых тестовых заданий, вес каждого из которых расчитывался по формуле ( i ~Т\/Н),

Данные четыре типа показателя сопоставлялись с тем, который используется в тесте "уровня". С этой целью все пять показателей были, прокоррелироьаны между собой, после чего проводился факторный анализ с применением варимакс вращения факторов. Такая процедура позволяла выявить -интерпретационную близость .показателей различных видов. Коночная цель состояла в оценке степени адекватности отображения новыми показателями когнитивного конструкта, фиксируемого показателем теста "уровня".

В результате было выделено два фактора, первый из которых (64,9$ дисперсии) характеризует то, что объединяет все пять показателей - общий стимулышй материал, а второй (32% дисперсии) показывает сгапонь близости каждого из четырёх дополнительных показателей пятому, используемому в тесте "уровня". Нагрузки в этом факторе распределились сдадуацлм образом: показатель, используемый в тесте "уровня" - 0,913; показатель, учитывающий сложность в виде весов, вычисляемых по форгдуло (t - п/Н) - 0,54; показатель с весовыми коэффициентами заданий, выражен-

нымн в рангах (от I до 30) - 0,46; пог.пг.толь, применяемый в тесте Еавена со сложностью заданий, определяемой в баллах (от I до 7) - 0,386; показатель, не учитиваюций сложности заданий - 0,338.

Таким образом, тестовый показатель, учитывающий сложность э вдце весов, расчитываемых по формула )л наилучшим

образом отображает конструкт, измеряемый показателем теста "уровня". Исходя из этого, при замене используемого в тесте "уровня" показателя на иной целесообразно взять в ка"ество такового показатель имешго данного Т1ша. К тому не предрасполагает ещё одно обстоятельство.

Экспериментально установлено, что такой показатель по сравнению с остальными тремя имеет наибольшую дифференцирующую способность. Вывод этот сделан на основе сопоставления коэффициентов вариации, вычисленных для каздого из четырёх показателей. Его величина для показателя, учитывающего сложность: в формо вссов, расчитываемых по формула (/- л///) , равна 38,34$ ; в виде рангов (от I до 30) - 30,53$ ; в форме баллов (от I до 7) - 24,43¡2 . В случае, когда сложность не учитывается, он равен 19,49$ . Отсюда следует, что первый из перечисленных показателей обеспечивает наилучшую разрсшаг-ацую способность тестовой шкалы.

Итак, анализ экспериментального материала показывает, что традиционно используемый в тесте "уровня показатель (ранговое место наиболее сложного решённого тестового.задания) обладает одним существенным недостатком, обусловленным его конструктивными особенностями - высокой неустойчивостью. Это делает желательным его замену на другой, менее восприимчивый к влпляию случайных факторов. Сопоставление четырёх потенциально возмоа-

lurx вариантов показателей даёт право считать, что наиболее приемлемым для этих целей будет тот, при котором оценка по тесту определяется как сумма весовых коэффициентов решённых тестовых заданий, вео каждого из которых расчитывается по формуле ( I - У\//У ).

Иначе говоря, экспериментальное исследование, результаты которого изложены в данной части диссертации, во-первых, полностью подтвердило сффектнвность разработанных конструкционных процедур и, во-вторых, позволило предложить для использования в тесте "уровня" новый вид тестового показателя.

В третьей главе излагаются результаты экспериментов по изучешю восприимчивости невербальных тестов к действию вербального фактора.

Проведённый в главе первой теоретический анализ даёт основания считать, что невербальные тести могут быть весьма чувствительными к действию вербального фактора, например, вербальной компетентности испытуемого. Для проверки этого положения был проведён следующий эксперимент.

Выяснялось, имеется ли взаимосвязь между уровнем развития понятийного аппарата испытуемого и успешностью выполнения им невербальных тестов. Предполагалось: если исходные теоретические рассуждения верны, между вербальной методикой и невербальными тесташ должны выявиться значимые корреляционные связи. В ходе научения вопроса мы пришли к выводу, что в качестве методики, предназначенной для оценка уровня развития понятийного аппарата испытуемого могла использоваться следующая: испытуемый должен был записать за Ю минут как можно больше существительных, начинающихся на букву "О". Она получила условное название "методика "понятия". В качество невербаль-

ных тостов использовались: 1/тест Равена, 2/ тест, состав-лешщй из десяти графических заданий теста Г.Айгенка (условное пазвш-аш - "тест на закономерности"),' 3/графический тест на обобщение.

Испытуемыми были два группы студентов-второкурсников. Обе группы выполняли методику "понятия". Кроме того, первая групга ( 52 человека) работала с тесТом Равена и тестом на закономерности, а вторая (73 человека) - с тестом на закономерности и тентом на обобщение. Полученные экспериментальные результаты представлены в табл. I. Хотя корреляция не даёт представления о направлении действии.переменных, проведённый ранее анализ позволяет считать, что успех в работе с невербальными тестами является производной уровня развития понятийного аппарата испытуемого.

Однако в отношении интерпретации результатов эксперимента всё пе сохранялась некоторая неоднозначность. Вызвано это том, что методики, аналогичные методике "понятия", иногда попользуются для оценки иных характеристик, например, креатив-

Таблица I.

Корреляции невербальных тестов с методикой "понятия"

Кол. ч-эл. Тесты Коофф. корр-л Вер-сть ошибка

52 Тост Равена 0,285 р < 0,05

52 Тест на закономерности 0,4 р<0,01

73 73 Тост па закономерности 0,243 р 0,05

Тост на сбобг.;еш:е о,азз р <0,01

ностя или персеверации. Чтобы развеять возникающие в связи с этим сомнения, был проведён следующий эксперимент.

Роль приоритетной вербальной методшси здесь играл тест для оценки когнитивной сложности ( А.Г.Шмелёв, 1983). Используемый в ней показатель когнитивной простоты характеризует ин-хегрированность когнитивных структур испытуемого. Кроме этой вербальной методики в эксперименте применялась описанная ранее методика "понятия", а в качестве невербального теста -тест Равена.

Рабочая гипотеза состояла в следующем. Мы считали, что успешное решение испытуемым невербальных тестов требует достаточно высокого уровня дифференцированности его когнитивных структур, т.е. опять-таки исходили из предположения о существенном влиянии вербального фактора на эффективность мыслительной деятельности в невербальной сфере. Эксперимент предполагал тестирование испытуемых с помощью указанных трёх методик и последующую обработку его результатов, вйшчавшую предварительную оценку характера распределения данных, получение матри-. ,ы парных корреляций, её факторизацию путём поиска главных компонент и варкмакс вращение факторов. Испытуемыми в эксперименте были студенты-второкурсники различных специальностей в количестве 53 человек.

В результате было выделено два фактора. Первый (38,1$ общей дисперсии) имел статистически значимые нагрузки по двум вербальным тестам и поэтому был обозначен как "вербальный по -тенцаал". Во втором факторе (34,955 общей дисперсии) все факторные нагрузки были значимыми и имели такие величины: тест Равена - 0,917, методика "понятия" - 0,313, показатель когнитивной простоты - (-0,33) . Этот фактор можно классифициро -

вать как "невербальные способности". Важная особенность фактора - статистическая значимость фадтсргшх нагрузок вербаяь-шгх тестов. Это подтверждает наша предполоконио о существенной роли вербального фактора в процессе решения невербальных тестов: успех в работе с последними в немалой степени оказывается обусловлешшм уровнем развития понятийного аппарата испытуемого и (принимая во внимание отрицательный знак) степе — нью дезинтегрированнссти когнитивных структур испытуемого. Таким образом, результаты данного эксперимента также полностью подтвердили нашу исходную гипотезу.

С целью проведения более детального анализа последний эксперимент был качественно расширен. К трём методикам, использованным в предыдущем эксперименте, были добавлены ещё четыре: уже упомянутые выше два графических теста из первого эксперимента (тест на закономерности л тост на обобщение) а ^ве новых - математический и вербальный тосты на обобщение.

Гипотеза этого эксперимента, его проведение и гтатистнла-ская обработка результатов били согершешо идентичны только что рассмотренным. Выборка испытуемых состояла из студентов в количестве 23 человек.

Статистический анализ. полученных дшпшх позволил выделить три фактора. Лервнй (275? общей дисперсия) шея наибольшие факторные нагрузки по матоматлческому тесту на обобщенно (0,9 ) я тесту Равена (0,801), исхода лз чего ого обозначили как "способности к абстрактно-математической, доятельностя'.' Показательно, что статистически, значка,тай компонентой в него входит вербальный тост на обобщение (0,5в). Ото указывает. на ваг> ную снстемообразукщую роль ясшса в интеллектуальной деятельности да^е в невербальной сфера.

Второй фактор (24,1$ общей дисперсии) имеет наибольшие факторш!е веса по двум графическим тестам: тесту на закономе-рюсти (0,799) и тесту на обобщение (0,844), что позволяет ого определить как "способности к анализу графического мате -риала". Из остальных переменных значимые нагрузки по этому фактору принадлежат двум вербальным тестам - на обобщение (0,374) и методике "понятия" (0,347). Таким образом, анализ структуры данного фактора таюш говорит с том. что успех в работе с невербальными интеллектуальными тестами в немалой степени определяется вербальной компонентой.

Третий фактор (20,7$ общей дисперсии) можно отнести к разряду вербальных. Наибольшую нагрузку в нём имеет показатель когнитивной простоты (0,849) с учётом чего ему можно • дать название "интегрировашюсть когнитивных процессов". С по-лоштелышм знаком в него входит методика "понятия" (0,667) и вербальный тест на обобщение (0,278). Вместе с тем в данное факторе весомую, статистически значимую нагрузку имеет и тест Равена (-0,382), что такке указывает ыа наличие взаимосвязи между вербальными и невербальными компонентами интеллектуальной деятельности.

Таким образом, проведённые эксперименты подтвервдают на-щу исходную гипотезу: показатель невербального интеллектуального геста действительно в большой мере оказывается зависимым от уровня вербального развития испытуемого.

В заключении кратко подводятся итоги проведённого иссле -дования.

оецие швода по результата шслздомш

«

1. Вариативность слояностд заданий теста "уровня" в ус-ловиях ограниченного диапазона изменения показателя сложности тестового задайся ведёт к необходимости выполнения ряда условий, касатадасся: принципов отбора правильного и ложных вариантов ответов в задании; числа заданий в тесте и порядка их расположения на шкале трудности; размеров диапазона изменения показателя сложности; допустимой максимальной слошюсти тестового задания и количества вариантов ответов в нём.

2. Первое такое условие затрагивает прянщшц'отбора тестовых заданий. Необходимыми условиями, без соблюдения которых тестовые задания нельзя считать работоспособными, будут следующие: 1/доля испытуемых, выбравтах правильный вариант от -вота, должна статистически значимо превышать вероятность рандомизированного выбора варианта ответа; 2/доля выборов нсин-туемыми каждого из лоянкэс вариантов ответов должка быть меньше вероятности рандомизированного выбора варианта ответа.

3. Второе условие связано с необходимостью дополнительного ограничения размеров диапазона изменения показателя сложности тестового задания. Поскольку максимальная слонность тестового задания долина быть такой, чтобы исключалась возможность ого мнимого, квазирешения, диапазон изменения показателя сложности будет ограничен в области заданий наибольшей сложности , причём величина области допустимых значений показателя будет определяться числом вариантов, ответов в тестовом задании.

4. С учётом зависимости, существующей меаду числом вара-антов отвэтов в задания и шириной области допустимых значений показателя сложности, оптимальная величина этого чле ■ - ¿¿др-'

определяться соображениями максимально возможного расширения данной области. Анализ показывает, что оптимальным количесвом вариантов ответов в задании теста "уровня" будет 6 -10.

5. Количество заданий в тесте "уровня" не может быть величиной произвольной, оно определяется оптимумом между требуемой разрешающей способностью тестовой шкалы и степенью достоверности, с которой может быть гарантировано различие в сложностях меж&' соседними тестовыми заданиями. Расчёты показывают; если различие в сложностях между соседними по уровню сложности тестовыми заданиями гарантируется с вероятностью не ниже 0,9, число заданий в тесте "уровня" (с учётом ограничений, накладываемых на задания максимальной сложности) не может превышать шести.

6. Экспериментальная проверка работоспособности предложенных процедур конструирования теста "уровня" не только подтвердила их высокую эффективность,.но и позволила предложить ряд мер по улучшению теста Равена.

7. Изучение математической модели теста "уровня" и анализ получепных экспериментальных данных говорят о том, что серьёзным недостатком традиционно используемого в тесте "уровня" показателя (ранговое ыесто наиболее сложного решённого задания) явлчется его высокая неустойчивость. Это делает желательным замену его другим, менее восприимчивым к действию случайных факторов. Сопоставдениэ четырёх потенциально возмогших вариантов показателей даёт право считать, что наиболее приемлемым для этих целей будет тот, при. котором оценка по тесту определяется как сумма весовых коэффициентов решённых тестовых заданий, вес каждого да которых расчитывается по формуле О-и/у),

8. Теоретический анализ и результаты проведённых экстш-

римеитов указывают на то, что невербальные тесты в действительности не являются вербалыю независимыми, на их показателя оказывает скрытое, но существенное влияние уровень вербального развития испытуемых.

Основное содержание диссертации отражено в следующих публикациях автора:

Т. Применение теста Равена для тестирования уровня развития интеллекта // Развитие и диагностика способностей . М.: Наука, 1991, С.Г54-161.

2. Роль неучитываемых факторов в процедуре тестирования // Диагностика способностей и личностных черт учащихся в учебной деятельности / Под ред. В.Д.Шадрикова. Саратов, изд-во Саратовского университета, 1939, С.37-48.

3. Вербальная обусловленность невербальных тестов. Ру::оп. дай. в ИНШН Ali СССР .'ё22752 от 16.10.65 г. 12 с.

4. Фактор обучения и интеллектуальные.тесты. Рукоп. деп. в ИНШН АН СССР J» IS02I от 13.12.84 г. 13 с.

5. Вопросы проектирования и отбора заданий в тестах "уровня" с выбором вариантов. Руяоп. доп. з КОТИИ .41866-В 88

от 18.3.86 г.

8. Понятийный аппарат и. процесс репения невербальных тестов // Научные основы прикладной психологии. Тезисы докладов к 711 съезду Общества психологов СССР. Н.: IS89. C.80-8I.

7. Особенности тестирования способностей в вузе // Психологическая наука и практика. Тезисы докладов и сообщений к научно-практической конференции. Новосибирск, 1987. C.297-2D3.

8. Теорзтплескле вопроси тестирования я пов!.аение качес-

тва тестовых измерений // Дсихолого-педагогнческио проблем идеологической работы с учащейся молодёкью в условиях самодеятельных объединений. Казань, изд-во 1СГУ, 1389, С. 122.

Заказ Кз 109. Подписано в печать 25. 04. 93. Формат 60 х /16 Бумага писчая. Печать офсетная. I п.л. Тиран 100 экз. Участок офсетной печати КЬИ. Казань-42У074. Ветинститут.