Факторы, влияющие на надежность теста
Надежность психодиагностической методики в основном определяется воздействием трех факторов.Надежность измерительного инструмента
Надежность собственно измерительного инструмента легко понять, рассмотрев аналогию с обычной измерительной линейкой. Если линейка сделана из дерева, пластмассы или металла, то она весьма твердая и раз от раза будет показывать одну и ту же длину у одного и того же предмета. Если же сделать линейку из мягкого, тянущегося материала, например из резины, эта линейка будет постоянно "менять показания". Результаты будут сильно зависеть от того, как экспериментатор держит в руках эту линейку.Надежность психодиагностического инструментария в свою очередь зависит от:
- способа составления методики,
- взаимосогласованности заданий,
- однородности заданий.
Внутренняя однородность методики показывает, что ее задания актуализируют одно и то же психическое свойство, признак. Для проверки однородности (гомогенности) используется метод расщепления.
В этом методе обычно задания по своим номерам делятся на четные и нечетные, отдельно обрабатываются, а затем результаты двух полученных рядов коррелируются между собой. Можно делить задания и другим путем, например сопоставить первую половину теста со второй, первую и третью четверть - со второй и четвертой и т п. Если коэффициент корреляции получается меньше 0,75 - 0,85, тогда методика признается недостаточно надежной. Лучшие по надежности тесты (обычно это тесты способностей) дают коэффициенты порядка 0,90 и более.
Получив низкие показатели надежности методики, разработчик должен задуматься о присутствии в ней заданий, снижающих коэффициент корреляции. Эти задания анализируются, затем:
- или переделываются,
- или изымаются.
Переделав или изъяв некоторые задания, необходимо заново высчитывать коэффициенты надежности.
Стабильность изучаемого признака
Сам измеряемый признак может меняться, и в некоторых случаях очень сильно. Одно дело, когда мы измеряем линейкой что-то стабильное (например диагональ своего монитора), другое - когда измеряем что-то изменчивое (например высоту саженца растения).Если в результате апробирования какой-то методики мы получили большие расхождения в первой и второй серии, то это может означать не только то, что у самого по себе инструментария низкая надежность. Это может быть связано с тем, что сами по себе психические свойства изменились или как бы изменились под воздействием психического состояния.
Применяя интеллектуальный тест утром или вечером, мы можем получить разные результаты: утром человек еще бодр и свеж, вечером устал и раздражен. В разные дни недели мы тоже можем получить разные результаты: в понедельник человек еще расслаблен и несобран, во вторник или среду он уже бодр и собран, в пятницу - устал и настроен на предстоящий отдых.
Большинство психологов, конечно, не согласится с тем, что на протяжении дня или недели уровень интеллектуальных способностей меняется под воздействием состояния. Однако нельзя не признать, что даже у самого гениального человека в состоянии сильной усталости (фрустрации, волнения...) качество интеллектуальной деятельности, скорее всего, снижается. И даже если очень надо, гениальный человек не может выйти на свой обычный, рабочий уровень. Может происходить - хотя не так явно - обратное: занимаясь плодотворной интеллектуальной деятельностью, у человека могут активизироваться его скрытые ресурсы, и у него какое-то время будет как бы повышенный уровень интеллекта.
Сугубо личностные свойства (эмоциональность, дружелюбие, откровенность, смелость и т.п.) еще более волатильны у человека.
Конечно, большинство разработчиков создают методики под некоторое нормальное состояние человека. Но дело в том, что это нормальное состояние почти невозможно определить. По большому счету, можно утверждать максиму, что тесты тестируют то, чего нет. Однако не все так плохо: опытный разработчик способен грамотными действиями свести на нет влияние случайных факторов, к которым можно отнести долговременные и кратковременные изменения изучаемого признака.
Если мы с помощью рулетки измеряем рост человека, то в каждое измерение мы будем получать один и тот же результат (с точностью до сантиметра). Если человеку несколько раз дается обычная биографическая анкета (ФИО, где родился, во сколько лет пошел в школу...), то в подавляющем большинстве случаев мы получим повторяющиеся ответы. Это надежные методики. Психология почти не имеет дела с такими стабильными признаками. Поэтому и показатели надежности не могут быть очень высокими. Если эти показатели получаются слишком хорошими (например на уровне 0,98-0,99), то стоит задуматься, психологическая ли вообще это методика...
Для проверки стабильности диагностируемого признака, свойства используется прием, известный как тест-ретест: повторное обследование испытуемых с помощью одной и той же методики. О стабильности признака судят по коэффициенту корреляции между результатами первого и повторного обследования.
Разработчик методики при первом испытании строго фиксирует все особенности проведения (утренние - вечерние часы, день недели, способ презентации стимульного материала и др.). Во время второго испытания все особенности проведения воссоздаются. В дальнейшем многие из этих особенностей входят в руководство по методике. Только так можно снизить влияние волатильности психических свойств.
При определении стабильности самого признака большое значение имеет промежуток времени между первым и повторным обследованием. Чем короче срок от первого до второго испытания, тем (при прочих равных условиях) больше шансов, что диагностируемый признак сохранит уровень первого испытания. Следует учесть то, что в одних ситуациях испытуемые могут "дружно" измениться в одну и ту же сторону. В других ситуациях изменение психических свойств может быть разнонаправленным (у половины испытуемых в одну сторону, у другой половины - в другую). Если мы работаем со школьниками и разрабатываем для них тест общей осведомленности (например), то следует учесть, что это качество имеет естественную особенность повышаться со временем.
Чем длиннее интервал между экспериментами, тем сильнее будут изменения в самих психических свойствах. Однако если делать интервал слишком небольшим, тут возникает другая опасность: многие испытуемые будут воспроизводить свои прежние ответы по памяти, отойдя от смысла выполнения заданий.
Только исследователь, исходя из психологической сущности методики, условий, в которых она проводится, особенностей выборки испытуемых, может определить интервал между экспериментами. В литературе наиболее часто называются временные интервалы в несколько месяцев, но не более полугода. Чем младше испытуемые, тем меньше должны быть эти интервалы.
Независимость от личности экспериментатора
Обычно методики разрабатываются для неопределенного круга психологов-экспериментаторов. Заранее неизвестно, кто и когда будет эту методику использовать. Поэтому разработчику важно побеспокоиться о том, чтобы новый тест был максимально свободен от влияния личности психолога.Наиболее подвержены влиянию личности психолога, это важно учитывать, проективные методики. В них испытуемому отводится максимум свободы в действиях, а те или иные манеры поведения экспериментатора, его внешний вид могут натолкнуть на те или иные идеи, которые и выльются в проективный рассказ или рисунок.
Личностные опросники более свободны от влияния личности психолога. Но если психолог вслух зачитывает вопросы, это влияние сильно возрастает. С какой бы интонацией психолог не читал (бодрой или вялой, сухой или эмоциональной), это все равно может натолкнуть испытуемого на иной вариант ответа. В опросниках могут встречаться вопросы вроде "Нравятся ли вам громко разговаривающие люди?" Если психолог, проводящий опрос, говорит громко и несколько неприятно (может быть и так, что сам как личность неприятен), то можно предполагать, что многие испытуемые ответят "Нет", хотя в другой ситуации могли бы указать, что это им безразлично.
Коэффициент константности здесь определяется путем корреляции результатов двух опытов, проведенных в относительно одинаковых условиях на одной и той же выборке испытуемых, но разными экспериментаторами. Коэффициент корреляции (константности) не должен быть ниже 0,80. Если получен низкий показатель константности, можно поработать с отдельными заданиями, по которым заметно влияние личности психолога. Эти задания также можно изменить или удалить вовсе.
Литература
Гуревич К.М. Психологическая диагностика. Учебное пособие. М., 1997.
См. также
Надежность теста
azps@azps.ru