В основе разделения тестов на КОрТ (критериально-ориентированные) и НОрТ (нормативно-ориентированные) лежит двоякое понимание нормы. В первом случае норма определяется "априорно", то есть до проведения исследования. Такая норма задаётся внешними критериями, представлениями о том, что должен знать и уметь испытуемый. Во втором случае норма определяется эмпирически, то есть после проведения исследования. Получая распределение результатов, исследователь распределяет их по категориям: "норма", "выше нормы", "ниже нормы" и т.п.
Критериально ориентированные тесты предназначены в основном для работы с индивидуальным клиентом, так будто других в выборке нет. Здесь не ставятся цели посмотреть лучше или хуже результаты данного испытуемого, добился он или нет каких-то конкретных успехов.
Нормативно ориентированные тесты предназначены в основном для работы с группами испытуемых, в котором важно сравнить их между собой.
Обычно разного рода тесты способностей строго делятся на КОрТ и НОрТ. При их разработке используются разные технологии. Но иногда КОрТ можно использовать как НОрТ, особенно если результаты исследований показывают нормальное (колоколообразное) распределение.
Ниже в таблице представлены основные отличия КОрТ и НОрТ.
Нормативно-ориентированные тесты | Критериально-ориентированные тесты | |
Характерный пример использования | Конкурсный отбор кандидатов на обучение. | Итоговая аттестация уровня обученности студентов, уровня профессиональной подготовки кадров. |
Цель тестирования | Возможность сравнения уровня подготовки испытуемых друг с другом в той области содержания, для которой тест предназначен. | Возможность аттестации испытуемого в соответствии с его уровнем усвоения определенной области содержания. |
Используемые шкалы | Нормативные (или стандартные) шкалы. Необходимо указание среднего значения и стандартного отклонения в выбранной шкале. | В основном - шкала процентов с выбранным критериальным баллом (баллами). Необходимо тщательно подготовить методику оптимального выбора критериального балла (или баллов). |
Распределение результатов исследования на гистограмме | В большинстве случаев имеет нормальное распределение (колоколообразное), в т.ч. симметричное. |
Распределение непредсказуемо, может быть любым. Обычно несимметричное.
|
Уровень проработки содержания теста | Не очень существенен. Авторы теста выбирают обычно наиболее значимые, показательные задания. Часто - выбор видов заданий случаен. | Очень детальная и дотошная проработка содержания теста. Предварительно разрабатывается спецификация (план) теста, в котором должна быть представлена система элементов. После разработки спецификации уже разрабатываются задания. |
Нормативная группа | Обязательна. Именно по предварительному исследованию на нормативной группе происходит окончательное шкалирование результатов, соотнесение с "нормой" и другими категориями. | Нет необходимости. Обычно измеряется как процент от усвоенного обучающимся материала. |
Статистический анализ и отбор тестовых заданий | Показатель уровня трудности, различающая способность и другие статистические показатели играют весьма важную роль в отборе заданий. Выбираются задания со средним уровнем трудности (от 0,3 до 0,7) и высокой различающей способностью (большей 0,3). Существуют ряд других важных статистических показателей качества заданий. | Уровень трудности и различающая способность заданий не является существенными факторами включения в состав теста, или наоборот исключения из него. Главное условие отбора заданий - соответствие спецификации и элементам содержания. Статистические характеристики тестовых заданий используются для составления параллельных форм (вариантов) теста и для выбора оптимального критериального балла. |
Надежность теста | Оценивается либо путем нахождения корреляции между результатами двух исследований, либо методом расщепления теста на две половины при однократном тестировании. | Примерно также, но в основном оценивается степень постоянства принятия решения «зачет - незачет» при двукратном тестировании, а не корреляция баллов, хотя это тоже не исключается. |
Валидность | Исследуются разные виды валидности. | В центре внимания - содержательная валидность. |