Два брата прошли один и тот же тест интеллекта. У старшего получилось 112, у младшего 108. Старший заявляет, что умнее. Прав ли он? Ответ «нет, скорее всего разницы нет», и объясняется он тем, что любое измерение содержит ошибку.

Истинный балл и случайный шум

Классическая теория тестов исходит из простой идеи: наблюдаемый результат равен «истинному баллу» плюс случайная ошибка. Ошибка зависит от самочувствия, шума в комнате, удачи в вопросах, на которые человек знал ответ, и многого другого. Если пройти тест дважды, баллы не совпадут. Насколько они разойдутся, показывает стандартная ошибка измерения (СОИ, или SEM).

Формула

СОИ вычисляется по двум числам: стандартному отклонению шкалы (SD) и коэффициенту надёжности теста (r):

СОИ = SD × √(1 − r)

Для шкалы с SD = 15 и надёжностью 0,95 получается 15 × √0,05 ≈ 3,4 пункта. Если надёжность 0,90, то около 4,7. Чем выше надёжность, тем меньше ошибка. О надёжности мы говорили в отдельной статье.

Доверительный интервал

Если истинный балл гипотетически равен результату, то в 68% случаев ошибка составит не более одной СОИ, в 95% не более двух. Значит, при СОИ ≈ 3,4 результат 112 означает: вероятнее всего истинное значение между 105 и 119 (95-процентный интервал: 112 ± 6,7). Для 108 интервал от 101 до 115. Интервалы существенно пересекаются, различие в четыре пункта в пределах шума.

Сравнение двух результатов

Ошибка разности двух результатов больше, чем ошибка одного: она равна СОИ × √2. Для нашего примера ≈ 4,8, а 95-процентный порог около 9,4. Только разница свыше девяти пунктов указывает на реальное различие. По этой причине психологи в отчётах пишут диапазоны, а не точные числа. Подобные пересчёты нужны и при сравнении индексов внутри шкалы Векслера, и при сравнении «до» и «после» тренировки.

Регрессия к среднему

Если человек получил очень высокий результат, то при повторении тест вероятнее даст значение ближе к среднему: в первом результате ему, вероятно, «повезло». То же с очень низким. Это не ухудшение или улучшение способностей, а статистический эффект, о котором часто забывают, когда говорят, что тренировка «подняла» балл у отстающих.

Практический вывод

  • Не придавайте значения различиям в несколько пунктов.
  • Спрашивайте, указана ли надёжность и погрешность.
  • Особо осторожны с результатами в крайних областях и онлайн-тестами без нормирования.