В 1978 году Уорд Кэсселлс, Арно Шёнбергер и Томас Грейбойс предложили шестидесяти сотрудникам и студентам Гарвардской медицинской школы задачу. Болезнь встречается у одного из тысячи человек. Тест на неё даёт ложноположительный результат у 5% здоровых (о ложноотрицательных речи нет, считаем, что больного тест всегда выявляет). Человек получил положительный результат. Какова вероятность, что он болен? Самый частый ответ был 95%. Верный примерно 2%. Только около 18% участников назвали его.

Откуда два процента

Представьте тысячу человек. Один болен, и тест это покажет. Из остальных девятисот девяноста девяти здоровых около пятидесяти получат ложный положительный результат. Всего положительных результатов будет около пятидесяти одного, а болен из них один. Вероятность составляет примерно 1 из 51, то есть около 2%. Ошибка в том, что мы смотрим на точность теста и забываем, как редка болезнь. Это называют игнорированием базовых частот.

Классические опыты

Канеман и Тверски в 1973 году описывали человека по краткой характеристике: «Джек, 45 лет, консервативен, любит математику и не интересуется политикой». Спрашивали, кто он: инженер или юрист. Участников заранее информировали, что в выборке было 30 инженеров и 70 юристов, либо наоборот. Ответы почти не зависели от этих чисел: люди ориентировались на сходство с типичным инженером, а не на пропорцию в группе. Тот же эффект в задаче о такси: свидетель опознаёт синее такси с точностью 80%, а на самом деле синих такси 15% города. Большинство называет вероятность около 80%, верный же ответ — около 41%.

Как помогает перепись частотами

Герд Гигеренцер и Ульрих Хоффрейдж в 1995 году показали, что проблема во многом в форме подачи данных. Когда задачу формулируют в процентах, правильно решают немногие. Когда те же данные даны в «естественных частотах» («из 1000 человек 1 болен, из остальных 999 пятьдесят дадут ложный результат»), доля верных ответов вырастает в разы. Мы лучше мыслим числами людей, чем долями. Их метод применили к обучению врачей, интерпретации маммографии и анализов.

Где это важно

  • Скрининг: положительный результат на редкое заболевание чаще всего оказывается ложным, поэтому делают повторное подтверждающее исследование.
  • Суды: если «улика совпала у одного из миллиона», это не значит, что подозреваемый виновен с вероятностью 99,9999%. Нужно учитывать, сколько людей могло быть проверено.
  • Безопасность: система, ловящая террористов, при редкости террористов выдаёт в основном ложные тревоги.

Связанная идея — теорема Байеса (о ней отдельная статья). Привычка спрашивать «а как часто это бывает вообще?» защищает от многих ошибок.