Ответьте на вопрос: каков диаметр Луны? Теперь укажите диапазон, в который он, по-вашему, попадает с вероятностью девяносто восемь процентов: от и до. Если вы хорошо откалиброваны, диапазон должен оказаться правильным в сорока девяти случаях из пятидесяти. В классических опытах Марка Альперта и Говарда Райфы (1969) такие интервалы содержали верный ответ лишь примерно в шестидесяти процентах случаев. Люди рисовали слишком узкие границы, не допуская, что могут ошибаться.
Сара Лихтенштейн, Барух Фишхофф и Лоуренс Филлипс в обзоре 1982 года показали, что это устойчивая закономерность. Если участники говорили, что «уверены на сто процентов», они ошибались примерно в пятой части случаев. Чем сложнее вопрос, тем сильнее разрыв между уверенностью и точностью. На лёгких вопросах возникает обратное, «недоуверенность».
Три разных явления
Дон Мур и Пол Хили в 2008 году предложили различать три смысла слова «самоуверенность», поскольку их часто смешивают. Переоценка: человек думает, что у него результат лучше, чем на самом деле. Завышение места: он считает, что лучше других, например, что водит машину лучше среднего (так думает большинство водителей, что математически невозможно). Чрезмерная точность: он слишком уверен в точности своих знаний, как в опыте с интервалами. Исследователи показали, что три явления ведут себя по-разному: переоценка преобладает в трудных задачах, завышение места в лёгких, а чрезмерная точность встречается везде.
Кто хорошо откалиброван
Метеорологи. Аллан Мерфи и Роберт Винклер в 1977 году проверили американских синоптиков: когда те говорили «вероятность дождя семьдесят процентов», дождь шёл примерно в семидесяти процентах случаев. Причина проста: они каждый день получают обратную связь, получая результат и сопоставляя его с прогнозом, и их учили выражать неопределённость числами. У специалистов, не получающих ясной и быстрой обратной связи (политические аналитики, брокеры, часть врачей), калибровка заметно хуже.
Откуда это берётся
Ответ складывается из нескольких причин. Мы вспоминаем доводы в пользу своего ответа и не ищем возражений. Уверенность влияет на то, как нас воспринимают: решительного человека охотнее слушают. Закономерность может также быть следствием ошибок измерения: если оценки шумные, на графиках кажется, что люди самоуверенны.
Как использовать
Простое упражнение, которое улучшает калибровку: записывать прогнозы с указанием вероятности и сверять с результатом через время. Сверхпрогнозисты в турнирах Филипа Тетлока, чьи прогнозы оказывались точнее, чем у большинства аналитиков, как раз и отличались привычкой сверять и корректировать свои оценки. Хорошая привычка: перед важным решением спросить себя «Какие три причины, по которым я могу быть неправ?».