Шум. Несовершенство человеческих суждений

• Шум в решениях о предоставлении убежища

. Подача прошения об убежище в США чем-то сродни лотерее. При изучении дел, случайным образом распределенных между разными судьями, обнаружилось, что один судья предоставлял убежище 5 % просителей, тогда как другой – 88 %. Исследование носит красноречивое название: «Рулетка для беженцев». (О рулетке мы с вами еще поговорим, и не раз.)

• Шум в кадровых вопросах. Специалисты, проводящие собеседования, совершенно по-разному оценивают одних и тех же соискателей. Оценки производительности труда персонала тоже сильно различаются и в большей степени зависят от личности оценивающего, чем от продуктивности сотрудника.

• Шум в решениях об освобождении под залог. Выпустят ли обвиняемого под залог или оставят ожидать суда в тюрьме, отчасти зависит от судей, слушающих дело: некоторые из них проявляют заметно бо?льшую снисходительность. Судьи также весьма по-разному оценивают вероятность побега или повторного правонарушения подсудимых.

• Шум в криминалистике. Мы привыкли безоговорочно доверять идентификации по отпечаткам пальцев. Но специалисты в этой области иногда расходятся во мнениях о том, совпадают ли отпечатки с места преступления с отпечатками подозреваемого. Эксперты могут не только не соглашаться друг с другом, но даже делать непоследовательные выводы по поводу одних и тех же отпечатков. Документально подтверждены подобные расхождения и в других областях судебной медицины, в частности даже при анализе ДНК.

• Шум при выдаче патентов

. Авторы ведущего исследования о патентных заявках подчеркивают роль шума: «Результат подачи заявки на патент в значительной степени зависит от того, кому поручено ее рассмотрение». С точки зрения беспристрастности такая вариативность, конечно же, вызывает озабоченность.

Все эти ситуации – лишь верхушка огромного айсберга. Когда имеешь дело с человеческими суждениями, вероятность обнаружить шум весьма велика. Повысить качество суждений можно, только устранив как шум, так и смещение.

Эта книга состоит из шести частей. В части I мы исследуем разницу между шумом и смещением и демонстрируем присутствие шума в деятельности как государственных, так и частных организаций, причем порой его уровень может быть ошеломляюще высоким. Чтобы оценить проблему, мы начинаем с рассмотрения суждений в двух сферах. Первая – вынесение уголовных приговоров (государственный сектор), вторая – страхование (частный сектор). На первый взгляд области совсем разные, но, когда дело касается шума, у них оказывается много общего. Чтобы это подтвердить, мы предлагаем процедуру ревизии шумовых помех, которая позволяет измерить уровень разногласий среди профессионалов по определенным вопросам внутри одной организации.

В части II мы изучаем природу человеческих суждений и выясняем, как можно измерить их точность или ошибочность. Суждениям свойственны как смещение, так и шум – и мы демонстрируем, что влияние обоих типов ошибок может быть на удивление равноценным. Ситуативный шум – это разброс в суждениях одного человека или группы по одному и тому же вопросу в разное время. На удивление часто такой шум возникает в групповых обсуждениях под воздействием, казалось бы, незначительных факторов, например очередности выступлений.

Часть III – это более пристальный взгляд на уже хорошо изученный вид суждений: прогнозные оценки. Мы исследуем важнейшее преимущество правил, формул и алгоритмов перед человеком в деле составления прогнозов. Вопреки расхожему мнению, превосходство правил заключается не в том, что они лучше помогают вникнуть в суть вопроса, а в том, что они не производят шума. Мы обсуждаем абсолютный предел, который, как и шум, ограничивает качество прогнозных суждений: объективную неосведомленность о будущем. Напоследок мы отвечаем на вопрос, которым вы к тому моменту уже наверняка зададитесь: если шум настолько вездесущ, почему мы не замечали его раньше?

В части IV мы обращаемся к человеческой психологии и объясняем главные причины шума. К ним относятся межличностные различия, возникающие вследствие разнообразных факторов: качеств характера, когнитивного стиля, особенностей взвешивания «за» и «против» во время принятия решений, разницы в восприятии одинаковых шкал. Мы отвечаем на вопрос, почему люди не замечают шум и зачастую совсем не удивляются, когда происходят события или принимаются решения, предвидеть которые они никак не могли.

В части V исследуется практический вопрос: как улучшить суждения и предотвратить ошибки? (Читатели, которых интересует главным образом применение методов снижения шума на практике, могут пропустить обсуждение проблем прогнозирования и психологии суждений в частях III и IV и сразу перейти к этой.) Мы изучаем попытки справиться с шумом в медицине, бизнесе, образовании, управлении и других сферах и предлагаем несколько методов снижения уровня шума под общим названием гигиена принятия решений. Пять тематических исследований, проведенных в областях деятельности с высоким уровнем шума, продемонстрируют активные усилия, приложенные по его снижению – с различной степенью успеха, – что весьма поучительно. Сюда включены исследования недостоверных медицинских диагнозов, оценок показателей производительности, ошибок в криминалистике, в кадровых вопросах и в прогнозировании в целом. В завершение мы предлагаем систему, которую назвали протоколом промежуточных оценок. Это универсальный подход к оценке имеющихся вариантов, включающий в себя самые важные методы в процедуре гигиены принятия решений. Он ставит своей целью снижение уровня шума и повышение надежности суждений.

Каков оптимальный уровень шума? Об этом мы поговорим в части VI. Как ни парадоксально, полное отсутствие шума – это не лучший вариант. В одних областях просто невозможно избавиться от шума полностью, в других это слишком дорого. Есть сферы, в которых попытки снизить уровень шума поставят под угрозу другие важные ценности. К примеру, можно подорвать моральный дух и заставить людей чувствовать себя винтиками в большой машине. Когда частью решения проблемы становятся алгоритмы, возникают всевозможные возражения, и в этой главе мы попытаемся рассмотреть некоторые из них. И все же наблюдаемый сейчас уровень шума во многих областях деятельности просто недопустим. Мы призываем государственные и частные структуры провести ревизию шума и принять беспрецедентные усилия по его снижению. Если это удастся, можно будет частично устранить повсеместную несправедливость и сократить многие издержки.

Рассчитывая на осуществление такого сценария, мы заканчиваем каждую главу краткими предложениями в виде цитат. Можете использовать их без изменений или адаптировать для соответствующей области применения – будь то здравоохранение, безопасность, образование, финансы, сфера занятости, индустрия развлечений или любая другая. Коллективные усилия, направленные на изучение и решение проблемы шума, все еще продолжаются. У всех нас есть возможность внести в эту работу свой вклад, и эта книга написана в надежде, что мы ею воспользуемся.

Часть I

Как обнаружить шум

Совершенно недопустимо, чтобы правонарушители, осужденные за одинаковые преступления, получали несопоставимые приговоры, к примеру, один – пять лет тюрьмы, а другой – условный срок. Однако подобное происходит сплошь и рядом. Конечно, для системы уголовного правосудия характерно также и смещение, вызванное предвзятостью. Но в главе 1 речь пойдет о шуме и, в частности, о том, что произошло, когда известный судья привлек к этой проблеме внимание, назвал ситуацию возмутительной и положил начало кампании, в каком-то смысле изменившей мир (но не совсем). Наша история разыгралась в США, но, без сомнения, подобное может и будет случаться во многих других странах. В некоторых из них проблема шума, вероятно, еще серьезнее, чем в Соединенных Штатах. Мы использовали пример с вынесением приговоров отчасти для того, чтобы продемонстрировать, как шум способен стать причиной вопиющей несправедливости.

Сфера вынесения уголовных наказаний исполнена особого драматизма, однако и в частном секторе ставки могут быть весьма высоки. В качестве иллюстрации в главе 2 мы рассмотрим пример с большой страховой компанией. В таких организациях страховщики устанавливают для потенциальных клиентов размер взноса, а оценщики убытков подсчитывают причитающиеся страховые выплаты. Казалось бы, это простая механическая работа и разные специалисты приходят примерно к одним и тем же цифрам. Чтобы это проверить, мы провели тщательно подготовленный эксперимент – ревизию шума. Результаты удивили нас самих, но, что еще важнее, поразили и привели в ужас руководство компании. Высокий уровень шума в работе специалистов, как выяснилось, стоит компании огромных денег. Мы используем этот пример, чтобы показать, как шум способен приводить к крупным экономическим убыткам.

В вышеупомянутых примерах множество людей выносит множество суждений. Но многие важные суждения уникальны. Как не упустить редкую возможность для бизнеса, стоит ли запускать новый продукт, как справиться с пандемией, брать ли на работу нестандартного кандидата – могут ли быть шумными решения в подобных, особенных, ситуациях? Напрашивается предположение, что нет. Ведь шум – это нежелательный разброс, а разве в принятии уникальных решений может быть место разбросу? Мы попытаемся ответить на этот вопрос в главе 3. Решение, принимаемое даже в, казалось бы, уникальной ситуации, – лишь одно из ряда возможных. Здесь тоже есть место шуму.

Первые три главы можно подытожить фразой, которая красной нитью пройдет через всю книгу: там, где есть место суждению, найдется и шум – и его намного больше, чем вы думаете. Давайте же посмотрим, сколько именно.

Глава 1

Преступление и шумное наказание

Допустим, человека осудили за совершение преступления – кражу в магазине, хранение наркотиков, нанесение телесных повреждений или вооруженное ограбление. Каким будет приговор?

Ответ на этот вопрос не должен зависеть ни от настроения судьи, ни от погоды, ни от успехов местной спортивной команды накануне рассмотрения дела. Разве не чудовищно, когда три человека, осужденные за одинаковые преступления, получают совершенно разные наказания: первый отделывается условным сроком, второму дают два года тюрьмы, а третьего сажают на десять лет? И все же такая вопиющая несправедливость характерна для многих государств – и это не дела давно минувших дней, а сегодняшняя реальность.

Во всем мире судьи имеют возможность свободно решать, насколько суровым должен быть приговор. Эксперты многих стран приветствуют эту свободу действий как справедливую и гуманную. Считается, что при вынесении уголовных приговоров нужно учитывать множество факторов, среди которых не только само преступление, но и личность обвиняемого, а также сопутствующие обстоятельства. Индивидуальный подход долго был в порядке вещей: если связывать судей правилами, обращение с преступниками станет бесчеловечным, ведь подсудимые перестанут быть уникальными личностями, имеющими право на рассмотрение особых обстоятельств их ситуации. Многим казалось, что сама идея надлежащего судебного разбирательства требует неограниченной свободы усмотрения для судей.

В 1970-е годы всеобщий энтузиазм по поводу судебного усмотрения начал угасать по одной простой причине: стали очевидными пугающие проявления шума. В 1973 году внимание к проблеме привлек известный судья Марвин Франкел. Еще до того как стать судьей, Франкел защищал свободу слова, горячо выступал за права человека и помог основать международную правозащитную организацию Lawyers’ Committee for Human Rights, известную сейчас как Human Rights First.

Франкел умел быть беспощадным. Когда же дело касалось шума в системе уголовного правосудия, он приходил в полнейшее негодование. Вот как он объяснял свои мотивы

:

Максимальный тюремный срок за ограбление федерального банка равнялся 25 годам. На практике приговор мог быть любым, в диапазоне от 0 до 25 лет. Скоро я осознал, что это зависит не столько от обстоятельств дела конкретного обвиняемого, сколько от личности судьи, его взглядов, наклонностей и предубеждений. Приговор одному и тому же обвиняемому по одному и тому же делу мог кардинально отличаться в зависимости от того, какой судья рассматривал дело.

Для подтверждения своих доводов Франкел не предоставил никакой статистической информации, однако привел ряд весьма убедительных примеров того, как в схожих ситуациях с людьми обращались по-разному безо всяких на то оснований. Двоих мужчин без уголовного прошлого осудили за обналичивание поддельных чеков на 58,40 и 35,20 доллара соответственно. Первого приговорили к 15 годам, а второго – к 30 дням тюремного заключения. За тождественные деяния, повлекшие растрату имущества, один обвиняемый отделался 117 днями, тогда как другой получил 20 лет. Указывая на бесчисленные дела такого толка, Франкел сетовал на «практически неограниченные широкие полномочия»

федеральных судей, приводящие к «ежедневному произволу жестокости»

, что считал недопустимым в «системе, где правят законы, а не люди»

.

Франкел призвал конгресс покончить с «дискриминацией» – так он называл подобный произвол жестокости. Под «дискриминацией» в основном имелся в виду шум – необъяснимые расхождения при вынесении приговоров. При этом Франкел также выразил обеспокоенность смещением в виде расового и социально-экономического неравенства. Он утверждал, что для победы над смещением и шумом все подсудимые по уголовным делам должны получать одинаковое обращение, если только различия не «обоснованы соответствующими критериями, которые можно сформулировать и применить с достаточной степенью объективности, для того чтобы результаты не превращались в идиосинкразические указы

отдельных чиновников, судей и прочих». (Термин «идиосинкразические указы»[1 - Франкел использовал в своей книге слово «ukases», взятое из русского языка. – Здесь и далее примеч. пер.] может быть не всем понятен: Франкел имел в виду произвольные постановления, продиктованные личными предпочтениями.) Более того, Франкел выступал за снижение уровня шума при помощи «подробного списка параметров или перечня факторов, по возможности включающего числовую или другую объективную градацию»

.

Поскольку дело было в начале 1970-х, он не стал заходить настолько далеко, чтобы выступать за «вытеснение человека машиной», хотя был поразительно к этому близок. Франкел полагал, что «верховенство права требует свода универсально применимых безличных правил, обязательных как для судей, так и для всех остальных». Он открыто призывал использовать «компьютеры для упорядочивания мыслительного процесса

при назначении наказаний» и рекомендовал сформировать комиссию по приговорам

.

Книга Франкела стала одной из самых влиятельных в истории уголовного права не только в США, но и во всем мире, однако ее недостатком был несколько неформальный характер. Книга получилась разгромной, но субъективной. Чтобы подвергнуть идею шума испытанию, несколько исследователей сразу же бросились изучать уровень шума в сфере вынесения приговоров.

Одно из первых широкомасштабных исследований под руководством самого судьи Франкела провели в 1974 году. Пятидесяти судьям из разных округов предложили гипотетические дела, по которым требовалось назначить наказание. По всем делам были подготовлены идентичные характеристики подсудимых. Основным итогом стало «повсеместное отсутствие консенсуса»

и «поразительный»

разброс в выборе наказания. В зависимости от судьи наркодилер

мог получить от года до десяти лет тюрьмы. Наказание за ограбление банка

могло составить от пяти до восемнадцати лет лишения свободы. В деле о вымогательстве

один судья назначил целых двадцать лет и 65 000 долларов штрафа, а другой – всего лишь три года безо всякого штрафа. Самое поразительное, что судьи так и не пришли к единому мнению по поводу необходимости лишения свободы в 16 делах из 20.

За этим изысканием последовала серия других – и все они выявили катастрофический уровень шума. В 1977 году Уильям Остен и Томас Уильямс опросили 47 судей

, предложив тем рассмотреть пять дел о мелких правонарушениях. Описания дел включали информацию, которую судьи обычно используют при вынесении настоящих приговоров: предъявленные обвинения, свидетельские показания, наличие судимости, социальное положение и личные характеристики подсудимых. Авторы пришли к выводу о «существенных расхождениях» в приговорах. К примеру, в деле о взломе приговоры варьировались от пяти лет заключения до каких-то тридцати дней (плюс штраф в 100 долларов). В деле о хранении марихуаны одни судьи предлагали тюремное заключение, другие выступали за условный срок.

В еще более крупном исследовании