Search

Noise: A Flaw in Human Judgment



Daniel Kahneman – бесспорно, один из самых цитируемых авторов в современной западной non-fiction литературе.

Получив нобелевскую премию в 2002 году “for having integrated insights from psychological research into economic science, especially concerning human judgment and decision-making under uncertainty”, свои основные открытия он изложил в ставшей бестселлером «Thinking, Fast and Slow».


В 2021 году Daniel Kahneman совместно с двумя другими авторами подарил нам еще одно исследование, на этот раз сфокусированное на изучении noise, то есть «помех», которые люди испытывают при принятии разного рода решений - Noise: A Flaw in Human Judgment. Как выражается автор, “Wherever there is judgement, there is noise”, чем подчеркивает неизбежность помех, которые влияют (а зачастую, на 100% определяют) на наши решения.


Это книга оказала на меня лично достаточно сильное влияние – такое, что теперь я гораздо чаще задумываюсь над тем, что определяет мое решение или позицию по тому или иному вопросу, и то, что предопределяет решения других.


Уверен, если осилите эту книгу – она будет полезна и Вам.


Ниже – некоторые наблюдения и соображения, изложенные в книге, которые показались мне наиболее интересными.


· Согласно одному из исследований, судьи оказались склонны отказывать в УДО, да и вообще выносят более жесткие решения, если это происходит до обеда, особенно в понедельник, чем после ланча, особенно в пятницу


· По другому исследованию, охватившему 1,5 млн судебных решений, вынесенных за 30 лет, судьи принимали более жесткие судебные решения, если в предыдущий день футбольная команда их города потерпела поражение



· Выявив это, US Sentencing Commission выпустила Разъяснения, ограничивающие пределы наказаний, которые могут назначаться за те или иные нарушения тем или иным осужденным. Ударив, таким образом, по свободе судейского усмотрения, Комиссия уменьшила разброс решений, принимаемых судьями. Судья мог отклониться от этих Разъяснений, но он должен был обосновать это перед апелляционным судом. Как и следовало ожидать, решения стали более единообразными.


· Однако в 2005 году Верховный Суд США решил сделать эти Разъяснения сугубо рекомендательными, что было поддержано 75% судей. В результате разброс в решениях снова вырос. Например, до 2005 года судьи, которые отличались более жесткими решениями, присуждали сроки на 2,8 месяцев большие, чем их коллеги. После 2005 года эта разница выросла в 2 раза.


· По мнению авторов книги, обязательные guidelines, разъяснения, рекомендации могут гораздо лучше снизить неоправданный разброс в принимаемых решениях, находящихся под влиянием разных «помех» - “In a perfect world, defendants would face justice; in our world, they face a noisy system”. При всем уважении к свободе судейского усмотрения.


· Аудит решений, принимаемых страховыми компаниями при определении размера страховой премии, выявил, что при одних и тех же дателях объекта страхования, суммы запрашиваемых страховых премий отличаются в среднем на 55% между разными андеррайтерами. То есть если клиенту «повезет», он может заплатить премию 9,5 тыс долларов, а если нет – 16,5 тысяч. И все в зависимости от того, к какому сотруднику он попадет, какое у него будет настроение, какие новости он прочитает с утра…


· Другой пример – так называемое gambler’s fallacy, при котором решения принимаются в зависимости от того, какое решение было принято до этого. Скажем, менеджер банка склонен отказать в выдаче кредита, если до этого он одобрил его предоставление два или три раза. И наоборот.


· Одной из причин такой разноголосицы является приоритет «опыта», «экспертного суждения», даже «профессионализма» над статистикой, данными, цифрами. Как в случае с решением судьи, так и в случае с оценкой страховой премии со стороны андеррайтера, его профессиональному суждению отдается наибольший приоритет, в результате чего, если посмотреть на разброс решений и оценок со стороны, получается, как в русской пословице, «кто в лес, кто по дрова».


· Как мы знаем, «в споре рождается истина». Но в большинстве организаций дискуссии между разными экспертами, споры между ними ради выработки наиболее качественного решения, не поддерживаются. Напротив, в большинстве организацией желательной моделью поведения сотрудников является согласованность и гармония. Но за этим внешним спокойствием, когда «все со всеми согласовано», как правило, стоит отсутствие дискуссии, нежелание людей портить друг с другом отношения ради неочевидной выгоды, элементарная лень подумать и посомневаться в отношении решения, предложенного кем-то другим. Обращаясь к упомянутому исследованию автора в книге Thinking, Fast and Slow, всегда проще принять уже существующее решение, чем придумывать что-то новое. Ведь думать – больно, спорить – не приятно, а принимать решение, отличающееся от массы - рискованно.



· Что говорить о «винных экспертах»?) В одном из соревнований, проведенных в США, винным критикам было предоставлена возможность продегустировать одно и то же вино два раза (они, конечно, не знали, что дегустируют то же самое). В итоге лишь 18% вин (худших, как ни странно) они оценили одинаково и в первом, и во втором подходах. (R. T. Hodgson, “An Examination of Judge Reliability at a Major U.S. Wine Competition,” Journal of Wine Economics 3, no. 2 (2008): 105–113.) - “Simply put, just like a basketball player who never throws the ball twice in exactly the same way, we do not always produce identical judgments when faced with the same facts on two occasions”


· Одним из наиболее действенных средств, с помощью которых можно снизить влияние «помех» и разброс решений / оценок, авторы считают так эффект wisdom of crowds. Если решение по одним и тем же обстоятельствам принимается разными людьми, то чем больше таких лиц, принимающих решения – тем точнее будет усредненное решение, которое может быть выведено из мнений массы. В пример приводится эксперимент, проведённый в 1907 году среди 787 жителей деревни, которых попросили прикинуть вес быка. Несмотря на то, что точную оценку не дал никто (вес был 1200 фунтов), усредненная оценка была в районе 1198, то есть всего на 2 ниже, чем действительный вес. Поэтому вторая рекомендация, которую авторы дают – получать как можно больше мнений по тому или иному решению от независимых оценщиков. Если же возможности получить мнение со стороны нет, то авторы рекомендуют создать «внутреннюю толпу», повременив с принятием финального решения, выждав время и еще развернувшись к этому вопросу: “if you can get independent opinions from others, do it—this real wisdom of crowds is highly likely to improve your judgment. If you cannot, make the same judgment yourself a second time to create an “inner crowd.”



· Хорошее настроение – это прекрасно. Но в момент принятия решения оно делает нас наиболее подверженными «помехам» в виде эмоций, побуждающих нас согласиться с тем или иным вариантом. Вспомните, как часто при хорошем настроении вам хотелось как можно быстрее завершить «скучные» переговоры или обсуждения и согласиться с каким-либо вариантом, чтобы завершить ситуацию «красиво»


· Масса решений принимается под воздействием мнений, озвученных другими. Если, например, группа людей обсуждает какое то решение, и один из них в самом начале гласно озвучит свое мнение – этот моментально влияет на мнение других и чаще всего далее обсуждение вертится вокруг этого варианта. Это слабость «мудрости толпы»: “The irony is that while multiple independent opinions, properly aggregated, can be strikingly accurate, even a little social influence can produce a kind of herding that undermines the wisdom of crowds”



· Так называемое «якорение» также действует в переговорах: если у сторон нет какого то принятого бенчмарка по цене продаваемого предмета, то цена, озвученная первым из переговорщиков, сразу становится базой для торга о скидке или надбавке к ней. Поэтому в переговорных техниках часто советуют первым называть цену.


· Авторы выделяют две основные причины, по которым алгоритмы (в среднем гораздо более точные, чем люди) не так быстро заменяют профессионалов в выработке решений. Во-первых, мы склонны преувеличивать драматичность ошибок, допущенных «машиной», по сравнению с такими же ошибками, допущенными человеком (тут вспоминается шум, который поднимается при каждом ДТП, допущенном driverless car), а во-вторых – мы не особо готовы отказаться от кайфа, который получаем, если угадываем с правильным решением (зачем лишать себя этого наслаждения, заменяя себя компьютером?) - As long as algorithms are not nearly perfect—human judgment will not be replaced. That is why it must be improved


· Как известно, существуют три вида лжи: ложь, наглая ложь и статистика. Авторы книги с этим утверждением не согласны в корне. Дело в следующем. При принятии решений, нам свойственно прибегать, прежде всего, к собственному опыту. Опираясь на него, сравнивая и находя аналогии текущей решаемой ситуации с теми, которые были у нас ранее, мы вырабатываем вариант действий, который нам кажется наиболее правильным. Объяснения, рационализация, стремление найти логику во всех событиях – важные инструменты познания нами мира. Но они абсолютно не совершенны. Наш опыт, как правило, не универсален, ситуации, в которые нужно принимать решения, всегда уникальны, наша память, на которую мы опираемся в надежде найти аналогичную ситуацию в прошлом, не идеальна… И мы ошибаемся. В то же время, использование объективированной статистической информации, не зависящей от нашего опыта, вполне может повысить качество принимаемых решений. Стоит только хорошо изучить ситуацию до формулирования выводов, воспользоваться статистикой, переговорить с разными людьми, взять тайм аут и не принимать решение сразу… и оно будет качественнее, чем если решить что то сгоряча.


· Часто мы становимся жертвами «брендов». Причем речь не только при рекламе товаров, продающихся по более высокой цене, чем аналогичные им, не отличающиеся по качеству. Мы так же легко попадаемся в ловушку «личных брендов» дорогих экспертов, которых берем к себе на работу или нанимаем себе консультантами. Внешние атрибуты, будь то образование, опыт работы, успешно закрытые проекты, затуманивают нам сознание, и мы склонны соглашаться на работу с этими зарекомендовавшими себя экспертами. Все эти атрибуты – тоже своего рода «помехи», мешающие нам принимать взвешенные решения о том, нужен ли нам на самом деле тот или иной эксперт, даст ли он ожидаемый нами результат, окупятся ли понесенные на него расходы. На эти строках я вспомнил о наших расходах на внешних юристов…


· Оказывается, есть целое исследование - G. A. Miller, “The Magical Number Seven, Plus or Minus Two: Some Limits on Our Capacity for Processing Information,” Psychological Review (1956): 63–97 – в котором обосновывается, что человек, как правило, не способен различать степени сравнения более чем по 7ми баллам. Скажем, нам сложно, почти не возможно последовательно ставить одну и ту же оценку за одно и то же, если мы работаем в 10-ти балльной системе. 7 – это предел. Поэтому, наверное, так много спекуляций в 100 балльной системе ЕГЭ.





· В связи с этим авторы предлагают избегать таких широких шкал оценок, как наша ЕГЭ, разбивая из на разряды, например, от 1-го до 7ми. Это позволяет снизить разброс оценок (78, 69, 45, 32, 91 и т.д.), переведя его в более простую для единообразного понимания систему.


· При этом стоит отметить, что оценка по баллам также коварна. Ведь в ней каждый из оценщиков может вкладывать совершенно разные смыслы в одни и те же баллы. Для кого-то 4 – это хорошая оценка, для кого-то – это то, что нужно ставить, если нет причин оценить по-настоящему плохо - Both of us say this movie is very good, but you seem to have enjoyed it a lot less than I did. We’re using the same words but are we using the same scale. А сколько проблем это рождает при оценке работников для целей премирования…


· Авторы предлагают разделять мышление на два типа: так называемое casual thinking (когда мы ищем закономерности и руководствуясь законами логики (хотя на самом деле не только логики, но и помехами), приходим к тому или иному выводу), и statistical thinking (когда мы принимаем решение или приходим к выводу на основе сравнительно большого набора данных, собранных из независимых от нас источников). Так вот помехи (Noise) невозможно обнаружить в рамках нашего привычного casual thinking. Они видны только на основе анализа статистики, сравнительно больших данных. Именно поэтому для минимизации помех при принятии решения авторы настоятельно рекомендуют использовать как можно более разношерстные источники и информацию, «большие данные». Скажем, если нужно принять решение об оспаривании того или иного акта в суде, лучше руководствоваться не только gut feeling самых опытных юристов в компании, а последней статистикой и судебной практикой, которая складывается по этой категории дел.


· Многие решения, оценки, мнения невозможно верифицировать как правильные или ошибочные. Например, заключения винных критиков, оценки страховой премии андеррайтерами, мнения о книгах или фильмах… к сожалению, даже решения судей о назначении наказания за уголовные преступления. В основе этих решений лежит масса факторов, в значительной степени оценочных. И если винный критик Паркер присвоил какому-то вину 98 баллов – с ним невозможно спорить на «твердых» аргументах. Это его мнение. Признание таких решений и заключений публикой, третьими лицами во многом зиждется на авторитете оценщика. Если он высок – его решение или мнение становится общепризнанным. Если нет – с ним многие спорят. В принципе, на этой закономерности нашего мышление и основывается «сила авторитета». Если так или иная книга (например, эта) написана нобелевским лауреатом – к ее выводам у нас формируется гораздо больше доверия, чем к другим, даже самым основательным работам. А что уж говорить про мнение шефа))


· Несмотря на обилие помех, решения, принимаемые наиболее образованными и интеллектуально развитыми людьми, все же менее подвержены этой проблеме. Согласно исследованиям, наиболее успешными политиками, бизнесменами, руководителями являются как раз те, у кого уровень IQ (по GMA тесту) более высокий. В частности, у 88% американцев, которых входят в 1% наиболее состоятельных в стране, есть высшее образование. В целом же по США этот показатель – на уровне 1/3. И дело даже не только в том, что они принимают объективно более качественные решения (это тоже), а в том, что люди верят их решениям и принимают их как истину. По мнению авторов, средневековые астрологи наверняка были людьми с очень высоким GMA


· Другим способом проверить свои способности к принятию обдуманных решения является cognitive reflection test (https://scienceofbehaviorchange.org/measures/cognitive-reflection-test/). Низкие показатели в этих тестах свойственным людям, склонным верить fake news, прогнозам астрологов, экстрасенсов. Словом, тем, кто наиболее подвержен noise при принятии решений.


· И вот тут самое интересное – наиболее важным навыком, способствующим принятию качественных решений с минимальным числом помех, является навык самообразования и постоянной самокоррекции. Пополняя багаж своих знаний, человек постоянно улучшает свои способности предвидеть развитие событий, понимать разные варианты возможных решений - this thinking style characterizes the very best forecasters, who constantly change their minds and revise their beliefs in response to new information. Interestingly, there is some evidence that actively open-minded thinking is a teachable skill. Используя аналогию с разработкой программного обеспечения, авторы книги называют таких людей «Perpetual Beta», как бы подчеркивая, что они никогда не формируются в «финальную версию» и всегда развиваются.


· Одной из техник, которую эти люди применяют для принятия решений, авторы называют декомпозицию вопроса на подвопросы - Rather than form a holistic judgment about a big geopolitical question (whether a nation will leave the European Union, whether a war will break out in a particular place, whether a public official will be assassinated), they break it up into its component parts. Поэтому они, как правило, не дают односложных ответов на односложные вопросы, а пытаются разбить их на части. Например, такие эксперты не будут однозначно отвечать на вопрос о перспективе судебного спора, а будут допытываться до всех обстоятельств дела, которые могут повлиять на решение суда. Безусловно, с опорой не только и не столько на свой личный опыт, а на статистику, практику, мнения других юристов. Кстати, в русском языке есть похожая поговорка – «простота хуже воровства». Как-то созвучно…


· Авторы приводят много ситуаций, при которых мы можем столкнуться с помехами при принятии решений, касающихся нас. В частности, это врачи. Как оказывается, существует метрика расчета совпадения диагнозов, которые ставят одному и тому же пациенту разные врачи. Эта метрика называется Kappa index. Если диагнозы двух врачей, поставленные одному пациенту, совпадают – метрика стремится к показателю 1, если не совпадают – к 0, если к 0,5 – то вероятность совпадения диагнозов не выше, чем если подбросить монетку. И по ряду болезней такой коэффициент крайне невысок. Например, при диагностике некоторых раковых заболеваний, врачи по-разному ставят диагнозы в более чем 30% случаев, меланома не была выявлена даже после биопсии кожи в 36% случаев. Еще менее обнадеживающие цифры – по раку груди: There is variability in radiologists’ judgments with respect to breast cancer from screening mammograms. A large study found that the range of false negatives among different radiologists varied from 0% (the radiologist was correct every time) to greater than 50% (the radiologist incorrectly identified the mammogram as normal more than half of the time). Similarly, false-positive rates ranged from less than 1% to 64% (meaning that nearly two-thirds of the time, the radiologist said the mammogram showed cancer when cancer was not present). False negatives and false positives, from different radiologists, ensure that there is noise.

После этих строк, по-моему, очевидно, что при постановке диагноза серьезного заболевания более чем полезно воспользоваться независимыми мнениями, как минимум, трех медиков.


На этом я, пожалуй, завершу обзор этой потрясающей книги, чтобы не делать совсем уж 100%-ный спойлер.


Enjoy




370 views0 comments

Recent Posts

See All