Война и еще 25 сценариев конца света

Алексей Турчин

Книга Алексея Турчина – это актуальный обзор последних научных наработок, описывающих, как и когда закончится существование человеческой цивилизации. В ней рассказано обо всех известных на сегодня видах глобальных рисков, которые могут уничтожить человечество, – от астероидов до запуска Большого адронного коллайдера и ядерной войны. Важность книги в эти дни необычайно велика по двум причинам. Во-первых, катастрофа человечества – вопрос, безусловно достойный нашего с вами внимания. Во-вторых, разработка многих новых технологий, способных вызвать глобальные риски, уже идет. Понимание того, сколь велики, реальны и близки риски конца света, должно заставить вас задуматься – как будете спасаться лично вы? Эта книга потребует недюжинной подготовки и силы характера, без которых лавина технологических угроз может сбить вас с ног. Если такое случится с вами, не пугайтесь и доверьтесь автору.

Глава 1

Будущее и природа человеческих заблуждений

Попытки предсказания будущего — прекрасный материал для исследования природы человеческих заблуждений, и наоборот, данные экспериментальной психологии позволяют нам оценить, насколько ограничены мы в предсказании будущего.

Нет смысла пытаться заглядывать в будущее, не исследовав границы своего возможного знания о нем. Эти границы обозначат горизонт нашей способности к прогнозу. Существует более ста возможных ошибок, которые могут совершить люди, пытаясь предсказать будущие катастрофы. Но вместо того чтобы перечислять их, мы постараемся исследовать их вероятные корни, то есть причины человеческой склонности к ошибкам.

Основной корень возможных ошибок состоит в том, что человек «не предназначен» для оценки рисков глобальных катастроф. Не предназначены для этого ни его мозг, ни обычный взгляд на мир, ни созданный человеком научный метод. Рассмотрим поочередно каждый из этих трех источников неправильных представлений о сущности и вероятности глобальных катастроф.

Мозг и эволюция

Человеческий мозг сформировался в процессе эволюции. Поэтому, в первом приближении, мы можем сказать, что в ходе этого процесса в нем сохранились и усилились те качества, которые способствовали выживанию людей и заселению ими всей Земли. Отсюда можно было бы заключить, что люди успешно избегали катастроф, приводящих к вымиранию вида (в прошлом, во всяком случае). Те линии людей, которые не умели этого избегать, не дожили до наших дней, как, например, неандертальцы. Однако люди выживали вовсе не потому, что у них развился некий навык предотвращать катастрофы, а чисто статистически, за счет того, что они обладали большей живучестью.

(Одной из возможных причин вымирания неандертальцев называют прионную инфекцию в духе коровьего бешенства, которая распространилась во всей их популяции в течение 100–200 лет за счет практики каннибализма; в то же время запрет на каннибализм, распространенный среди большинства сообществ homo sapiens, способствовал их выживанию — однако этот запрет никаким образом не приводил к росту понимания того, какова его реальная причина.)

Эта человеческая живучесть, безусловно, является ценным ресурсом в случае будущих глобальных катастроф, но она ничего не дает для понимания соответствующих рисков, так как является свойством вида, а не отдельных людей. Для выживания вида каждый человек должен был дожить до возраста рождения детей или немногим более, и в силу этого его понимание рисков ограничивалось преодолением, в первую очередь, краткосрочных угроз. Более того, рискованное поведение отдельных людей способствовало выживанию вида в целом, побуждая отправляться на заселение далеких островов и иметь больше детей.

Кроме того, homo sapiens, для того чтобы стать единственным хозяином планеты, вынужден был развить в себе навык уничтожения целых классов разумных существ, которые могли бы стать ему конкурентами. За примерами не надо ходить далеко: от тех же неандертальцев до тасманийских аборигенов, уничтоженных поголовно в XIX веке; кроме того, человек уничтожил мегафауну на всех континентах, кроме Африки.

В XX веке люди решили (опыт мировой войны), что геноцид — это не способ решения проблем. Тем не менее в багаже очевидных решений, приходящих нам на ум, сохранилась идея «уничтожить всех врагов». Нет нужды говорить, что вид, обладающий таким навыком, как «уничтожение всех», становится опасным сам для себя, когда отдельным его представителям попадают в руки достаточные для реализации такого проекта технические средства. В данном случае «уничтожить всех» — это модель поведения, а не ошибка, но она может проявляться и как ошибка в планировании будущего. Ошибка здесь состоит в том, что попытки «уничтожить всех» ведут не к решению проблемы, а наоборот, только к ее усугублению. Подтверждение этому мы видим на примере конфликта Израиля и палестинцев: чем больше израильтяне хотят уничтожить всех террористов, тем больше палестинцы хотят уничтожить всех израильтян и порождают из своей среды террористов. И наоборот, чем меньше стороны пытаются «решить проблему», тем менее актуальна и сама проблема.

Следующая «собака», которую нам подложила эволюция, это как наш мозг сопоставляет рискованность и полезность действий. Хотя эволюция отсеивала тех людей, которые слишком сильно рисковали собой и погибали в детстве, она также отсеивала и тех, кто слишком сильно стремился к безопасности. Происходило это, возможно, следующим образом: допустим, в стаде было четыре «рисковых парня». Они бурно выясняли между собой отношения, в результате чего трое погибли, а четвертый стал вожаком стада, покрыл всех самок и у него родился десяток детей. В силу этого рискованное поведение закрепилось, так как, несмотря на то, что большинство склонных к риску самцов погибло, один выживший оставил большое потомство. Более того, склонность к риску позволила ему повысить свой социальный статус и даже стать вожаком стада. С другой стороны, самец, который стремился бы к абсолютной безопасности и избегал стычек с другими самцами, в конечном счете утратил бы статус в стаде и оставил мало потомства. Наоборот, рисковый самец, став вожаком, будет «руководить» рискованными методами. Опять же, в силу этого какие-то племена погибнут, какие-то — попадут на новые территории и заселят их.

Более близкий пример: Рональд Рейган, объявляя крестовый поход против СССР, увеличивал своими действиями риск ядерной войны, однако выигрыш его интересовал больше, чем проигрыш. Существует много исследований, которые показывают, что восприятие человеком вероятностей выигрышей и проигрышей значительно отличается от поведения абсолютно рационального субъекта. Например, человеку свойственно пренебрегать небольшой вероятностью очень плохого исхода — «тяжелым хвостом». С нашей эволюционной точки зрения это можно связать с тем, что человек не был бессмертным существом и знал это, поэтому он мог просто не дожить до редкого наихудшего случая, ущерб от которого перевесил бы полезность от всех позитивных исходов, вместе взятых.

Доказано, что людям свойственно считать вероятности рисков, меньшие 0,001 процента, равными нулю. Понятно, почему это происходит: если средняя жизнь человека включает примерно 20 000 дней, то добавление на каждый день вероятности смерти порядка 0,001 процента изменит ее ожидаемую продолжительность только на несколько тысяч дней, что находится в пределах погрешности оценки продолжительности жизни. Люди выбирают езду на машине, питье, курение и т. д. потому, что риск смертельной аварии или заболевания попадает в эти пределы.

Однако такая оценка определенно не годится для обеспечения безопасности человечества, потому что она означала бы гарантированное вымирание человечества в течение 300 лет. Кроме того, люди обычно не складывают вероятности, при том что многократное повторение разных событий с вероятностью в одну стотысячную может дать значительный эффект.

Здесь же мы можем отметить психологический эффект, состоящий в том, что риск сам по себе запускает механизмы вознаграждения в мозгу, в силу чего некоторые люди склонны повышать свою норму риска — чтобы «поймать адреналин». Безусловно, это вопрос личного выбора этих людей, пока это касается только их самих. Однако не составляет труда привести примеры ситуаций, когда люди рисковали жизнями сотен людей ради собственного развлечения. Например, еще в советское время пилот самолета ТУ-154 на спор с товарищами взялся посадить самолет с закрытыми шторками окон кабины. Более ста человек погибли. Нетрудно вообразить ситуацию из не очень отдаленного будущего, где кто-то ради развлечения рискнет судьбой всего человечества.

Ведь чем выше ставки, тем выше выброс адреналина! Например, ракетчики на одной американской базе придумали от скуки, как можно обойти систему запуска, требующую двух человек, с помощью одного человека, ножниц и нитки.

Интересна также склонность людей выбирать свою норму риска. Например, при сравнении смертности на разных классах автомобилей (на основании статистики США) оказалось, что на более безопасных по заводским тестам машинах гибнет примерно такое же количество людей, как и на более дешевых и менее безопасных машинах. Это было связано с тем, что люди на более безопасных машинах ездили агрессивнее и быстрее, а на менее безопасных — осторожнее. В отношении глобальных катастроф это выглядит следующим образом: когда человек едет на машине, он зависит от своей машины и от машины на встречном курсе, то есть от двух машин. Но человек, живущий на Земле, зависит от всего множества войн, терактов и опасных экспериментов, которые могут иметь глобальный масштаб. И это приводит к тому, что для него складываются тысячи норм риска, которые допускают разные люди, решившиеся на реализацию этих проектов.

Как принимаются «обоснованные» решения

Другой корень неверных представлений, сформировавшихся эволюционно, состоит в крайне опасной связи между правотой, уверенностью и высоким социальным статусом. Одним из важнейших проявлений этого является неизменно присущее человеку качество сверхуверенности. Сверхуверенность состоит в том, что людям свойственно приписывать слишком высокую достоверность собственным мнениям. Сверхуверенность проявляется также в чувстве собственной важности, то есть в уверенности в своем более высоком социальном статусе и более высоких способностях, чем это есть на самом деле. Большинство опрошенных социологов считают, что они принадлежат к 10 лучшим в мире специалистам. Три четверти водителей считают, что они водят машину лучше, чем среднестатистический водитель.

Другое проявление сверхуверенности — это очень низкая способность сомневаться в истинности своих высказываний. В экспериментах это проявляется, когда испытуемым предлагают дать оценку некой неизвестной величины (например, числа яиц, производимых в США в год), а затем просят указать интервал в 99 процентов уверенности вокруг этой величины. Несмотря на то что никто не мешает людям указать очень широкий интервал от нуля до бесконечности, люди все равно указывают слишком узкие интервалы, и реальная величина в них не попадает. Даже если люди являются экспертами в своей области (например, инженерами-гидротехниками), их интервал уверенности оказывается слишком узким. Даже если людей заранее предупреждают о том, что такой эффект имеет место быть, и просят его избегать, все равно их интервал уверенности оказывается слишком узким. Даже если людям предлагают денежное вознаграждение в размере трехмесячной зарплаты за правильный результат, все равно их интервал уверенности оказывается слишком узким. Из этого следует, что проблема не в том, что люди не хотят угадать правильный интервал уверенности: они действительно этого не могут сделать — не могут преодолеть свою сверхуверенность, которая «прошита» в устройстве их мозга.

Мы можем часто сталкиваться с проявлениями такой сверхуверенности у других людей, когда слышим заявления о том, например, что вероятность ядерной войны в XXI веке будет нулевой, или наоборот, что она неизбежна. Чужая сверхуверенность достаточно очевидна, однако наиболее опасна своя, которую практически невозможно обнаружить собственными силами, да людям обычно и несвойственно искать в себе признаки сверхуверенности и стремиться уменьшить свою уверенность в сделанных выводах. Наоборот, люди стараются увеличить свое ощущение уверенности в своих выводах, и в результате на какое-нибудь случайное утверждение наматывается ком селективно подобранных доказательств.

Такой подход известен как wishful thinking — то есть мышление, обусловленное желанием что-то доказать, подкрепить свою уверенность в некой теме. Целью такого мышления вовсе не является поиск истины, отсюда и результат — обычно таким образом истинные высказывания не получаются. Другим названием этой модели поведения является «рационализация» — то есть подбор рациональных оснований под некое иррациональное решение. В ходе такого отбора противоречащие доводы отсеиваются, а также нет попыток фальсифицировать свое исходное мнение — то есть проверить его устойчивость к опровержениям. Интернет оказывает в этом дурную услугу, так как поиск приносит в первую очередь подтверждения. Например, набрав в поиске «взрыв Земли», я наверняка наткнусь на кого-то, кто думает, что это возможно.

Другое проявление борьбы за социальный статус состоит в резкой поляризации мнений в случае спора. Если человек колеблется между двумя гипотезами, то столкновение с оппонентом заставляет его выбрать одну из гипотез и начать ее защищать. В этом смысле спор не рождает истину.

Поскольку вопрос о возможности глобальной катастрофы будет оставаться спорным вплоть до самого конца, то в связи с ней возможно особенно много споров. И если в результате этого спора кто-то преувеличит вероятность глобальной катастрофы, то это не пойдет на пользу выживания человечества. Переоценка какого-то одного фактора неизбежно означает недооценку другого. В связи со спорами возникает проблема убедительности. Единственный способ для общества начать предотвращать некую возможную глобальную катастрофу — это то, что кто-то его убедит в близости и реальности такого события, а также в возможности и необходимости его предотвращения.

Но «убедительность» не тождественна истине. Некоторые сценарии глобальной катастрофы будут более «убедительными» за счет своей красочности, наличия исторических примеров и того, что их защищали лучшие спорщики. Например, падение астероидов. Другие будут гораздо более трудно доказуемыми, и их «пиар» будет менее возможным. Например, катастрофа на ускорителе в ходе физических экспериментов.

Следующий корень ошибочных умозаключений и моделей поведения лежит в эмоциональных реакциях. Хотя доказательства вероятности некой катастрофы могут быть весьма строгими, эти выкладки понятны только тому ученому, который их сделал, а лица, принимающие решения, не будут перепроверять эти выкладки — будут реагировать на них в значительной мере эмоционально. Поэтому реакция публики, академии наук, парламента, правительства, президента на любые, даже самые серьезные предупреждения, будет эмоциональной, а не логической. Более того, поскольку человеку свойственно определять свою позицию в течение 10 секунд, а потом начать подбирать факты для ее защиты, эта эмоциональная реакция имеет шанс закрепиться. В силу сказанного, даже при наличии очень убедительных доказательств (а чем убедительнее доказательства, тем в большей мере катастрофа уже назрела и тем меньше времени осталось для борьбы с ней), все равно надо учитывать особенности эмоционального реагирования людей, так как окончательное решение в конечном счете будет зависеть не от тех, кто это доказательство вывел. Кроме того, людям свойственно чувствовать себя экспертами по глобальным вопросам, поскольку это повышает их самооценку. Например, если человека спросить, каков порядковый номер лантана в таблице Менделеева, то он, если он не химик, легко признается, что не знает этого и готов посмотреть в таблицу; однако если спросить его о некой глобальной проблеме, например о риске ядерной войны, то он сразу даст ответ, вместо того чтобы посмотреть существующую литературу на эту тему.

Далее, естественной психологической реакцией является защита от неприятного знания. Первым уровнем такой защиты является состояние отрицания в духе «это слишком плохо, чтобы быть правдой». Действительно, глобальная катастрофа, ведущая к вымиранию всех людей, — это наихудшее событие, которое может с нами случиться. Тем более что не обязательно она будет быстрой, мгновенной и красивой, а может быть долгой и мучительной, скажем, в случае глобального радиоактивного заражения. Поэтому нетрудно предположить, что психологические механизмы защиты включатся на всю мощь, чтобы уменьшить ее ужас, а главное — или счесть ее невозможной, или вообще исключить из сознания, вытеснить. Поскольку люди знают, что идеи в духе «это слишком плохо, чтобы быть правдой» не имеют под собой никаких оснований, и каждый может вспомнить случаи из жизни, когда происходили вещи настолько плохие, что в это трудно поверить (ребенок, заболевший раком; невеста, умирающая накануне свадьбы, и т. д.), то этот тезис подменяется другим, а именно: «это слишком невероятно, чтобы быть правдой». Последнее высказывание по своей логической природе является тавтологией: «этого не может быть, потому что не может быть никогда». Однако в отношении глобальных окончательных катастроф их «невероятность» выводится, например, из того, что они не происходили в прошлом. По ряду причин, которые мы подробно рассмотрим дальше, это, однако, ничего не значит (например, в связи с наблюдательной селекцией). Уникальные события регулярно случаются.

Вероятность глобальной катастрофы отвергается также потому, что это очень большое событие. Но и очень большие события иногда происходят, более того, они происходят рано или поздно. Следовательно, подобное преуменьшение вероятности носит в первую очередь эмоциональный характер.

По одной из теорий, психологическая реакция на катастрофу или известие о неизлечимой болезни, называемая «горевание», проходит через пять стадий: отрицание, гнев, попытка заключить сделку с судьбой, депрессия, принятие. Можно предположить, что и эмоциональная реакция на риск глобальной катастрофы будет проходить через похожие стадии. Тогда стремлению «заключить сделку с судьбой» будут соответствовать попытки избежать катастрофы с помощью бункеров и т. д.

То, что известно в быту как «стадный инстинкт», проявляется в психологических экспериментах по исследованию конформизма. Когда группа подсадных испытуемых единогласно утверждает, что белое — это черное, то значительная доля реальных испытуемых, находящихся в этой группе, тоже не верит своим глазам и боится высказать несогласие с группой. Особенно силен этот эффект, когда нужно выступить в одиночку против группы. По крайней мере до недавнего времени люди, высказывающиеся о значительном риске глобальных катастроф, особенно со стороны неких принципиально новых источников, оказывались в похожей ситуации. Они в одиночку должны были выступать против общественного мнения, справедливо опасаясь отвержения обществом и десоциализации. Однако и общество, со своей стороны, часто весьма заинтересовано в отвержении новых идей (точно так же, как старый вожак стаи отвергает претензии молодого самца на лидерство). Например, от предложения идеи анестезии в конце XVIII века до реального ее применения прошло почти 50 лет, хотя необходимые препараты — эфир — были уже известны. То же самое произошло и с идеей дезинфицировать руки перед операцией: в середине XIX века врачи все еще не верили в заражение от бактерий, и за десятки лет от того момента, когда идея была высказана, и до того, как она была принята, миллионы рожениц погибли от родовой горячки.

Научный метод и нежелательность экспериментов

Теперь обратимся к возможным причинам недооценки рисков глобальных катастроф, происходящих из устройства науки. Научный метод был создан, чтобы преодолеть все виды интеллектуальных искажений, связанных с ненадежностью человеческого мозга, и получить доступ к по-настоящему достоверному знанию. Обобщая, скажу, что важной частью научного метода является экспериментальная проверка результатов. Именно предсказуемые повторяющие результаты наблюдений и экспериментов позволяют отсеять ложные теории и подтвердить истинные. Благодаря этому какие бы систематические ошибки ни совершил человек, придумывая теорию, они с большой вероятностью будут вскрыты практикой. Таким образом, научный метод компенсировал несовершенство человеческого мозга экспериментальной проверкой.

Однако ничего подобного не происходит в случае исследований рисков глобальных катастроф. Экспериментальная проверка любых теорий о глобальной катастрофе нежелательна, и более того, физически невозможна, так как в случае успеха не останется ни одного наблюдателя. В силу этого классический экспериментальный метод в случае глобальных катастроф буксует и не выполняет своей функции по устранению различных интеллектуальных искажений.

Границы человеческой склонности ошибаться в прогнозах будущего стали притчей во языцех. Например, газета «Нью-Йорк таймс» опубликовала передовицу, посвященную очередной неудаче в попытках создать самолет, которая закончилась бесславным падением в воду, и предрекла, что свойства материалов таковы, что не удастся создать самолет в течение ближайшего миллиона лет. Однако братья Райт испытали свой самолет через 9 дней после этой статьи, и об этом событии газета не написала ни слова. То есть коэффициент ошибки составил 40 миллионов раз. В этой истории важно так же то, что самые важные открытия совершались вдали от людских глаз и становились великими событиями с огромными последствиями только задним числом.

Одна из основных ошибок в области футурологии состоит в том, что людям свойственно переоценивать тенденции, касающиеся ближайшего будущего, и недооценивать качественные изменения, которые проявятся в более отдаленном будущем. Классический пример такой оценки — прогноз о том, что рост числа повозок в Лондоне приведет к тому, что все жители города станут кучерами, а навоз поднимется до уровня крыш. При этом интересно, что качественно этот прогноз сбылся: почти все стали водить машины, под капотами которых скрыты десятки лошадиных сил, а вредные выхлопы двигателей поднялись значительно выше крыш.

Теперь остановимся на крайне важном различии между наилучшим, наиболее вероятным и наихудшим результатами.

Склонность людей недооценивать вероятность наихудшего исхода регулярно проявляется при реализации крупных проектов. Президент Буш оценивал стоимость будущей иракской войны в 50 миллиардов долларов, однако один из его экономистов выдал более реалистичную оценку в 200 миллиардов, за что был уволен. Теперь суммарные расходы на войну оцениваются в сумму между одним и двумя триллионами долларов. Истребитель F-22 должен был стоить 30 миллионов долларов, а стал стоить 300. МКС должна была стоить около 8–10 миллиардов долларов, а обошлась более чем в 100.

То же самое происходит и с оценками надежности и безопасности. Атомные станции должны были иметь надежность в одну крупную аварию на миллион лет эксплуатации, однако Чернобыль произошел, когда суммарная наработка всех станций в мире составляла порядка 10 000 лет эксплуатации. Космические корабли «Спейс шаттл» были рассчитаны менее чем на одну аварию на 1000 полетов, но первая авария произошла на 25-м полете. То есть исходная оценка надежности 1 к 25 была бы более точной.

То есть реальная ситуация оказывается в несколько десятков раз хуже, чем задуманная и рассчитанная. Все же она оказывается лучше, чем в алармистских предупреждениях в духе того, что шаттл вообще никогда не взлетит, Ирак завоевать не удастся и т. п. Алармистские прогнозы точно так же нереалистичны, только с обратным знаком.

Теперь разберемся со «страшилками». Очевидно, что выработался своего рода условный рефлекс на сообщения о возможных рисках и опасностях в духе: это все страшилки, нас пугают, чтобы привлечь внимание и вытрясти денег, но мы это раскусили и потому бояться не будем. Действительно, имеется целый класс «прогнозов» в духе: «к земле летит гигантский астероид», «на дне Неаполитанского залива лежит 20 атомных бомб» и т. п., которые были придуманы и нарочно тиражируются СМИ, чтобы что-то получить с человеческой паники. Результат же — как в сказке про волков: восприятие подобных предупреждений притупляется, и когда появляется реальное предупреждение, его никто не слышит. Я хочу подчеркнуть, что читатель имеет право воспринимать эту книгу как очередную «страшилку», но прошу отметить, что «волк» существует независимо от того, какую игру со страшилками мы, люди, устроили. При этом здесь вы не найдете призывов о том, что нужно срочно бежать и спасать мир определенным образом — я не знаю, как это сделать.

Следующее важное обстоятельство, часто не принимаемое во внимание при прогнозах будущего, состоит в том, что более быстрые процессы затмевают более медленные. Например, если у нас в чашке Петри посеяно несколько культур бактерий, то через какое-то время наибольший объем будет занимать та культура, которая растет быстрее всех. В отношении предсказания будущего это означает, что нам следует выделять не самые большие процессы, а самые быстрорастущие. Например, бессмысленно рассматривать рост населения Земли до 2100 года в отрыве от биотехнологий, потому что эти биотехнологии или уничтожат всех людей, или резко продлят жизнь, или обеспечат всех достаточным количеством пропитания. Более того, и внутри биотехнологий нам следует выделять наиболее быстрорастущие направления.

Человеческие мнения крайне подвержены влиянию фоновых обстоятельств, то есть того, каким образом оформлено высказывание, а не того, что именно в нем сказано. Что звучит страшнее: «Русские посылают сообщения инопланетянам со своего радиотелескопа, выдавая им расположение Земли» или «НАСА транслирует песню Биттлз “Через Вселенную” в сторону Полярной звезды?» Первое сообщение вызывает в целом осуждение, а второе — одобрение, потому что в нем использованы слова, которые связаны с приятными ощущениями. Хотя с физической точки зрения происходит одно и то же. Это говорит о том, насколько наши мнения зависят от того, что, по сути, не важно.

Через 20 или 30 лет люди, если еще будут живы, составят новый список глобальных угроз, потому что эта проблема, однажды возникнув, никуда не денется. И они будут просматривать те списки рисков, которые мы предлагаем сейчас, и будут поражаться их наивности, неполноте и односторонности. Насколько бы совершенные списки рисков мы сейчас ни составляли, мы только царапаем по поверхности этой проблемы и должны быть готовы к тому, что в будущем эти списки будут значительно доработаны и многие наши ошибки и иллюзии станут очевидными.

Рекомендуемая литература^[1]

Росс Л., Нисбетт Р. Человек и ситуация: уроки социальной психологии. — М.: Аспект Пресс, 1999.

Турчин А.В. О возможных причинах недооценки рисков гибели человеческой цивилизации // Проблемы управления рисками и безопасностью: труды Института системного анализа Российской академии наук. — Т. 31. — М.: КомКнига, 2007.

Юдковски Е. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков // Сборник «Диалоги о будущем». — М.: УРСС, 2008.

Примечания

1

К каждой главе я приложу список из трех-пяти наиболее интересных работ по данной теме, которые стоит почитать; но это не полный список: заинтересовавшиеся читатели без труда найдут более полный список работ в Интернете.