Машина эмоций

Марвин Минский, 2006

Марвин Минский – американский ученый, один из основоположников в области теории искусственного интеллекта, сооснователь лаборатории информатики и искусственного интеллекта в Массачусетском технологическом институте, лауреат премии Тьюринга за 1969 год, медали «Пионер компьютерной техники» (1995 год) и еще целого списка престижных международных и национальных наград. Что такое человеческий мозг? Машина, – утверждает Марвин Минский, – сложный механизм, который, так же, как и любой другой механизм, состоит из набора деталей и работает в заданном алгоритме. Но если человеческий мозг – механизм, то что представляют собой человеческие эмоции? Какие процессы отвечают за растерянность или уверенность в себе, за сомнения или прозрения? За ревность и любовь, наконец? Минский полагает, что эмоции – это всего лишь еще один способ мышления, дополняющий основной мыслительный аппарат новыми возможностями. В формате PDF A4 сохранен издательский макет.

Глава 1. Влюбленность

1.1. Увлечение

Мои глаза в тебя не влюблены, —

Они твои пороки видят ясно.

А сердце ни одной твоей вины

Не видит и с глазами не согласно^[2].

Шекспир

Многие люди считают абсурдом думать о человеке как о машине, поэтому мы часто слышим подобные высказывания:

Читатель: Конечно, от машин есть польза. Мы можем заставить их складывать бесконечные столбцы цифр или собирать другие машины на заводах. Но ничто механическое никогда не сумеет испытывать такие искренние чувства, как любовь.

В наши дни никто не удивляется, что машины действуют логически, ведь логика основана на простых и ясных правилах — из тех, что легко использовать компьютерам. Но Любовь, по самой своей натуре, как скажут некоторые, нельзя объяснить с помощью механики, и мы никогда не сможем создать машины, обладающие такими человеческими свойствами, как чувства, эмоции и сознание.

Что такое Любовь и как она работает? Хотим ли мы узнать о ней больше, или она из тех вещей, что мы на самом деле не хотим понимать? Давайте посмотрим, как наш друг Чарльз пытается описать свое недавнее увлечение:

Я только что влюбился в изумительную девушку. Ни о чем другом не могу думать. Моя милая безгранично идеальна — красота ее неописуема, характер безупречен, а ум невероятен. Нет ничего, что я бы ради нее не сделал.

На поверхности такие утверждения кажутся вполне позитивными, они состоят из прилагательных в превосходной степени. Но обратите внимание на одну странную особенность: сколько в этом отрывке частиц «не» и приставок «без». Очевидно, что на самом деле это отрицательные утверждения, которые описывают говорящего их человека.

Изумительную. Неописуема.

(Не могу понять, что именно привлекает меня в ней.)

Ни о чем другом не могу думать.

(Мой мозг практически перестал работать.)

Безгранично идеальна. Невероятен.

(Ни один разумный человек в подобное не поверит.)

Характер безупречен.

(Я утратил способность к критическому мышлению.)

Нет ничего, что я бы ради нее не сделал.

(Я забросил большинство своих обычных дел.)

Наш друг все эти утверждения воспринимает как положительные. Это чувство приносит ему счастье и стимулирует к деятельности, к тому же избавляет от уныния и одиночества. Но что, если большинство из этих приятных эффектов — следствие того, что подавляет мысли о том, что на самом деле говорит ему любимая:

О, Чарльз, женщине нужны определенные вещи. Ей нужно, чтобы ее любили, хотели, ценили, баловали, осыпали лестью, холили и лелеяли. Ей нужны сочувствие, нежность, преданность, понимание, влюбленность, лесть и поклонение — я ведь не слишком многого прошу, правда, Чарльз?^[3]

Таким образом любовь может заставить нас не обращать внимания на большинство дефектов и недостатков и относиться к изъянам как к достоинствам, пусть даже, как сказал Шекспир, мы все же можем отчасти их осознавать:

Когда клянешься мне, что вся ты сплошь

Служить достойна правды образцом,

Я верю, хоть и вижу, как ты лжешь^[4].

Мы одинаково умело обманываем себя — не только в личной жизни, но и когда имеем дело с абстрактными идеями. Здесь мы тоже часто закрываем глаза, когда речь заходит о противоречиях между нашими убеждениями. Посмотрите, что пишет Ричард Фейнман:

Это было самое начало, и идея казалась мне такой очевидной, что я влюбился в нее без памяти. И, как и с влюбленностью в женщину, это возможно только тогда, когда не слишком много о ней знаешь и поэтому не видишь ее недостатков. Недостатки проявляются позже, но к этому времени любовь уже достаточно сильна, чтобы удержать тебя рядом. Так я и придерживался этой теории, несмотря на все сложности, благодаря юношескому энтузиазму (Нобелевская лекция, 1966).

Что же на самом деле любит тот, кто влюблен? По идее, это должен быть объект его привязанности, но, если получаемое им удовольствие — это в основном результат подавления различных вопросов и сомнений, получается, что человек влюблен в саму Любовь.

Читатель: Вы пока рассуждали только о том, что мы называем увлечением: похотью и бурной страстью. Это выносит за скобки то, что большинство из нас понимают под словом «любовь»: нежность, доверие и товарищество.

И в самом деле, угасая, эта кратковременная увлеченность иногда сменяется более прочными отношениями, в которых мы делим свои интересы с человеком, к которому привязались:

Любовь, сущ. — это расположение или чувство по отношению к человеку, которое (происходя из признания привлекательных качеств, из природных инстинктов или из сочувствия) выражает себя в озабоченности его благополучием, а также обычно в удовольствии, испытываемом в его или ее присутствии и желании добиться его или ее одобрения; теплое расположение, привязанность (Оксфордский словарь английского языка).

Однако даже эта расширенная концепция Любви все-таки слишком узка, потому что Любовь — это что-то вроде слова-чемодана, в который вложены и другие виды привязанностей, такие как:

Любовь родителя к ребенку.

Любовь ребенка к родителям и друзьям.

Узы, которые связывают людей, дружащих всю жизнь.

Связи между людьми в группе или по отношению к их лидеру.

Также мы применяем слово «любовь» к нашим отношениям с вещами, чувствами, идеями и убеждениями — и не только к внезапным и кратковременным, но и к тем, которые с годами только усиливаются.

Приверженность новообращенного к доктрине или Священному писанию.

Верность патриота стране или нации.

Страсть ученого к поиску истины.

Стремление математика к нахождению доказательств.

Почему мы укладываем такие разные понятия в эти общие слова-чемоданы? Как будет рассказано в разделе 1.3, каждый из наших обычных «эмоциональных» терминов описывает целый набор различных процессов. Таким образом, мы используем слово «гнев» для обозначения самых разных ментальных состояний, причем некоторые из них меняют наше восприятие действительности, так что невинные жесты начинают восприниматься как угрозы — и повышают нашу склонность к нападению. Страх также влияет на наши реакции, но заставляет отступать от опасности (как и от некоторых слишком сильных удовольствий).

Возвращаясь к значениям слова «любовь», одно свойство кажется общим для всех этих состояний — в них мы начинаем думать по-другому:

Когда кто-то, кого вы знаете, влюбляется, возникает ощущение, как будто перед вами почти что другой человек — он думает иначе, у него появляются иные цели и приоритеты. Как будто где-то щелкнули выключателем и запустили новую программу.

В этой книге в основном излагаются идеи о том, что именно должно происходить внутри нашего мозга, чтобы вызывать такие серьезные изменения в мышлении.

1.2. Море психических загадок

Время от времени мы задумываемся над тем, как работает наше мышление:

Почему я трачу столько времени впустую?

Чем именно меня притягивают другие люди?

Почему меня посещают такие странные фантазии?

Почему мне так нелегко дается математика?

Почему я боюсь высоты и больших скоплений народа?

Почему я испытываю такую зависимость от физических упражнений?

Но ничего из этого мы понять не сумеем, не получив сначала адекватные ответы на следующие вопросы:

Что представляют собой эмоции и мысли?

Как в нашем мозгу появляются новые идеи?

На чем основываются убеждения?

Чему нас учит личный опыт?

Как мы мыслим и делаем выводы?

Короче говоря, нам всем нужно лучше представлять себе механизмы мышления. Но когда бы мы ни начинали об этом думать, мы сталкиваемся с новыми загадками:

Какова природа сознания?

Что такое чувства и как они работают?

Каков механизм воображения?

Как тело соотносится с сознанием?

Как формируются ценности, цели и идеалы?

Каждый человек знает, как ощущается Гнев, — так же как он знает ощущения Удовольствия, Сожаления, Радости и Горя, — и при этом мы почти ничего не знаем о том, как на самом деле работают эти процессы. Александр Поуп в своем «Опыте о человеке» задается вопросом: можем ли мы в принципе понять подобные вещи?

Тот, кто исчислил для кометы путь,

способен ли в свой разум заглянуть?

Исчисливший небесные огни

исчислит ли свои земные дни?^[5]

Как мы умудрились выяснить так много об атомах, океанах, планетах и звездах — и так мало о механизмах сознания? Ньютон в свое время открыл три простых закона, объясняющих движение любых объектов; Максвелл обнаружил еще четыре закона для всех электромагнитных явлений, а Эйнштейн привел все эти и другие законы к еще более коротким формулам. Все это произошло благодаря решению задачи, которую поставили перед собой эти физики: найти простые объяснения вещам, которые на первый взгляд кажутся очень сложными.

Так почему же научные исследования сознания не совершили такого же прогресса за те же три века? Подозреваю, в основном это произошло потому, что большинство психологов пытались подражать физикам и тоже искать простые решения вопросов, касающихся психических процессов. Однако эта стратегия так и не помогла им сформулировать компактный набор законов, которые хоть сколько-нибудь детально объясняли бы человеческое мышление. Так что эта книга ставит перед собой противоположную задачу: найти более сложные способы обрисовать психические процессы, которые на первый взгляд кажутся простыми!

Этот подход может показаться абсурдным ученому, которого научили верить утверждениям вроде «Никогда не стоит рассматривать гипотезу, в которой имеется больше предположений, чем необходимо». Но еще хуже поступать противоположным образом — как в случае, когда мы используем «психологические слова», которые по большей части скрывают то, что пытаются описать. Например, в следующем предложении каждое словосочетание маскирует сложность его содержания:

Вы смотрите на предмет и видите, что это.

Слово «смотрите» сразу исключает вопросы о системах, которые выбирают, как именно вы двигаете глазными яблоками. Слово «предмет» отвлекает ваше внимание от вопроса о том, как ваши органы зрения вычленяют из окружающей среды различные пятна, цвета и формы, после чего относят их к разным «предметам». И сходным образом слова «видите, что это» удерживают вас от вопросов о том, как это распознавание связано с другими вещами, которые вы видели в прошлом.

То же самое касается большей части распространенных слов, которые мы используем при попытке описать происходящие в сознании процессы — как, например, когда говорим: «Думаю, что понимаю, о чем ты говоришь». Возможно, самый вопиющий пример — это использование слов вроде «ты» и «я», потому что мы все выросли на следующей сказке:

Нас всех постоянно контролируют могучие существа, скрытые внутри нашего разума, которые чувствуют, думают и принимают важные решения за нас. Мы зовем их «самости» и «личности» и верим, что они всегда неизменны, как бы ни менялись наши жизни.

Эта концепция «самости» очень полезна в повседневных социальных ситуациях. Но она мешает нашим попыткам размышлять о собственном сознании и о том, как оно функционирует, ведь когда мы спрашиваем, что делают «самости», то все время получаем один и тот же ответ:

Твоя «самость» видит мир, используя твои органы чувств. Затем она сохраняет то, чему научилась, в твоей памяти. Она генерирует все твои желания и цели — а затем решает все твои проблемы, используя твой «интеллект».

«Самость» контролирует сознание человека

Что влечет нас к этой странной идее — что мы не принимаем решения сами, а делегируем их какой-то другой сущности? Вот несколько возможных причин, по которым сознанию может показаться привлекательным подобный вымысел:

Детский психолог: В детстве вас учили различать разных «личностей» в вашем окружении. Позже вы пришли к выводу, что вы тоже одна из таких «личностей», — но, возможно, решили, что эта «личность» живет внутри вас.

Психотерапевт: Легенда о «самости» помогает воспринимать жизнь как приятный опыт, скрывая, насколько нас контролируют всевозможные бессознательные, противоречащие друг другу цели.

Практичный человек: Этот образ усиливает нашу работоспособность, в то время как более близкие к истине концепции могли бы замедлить нашу функциональность. Слишком много времени уходило бы у разума, постоянно находящегося в работе, на беспрерывное осознание всего и вся.

И все же, притом что концепция «личности» имеет свои практические преимущества, она не помогает нам понять себя, потому что не предусматривает более мелких деталей, которыми мы могли бы воспользоваться, строя теории о том, что мы из себя представляем. Представление о себе как о чем-то едином и неделимом не дает вам никаких подсказок для решения следующих вопросов:

Чем определяются темы, над которыми я размышляю?

Как я выбираю каждое следующее действие?

Как мне решить эту сложную задачу?

Вместо этого концепция «самости» предлагает только такие бесполезные ответы, как:

Мое «Я» решает, над чем размышлять.

Мое «Я» решает, каким будет следующее действие.

Мне нужно попробовать заставить «себя» приняться за работу.

Когда бы мы ни задумывались над своим сознанием, чем проще вопросы, которые мы задаем, тем сложнее кажется найти на них ответы. Когда нам задают вопросы о сложных физических задачах, например: «Как построить дом?», мы можем практически мгновенно ответить: «Сделайте сначала фундамент, а затем постройте стены и крышу». Однако гораздо сложнее найти ответы на вопросы, которые кажутся более простыми, например:

Как вы распознаете вещи, которые видите?

Как вы понимаете, что означает слово?

Почему удовольствие вам нравится больше, чем боль?

Конечно, на самом деле эти вопросы вовсе не просты. Чтобы «увидеть» объект или «сказать» слово, необходимо задействовать сотни разных участков мозга, каждый из которых производит весьма сложную работу. Так почему же мы не чувствуем этой сложности? Потому что большая часть этой работы проводится в участках, внутренние процессы которых скрыты от остального мозга.

В конце этой книги мы вернемся к рассмотрению концепций «самости» и «личности» — и придем к выводу, что то, что мы называем «Я», на самом деле представляет собой сложную структуру, которую каждый из нас строит для многоцелевого использования.

Каждый раз, когда вы думаете о «себе», вы переключаетесь между огромным количеством моделей, каждая из которых служит репрезентацией определенных аспектов вашего сознания, призванной ответить на некий вопрос о вас.

1.3. Настроения и эмоции

Уильям Джеймс: Если задаться целью поименовать все, что гнездится в человеческом сердце, а ведь каждая человеческая раса нашла имена для тех оттенков чувств, которыми пренебрегли другие расы… будут возможны все сочетания, в зависимости от того, сей ли характер или иной мы возьмем за основу. Единственный вопрос, который останется: какое именно сочетание будет полней всего служить нашей цели? [Джеймс, 1890].

Иногда человек оказывается в состоянии, когда ему все представляется ярким и радостным, хотя внешние условия никак не изменились. В другую пору все приносит меньше удовольствия: мир кажется темным и мрачным, и друзья жалуются, что вы кажетесь подавленным. Почему у нас бывают такие состояния, — или настроения, или чувства, или расположения — и что именно вызывает такой странный эффект? Вот несколько фраз, которые можно найти в словарных статьях, дающих определение эмоциям.

Субъективное переживание сильного чувства.

Состояние психической ажитации или волнения.

Психическая реакция, затрагивающая состояние тела человека.

Скорее субъективная, чем сознательная привязанность.

Части сознания, которые включают в себя чувства.

Иррациональный аспект рассуждений.

Если бы вы не знали, что такое эмоции, то определенно мало что из этого поняли бы. Что вообще подразумевается под «субъективным» и что такое «сознательная привязанность?» Каким образом «части сознания» «включают» в себя то, что мы называем «чувствами»? Должна ли каждая эмоция включать в себя «волнение»? Почему, когда мы пытаемся определить, что означает «эмоция», возникает столько вопросов?

Причина в том, что «эмоция» — одно из тех самых слов-чемоданов, которые мы используем, чтобы скрыть сложность очень большого разнообразия явлений, взаимоотношений между которыми до сих пор до конца не понимаем. Вот лишь малая часть из сотен терминов, которые мы используем для описания психических состояний:

Азарт, алчность, аппетит, беззащитность, безмятежность, безразличие, безысходность, беспокойство, бессилие, бережность, бешенство, благодарность, благосклонность, блаженство, бодрость, боль, брезгливость, веселье, вдохновение, вина, влечение, возбуждение, возмущение, волнение, восторг, восхищение, враждебность, высокомерие, вялость, гадливость, гнев, голод, гордость, горе, горечь, грусть, досада и т. д.

Каждый раз, когда у вас меняется психическое состояние, вы пытаетесь использовать эти слова, обозначающие эмоции, чтобы описать новое, — но, как правило, каждое такое слово можно отнести к большому спектру состояний. Многие исследователи всю жизнь занимаются классификацией наших психических состояний, распределяя такие термины, как «чувство», «темперамент», «нрав» и «настроение» по аккуратным таблицам или диаграммам, но что такое «мука» — чувство или настроение? А «уныние» — это тип темперамента? Никому не под силу вполне урегулировать использование этих терминов, потому что разные традиции по-разному проводят границы, а разные люди по-разному описывают свои психические состояния. Сколько читателей может с уверенностью утверждать, как именно переживаются следующие чувства?^[6]

Горе об умершем ребенке.

Страх, что войны никогда не прекратятся.

Радость после победы на выборах.

Радостная взбудораженность в ожидании прибытия возлюбленного.

Ужас, когда машина теряет управление на полной скорости.

Радость наблюдения за играющим ребенком.

Паника от пребывания в замкнутом пространстве.

В повседневной жизни мы ожидаем от наших друзей понимания того, что мы имеем в виду, когда говорим об «удовольствии» или «страхе», но я подозреваю, что попытки придать этим старым словам бо́льшую точность скорее мешают, чем помогают строить теории о том, как функционирует человеческий разум. Поэтому эта книга пойдет другим путем и будет рассматривать каждое психическое состояние как результат работы множества маленьких процессов.

1.4. Эмоции младенцев

Чарльз Дарвин: Маленькие дети, испытывая даже самую слабую боль, умеренный голод или дискомфорт, реагируют на них яростным и продолжительным плачем. В процессе глаза у них крепко зажмурены, так что кожа вокруг них собирается в складки, а лоб нахмурен. Рот широко открыт, губы вывернуты в определенной манере, придающей им четырехугольную форму, при этом в большей или меньшей степени обнажены десны или зубы [Дарвин, 1872].

Только что, казалось, ваш ребенок был в полном порядке — но вдруг он начинает беспокойно дергать ручками и ножками. Затем вы наблюдаете, как пресекается его дыхание, — и вот уже воздух наполнен воплями. Что с ребенком — он голодный, мокрый или хочет спать? В чем бы ни заключалась проблема, эти крики заставляют вас прийти ребенку на помощь — и, как только вы находите решение, все возвращается в норму. Однако в процессе поисков решения вы нервничаете и расстраиваетесь. Если плачет ваша подруга, вы всегда можете спросить, что случилось, но в случае, когда резко меняется настроение у младенца, вам не с кем наладить коммуникацию.

Конечно, я не хочу сказать, что у младенцев нет «личности». Вскоре после рождения ребенка вы обычно уже чувствуете, что он реагирует на определенные стимулы быстрее или медленнее других или кажется более терпеливым, или раздражительным, или даже более склонным к исследованию окружающего мира. Некоторые из этих свойств могут со временем измениться, но другие останутся с ним на всю жизнь. Тем не менее нам все равно приходится спрашивать себя: что именно может заставить младенца в течение нескольких секунд сменить спокойствие на гнев?

Чтобы ответить на подобный вопрос, нужна теория о механизмах младенческого поведения. Давайте представим себе, что кто-то попросил вас создать искусственное животное. Вы можете начать с составления списка задач, которые вашему роботу-животному необходимо уметь решать. Возможно, он должен уметь находить запчасти и чинить самого себя. Возможно, он должен уметь защищаться в случае нападения. Возможно, ему нужно будет поддерживать на нужном уровне температуру тела. А может, вы даже захотите наградить его умением заводить полезных друзей. Составив этот список, вы можете дать инженерам задание создать отдельную машину для каждого инстинкта и включить их все в единую «телесную коробку».

Что окажется внутри такой машины инстинктов? Каждой из них нужно три вида ресурсов: способы распознавать ситуации, знания о том, как на них реагировать, и мышцы или механизмы, чтобы осуществлять нужные действия.

Что попадет в раздел «знаний»? Давайте начнем с простейшего случая: представим, что мы заранее знаем все ситуации, с которыми столкнется наш робот. Нам нужно составить каталог простейших правил: «если — действуй», где «если» описывает одну из этих ситуаций, а «действуй» — соответствующее действие. Давайте назовем этот механизм «Машина основанных на правиле реакций».

Если тебе жарко, переместись в тень.

Если ты испытываешь голод, найди еду.

Если ты сталкиваешься с угрозой, найди средства защиты.

Любой детеныш животного от рождения уже знает множество подобных «если — действуй». Например, каждый человеческий детеныш рождается со способностью поддерживать температуру тела: в жаркую погоду он будет часто дышать, потеть, вытягиваться, у него будут расширяться сосуды (это явление называется «вазодилатация»). На морозе он может ежиться и поджимать конечности, сосуды будут сужаться («вазоконстрикция»), метаболизм ускорится, вырабатывая дополнительное тепло. Позже, вырастая, мы учимся также методам изменения внешних условий.

Если слишком холодно, включи обогреватель.

Если в комнате жарко, открой окно.

Если слишком много солнечного света, задерни занавески.

Было бы слишком наивно пытаться описать разум как всего лишь набор правил «если — действуй». Однако великий психолог Николас Тинберген, изучавший поведение животных, в своей книге The Study of Instinct («Изучение инстинкта»)^[7] продемонстрировал, что подобные правила в определенных комбинациях отвечают за значительное количество самых разных действий животных.

Приведенная ниже схема демонстрирует лишь часть структуры, которую Тинберген предложил для объяснения поведения некой рыбы.

Конечно, этого недостаточно для объяснения более высоких уровней мышления человека. Оставшаяся часть этой книги будет посвящена описанию некоторых структур, существующих внутри нашего человеческого разума.

1.5. Разум как облако ресурсов

Мы все знаем, как можно описать разум со стороны, с помощью взгляда извне:

Альберт Эйнштейн: Всеми нашими действиями руководят импульсы, и эти импульсы так хорошо организованы, что наши действия в целом служат самосохранению как отдельных людей, так и всей расы. Голод, любовь, боль, страх — вот некоторые из внутренних факторов, которые управляют человеческим инстинктом самосохранения. В то же время мы — существа социальные, и нашими отношениями с себе подобными руководят такие чувства, как сочувствие, гордость, ненависть, жажда власти, жалость и т. д. [Эйнштейн, 1950].

В этой книге я попытаюсь показать, как подобные состояния разума могут возникать в механизмах, находящихся внутри нашего мозга. Конечно, многие мыслители все еще настаивают на том, что механизмы не способны ни чувствовать, ни говорить.

Читатель: Машина может делать только то, на что она запрограммирована, и делает она это без мыслей и чувств. Ни одна машина не может устать, или заскучать, или вообще испытать какую-либо эмоцию. Она не может обеспокоиться, если что-то пойдет не так, — и даже когда исправит ситуацию, не сможет почувствовать удовольствие, радость или восторг от этого успеха.

Виталист: Это потому, что у машин нет духа или души, нет желаний, амбиций или целей. Именно поэтому машина останавливается, когда механизм портится, а человек в этом случае все равно будет пытаться что-то сделать. Конечно, это все из-за того, что мы сделаны из разных материалов: люди живые, а машины нет.

В прежние времена такие взгляды считались здравыми, потому что нам казалось, что живые существа очень сильно отличаются от машин, — и никто не мог даже предположить, что физические объекты способны чувствовать или думать. Но как только мы разработали более совершенный научный инструментарий (и лучше освоили саму науку), «жизнь» стала менее таинственным явлением — ведь мы смогли воочию убедиться, что каждая живая клетка состоит из сотен разновидностей механизмов.

Холист: Да, но многие все еще считают, что процесс рождения живого существа из механических явлений всегда будет представлять собой загадку. Ведь не можем же мы быть всего лишь суммой частей, из которых состоим.

Когда-то подобное мнение тоже было популярным, но в наши дни широко признано, что поведение сложной машины зависит только от того, как взаимодействуют ее части, но не от «материала», из которого они сделаны (за исключением скорости и силы). Другими словами, все, что имеет значение, — это как каждая часть реагирует на другую часть, с которой она взаимосвязана. Например, мы можем создать компьютеры, которые будут вести себя одинаково, как из электронных чипов, так и из деревянных и бумажных деталей, — при условии, что их запчасти будут выполнять одни и те же процессы по отношению к другим запчастям.

Это подсказывает нам, что стоит заменить старые вопросы типа «Что такое эмоции и мысли?» на более конструктивные: «Какие процессы включает в себя каждая эмоция?» и «Как машины могут их выполнять?». Для этого мы начнем с простой идеи: мозг содержит множество отделов, каждый из которых выполняет свою работу. Какие-то распознают различные закономерности, другие контролируют различные действия, третьи могут формулировать цели или планы, а четвертые содержат большие комплексы знаний. Это позволяет предположить, что можно представить разум (или мозг) как собрание множества различных «ресурсов».

Поначалу это описание может показаться безнадежно расплывчатым — и в то же время оно поможет нам начать понимать, каким образом разум производит масштабные перемены в собственном состоянии. Например, состояние, которое мы называем «гнев», может включиться, если мы активируем ресурсы, помогающие нам реагировать с большей скоростью и силой, и одновременно подавим другие ресурсы, которые обычно диктуют благоразумное поведение. Таким образом, обычная осторожность сменится агрессивностью, а эмпатия — враждебностью, что заставит вас отбросить осторожность. Все это может быть результатом включения ресурса, обозначенного ярлыком «Гнев» на этой диаграмме:

Похожим образом мы можем объяснить такие состояния, как Голод и Страх, — и даже понять, что произошло с Чарльзом в его состоянии острой влюбленности: возможно, этот процесс выключил ресурсы, с помощью которых он обычно распознавал недостатки других людей, а также вытеснил некоторые из его обычных целей теми, которые, как ему казалось, были угодны Селии. А теперь давайте обобщим:

Каждое из наших основных «эмоциональных состояний» вызывается включением определенных ресурсов и одновременным выключением других — в результате чего изменяется то, как себя ведет наш мозг.

И хотя это может показаться чрезмерным упрощением, мы возведем его в следующую степень, потому что рассматриваем эмоциональные состояния как определенные типы способов думать.

Каждый из наших основных способов думать вызывается включением определенных ресурсов и одновременным выключением других — в результате чего изменяется то, как себя ведет наш мозг.

Другими словами, мы рассмотрим разум как продукт взаимодействия различных наборов ресурсов, и большая часть этой книги будет посвящена описанию того, как некоторые из этих психических ресурсов могут работать. Сначала, наверное, нам стоит задаться вопросом о том, откуда эти ресурсы берутся. Очевидно, что некоторые из них, должно быть, эволюционировали, чтобы способствовать развитию функций, которые поддерживают жизнь в наших телах. Гнев и Страх эволюционировали для того, чтобы защитить нас, Голод — чтобы обеспечить питанием, и многие из подобных «основных инстинктов» вмонтированы в наш мозг уже при рождении. Другие ресурсы появляются позже, как, например, те, что связаны с размножением (что зачастую включает в себя рискованное поведение). Некоторые из них также являются врожденными, но другими нужно овладевать в процессе обучения.

Другой вопрос может коснуться того, что происходит, когда несколько наборов включено вместе — и в итоге некоторые ресурсы оказываются одновременно в возбужденном и подавленном состоянии? Это может привести к психическим состояниям, которые мы характеризуем как «смешанные чувства». Например, когда человек сталкивается с чем-то, определяемым им как Угроза, у него могут включиться одновременно Гнев и Страх.

Затем, если человек постарается одновременно напасть и отступить, это может привести к параличу — и иногда такое действительно происходит с некоторыми животными. Однако человеческое сознание может выбраться из подобной ловушки, как мы увидим в дальнейших главах, благодаря использованию ресурсов «высшего уровня», которые помогают уладить подобные конфликты.

Ученик: Мне было бы проще понять, о чем вы говорите, если бы вы уточнили, что вы имеете в виду под словом «ресурс». Получается, каждый ресурс занимает в мозгу отдельное, определенное место?

Я использую слово «ресурс» размыто, ссылаясь на все виды структур и процессов, от восприятия и действия до способов думать о различных комплексах знаний. Некоторые из этих функций исполняются в определенных узкоспециальных участках мозга, другие используют гораздо более крупные области. В дальнейших разделах этой книги мы обсудим, какие виды ресурсов, скорее всего, поддерживает наш мозг, а также возможную организацию их функций. Однако я не стану пытаться идентифицировать местонахождение того или иного ресурса — ведь исследования в этой области продвигаются так быстро, что любое сегодняшнее заключение через несколько недель может быть признано устаревшим.

Как мы уже сказали, понятие «облако ресурсов» может поначалу показаться слишком размытым, но постепенно, выработав более подробное представление о том, как ведут себя наши психические ресурсы, мы заменим его более детальными теориями организации ресурсов.

Ученик: Вы говорите об эмоциональных состояниях человека как о способах думать, но это слишком холодно и абстрактно — слишком интеллектуально, скучно и механистично. Кроме того, это не объясняет удовольствия и страдания, которые мы испытываем, когда добиваемся успеха или терпим поражение, а также восхищения, охватывающего нас при знакомстве с гениальными произведениями искусства.

Ребекка Уэст: «Выходя за рамки сознания, этот процесс становится важным физическим явлением. Кровь отливает от конечностей и приливает обратно к сердцу, которое на время словно становится огромным храмом, колонны которого подсвечены несколькими способами. Кровь возвращается к конечностям, разбавленная субстанцией более быстрой, легкой и электризованной, чем она сама»^[8] [Уэст, 1928].

Многие популярные представления об эмоциях подчеркивают, в какой степени явления, происходящие в разных частях тела, могут влиять на психические процессы — как происходит, когда мы испытываем мышечное напряжение.

Однако мозг не отслеживает напрямую это напряжение, он только реагирует на сигналы, приходящие через нервы, которые соединяют его с этими частями тела. Таким образом, хотя наше тело и может играть важную роль, мы также можем считать, что оно состоит из ресурсов, которыми пользуется мозг.

Оставшаяся часть книги сосредоточится на разных видах психических ресурсов, а также на том, что́ каждый ресурс может делать — и как влиять на связанные с ним другие ресурсы. Мы начнем с более подробного рассмотрения процессов, которые включают и выключают ресурсы.

Ученик: Зачем вообще выключать ресурсы? Почему они не могут работать все время?

И в самом деле, некоторые ресурсы никогда не отключатся — как, например, те, что отвечают за такие жизненно важные функции, как дыхание, равновесие и положение тела, а также те, что должны постоянно отслеживать определенные виды опасностей. Однако, если бы все наши ресурсы постоянно находились в активном состоянии, они слишком часто вступали бы между собой в конфликты. Нельзя заставить тело одновременно идти и бежать — или двигаться сразу в двух противоположных направлениях. Поэтому, когда у человека несколько целей, которые противоречат друг другу, потому что борются за одни и те же ресурсы (или за время, или за пространство, или за энергию), должны включаться процессы, управляющие этими ресурсами.

Примерно то же самое происходит в человеческом обществе: когда у разных людей есть разные цели, они могут попытаться достичь их по отдельности. Но если это приводит к серьезному конфликту или напрасной трате сил, общества зачастую создают многоуровневые системы управления, в которых (по крайней мере теоретически) каждый управленец контролирует действия определенных индивидуумов, стоящих на ступеньку ниже.

Однако, как в сообществах, так и в мозгу, очень немногие «руководители высшего звена» достаточно хорошо разбираются во всех деталях системы, чтобы определить, что должно быть сделано, — поэтому большая часть их «власти» на самом деле состоит в выборе из вариантов, предложенных подчиненными. Таким образом, по сути, эти менеджеры низшего звена будут, по крайней мере временно, контролировать или ограничивать действия своего начальства.

Например, каждый раз, когда какой-то психический процесс оказывается в тупике, возникает необходимость либо разделить проблему на меньшие части, либо вспомнить, как похожая проблема была решена в прошлом, либо осуществить разные подходы, а затем сравнить их и оценить, либо попытаться научиться чему-то совершенно новому. Это означает, что процессы низшего уровня в вашем сознании могут задействовать столько процессов высшего уровня, что вы в итоге окажетесь в другом психическом состоянии, а это уже можно приравнять к другому способу думать.

А что, если человек попытается использовать одновременно несколько способов думать? Тогда этим способам придется сражаться за ресурсы — и тут потребуется высокоуровневое управление, которое выберет один вариант действий. Это может объяснить, почему наши мысли, как нам кажется, текут последовательно и поэтапно, хотя каждый такой этап наверняка основан на множестве подобных процессов, происходящих одновременно. В любом случае эта книга продемонстрирует, что этот так называемый поток сознания на самом деле иллюзия, которая появляется из-за того, что каждая высокоуровневая часть нашего сознания практически не имеет доступа к знанию о том, что происходит в большинстве других процессов.

Читатель: Это представление о переключении наборов ресурсов может объяснить поведение насекомого или рыбы, но Чарльз не переключается, судя по вашим описаниям, на совершенно другое психическое состояние. Он просто меняет некоторые аспекты своего поведения.

Я совершенно с этим согласен. Однако любая теория должна начинаться с сильно упрощенной своей версии — и даже эта простая модель может помочь объяснить, почему человеческие младенцы так часто демонстрируют резкие перемены в состоянии. Но, конечно, со временем дети разрабатывают более гибкие технологии, с помощью которых ресурсы могут возбуждаться или подавляться в разной степени, что дает возможность эффективнее комбинировать старые инстинкты и новые способы думать. Их может быть активировано сразу несколько — и именно в таких случаях мы говорим о «смешанных чувствах».

1.6. Эмоции взрослых людей

Природа к человеку не строга.

Ребенку погремушка дорога,

Игрою той же юность занята,

Хотя немного громче пустота;

А взрослый любит золотом играть,

И четки старец рад перебирать;

Так тешатся на поприще земном,

Пока не засыпают вечным сном^[9].

Александр Поуп

Когда ребенок из-за чего-то расстраивается, эта перемена кажется быстрой, как щелчок выключателя.

Маленький ребенок не может выносить разочарования и реагирует на каждую проблему, впадая в истерику. Он не может сделать очередной вдох и выгибает спину до такой степени, что упирается теменем в поверхность, на которой лежит.

Но уже через несколько недель его поведение изменилось.

Истерика больше не захватывает его полностью, и он уже может найти способ защитить себя, чувствуя приближение подобного приступа: он бежит к какой-нибудь мягкой поверхности, чтобы пережить судорогу на ней.

Это позволяет предположить, что в мозгу маленького ребенка может работать в один и тот же момент только один «способ думать», поэтому в нем почти не возникает конфликтов. Однако эти младенческие системы реагирования не в состоянии разрешить конфликты, с которыми мы встречаемся по мере взросления. Это заставило наш человеческий мозг эволюционировать к системам высшего уровня, в которых инстинкты, ранее легко различимые, очень сильно переплетаются друг с другом. Но по мере овладения все новыми способностями мы также овладели новыми способами делать ошибки, поэтому нам также нужно разработать новые способы контролировать себя — а это влечет за собой дальнейшее развитие.

Мы зачастую считаем проблему «сложной», когда уже попробовали несколько способов ее решения, но не добились успеха. Однако недостаточно знать, что вы застряли. У вас больше шансов на успех, если вы распознаете, что встретились с препятствием конкретного вида. Ведь если вы сможете диагностировать тип проблемы, с которым столкнулись, это поможет вам выбрать самый подходящий способ думать. И эта книга выдвигает предположение, что для решения сложных проблем наш мозг переработал древние «машины реакций» в более продвинутые машины, которые мы назовем «Машинами Критиков и Переключателей».

Самые простые версии этих машин — это машины «если — действуй», описанные в разделе 1.4. В них, когда «если» определяет ситуацию в реальном мире, «действуй» реагирует с помощью определенного реального действия. Конечно, это означает, что простые машины «если — действуй» — очень ограниченные и негибкие конструкции.

Однако Критики в машинах Критиков и Переключателей определяют ситуации или проблемы внутри разума. Схожим образом Переключатели в этих машинах не просто выполняют действия во внешнем мире, но могут реагировать на психические препятствия, включая и выключая разные ресурсы и тем самым переключаясь на разные способы думать.

Например, одним таким способом думать будет рассмотрение несколько альтернативных вариантов действий, прежде чем выбрать из них какой-то один. Таким образом взрослый человек, встретившийся с чем-то, что может оказаться угрозой, не просто действует инстинктивно — сначала он может обдумать, стоит ли ему защищаться или нападать, с помощью высокоуровневых стратегий выбирая из перечня возможных действий. Таким образом он может сделать сознательный выбор между тем, какую испытать эмоцию — гнев или страх. Ведь если наиболее разумной стратегией покажется запугивание противника, человек может специально привести себя в состояние гнева, хоть и не всегда осознает это.

Позже мы сделаем еще несколько предположений о том, как могут работать различные способы думать, а также как они у нас появляются. Мы знаем, что в детстве наш мозг проходит множество стадий развития. Дойдя до главы пятой, мы сможем выдвинуть предположение, что это приводит к появлению как минимум шести уровней психических процессов; данная диаграмма суммирует наши основные представления о том, как организован человеческий разум:

Нижний уровень этой диаграммы ассоциируется с самыми базовыми типами инстинктов, которыми наш мозг вооружен от рождения (хотя некоторые их них не сразу проявляются в поведении). Верхние уровни обеспечивают идеи, которые мы приобретаем позже и называем этикой или ценностями. В середине — слои методов, помогающих разбираться со всевозможными проблемами, конфликтами и целями; в основном это то, что мы называем повседневным здравым смыслом. Например, на «сознательном» уровне вы можете рассмотреть несколько возможных действий, затем представить себе последствия каждого — и сравнить эти варианты. После этого на «рефлексивных» уровнях вы можете поразмышлять о том, что уже сделали, попытаться определить, были ли принятые вами решения удачными, и в конце концов начать рефлексировать над тем, соответствовали ли ваши действия установленным вами же для себя идеалам.

Мы все наблюдаем за развитием ценностей и способностей наших детей. И в то же время никто из нас не может вспомнить ранние стадии собственного психического развития! Одна из причин, возможно, заключается в том, что в этот период мы разрабатываем способы сохранять воспоминания — и каждый раз, когда мы переключаемся на новую версию, нам оказывается сложно извлечь (или понять) записи, которые мы делали раньше. Возможно, эти старые воспоминания все еще существуют, но в форме, которую мы больше не можем понять — и поэтому не можем вспомнить, как перешли от использования младенческих наборов реакций к более продвинутым способам думать. Мы так много раз перестроили свой разум, что забыли, как чувствовали себя в младенчестве!

1.7. Каскады эмоций

Чарльз Дарвин: Некоторые привычки гораздо сложнее исправить или изменить, чем другие. Отсюда внутренний конфликт, который мы часто можем наблюдать у животных, когда в дело вступают разные инстинкты — или инстинкт сталкивается с какой-то привычной ситуацией. Например, когда собака бежит за кроликом, получает выговор от хозяина, останавливается, колеблется — и снова бросается в погоню или возвращается, пристыженная, к хозяину. Или когда собака должна выбирать между любовью к щенкам и к своему хозяину — иногда она крадется к щенкам неуверенно, словно отчасти стыдится того, что не сопровождает хозяина [Дарвин, 1871].

Эта глава ставит перед нами вопросы о том, как же у людей получается так часто менять психические состояния. Давайте снова посмотрим на наш первый пример:

Когда наш знакомый влюбляется, может показаться, что кто-то щелкнул выключателем — и запустил новую программу.

Наша модель разума, основанная на Критиках и Переключателях, позволяет предположить, что подобная перемена может случиться, когда определенный «переключатель» активирует определенный набор ресурсов. Таким образом влечение Чарльза к Селии становится все сильнее, потому что некий Переключатель подавил большую часть его Критиков, находящих в людях недостатки.

Психолог: В самом деле, влюбленности иногда поражают человека совершенно неожиданно. Но другие эмоции могут нарастать медленно — и, как правило, в более зрелом возрасте наше настроение меняется менее внезапно. Таким образом, взрослый может обидеться не сразу, зато потом целыми месяцами мрачно размышлять над самым незначительным или воображаемым оскорблением.

Наша двадцатилетняя полосатая кошка практически не демонстрирует никаких признаков человеческой зрелости. Вот только что она была ласковой и искала нашего общества, как уже, задрав хвост, равнодушно уходит. С другой стороны, наша двенадцатилетняя собака почти никогда не уходит, не обернувшись, — словно выказывает при этом сожаление. Настроения кошки проявляются по одному за раз, а у собаки эмоции кажутся более смешанными — и менее подвластными щелчку выключателя.

Так или иначе, любое крупное изменение активных ресурсов в итоге приводит к изменению психического состояния. Подобный процесс может начаться, когда один переключатель ресурса напрямую приводит в состояние возбуждения несколько других:

Затем некоторые из этих активизированных ресурсов могут активировать и другие — и, если каждое изменение влечет за собой пробуждение нескольких следующих, все это может привести к крупномасштабному «каскаду».

Чем дальше распространяется этот процесс, тем сильнее меняется ваше психическое состояние, но, конечно, кардинальных перемен не будет. Когда Чарльз начинает использовать новый способ думать, не все его ресурсы будут заменены — и во многих аспектах он останется прежним человеком. Он по-прежнему сможет видеть, слышать и говорить, но станет воспринимать все по-другому — и сможет выбирать другие темы для обсуждений. Его отношение к некоторым вопросам может измениться, но он по-прежнему будет иметь доступ к большей части общего багажа своих знаний. У него останутся прежние планы и цели, но он станет преследовать и другие, ведь у него изменились приоритеты.

И несмотря на все эти изменения, Чарльз будет настаивать на том, что сохранил свою «личность». В какой степени он будет осознавать, насколько изменилось его психическое состояние? Иногда он вообще не будет замечать никаких перемен, но в других случаях, возможно, задаст себе вопрос вроде: «Почему я сейчас так сильно разозлился?» Однако для того, чтобы ему хотя бы пришло в голову задать такой вопрос, он должен быть снабжен умением рефлексировать над недавними событиями — например, умением распознавать распространение определенных каскадов. В главе четвертой мы обсудим, как это соотносится с процессами, которые мы называем самосознанием, а в главе девятой, в конце этой книги, побольше поговорим о концепциях «самости» и «личности».

1.8. Теории чувств, значений и машин

Читатель: Что такое эмоции и зачем они нам? Как взаимосвязаны эмоции и интеллект?

Когда мы говорим о сознании человека, мы обычно используем слово «эмоции» во множественном числе, но всегда в единственном числе говорим об интеллекте. Однако в этой книге будет показано, что у каждого человека есть множество способов думать и то, что мы называем эмоциональными состояниями, всего лишь разные примеры этих способов. Конечно, мы все выросли под влиянием популярной теории о том, что у нас только один способ думать, который называется логическим или рациональным, но наше мышление может быть окрашено или подвержено какому-либо воздействию так называемых эмоциональных факторов.

Однако концепция рационального мышления неполна, так как логика может помочь нам только сделать выводы из каких-то наших допущений, однако она ничего не говорит о том, какие именно нам следует делать допущения. В разделе 7.4 мы говорим о десяти с лишним способах думать, в которых логика играет лишь незначительную роль, в то время как наша мыслительная сила исходит из умения находить нужные аналогии.

В любом случае вопрос Читателя иллюстрирует слишком распространенную тенденцию делить любое сложное явление на две отдельные, дополняющие друг друга части, в данном случае — на эмоции и интеллект.

Однако в разделе 9.2 мы поспорим о том, что подобные теории о двух частях на самом деле почти никогда не описывают два совершенно разных понятия. Вместо этого большая часть подобных теорий просто берет одно понятие, а затем противопоставляет его всем остальным. Чтобы избежать подобной ошибки, в этой книге будет принят следующий подход: каждый раз, рассматривая сложное явление, постарайтесь разделить его более чем на две части или переключайтесь на другой способ думать!

Читатель: Зачем человеку думать о себе как о всего лишь машине?

В устоявшемся обиходе сравнение человека с машиной может иметь два противоположных значения:

1) У этого человека нет никаких планов, целей или эмоций

или

2) Он бесконечно предан какой-то одной цели или принципу.

Каждое из этих значений предполагает отсутствие человечности, а также некоторого рода ограниченность, потому что бесконечная преданность оборачивается косностью, а отсутствие планов ведет к бесцельному существованию. Однако, если идеи этой книги верны, оба эти значения оказываются устаревшими, потому что мы покажем, как можно построить машину, которая будет не только демонстрировать настойчивость, целеустремленность и находчивость, но и иметь систему сдержек и противовесов, а также возможности к росту путем дальнейшего развития способностей.

Читатель: Но машины не могут чувствовать и воображать. Так что, даже если мы научим их думать, им все равно будет не хватать того ощущения переживания, которое придает значение нашим жизням, разве не так?

У нас есть много слов, придуманных в попытках описать, как мы чувствуем, но наша культура не поощряет нас создавать теории о том, как эти чувства работают. Мы знаем, что гнев заставляет быть более воинственным, а умиротворенные люди с меньшей вероятностью полезут в драку. Но эти слова для обозначения эмоций не указывают на то, каким образом эти эмоции влияют на наши психические состояния.

Совсем по-другому дело обстоит с машинами. Представьте, что ваш автомобиль однажды утром не завелся. Вы обратились к механику, но получили такого рода ответ: «Похоже, что ваша машина не хочет ехать. Возможно, она разозлилась на вас, потому что вы плохо с ней обращались». Безусловно, подобное «психологическое» описание не поможет вам понять причину неполадки. Однако нас почему-то не раздражает, когда люди используют те же слова для описания событий общественной жизни.

Однако если мы хотим разобраться в любой сложной вещи, будь то мозг или автомобиль, нужно выработать эффективные теории о том, как взаимодействуют между собой части внутри этой вещи. Чтобы понять, что может быть не так с машиной, нужно знать достаточно, чтобы предположить, что проблемы могут быть со стартером, или в баке мог закончиться бензин, или от чрезмерного напряжения сломалась какая-то ось, или неполадка в электрической цепи полностью разрядила аккумулятор. Точно так же мы не добьемся многого, если будем рассматривать сознание как «единую самость»: чтобы понять целое, нужно изучить части. Поэтому оставшаяся часть этой книги будет посвящена следующему: для того чтобы понять, допустим, почему состояние гнева ощущается именно так, а не иначе, нужно гораздо более детально представлять себе, как взаимодействуют между собой разные части разума.

Читатель: Если мои психические ресурсы постоянно так меняются, что же дает мне ощущение, что я — все еще та же самая личность, каким бы я ни был радостным или сердитым?

Почему все мы верим в то, что где-то в глубине каждого сознания существует эта неделимая сущность, которая испытывает все наши чувства и мысли? Вот сжатое изложение того, как я попытаюсь ответить на этот вопрос в главе девятой:

На ранних стадиях нашего развития процессы низшего уровня решают множество мелких проблем, и при этом мы не осознаем, как это происходит. Однако, когда в нас развиваются более высокие уровни мышления, эти более высокие уровни начинают находить новые способы представить некоторые аспекты наших недавних мыслей. В конце концов они складываются в наборы «моделей» наших личностей.

Простая модель личности человека (психическая модель) может состоять всего лишь из нескольких частей, соединенных так, как это изображено ниже.

Однако каждый человек постепенно выстраивает более сложные модели себя (self-models), включающие представления, например, о наших социальных взаимодействиях, физических навыках, отношении к деньгам и т. д. Поэтому в главе девятой объясняется, что, когда мы говорим «Я», мы ссылаемся не на что-то единое, а на огромную сеть различных моделей, которые представляют разные аспекты этого «Я».

В обычном представлении о том, как развивается человеческое сознание, каждый ребенок начинает с инстинктивных реакций, но затем проходит стадии психического роста, которые порождают дополнительные слои различных процессов. Изначальные инстинкты могут при этом сохраняться, но эти новые ресурсы получают все более сильный контроль над нами, пока мы не начинаем думать о своих мотивах и целях и, возможно, пытаться их изменить или переформулировать.

Но как нам понять, какие новые цели следует поставить? Ни один младенец не обладает достаточной мудростью, чтобы самостоятельно сделать подобный выбор. Поэтому в главе второй мы обсудим, что наш мозг наверняка снабжен определенными механизмами, которые каким-то образом помогают нам перенимать цели и идеи у наших родителей и друзей!

Примечания

2

Сонет 141, перевод С. Я. Маршака.

3

Адаптированная цитата из комедийной программы Барри Тука и Марти Фельдмана: см. Barry Took, Marty Feldman, Round the Horne, BBC Radio, 1966.

4

Перевод С. Я. Маршака.

5

«Опыт о человеке», перевод В. Микушевича.

6

Адаптированная цитата из заметки Аарона Слоумана, см. comp.ai.philosophy, 16/5/1995.

7

Адаптированная цитата из Тинбергена (1951).

8

Ребекка Уэст, см. Rebecca West, The Strange Necessity, Doubleday, 1928, ISBN 0781270626.

9

«Опыт о человеке», перевод В. Микушевича.