Алгоритм судного дня. Как Facebook, Google, Microsoft, Apple и другие корпорации создают искусственный суперинтеллект и почему это приведет к катастрофе

Эми Уэбб, 2019

Искусственный интеллект, несмотря на название, творение рук человеческих. А ИИ, разработанный крупнейшими международными корпорациями, такими как Google и Facebook, – это еще и мощнейший инструмент воздействия на людей и общество. Знаете ли вы, как он работает и что лежит в его основе? А задумываетесь ли вы, что будет, если этот всемогущий ИИ кто-то пожелает использовать во зло? Книга о будущем человечества в эпоху глобального корпоративного супер-ИИ от генерального директора Future Today. В формате PDF A4 сохранен издательский макет книги.

Моему отцу, Дону Уэббу, умнейшему из известных мне людей

© Вантух К.А., перевод на русский язык, 2022

© Оформление. ООО «Издательство «Эксмо», 2022

Введение

Пока не поздно

Искусственный интеллект уже среди нас, но выглядит при этом совсем не так, как мы предполагали. Он незаметен — и в то же время лежит в основе финансовых систем, электрических сетей и цепочек поставок розничной торговли. Это его невидимая рука указывает нам дорогу, когда мы ведем машину, решает за нас, какое слово мы собирались набрать на клавиатуре, подсказывает, что нам следует покупать, смотреть, слушать, читать. Именно на этой технологии сейчас строится наше будущее, поскольку она проникает во все аспекты нашей жизни: здравоохранение, жилищное строительство, сельское хозяйство, транспорт, спорт и даже в любовь, секс и смерть.

Искусственный интеллект (ИИ) — не очередная тенденция в среде высоких технологий, не модное словечко и не временное увлечение. Это третья эпоха в развитии вычислительной техники. Мы оказались свидетелями радикальных перемен и в этом смысле похожи на современников промышленной революции. Вначале никто не замечал никаких изменений, ведь в сравнении с продолжительностью их жизни они происходили постепенно. Когда же все кончилось, мир уже выглядел иначе: главными сверхдержавами стали Великобритания и Соединенные Штаты, а их индустриальная, военная и политическая мощь оказалась достаточной, чтобы задать облик следующего столетия.

Сейчас все и повсюду бесконечно обсуждают ИИ и его значение для будущего каждого из нас. Обычные темы вам известны: роботы отберут у нас рабочие места, роботы перевернут экономику с ног на голову, роботы в конце концов станут убивать людей. Замените слово «машина» словом «робот», и мы вернемся к дебатам, которые велись 200 лет назад. Естественно размышлять о последствиях новых технологий для наших рабочих мест и нашей способности зарабатывать деньги, поскольку мы уже видели революционные перемены в очень большом количестве отраслей. Понятно, что, думая об ИИ, мы неизбежно вспоминаем компьютер HAL 9000 из фильма «Космическая одиссея 2001 года», WOPR из «Военных игр», Скайнет из «Терминатора», Рози из «Джетсонов», Делорес из Westworld или любые другие антропоморфные воплощения ИИ из популярной культуры. Тем, кто не занят непосредственно в сфере ИИ, будущее представляется фантастическим или пугающим, причем в обоих случаях — в силу неверных причин.

Те, кто не участвует в каждодневной работе над ИИ, не способны корректно считывать контуры будущего, поэтому когда обычная публика пытается обсуждать ИИ, то либо говорит о роботах-завоевателях, которых видела в кино, либо относится к теме с маниакальным безудержным оптимизмом. Подобное отсутствие промежуточных тонов — своего рода проблема разработки ИИ: одни резко преувеличивают пользу от него, другие видят в нем непобедимое оружие.

Я это знаю, поскольку большую часть прошлого десятилетия посвятила исследованию ИИ и встречам с людьми и организациями как внутри, так и вовне этой экосистемы. Я выступала в качестве консультанта многих компаний, находящихся в самом центре работ по ИИ, включая Microsoft и IBM. Я встречалась с людьми, которые не входят в подобные фирмы, но обладают существенными финансовыми интересами в них: венчурными капиталистами, управляющими частными инвестиционными фондами, высокопоставленными должностными лицами в Министерстве обороны и Государственном департаменте, различными законодателями, считающими, что единственная перспектива отрасли — это регулирование со стороны государства. Кроме того, у меня были сотни встреч с академическими учеными и инженерами, работающими «в поле». Среди людей, непосредственно занятых в области ИИ, почти не встретишь ни крайних апокалиптических, ни утопических взглядов на будущее, которые нам, как правило, преподносят в новостях.

Причина заключается в том, что, подобно ученым, работающим в любой области науки, те, кто действительно создают будущее ИИ, стараются сдерживать ожидания. Выдающиеся, этапные достижения требуют терпения, времени, денег и упорства — а мы имеем привычку об этом забывать. Они настойчиво, шаг за шагом, работают над задачами невероятной сложности, зачастую практически не продвигаясь вперед. Эти люди обладают живым умом, хорошо знают жизнь и, по моему опыту, сочувственны и внимательны.

Практически все они работают в девяти технологических гигантах, создающих ИИ ради лучшего будущего для всех нас: это Google, Amazon, Apple, IBM, Microsoft и Facebook в Соединенных Штатах и Baidu, Alibaba и Tencent в Китае. Я твердо верю, что руководители этих девяти компаний руководствуются глубоким чувством альтруизма и желанием служить высшему благу; они ясно видят, как ИИ может улучшить здоровье и долголетие, решить надвигающиеся на нас проблемы с климатом, вывести миллионы людей из бедности. Мы уже видим вполне заметные положительные результаты их работы во всех отраслях человеческой деятельности и повседневной жизни.

Проблема заключается в том, что внешние силы, оказывающие давление на девять технологических гигантов — и, следовательно, на всех работающих внутри экосистемы, — имеют свои планы, идущие вразрез с их вполне пристойными намерениями относительно нашего будущего. Обвинить можно многих и во многом.

В Соединенных Штатах безжалостные требования рынка и нереальные ожидания, предъявляемые к новым продуктам, сделали невозможным долгосрочное планирование. Мы ждем от Google, Amazon, Apple, Facebook, Microsoft и IBM объявлений о новаторских продуктах в области ИИ на каждой ежегодной конференции, как будто прорывы в области инженерии могут происходить по расписанию. Если какая-либо из этих компаний не предложит нам более впечатляющего продукта, чем в прошлом году, мы решим, что они потеряли форму. Или спросим себя, не прошла ли эпоха ИИ. Или усомнимся в компетентности их руководства. Ни разу мы не давали им возможности спокойно поработать несколько лет, не требуя удивлять нас через регулярные промежутки времени. Упаси бог, какая-нибудь компания из списка решит не делать официальных объявлений несколько месяцев — мы решим, что молчание указывает на наличие тайного проекта, разумеется, способного только огорчить нас.

У правительства Соединенных Штатов нет генеральной стратегии как в отношении ИИ, так и в отношении нашего будущего на отдаленную перспективу. Поэтому вместо создания скоординированной общенациональной стратегии — со специальной организационной структурой внутри правительства, укреплением международных альянсов, подготовкой наших вооруженных сил к будущему характеру военных действий — Соединенные Штаты просто выставили ИИ за порог политики. Вместо того чтобы финансировать основные исследования по ИИ, федеральные власти фактически передали научно-исследовательскую работу в этой области на аутсорсинг коммерческому сектору и Уолл-стрит. Вместо того чтобы видеть в ИИ возможность создавать новые рабочие места и стимулировать экономический рост, американские законодатели обращают внимание только на повсеместную безработицу в технологической отрасли. В свою очередь законодатели склонны выдвигать всевозможные обвинения в адрес американских технологических гигантов, в то время как могли бы пригласить их к участию в принятии решений на самых высоких уровнях стратегического планирования в правительстве (в их теперешнем виде). У наших пионеров ИИ нет выбора, кроме как непрерывно конкурировать друг с другом за непосредственную, доверительную связь с вами, со мной, с нашими школами, больницами, городами, коммерческими предприятиями.

Наша проблема в Соединенных Штатах заключается в трагическом неумении заглядывать в будущее. Мы сосредоточены на сиюминутном, планируем не больше, чем на несколько лет вперед. Подобное мышление предпочитает сиюминутные же технологические достижения, но избавляет нас от необходимости думать, какими путями может пойти развитие технологии, как предсказывать результаты и последствия наших действий больше чем на один ход. Мы слишком легко забываем о том, что наши сегодняшние действия могут иметь серьезные последствия. Неудивительно, что мы по существу отдали строительство нашего будущего на аутсорсинг шести частным компаниям, чьи ценные бумаги свободно обращаются на бирже, чьи достижения впечатляют, но чьи финансовые интересы далеко не всегда совпадают с тем, что было бы предпочтительно для наших личных свобод, сообществ и демократических идеалов.

В то же время направление разработки ИИ в Китае диктуется грандиозными амбициями государства. Китай спешно закладывает фундамент, чтобы в будущем превратиться в бесспорного мирового гегемона в области ИИ. Китайское руководство представило свой план разработки ИИ следующего поколения, цель которого — добиться мирового лидерства в ИИ к 2030 году со стоимостью отрасли внутри страны как минимум 150 млрд долларов^[1]. Согласно этому плану, часть фонда национального благосостояния направляется на создание новых лабораторий и стартапов, а также учебных заведений, которые должны будут вырастить следующее поколение талантов именно для ИИ^[2]. В октябре того же года президент Китая Си Цзиньпин объявил о своих планах в отношении ИИ и больших данных в подробной речи перед тысячами партийных функционеров. ИИ, сказал он, поможет Китаю превратиться в одну из самых передовых экономик мира. Уже сейчас объем китайской экономики в 30 раз больше, чем был три десятилетия назад. Baidu, Tencent и Alibaba, будучи гигантскими компаниями, чьи бумаги обращаются на бирже, все равно обязаны подчиняться воле Пекина, что типично для крупного китайского бизнеса.

Огромное население Китая — 1,4 млрд человек — означает, что в его распоряжении находится самый богатый и, возможно, самый важный природный ресурс эпохи ИИ: данные о людях. Чтобы добиться высокой точности от алгоритма распознавания образов, требуются огромные объемы данных, и поэтому китайские системы распознавания лиц, например Megvil или SenseTime, так привлекательны для инвесторов. Все данные, которые китайские граждане генерируют, когда звонят друг другу, делают покупки онлайн или публикуют фото в социальных сетях, помогают Baidu, Alibaba и Tencent создавать лучшие в своем классе системы ИИ. Важное преимущество Китая — отсутствие ограничений, связанных с неприкосновенностью частной жизни и безопасностью, которые отчасти могут тормозить прогресс в Соединенных Штатах.

Нам следует рассматривать планы разработки ИИ в более широком контексте грандиозных планов Китая. В апреле 2018 года президент Си выступил с большой речью, где поставил задачу превратить Китай в глобальную компьютерную сверхдержаву. Государственное информационное агентство Синьхуа воспроизвело отрывки из нее, где описана сеть для администрирования киберпространства и Интернет, который «распространял бы положительную информацию, держался бы верной политической линии, направлял бы общественное мнение и ценности в правильную сторону»^[3]. Авторитарный закон, по которому Китай хочет заставить жить всех нас, не имеет ничего общего со свободой слова, рыночной экономикой и распределенным управлением — ценностями, которыми мы дорожим на Западе.

ИИ упоминается в ряде законодательных актов Китая, которые нацелены на тотальный контроль над всей информацией, создаваемой внутри границ страны, и перехват данных ее резидентов, а также граждан государств — стратегических партнеров. Один из таких актов требует хранить все данные о китайских гражданах на серверах, расположенных на территории Китая. Тем самым государственные службы получают возможность свободного доступа к этим данным. Другая инициатива, «Облако китайской полиции», разработана для контроля и отслеживания местоположения душевнобольных, критиков режима и уйгуров — этнического меньшинства, исповедующего ислам. В августе 2018 года Организация Объединенных Наций заявила о наличии у нее достоверных сведений, что Китай удерживает миллионы уйгуров в тайных лагерях на дальнем западе страны^[4]. Так называемая Китайская интегрированная программа совместных действий использует ИИ для поиска отклонений от общепринятого социального поведения — например несвоевременной оплаты счетов. Система социального кредита, согласно удачной фразе из ее основополагающего документа, разработана ради создания идеального общества, «позволяя достойным доверия свободно перемещаться, в то время как дискредитировавшим себя будет трудно сделать хотя бы шаг^[5]». Понятие «достойный доверия» определяется на основании численных показателей, например за «героические поступки» (гражданину начисляются баллы) и штрафы за нарушение правил дорожного движения (баллы вычитаются). Граждане с низким рейтингом могут столкнуться с трудностями при приеме на работу, покупке дома или попытке отдать детей в школу. В некоторых городах портреты граждан с высоким рейтингом выставляются на доске почета^[6]. В других городах, таких как Шаньдун^[7], фотографии людей, нарушающих правила перехода улицы, выставляются на цифровых рекламных стендах на всеобщее обозрение и автоматически отправляются в Weibo, популярную социальную сеть^[8]. Если все это кажется слишком невероятным, вспомните, что Китай смог успешно провести в жизнь политику одного ребенка, чтобы сдержать рост населения.

Эти проекты и инициативы рождены в узком кругу советников президента Си Цзиньпина, которые примерно десять последних лет сосредоточены именно на превращении Китая в мировую сверхдержаву — и соответствующем изменении восприятия Китая окружающим миром, — а также реформах внутри страны. Сегодня Китай более авторитарен, чем при любом из предыдущих руководителей со времен Мао Цзедуна, и разработка и внедрение ИИ — необходимое условие сохранения такого положения дел. Инициатива «Один пояс и один путь» — на самом деле масштабный глобальный стратегический план, замаскированный под план строительства инфраструктуры, которая повторяет маршруты Шелкового пути, что связывал когда-то Китай с Европой через Ближний Восток и Африку. Китай не просто строит мосты и шоссе — он экспортирует технологию слежения и собирает данные, увеличивая таким образом влияние Коммунистической партии Китая в мире в противовес нашему либеральному демократическому порядку. Инициатива Global Energy Interconnection — еще один национальный стратегический план, который поддерживает президент Си. Он предусматривает создание первой в мире глобальной сети электроснабжения, управляемой из Китая.

Там уже научились масштабировать технологию передачи электроэнергии по сверхвысоковольтным кабелям, что позволяет доставлять электричество в Шанхай с дальнего запада страны — и сейчас Китай заключает договоры, превращающие его в поставщика электроэнергии для соседних стран.

Эти инициативы, как и многие другие, — остроумный способ надолго обеспечить расширение своей «мягкой власти». Это великолепный ход со стороны Си Цзиньпина, за отмену предельного срока пребывания на посту которого КПК проголосовала в марте 2018 года, тем самым позволив ему по сути оставаться президентом пожизненно. Конечная цель стратегии президента Си предельно проста: построить мировой порядок, обеспечивающий Китаю лидерство де-факто. Тем не менее во время расширения сферы дипломатического влияния Китая Соединенные Штаты необъяснимым образом перестали замечать долгосрочные глобальные союзы и соглашения с его участием, когда президент Трамп возвел новый «бамбуковый занавес».

Если говорить о будущем ИИ, то его разработка сейчас движется двумя путями, часто не соответствующими представлениям о благе человечества. Усилия Китая являются частью скоординированного плана построения нового мирового порядка с Си Цзиньпином во главе, а в Америке главными движущими силами служат рыночные факторы и консьюмеризм. Сочетание этих двух факторов представляет собой слабое место, потенциально угрожающее всем нам. Разрешение этой проблемы — самый важный вопрос для будущего развития ИИ, именно в этом и заключается задача настоящей книги. Может быть, компании «Большой девятки» преследуют одну и ту же благородную цель — взломать код машинного интеллекта, чтобы строить системы, способные мыслить подобно человеку, — но со временем результаты их работы могут нанести непоправимый вред человечеству.

В принципе я верю, что ИИ представляет собой положительную силу, которая принесет много пользы следующим поколениям и поможет построить будущее, соответствующее нашим самым идеалистическим представлениям о нем.

Но я прагматик. Мы все знаем, что даже люди, которые руководствуются самыми благими намерениями, способны причинить огромный вред. Говоря о технологии, особенно об ИИ, всегда следует иметь план на случай злоупотребления ею, как случайного, так и намеренного. Особенно важно это сейчас, когда ИИ захватывает все сферы человеческой деятельности: глобальную экономику, рынок труда, сельское хозяйство, транспорт, банковскую сферу, контроль за состоянием окружающей среды, образование, вооруженные силы и национальную безопасность. Вот почему, если нынешние направления развития ИИ в Соединенных Штатах и Китае сохранятся, 2069 год может оказаться совсем не похожим на 2019-й. По мере того как структуры и системы, управляющие обществом, постепенно перейдут на использование ИИ, мы увидим, что принятые ими от нашего имени решения выглядят совершенно разумными только с точки зрения машины, а не с нашей.

Мы, люди, быстро теряем бдительность — как раз тогда, когда машины пробуждаются. Мы уже прошли несколько важных этапов технологического и геополитического развития ИИ, но при этом с каждым значительным шагом вперед ИИ становится все менее заметен нам. Наши данные анализируются и уточняются все менее очевидным для нас образом, а наша способность понимать, каким образом автономные системы принимают решения, снижается. Таким образом, уже сейчас мы не в состоянии понять, каким образом ИИ влияет на нашу жизнь, и этот разрыв будет расти по экспоненте с течением времени, когда для нас минуют годы, а потом и десятилетия. Сократить этот разрыв насколько возможно, критикуя нынешний путь развития ИИ, — вот задача, ради которой я пишу эту книгу. Моя цель — сделать обсуждение искусственного интеллекта более демократичным, снабдить вас дополнительными знаниями относительно того, что нас ждет, а также объяснить, пока еще не поздно, как последствия развития ИИ коснутся именно вас и почему они будут совершенно ощутимыми и конкретными.

Человечество проходит через экзистенциальный кризис в самом буквальном смысле слова, поскольку никто не занимается вопросом, ключевым для ИИ с самого начала работ над ним: что произойдет с обществом, когда мы передадим власть системе, разработанной небольшой группой людей для того, чтобы она принимала решения, которые касаются всех? Что произойдет, если эти решения склонятся в сторону рыночных факторов или интересов амбициозной политической партии? От ответа зависит, какие именно возможности откроются перед нами в будущем, каким образом нам станут закрывать доступ к тому или иному ресурсу, какие социальные условности возникнут внутри наших обществ, по каким правилам заработает экономика наших стран и каким образом мы окажемся связаны с другими людьми.

Эта книга не об обычных спорах вокруг ИИ. Она — одновременно предостережение и набросок лучшего будущего. Она ставит под вопрос нелюбовь нас, американцев, к долгосрочному планированию, и подчеркивает неготовность к приходу ИИ в сфере бизнеса, образования, государственного управления. Она рисует впечатляющую картину скоординированных между собой геополитических, экономических и дипломатических планов Китая, направленных к единой цели — установлению мирового господства. И она требует героического руководства в исключительно трудных обстоятельствах. Потому что, как вы сами увидите, нашему будущему требуется герой.

Текст, который последует ниже, представляет собой призыв к действию в трех частях. Из первой вы узнаете, что такое ИИ и какую роль в его разработке сыграла «Большая девятка». Мы также в деталях рассмотрим положение, в котором находятся американские члены «Большой девятки» и китайские — Baidu, Alibaba и Tencent.

Вторая часть подробно описывает вероятные варианты будущего, исходя из прогноза развития ИИ на 50 лет. Среди трех сценариев, которые вы увидите, окажется и оптимистический, и прагматический, и катастрофический, и в них будут показаны как возможности, так и риски, с которыми сопряжен переход от слабого к сильному ИИ. Все эти сценарии несут высокую эмоциональную нагрузку. Они построены на основе моделирования с использованием фактических данных и дают вам интуитивное представление о том, в каком направлении может развиваться ИИ и как в результате этого изменится наша жизнь.

В третьей части я предлагаю стратегические и тактические решения всех проблем, перечисленных в сценариях, а также конкретный план исправления настоящего. Третья часть, по моему замыслу, должна заставить нас действовать, поэтому в ней содержатся конкретные рекомендации для правительств, «Большой девятки» и даже вас лично.

* * *

Каждый человек из числа живущих сегодня способен сыграть серьезную роль в будущем ИИ. Решения, которые мы принимаем относительно ИИ сейчас — казалось бы, даже самые незначительные, — навсегда изменят ход человеческой истории. Машины пробуждаются, и в один прекрасный день мы можем понять, что вопреки нашим надеждам и альтруистическим амбициям воздействие наших систем ИИ на человечество было катастрофическим.

Но подобное развитие событий отнюдь не предопределено.

«Большой девятке» в моем рассказе вовсе не отводится роль злодея. Напротив, входящие в нее компании — наша главная надежда на лучшее будущее.

Переверните страницу. Мы не можем пассивно ждать, что принесет нам будущее. ИИ уже среди нас.

Примечания

1

Paul Mozur, “Beijing Wants AI to Be Made in China by 2030,” New York Times, July 20, 2017, https://www.nytimes.com/2017/07/20/business/ china-artificial-intelligence.html. — Прим. авт.

2

Tom Simonite, “Ex-Google Executive Opens a School for AI, with China’s Help,” Wired, April 5, 2018, https://www.wired.com/story/ex-google-executive-opens-a-school-for-ai-with-chinas-help/. — Прим. авт.

3

“Xinhua Headlines: Xi outlines blueprint to develop China’s strength in cyberspace,” Xinhua, April 213, 2018. http://www.xinhuanet.com/english/ 2018-04/21/c_137127374_2.htm. — Прим. авт.

4

Stephanie Nebehay, “U.N. says it has credible reports that China holds million Uighurs in secret camps,” Reuters, August 10, 2018. https://www. reuters.com/article/us-china-rights-un/u-n-says-it-has-credible-reportsthat-china-holds-million-uighurs-in-secret-camps-idUSKBN1KV1SU. Прим. ред.

5

Simina Mistreanu, “Life Inside China’s Social Credit Laboratory,” Foreign Policy, April 3, 2018. https://foreignpolicy.com/2018/04/03/life-inside-chinas-social-credit-laboratory/. — Прим. авт.

6

Ibid. — Прим. авт.

7

На самом деле Шаньдун — провинция Китая, а в статье, на которую ссылается автор, речь идет о событиях в ее столице, городе Цзинань. — Прим. пер.

8

“China Shames Jaywalkers through Facial Recognition,” Phys.org, June 20, 2017, https://phys.org/news/2017–06-china-shames-jaywalkers-facialrecognition.html. — Прим. авт. Глава 1