Новые законы робототехники. Апология человеческих знаний в эпоху искусственного интеллекта

Фрэнк Паскуале, 2020

Появившиеся в последнее время в избытке консультанты по менеджменту так рисуют перспективы труда в будущем: если машина может делать то же, что и вы, значит, ваш труд будет автоматизирован. Они убеждают бизнесменов и политиков, что все специалисты, от врачей до солдат, окажутся не нужны, поскольку на их место придет постоянно развивающийся искусственный интеллект. А потому предлагается целесообразная, по их мнению, альтернатива: делайте роботов, или они заменят вас. Но возможна и другая ситуация. Практически во всех сферах жизни роботизированные системы могут повысить, а не понизить ценность труда. Фрэнк Паскуале рассказывает, как медсестры, учителя, дизайнеры и другие специалисты могут сотрудничать с теми, кто развивает технологии, а не служить им источником данных для компьютерных устройств, которые должны их заменить. Такое сотрудничество показывает нам то технологическое развитие, которое способно дать человеческому обществу более качественное здравоохранение, образование и многое другое, сохранив при этом осмысленный труд. Подобное партнерство демонстрирует также, что право и регулирование могут стимулировать всеобщее процветание, а не игру с нулевой суммой, в которой люди были бы вынуждены состязаться с машинами. В какой мере задачи, ранее выполнявшиеся людьми, стоит доверить искусственному интеллекту? Что при этом выигрывается и что теряется? Что представляет собой оптимальное сочетание человеческих и роботизированных взаимодействий? В «Новых законах робототехники» доказывается, что политики и чиновники не должны позволять корпорациям или инженерам отвечать на эти вопросы в одиночку. То, как будет происходить автоматизация, и то, кому она принесет выгоду, зависит от тысяч малых решений, определяющих путь развития искусственного интеллекта. Паскуале предлагает способы демократизации процесса принятия решений, противостоящей его централизации в фирмах, которые ни перед кем не отчитываются. Книга предлагает оптимистичный путь формирования технологического прогресса, при котором человеческие способности и экспертные знания становятся незаменимым центром инклюзивной экономики. В формате PDF A4 сохранен издательский макет книги.

И, конечно, Рэю

Своим подходом к воспитанию мы решаем, достаточно ли мы любим мир, чтобы взять на себя ответственность за него и одновременно спасти его от гибели, которую без обновления, без прибытия новых и молодых было бы не остановить. А еще мы этим решаем вопрос о том, достаточно ли мы любим наших детей, чтобы не вышвыривать их из нашего мира, предоставляя самим себе, не вырывать у них из рук шанс предпринять нечто новое и для нас неожиданное, а вместо этого подготовить их к их миссии — обновлению нашего общего мира.

Ханна Арендт. Между прошлым и будущим

Я говорю о праве сейчас, поймите, о той точке, в которой тела, запертые в клетках, становятся онтологией, точке, в которой структуры жестокости, силы, войны становятся онтологией. Аналоговое — я в него верю, в реконструкцию феноменологии восприятия, но не машиной. К нему теперь — как никогда прежде — приковано воображение.

Лоуренс Джозеф. В скобках

Frank Pasquale

New Laws of Robotics

Defending Human Expertise in the Age of AI

The Belknap Press of Harvard University Press

Cambridge, Massachusetts & London, England 2020

Перевод с английского Алексея Королева

Под научной редакцией Софьи Щукиной

“New Laws of Robotics: Defending Human Expertise in the Age of Al” by Frank Pasquale Copyright © 2020 by the President and Fellows of Harvard College

Published by arrangement with Harvard University Press.

© ФГБОУ ВО «Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации», 2022

1. Введение

Ставки технологического прогресса растут с каждым днем. Объедините базы данных распознавания лиц с постоянно дешевеющими микродронами, и вы получите анонимную глобальную силу убийц, обладающих беспрецедентной точностью и смертоносностью. То, что может убивать, способно и исцелять. Роботы могли бы значительно расширить доступ к медицине, если бы мы больше инвестировали в их исследование и развитие. Фирмы делают тысячи шажков к автоматизации найма, обслуживания клиентов и даже менеджмента. Все эти процессы меняют баланс машин и людей и даже распорядок нашей повседневной жизни.

Предотвращение худших исходов революции искусственного интеллекта (ИИ) и в то же время реализация его потенциала будут зависеть от нашей способности выработать мудрое отношение к такому балансу. Для достижения такой цели в этой книге выдвигаются три аргумента, которые должны привести к улучшению нашей жизни. Первый аргумент эмпирический: непосредственно сейчас ИИ и роботы чаще всего дополняют, а не заменяют человеческий труд. Второй имеет ценностный характер: во многих областях мы должны сохранить такое положение вещей. Наконец, третий аргумент содержит политическое суждение: наши институты управления действительно способны достичь именно такого результата. Вот главный посыл этой книги: сегодня у нас есть средства руководить развитием технологий автоматизации, не становясь ее пленниками и не меняясь под их воздействием.

Эти идеи многим покажутся самоочевидными. Зачем писать в их защиту целую книгу? Дело в том, что из них следуют довольно интересные выводы, которые должны изменить способы организации социального сотрудничества и урегулирования конфликтов. Например, в настоящее время во многих странах приоритет отдается капиталу, а не труду, потребителям, а не производителям. Если мы хотим построить справедливое и стабильное общество, эти перекосы должны быть исправлены.

Исправить их будет непросто. Появившиеся за последнее время в избытке консультанты по менеджменту рассказывают одну простую историю о будущем труда: если машина может записать и воспроизвести то, что вы делаете, она вас заменит^[1]. Эта перспектива массовой безработицы приковывает к себе внимание политиков и стратегов. Согласно этой теории, люди-работники становятся излишними в силу развития все более мощного программного обеспечения, роботов и предсказательной аналитики. Предполагается, что стоит только поставить достаточно камер и сенсоров, и менеджеры смогут создать симуляцию — вашего «цифрового двойника», то есть голограмму или робота, который будет выполнять работу человека не хуже, к тому же лишь за небольшую долю его зарплаты. Это представление задает суровую альтернативу: делайте роботов, или они заменят вас^[2].

Но возможна и другая история, которая на самом деле более правдоподобна. Практически во всех областях роботизированные системы могут повысить ценность труда, а не уменьшить ее. В этой книге рассказывается о врачах, медсестрах, учителях, сиделках, журналистах и представителях иных профессий, которые работают вместе со специалистами по робототехнике и компьютерным наукам, но не служат источниками данных для своей будущей замены. Их сотрудничество предвосхищает то технологическое развитие, результатом которого могут стать более качественные здравоохранение, образование, более высокий уровень жизни для всех нас, в то же время позволяющий сохранить осмысленный труд. Также они показывают, как право и публичная политика способны помочь нам в достижении мира и инклюзивного процветания, а не «гонки против машин»^[3]. Но мы можем добиться этого только в том случае, если обновим законы робототехники, которыми определяется наше представление о технологическом прогрессе.

Законы робототехники Азимова

В рассказе 1942 г. «Хоровод» писатель-фантаст Айзек Азимов определил три закона для машин, которые могут воспринимать среду, обрабатывать информацию, а потом действовать^[4]. В рассказе приводится выдержка из 56-го издания «Руководства по робототехнике» за 2058 г.:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат первому закону.

3. Робот должен заботиться о своей безопасности в той мере, в какой это не противоречит первому и второму законам.

Законы робототехники Азимова были крайне популярными. Они кажутся совершенно ясными, но применять их непросто. Может ли автономный дрон нанести удар по террористической ячейке? Первая часть первого закона («Робот не может причинить вред человеку») вроде бы запрещает такое действие. Но военный может тут же отослать ко второй половине первого закона (запрещающей «бездействие», которое «допустит, чтобы человеку был причинен вред»). Чтобы определить, какую часть закона следует применять, нам понадобилось бы обратиться к другим ценностям^[5].

Полем боя двусмысленности не исчерпываются. Рассмотрим, например, допускают ли законы Азимова существование автомобилей-роботов. Беспилотные транспортные средства обещают избавить нас от тысяч несчастных случаев на дорогах, происходящих ежегодно. Поэтому на первый взгляд ответ очевиден. С другой стороны, тысячи оплачиваемых водителей останутся без работы. Позволяет ли этот ущерб государству запретить или замедлить развитие беспилотных автомобилей? Три закона Азимова не способны предельно конкретно решить такие вопросы. Не объясняют они и то, как быть с недавним требованием защитников беспилотных автомобилей, которые заявили, что пешеходы должны учиться вести себя так, чтобы беспилотным машинам было проще ездить, а если пешеходы отказываются учиться, их следует наказывать.

Эти и многие другие двусмысленности объясняют, почему нормы, регламенты и судебные дела, связанные с робототехникой и ИИ, в нашем мире более сложны и замысловаты, чем законы Азимова. Постепенно мы освоим большую часть этого правового ландшафта. Но прежде я хочу ввести четыре новых закона робототехники, чтобы сориентировать наши дальнейшие исследования^[6]. Они написаны для людей, создающих роботов, а не для самих роботов^[7]. И хотя они еще более двусмысленны, чем законы Азимова, они лучше отражают то, как работает реальное законотворчество. Поскольку законодатели не могут предугадать каждую ситуацию, которую властям приходится регулировать, часто они предоставляют определенные права ведомствам, ставя при этом перед ними довольно расплывчатые задачи. Новые законы робототехники должны быть примерно такими же, то есть в них должны определяться общие принципы, тогда как конкретные права должны предоставляться специальным регулирующим ведомствам, обладающим значительным опытом в технических сферах^[8].

Новые законы робототехники

Помня об этих целях, можно предложить четыре новых закона робототехники, которые в этой книге будут изучаться и развиваться:

1. Роботизированные системы и ИИ должны дополнять профессионалов, а не заменять их^[9]

Громкие предсказания о наступлении технологической безработицы подогревают популярные дискуссии о будущем труда. Некоторые эксперты предрекают то, что практически каждая работа обречена на вымирание под натиском технологического прогресса. Другие указывают на препятствия, лежащие на пути автоматизации. Для политиков вопрос в том, какие из этих препятствий роботизации имеют смысл, а какие следует изучить и убрать. Роботы-мясники имеют смысл, роботы-воспитатели кажутся нам сомнительными. Являются ли эти сомнения попросту луддитской реакцией, или они суть отражение более глубокого понимания природы детства? Правила лицензирования не позволяют сегодня рекламировать приложения, анализирующие симптомы, в качестве врачей, действительно занимающихся медициной. Но правильный ли это подход?

В этой книге исследуются подобные примеры и представляются эмпирические и одновременно нормативные аргументы в пользу замедления или, наоборот, ускорения внедрения ИИ в различных сферах. Здесь имеют значение многие факторы, относящиеся к конкретным рабочим местам и юрисдикциям. Однако общим организующим принципом является значение осмысленного труда для ощущения человеком собственного достоинства и для управления сообществами. Гуманная программа автоматизации должна отдавать приоритет инновациям, дополняющим работников на рабочих местах, которые являются или должны быть их полноценным призванием. Машинами следует заменять опасные или изматывающие виды работ, обеспечивая при этом тех, кто в настоящий момент эти работы выполняет, справедливой компенсацией и предлагая им переход на другие социальные роли.

Такой сбалансированный подход разочарует как технофилов, так и технофобов. И точно так же упор на правление оттолкнет как тех, кто порицает «вмешательство» в рынки труда, так и тех, кто ненавидит «класс профессиональных менеджеров». В той мере, в какой профессии можно приравнять к экономической кастовой системе, в которой одни работники получают несправедливые привилегии, такие подозрения вполне оправданны. Можно, однако, смягчить стратификацию, отстаивая высшие цели профессий.

Компромисс, составляющий ядро профессионализма, состоит в том, что работникам надо предоставить определенные права в решении вопросов организации производства, но в то же время вменить им в обязанность трудиться на благо всего общества^[10]. Профессионалы, занимающиеся исследованиями как в университетах, так и в собственных фирмах, культивируют распределенные экспертные знания, сглаживая классические противоречия между технократией и народным правлением. Мы не должны подрывать или обескровливать профессии, вопреки мнению слишком многих защитников подрывных инноваций. Скорее, гуманная автоматизация потребует усиления уже существующих экспертных сообществ и создания новых.

Удачное определение профессий довольно объемно, оно должно включать многих работников, объединенных профсоюзами, особенно когда они защищают тех, кому служат, от неумных или опасных технологий. Например, профсоюзы учителей выступали против избыточной «зубрежки и тестирования» средствами автоматических систем и во многих других ситуациях также отстаивали интересы учеников. Профсоюзы, развивающиеся по пути профессионализации, то есть позволяющие своим членам защищать тех, кому они служат, должны получить важную роль в определении облика революции ИИ.

Иногда будет сложно доказать, что процесс, завязанный на человека, лучше автоматизированного. Общие финансовые показатели вытесняют сложные критические стандарты. Например, программы машинного обучения скоро смогут, основываясь на обработке естественного языка методом перебора, предсказать, какая из предложенных книг способна стать бестселлером. С чисто экономической точки зрения такие программы могут отбирать рукописи или сценарии фильмов лучше редакторов и режиссеров. Тем не менее люди, работающие в креативных индустриях, должны отстаивать свои профессиональные знания. У редакторов важная роль в издании, оценке, поиске и продвижении работ, которые публика, возможно, сейчас еще не хочет читать, хотя они ей и нужны. То же можно сказать о журналистах: даже если автоматическая генерация текста способна создать текст, максимизирующий доходы от рекламы, этот примитивный триумф никогда не заменит настоящего репортажа с истинно человеческой точки зрения, которую еще нужно приобрести. Профессиональные школы в университетах уточняют и пересматривают стандарты медиа, права, медицины и многих других областей, не позволяя им скатываться до уровня простых показателей, допускающих автоматизацию.

Даже в тех областях, которые, кажется, просто напрашиваются на автоматизацию, например, в логистике, клининге, сельском хозяйстве и горном деле, работники будут играть ключевую роль в процессе длительного перехода к ИИ и роботам. Сбор или создание данных, необходимых для ИИ, для многих станет трудной задачей. Благодаря нормам и регулированию их работа может стать более интересной и автономной. В частности, европейский закон о неприкосновенности частной жизни дает водителям возможность оспаривать тотальный мониторинг и контроль, от которого страдают дальнобойщики в США^[11]. Это не значит, что такое опасное занятие должно остаться без контроля. Сенсоры способны указать на проблемы с рефлексами водителями. Но есть огромная разница между сенсорами, которые специально настроены на обнаружение проблем с безопасностью, и постоянной видео — и аудиозаписью любых действий водителя. Достижение правильного баланса между изматывающим надзором и разумным, фокусированным мониторингом может стать ключевой задачей в самых разных областях деятельности.

Также мы можем спроектировать такой технологической переход, который позволит не упускать людей из виду или, по крайней мере, предоставит им выбор. Например, Toyota продвигает автомобили с большим уровнем роботизации, начиная с режима «личный водитель» (который требует минимального контроля со стороны водителя) и заканчивая режимом «хранитель» (при котором компьютерные системы автомобиля сосредоточены на избегании аварий, тогда как самим транспортным средством управляет человек)^[12]. На самолетах автопилоты работают уже многие десятилетия, однако у коммерческих перевозчиков в рубке обычно все еще находится по меньшей мере два человека. Даже обычный авиапассажир может быть благодарен за то, что сторонники полной автоматизации пока не стремятся избавиться от пилотов^[13].

Заметим, что транспорт — одна из наиболее простых областей применения ИИ. Как только пункт назначения задан, спорить о траектории путешествия нет смысла. В других областях все наоборот: клиент или потребитель может передумать. Ученики в классе в весенний денек могут оказаться слишком непоседливыми, чтобы раз за разом повторять таблицу умножения. Модник может вызвать своего дизайнера интерьеров, расстроившись из-за того, что выбранная им для гостиной гравюра оказалась слишком аляповатой. Тренер может засомневаться в том, нужно ли клиенту, который выглядит слишком уставшим, бежать по беговой дорожке еще минуту. В каждом из этих случаев самое главное — это коммуникация, а также проявляемые при общении людей навыки терпения, размышления и различения^[14].

Конечно, если тысячи тренеров вооружатся Google Glass и запишут все свои встречи, наверно, соберется какая-то божественная база данных из гримас и выпученных глаз, ругательств и триумфов, которая сможет определить оптимальный ответ уставшему бегуну. Но даже если просто задуматься о том, как построить такую базу данных, о том, что должно оцениваться как положительный или отрицательный результат и в какой мере, тут же придет осознание ключевой роли, которую люди будут играть в создании и поддержании ИИ и роботов в любом правдоподобном сценарии будущего. Искусственный интеллект так и останется искусственным, поскольку он всегда будет плодом человеческого сотрудничества^[15]. Более того, большинство недавних достижений в ИИ нацелены на решение строго определенных задач, а не на выполнение работ как таковых или социальных ролей^[16].

Существует много примеров технологий, которые позволяют повысить производительность рабочих мест, сделать их более интересными или допускают и то, и другое. Агентство цифрового развития Италии отметило: «Технология часто заменяет не профессионала целиком, а лишь некоторые конкретные действия»^[17]. Современные студенты-юристы едва ли могут поверить, что до интернета их коллегам приходилось перелопачивать пыльные тома, чтобы оценить обоснованность того или иного дела; поисковые программы значительно упрощают этот процесс и значительно расширяют список ресурсов, доступных в судебном разбирательстве. Нисколько не упрощая задачу, они могут, наоборот, значительно ее усложнить^[18]. Если на поиск по книгам тратится меньше времени, а на интеллектуальный труд, в котором создается общая картина дела, — больше, для адвокатов это прямая выгода. Автоматизация может дать похожий прирост производительности и многим другим работникам, что не обязательно ведет к замене их труда. И это не просто наблюдение. Это вполне состоятельная цель программы развития^[19].

2. Роботизированные системы и ИИ не должны притворяться людьми

Перспектива гуманоидных роботов всегда манила, пугала и возбуждала — со времен Азимова и до головокружительной мимикрии «Мира Дикого Запада». Некоторые специалисты по робототехнике стремятся найти правильное сочетание металлических костей и пластиковой кожи, позволяющее вырваться из «зловещей долины», то есть избавиться от чувства жути при виде гуманоидного робота, который слишком сильно приближается к человеческим качествам, жестам и повадкам, но при этом не может их полностью воссоздать. Программы машинного обучения уже освоили искусство создания изображений «фейковых людей», а вскоре получат распространение и убедительные синтетические голоса^[20]. Пока инженеры мучаются с тонкой настройкой этих алгоритмов, без ответа остается более важный вопрос: хотим ли мы жить в мире, в котором люди не знают, с кем они имеют дело — с другим человеком или машиной?

Существует принципиальное различие между гуманизацией технологии и подделкой исключительно человеческих качеств. Ведущие европейские специалисты по этике утверждают, что «должны быть (правовые) границы, определяющие, в какой мере людей можно заставлять верить в то, что они имеют дело с людьми, тогда как на самом деле они общаются с алгоритмами и умными машинами»^[21]. Законодатели уже приняли законы об «идентификации ботов» в сетевых контекстах.

Несмотря на этот складывающийся этический консенсус, существуют отдельные области ИИ, например, программирование эмоций, когда анализируются и симулируются человеческие эмоции, задача которых — постоянно усложнять выявление различия между человеком и машинами. Такие исследовательские проекты способны привести к созданию передовых андроидов наподобие тех, что известны по фильму Стивена Спилберга «Искусственный интеллект», в котором машины внешне не отличались от человека. Специалисты по этике спорят о том, как должны проектироваться такие гуманоидные роботы. Но что если их вообще не стоит делать?

В больницах, школах, полицейских участках и даже в производственных цехах мало пользы от загрузки программного обеспечения в гуманоидную форму, а вреда много. Гонка за человекоподобием слишком легко может стать первым шагом на пути к замене человека. Некоторые люди, возможно, предпочтут такую замену в личной жизни, и право должно уважать их автономию в интимных вопросах. Однако безумным было бы общество, стремящееся к такой замене на рабочих местах и в публичной сфере. Подобная идея подменяет развитие человечества его устранением.

Этот аргумент может неприятно удивить или смутить технофилов, поскольку им отрицается содержание и посылка не только законов Азимова, но и обширной литературы о будущем технологий. Я надеюсь оправдать такой консерватизм тем, что последовательно, по главам, продумаю конкретные шаги, которые понадобилось бы сделать, чтобы достичь того научно-фантастического мира, где роботы неотличимы от людей. Для такого перехода необходим массовый контроль людей — и все для того, чтобы создать роботов, призванных дурачить людей или заставлять их относиться к машинам как к равным. Ни та, ни другая перспектива не кажется такой уж привлекательной.

Голос или лицо другого человека требует уважения и внимания; машины не имеют подобных прав на наше участие. Когда чат-боты обманывают ничего не подозревающих людей, которые думают, что они общаются с другими людьми, программисты чат-ботов действуют в качестве фальсификаторов, подделывающих черты реальных людей, чтобы повысить статус своих машин. Когда фальсификация денег достигает критической массы, подлинные монеты теряют ценность. То же самое ждет и человеческие отношения в обществах, которые позволят машинам свободно изображать эмоции, речь и внешний вид людей.

Подделка человека становится особой опасностью в том случае, когда корпорации и государства пытаются придать дружелюбный вид своим услугам и требованиям. Ассистенты Google поразили деловую прессу, изображая секретарей, которые назначают встречи, жутковато подражая даже «мычанию» и «ахам», которыми испещрена обычная беседа по телефону. Подобные междометия маскируют силу таких фирм, как Google, колебанием или уступчивостью, обычно заметными в неотрепетированной человеческой речи. Роботизированный звонок они облекают покровом человеческого запроса. Но тем, кто отвечают на такие звонки, несложно представить, как будет выглядеть злоупотребление — оно станет потоком телефонных вызовов из роботизированных кол-центров.

Подделка человека — не просто обман; она еще и нечестна, поскольку фальсификатор кажется лично заинтересованным и искренним, хотя на самом деле это совсем не так. Как мы сможем показать далее на разных примерах роботов (учителей, солдат, представителей по работе с клиентами и т. д.), неудовлетворенность и стресс при столкновении с неудачными имитациями человека — не просто следствие несовершенной технологии. Скорее в них отражается разумное предостережение об определенном пути развития самой технологии.

Роботизированные системы и ИИ не должны усиливать гонку вооружений с нулевой суммой

Споры о роботах-убийцах крайне важны для этики в международном праве. Глобальная коалиция организаций гражданского общества стремится заставить государства взять на себя обязательство не разрабатывать автономные системы оружия летального действия (АСОЛД (Lethal autonomous weapons systems, LAWS)). Сегодня некоторые факторы блокируют это вполне осмысленное предложение по ограничению технологий. Военачальники не доверяют своим коллегам из стран-конкурентов. Те, возможно, скрывают военные разработки в области ИИ, наращивают силы, публично отрицая при этом свои намерения. Усиливающиеся державы могут самоутверждаться, инвестируя средства в проекты наращивания вооружений, соответствующие их новому экономическому статусу, тогда как господствующие ныне армии требуют дополнительных ресурсов, которые необходимы для поддержания их относительного перевеса. Но это лишь один из способов начать гонку вооружений. Когда на сцену выходят ИИ и роботы, риски отставания от соперников становятся еще более значимыми, поскольку новые технологии обещают быть все более таргетированными, глобальными и быстро развертываемыми.

Политики, отстаивающие дело мира, возможно, будут проповедовать исключительно оборонительную стратегию (что нашло отражение в том, что в 1949 г. американское министерство обороны пришло на смену министерству войны). Тем не менее оборонные средства часто могут использоваться и как наступательные вооружения; достаточно вспомнить об автономных дронах, заточенных на уничтожение ракет, которые, однако, можно перепрограммировать так, чтобы убивать генералов. Соответственно, даже планы обороны могут быть агрессивными, что доказывает пример Стратегической оборонной инициативы (СОИ) Рональда Рейгана. В СОИ, получившей известность как «Звездные войны», должны были использоваться космические лазеры, которые бы сбивали советские ракеты. Если бы эта программа была внедрена, хрупкое равновесие сдерживания (обеспечиваемое гарантированным взаимным уничтожением ядерным оружием) было бы нарушено. АСОЛД, автоматические кибератаки и кампании по дезинформации — сегодня все это грозит подорвать давно сложившиеся ожидания, определявшие цели и границы международного конфликта. Мы должны найти новые способы ограничить их развитие и влияние.

Война поначалу может предстать исключительным положением, во время которого обычные этические аргументы перестают работать (или, по крайней мере, существенно ограничиваются). Однако третий новый закон робототехники применим и за пределами поля боя. Технологии, разрабатываемые в армии, также привлекают полицию, и все больше людей, занятых в области общественного порядка, стремятся использовать распознавание лиц для сканирования толпы в поисках преступников. Опираясь на методы машинного обучения, налоговые органы стремятся выявлять незадекларированные доходы путем анализа электронной почты и банковских счетов всех граждан. Сама возможность столь совершенного надзора заставит людей, обеспокоенных безопасностью, вкладываться в шифрование, которое, в свою очередь, будет подталкивать власти бросать все больше ресурсов на расшифровку.

Нам нужно найти способы сдерживания подобной динамики — и не только в военных и полицейских сценариях. Инвестирование в ИИ и робототехнику часто оказывается частью состязания за определенный набор ресурсов, например, в судопроизводстве, финансах и других областях, где люди конкурируют за позиционные преимущества. Для распределения таких ресурсов государство и корпорации создают для граждан и клиентов репутационные соревнования, в частности рейтингование, которое имеет значение в той мере, в какой позволяет пристыдить определенных людей (с низкими баллами) и превознести других (с высокими). Вначале кредитный рейтинг ограничивался одной областью жизни (определением кредитоспособности) и основывался на ограниченном множестве данных (истории выплат по кредитам). Но спустя десятилетия рейтинги и другие похожие оценки стали определять иные возможности, включая ставки страхования и возможности найма. В последнее время специалисты по сбору информации предложили еще больше источников данных для кредитного рейтинга, начиная с того, как люди печатают на клавиатуре, и заканчивая их политическими взглядами или сайтами, которые они посещают. Китайское правительство значительно расширило задачи подобного контроля, сделав так, что «социальный рейтинг» стал играть роль в определении того, на каких поездах или самолетах гражданин может передвигаться, в каких гостиницах останавливаться и в каких школах могут учиться его дети. Во многих областях Китая расширился объем потенциально используемых данных — начиная с того, как человек переходит улицу, как он относится к своим родителям, и заканчивая степенью его патриотизма и веры в коммунистическую партию и ее учение.

Система социального рейтинга и ее многочисленные западные аналоги вызвали немало споров, и неясно, до чего они способны дойти. Конечно, некоторые области применения таких систем могут оказаться достаточно ценными. Сложно жаловаться на медицинскую систему надзора, которая ускоряет отслеживание контактов, чтобы остановить распространение инфекционного заболевания и препятствует таким образом началу пандемии. Но когда те же инструменты используются для постоянного ранжирования всех и каждого, они становятся элементом подавления людей.

Основная опасность социального контроля средствами ИИ — это создание мира строгой регламентации. Конфликт и конкуренция — часть жизни, и мы должны быть готовы к тому, что технологическое развитие скажется и на них. Однако ИИ и роботы грозят сделать социальный контроль слишком совершенным, а конкуренцию (для того чтобы стать тем, кто способен навязывать контроль или уклоняться от него) — слишком жесткой. Безопасность и креативность человека развиваются в средах, в которых найден баланс предсказуемости и открытости, порядка и подвижности. Если мы не сможем ограничить робототехнику, встроенную в системы социального контроля, этому балансу придет конец.

4. Роботизированные системы и ИИ всегда должны содержать указание на идентичность своего создателя (или создателей), оператора (или операторов) и собственника (или собственников)

За роботов и алгоритмические системы отвечают люди. Конечно, некоторые программы могут сегодня порождать новые программы, которые, в свою очередь, дают начало другим. Но мы все еще может проследить родословную этих «детей и внуков разума» вплоть до их источника^[22]. И мы должны сохранить это положение дел в обозримом будущем, несмотря на предсказуемое сопротивление со стороны некоторых апологетов полностью автономного ИИ.

На передовых рубежах ИИ, машинного обучения и робототехники подчеркивается автономия, будь то умных контрактов, высокочастотных трейдинговых алгоритмов (независимых, по крайней мере, в те промежутки времени, которые для людей незаметны) или будущих роботов. Существует туманное понятие «бесконтрольных» роботов, которые сбежали от своего создателя. Возможно, такие инциденты и в самом деле неизбежны. Тем не менее какой-то человек или организация должны за них отвечать. Требование, согласно которому у всякого ИИ или роботизированной системы должно быть лицо, отвечающее за его или ее действие, поможет ограничить те проекты, которые способны оказаться столь же опасными, как нерегулируемая биоинженерия вирусов.

Конечно, некоторые роботы и алгоритмы в своем развитии отступят от идеалов, запрограммированных их собственниками, в результате взаимодействия с другими людьми или машинами (представьте, к примеру, развитый беспилотный автомобиль, который будет развиваться в результате множества влияний, им испытываемых^[23]). В подобных случаях может быть несколько сторон, ответственных за развитие данной машины и ее действия^[24]. Независимо от того, что именно влияет на развитие подобных машин, исходный создатель обязан встроить в них определенные ограничения на развитие кода, чтобы можно было записывать факторы влияния и в то же время предотвращать возникновение негативных результатов. Когда же другой человек или организация взламывает либо отключает подобные ограничения, ответственным за проступки робота становится хакер.

В качестве примера применения этого принципа рассмотрим чат-бота, который постепенно обучается определенным паттернам диалога, используя для этого общение в сети Twitter. Если верить некоторым новостным аккаунтам, чат-бот компании Microsoft, Tay, оснащенный ИИ, быстро усвоил речевые паттерны отъявленных нацистов, проведя лишь несколько часов в Twitter^[25]. Microsoft не программировала такой результат, но компания должна была знать, что опасно размещать бота на платформе, известной плохой модерацией преследований и ненавистнических высказываний. Кроме того, если бы чат-бот вел дневник дурных воздействий, он мог бы сообщить о них в сети Twitter, которая, если бы работала лучше, могла бы предпринять определенные действия, чтобы приостановить или замедлить поток оскорблений, исходящих от аккаунтов троллей, а может, и кого похуже.

Регулирующие ведомства должны будут требовать запроектированной ответственности (дополняющей обширные модели запроектированной безопасности и конфиденциальности). Для этого, возможно, придется запрограммировать на аппаратном уровне обязательные контрольные журналы или ввести практики лицензирования, в которых специально оговариваются проблемные исходы^[26]. Подобные инициативы будут не просто регулировать робототехнику и ИИ post hoc, но и влиять на развитие систем, закрывая одни возможности 27 проектирования и поощряя другие^[27].

* * *

Каждый из этих новых законов робототехники, требующих дополнительности, аутентичности, сотрудничества и атрибуции, основывается на теме, которая будет служить ориентиром для всего нашего исследования, а именно на ключевом различии между технологией, которая заменяет людей, и технологией, которая позволяет им лучше делать свою работу. Смысл новых законов в том, чтобы развивать программы, которые делают ставку на силы человека в таких областях, как здравоохранение и образование, и чтобы воспользоваться человеческими ограничениями для сужения масштаба и снижения интенсивности конфликта и зарегулированности в нашей социальной жизни.

Исследователи в области ИИ давно стремятся создать компьютеры, которые могли бы чувствовать, мыслить и действовать как люди. Еще в 1960-е гг. специалисты по робототехнике в MIT разрабатывали роботов-часовых, способных освободить солдат от утомительной и опасной обязанности стоять на посту в местах, которые могут подвергнуться атаке^[28]. Однако есть и другое понимание робота-часового — его можно расценивать не в качестве ИИ, заменяющего воинский состав, а в качестве еще одного средства, повышающего эффективность солдат-охранников. Если внедрить такой ИИ, армии, возможно, не нужно будет призывать дополнительных солдат для контроля все новых и новых угроз. Можно разработать сенсоры и компьютеры, которые будут работать в качестве дополнительного набора ушей и глаз, быстро оценивая уровни угрозы и другие данные, чтобы помочь солдатам с выбором действий. Эта цель, которая определяется как «усиление интеллекта» (УИ), определила проекты многих первопроходцев интернета^[29]. Также она является основой современного военного дела, то есть когда пилоты дронов работают с обширным комплексом данных, поступающих от сенсоров, и от их решений о воздушных бомбардировках зависят вопросы жизни и смерти.

Различие между ИИ и УИ, хотя порой оно и стирается, критически важно для определения направления инноваций. Большинство родителей не готовы отправить своих детей к учителям-роботам. Также детей не нужно учить тому, что их учителей со временем заменят машины, отлично подогнанные под их манеру обучения. В образовании есть много более гуманных концепций роботов. Например, школы уже успешно экспериментировали с «роботами-компаньонами», помогающими ученикам зубрить списки слов. Они способны задавать вопросы о том, что ученики только что выучили. Эти роботы, которые выглядят как животные или вымышленные создания, но не люди, не ставят под вопрос уникальность человека.

Исследователи постепенно приходят к выводу, что во многих контекстах УИ дает лучшие результаты и приносит больше пользы, чем искусственный или человеческий интеллект, когда они работают порознь. УИ и роботы, выполняющие функцию ассистентов, могут стать настоящим подарком для работников, высвобождая время для отдыха или досуга. Но в любой современной экономике действуют законы, которые заставляют выбирать ИИ, а не УИ.

Робот не просит отгулов, справедливой заработной платы, ему не нужна медицинская страховка. Когда труд рассматривается прежде всего в качестве издержек, справедливая оплата становится проблемой, которую как раз и должны решить роботы. Роботы привели к революции в промышленном производстве, заменив рабочих на конвейере. Сегодня многие бизнес-эксперты требуют похожего технологического развития, которое позволит роботам взять на себя более сложные задачи, начиная с медицины и заканчивая армией.

Слишком многие журналисты, увлеченные этим управленческим энтузиазмом, обсуждали «роботов-юристов» и «роботов-врачей» так, словно они уже существуют. В этой книге будет показано, что подобные описания нереалистичны. В той мере, в какой технология действительно меняет профессии, она обычно действует методами УИ, а не ИИ. За головокружительными заголовками о «программах, которые съедают мир», скрываются десятки менее громких случаев применения вычислений, помогающих адвокатам, врачам или учителям работать лучше и быстрее^[30]. Вопрос программ инноваций теперь в том, как сохранить преобладание УИ и где развивать ИИ. Эту проблему мы проанализируем применительно к разным секторам, не пытаясь придумать одну на все случаи модель технологического развития.

В разговорах о роботах обычно два полюса — утопический («машины будут делать всю грязную, опасную или сложную работу») и дистонический («да и всю остальную, а потому создадут массовую безработицу»). Однако будущее автоматизации рабочих мест (и не только) будет определяться миллионами небольших решений о том, как развивать ИИ.

В какой мере можно довериться машинам и передать им задачи, которые раньше выполняли люди? Что приобретается и теряется, когда они берут их решение на себя? Каково оптимальное сочетание роботизированных и человеческих взаимодействий? И как различные правила — начиная с кодексов профессиональной этики и заканчивая страховыми программами и уставами — влияют на объем и скорость роботизации повседневной жизни? Ответы на эти вопросы могут в значительной мере определять то, к чему приведет автоматизация — к революции роботов или к медленному и осторожному улучшению того, как выполняется та или иная работа.

* * *

Почему нас должны особенно волновать роботы и ИИ, если сравнить их с повсеместно распространившимися экранами и программами, которые уже колонизировали значительную часть нашего времени? Есть две практические причины. Во-первых, физическое присутствие робота может быть намного более навязчивым, чем любого планшета, смартфона или сенсора; собственно, сами эти технологии могут встраиваться в роботов^[31]. Никакой плоский экран не может протянуть руку, остановить ребенка-хулигана или непокорного заключенного, меняя тем самым актуальную технологию контроля толпы и вырабатывая новые формы дисциплины. Но робот все это может.

Даже если внедрение роботов идет медленно или в ограниченном масштабе, ИИ грозит дать новый толчок техникам завлечения и убеждения, встроенным в различные технологии, начиная с мобильных приложений и заканчивая видеопокером^[32]. Исследователь взаимодействий человека и компьютера Джули Карпентер отмечает: «Даже если вам известно, что у робота очень мало автономии, но когда нечто движется в вашем пространстве и при этом кажется, что это движение происходит с какой-то определенной целью, мы приписываем такой вещи внутреннее сознание или цели»^[33]. К примеру, и такой не слишком одушевленный аппарат, как робот-пылесос, может вызвать эмоциональную реакцию. Чем больше сенсоров записывают наши реакции, тем богаче залежи эмоциональных данных, в которых могут копаться все более сложные компьютеры^[34]. Каждый «лайк» — это сигнал, указывающий на то, что нас привлекает; каждое зависание на экране — это положительное подкрепление для определенной базы данных о манипуляциях. Миниатюрные сенсоры делают наблюдение мобильным, подрывая наши попытки скрыться. Действительно, решение скрыться от сенсоров может быть основой для действий, которые очень много расскажут об окружающем нас мире. Более того, вычислительные мощности и хранилища данных могут завести нас на путь дистопии, где все имеет значение, так что все, что делает ученик, может записываться и сохраняться для оценок в будущем^[35]. И наоборот, в обычной школе ученик каждый год встречается с новыми учителями, что позволяет ему начинать с относительно чистого листа^[36].

Нельзя сказать, что какой-либо из этих тревожных прогнозов наверняка сбудется, и это вторая причина, заставляющая сосредоточиться на современных программах развития робототехники. Когда роботы проникают в хорошо регулируемые сферы, у нас появляется отличная возможность определить их развитие, применяя разумные правовые стандарты защиты неприкосновенности личной жизни и защиты потребителей. Мы можем определять направление развития технологии правом^[37]. Роботов не обязательно проектировать так, чтобы они записывали каждый момент жизни того, кого они сопровождают или за кем следят. Действительно, сам надзор за роботами может показаться достаточно угнетающим, чтобы мы требовали некоторого человеческого контроля за любой подобной системой (что и стало правилом в одной роботизированной южнокорейской тюрьме, где человек следит за механическими охранниками). Когда роботы становятся частью системы наказания, любое решение по их применению должно определяться открытой и содержательной дискуссией об управлении тюрьмами и относительных достоинствах возмездия и реабилитации. Ведь одна из основных целей новых законов робототехники — заставить политиков и чиновников не рассматривать столкновение позиций по вопросам ИИ и робототехники в качестве всего лишь части общей «программы развития технологии» и привлечь их к подлинному сотрудничеству с экспертами-профессионалами, обязанностью которых является защита важных ценностей в хорошо структурированных областях деятельности.

Циники могут посмеяться над такими ценностями, объявив их всецело субъективными, а потому обреченными на устаревание в обществе, которое становится все более технологическим. Однако сообщества ученых и консультантов, занимающихся наукой, технологией и человеческими ценностями, показали, что прогностическая этика может определять проектирование технологий и влиять на него^[38]. Ценности сами встраиваются в технологию^[39]. Канадские, европейские и американские регулирующие ведомства в качестве принципа, на который обязаны ориентироваться разработчики, ввели «запроектированную конфиденциальность»^[40]. Подобные правила в еще большей степени должны относиться к технологии, опирающейся на массовое использование сенсоров, которая может свободно наращивать свои способности к записи изображения и звука. Например, у многих видеокамер есть красная лампочка, включение которой показывает, что они записывают видео, и точно так же у роботов должен быть эквивалентный индикатор, показывающий, что они записывают людей, находящихся рядом с ними. Данные, основанные на ИИ, должны стать предметом строгих ограничений, определяющих их сбор, анализ и применение^[41].

Адепты технологий, возможно, возразят, сказав, что регулировать робототехнику пока еще слишком рано. Пусть проблема оформится, и тогда с ней можно будет что-то сделать, считают сторонники laissez-faire. Но такой квиетизм неуместен. Слишком часто в области высоких технологий индустрия демонстрирует тот факт, что подходящего момента для регулирования не бывает никогда. Когда возникают новые бизнес-практики, вызывающие опасения, регуляторов, готовых приступить к действиям, обвиняют в том, что они душат «индустрию в зародыше». Когда же подобные практики получают широкое распространение, сам факт их повсеместности демонстрируется в качестве доказательства того, что потребители уже свыклись с ними. На любой аргумент в пользу правового воздействия найдется заранее заготовленная стратегия отвлечения, основанная на успокоительных заверениях и трюизмах. «А есть ли проблема на самом деле?», «Давайте подождем и посмотрим», «Потребители хотят этого» — все это преподносится в качестве годного на любой случай, козырного обоснования бездействия^[42].

Позиция «подождем — посмотрим» игнорирует то, что технология, не будучи ни в коем смысле независимой от ценностей, сама начинает их формировать^[43]. Роботы — компаньоны детей в сетевых чартерных школах не просто отражают (или искажают) существующие ценности, определяющие то, какая именно социализация нужна детям, они еще и формируют ценности этих поколений, прививая им понимание того, какие моменты являются приватными, а какие могут легко постоянно записываться. Подобные обычаи не должны проистекать просто из того, что наиболее выгодно поставщикам технологизированного образования. Они требуют демократического управления и участия экспертов, работающих не только в сфере технологии^[44].

* * *

Эта роль технологии в оформлении ценностей представляется очевидной опасностью в военном деле, где роботы могут существенно поменять наше понимание параметров честного конфликта. С точки зрения некоторых футуристов, автоматизация военного конфликта — дело решенное. Ни одна военная держава не может позволить себя слишком сильно отстать от конкурентов в разработке страшного флота «роботов-убийц»^[45]. Если мы «запрограммированы на войну», значит, мы будем развивать смертоносные роботизированные силы^[46]. С такой точки зрения человеческая природа сама диктует определенное направление технологического развития, как и, возможно, свое собственное устаревание, которое приведет к появлению сверхчеловеческих роботизированных систем^[47].

Подобный реализм может быть благоразумным, однако он рискует стать опасным самоисполняющимся пророчеством, то есть ускорить гонку вооружений, а не просто ее предсказать. Чем менее дорогостоящим кажется военное вмешательство, тем с большей вероятностью оно привлечет политиков и государства. Кроме того, чем с большей точностью можно использовать силы, тем больше друг с другом начинают сливаться язык войны и язык правоприменения, создавая этические серые зоны. Рассмотрим почти уже реальную возможность: США могут дополнить своих воздушных дронов, присутствующих в зонах военных действий, наземными роботами и более мелкими дронами, проникающими в помещения. Кем в таком случае считать людей, отслеживаемых такими дронами, — комбатантами или подозреваемыми? И международные, и национальные правовые прецеденты указывают на разное обращение с теми и другими. Подобное обращение нельзя легко автоматизировать или, может быть, вообще нельзя. Следовательно, военное право (или простая уголовная процедура) могут стать непреодолимым барьером для роботов-солдат или, о по крайней мере, для их законного применения^[48].

И академики, и государственные чиновники уже приступили к анализу сценариев роботизированной войны и правоприменения^[49]. Следует ожидать дальнейшего слияния двух этих областей под общей рубрикой «внутренней безопасности» и все большего применения роботов с целью поддержания общественного порядка. В конечном счете нам обещают появление сверхчеловеческого интеллекта, который будет выявлять угрозы, то есть ИИ, способного просеивать миллионы потоков данных для быстрого выявления и предотвращения будущего преступления.

Но прежде чем воодушевляться подобной технологией, надо привести некоторые отрезвляющие примеры, показывающие, насколько бесчеловечным может быть искусственный интеллект. Исследователи использовали машинное обучение для предсказания криминальных наклонностей на основе таких скудных данных, как черты лица. Должны ли будущие роботы-полицейские учитывать эти данные о криминальных чертах лица при принятии решений о том, за какими людьми следить внимательнее, а каких игнорировать? Или любые данные и выводы на их основе запрещены для машин и техник, которые в будущем могут стать еще более важной частью охраны общественного порядка, например, таких, как предиктивный анализ, ныне пользующийся популярностью в некоторых отделениях полиции? Есть ли у нас право инспектировать и обсуждать подобные данные? Должны ли эти исследования вообще проводиться?^[50]

Соотнесение черт лица с криминальными наклонностями может показаться довольно экзотическим или необычным применением ИИ. Однако базовая логика развитых вычислительных решений остается непроницаемой для обычных форм объяснения. Некоторые специалисты по робототехнике превозносят такую необъяснимость, представляя ее в качестве альтернативы человеческому интеллекту, выходящей далеко за его пределы. «В какой-то момент это все равно что объяснять Шекспира собаке», — заметил Ход Липсон из Колумбийского университета, когда его попросили оценить необходимость потребовать от ИИ большей прозрачности^[51]. Если речь идет об уничтожении раковых клеток или предсказании погоды, Липсон, возможно, в чем-то и прав: нам не нужно понимать точный механизм ИИ, чтобы дать ему возможность решать наши проблемы. Но когда дело касается важных человеческих решений, необъяснимое становится неприемлемым. Как показывает постепенно складывающееся в ЕС «право на объяснение», необъяснимое может быть ограничено и заменено более гуманным подходом.

Некоторые крупнейшие сражения вокруг роботов и ИИ будут сосредоточены на аналитической силе машин. Какие данные им позволено собирать и применять? И как такие данные будут обрабатываться? Эти вопросы жизненно важны для будущего демократии и коммуникаций. Подумаем о том, как и когда расцветает дезинформация^[52]. Хотя недобросовестная пропаганда давно преследует медиа, автоматизированная в значительной мере публичная сфера дала ей новый толчок, допустив вирусное распространение ложных заявлений и фейков. Некоторые властные структуры уже начали вмешиваться, блокируя распространение разжигания ненависти и лжи. Это первый шаг на пути к восстановлению сетевой публичной сферы, но потребуется намного больше — в частности, журналисты, соблюдающие традиционные нормы своего ремесла, должны будут играть более важную роль.

Киберлибертарианцы будут доказывать, что искусственные интеллекты должны обладать «свободой мысли», подразумевающей обработку любых данных, которые они только могут найти или которые их собственники решат им «скормить». В области чистых вычислений, не связанной с социальными последствиями, это право может соблюдаться. Ради свободы слова можно позволить любую неуважительную речь; программисты могут утвердить подобное право на ввод в программы данных независимо от их социальных последствий. Но как только алгоритмы — и особенно роботы — начинают оказывать определенное воздействие на мир, они должны регулироваться, а программисты должны нести этическую и правовую ответственность за причиненный ими вред^[53].

Профессионализм и экспертные знания

Кто должен решать, что включается в такую ответственность? Мягкий и ровный переход потребует старых и в то же время новых форм профессионализма в нескольких ключевых областях. Понятие экспертных знаний обычно указывает на владение определенным корпусом информации, но его реальное применение требует намного большего^[54]. Будущее трудовой занятости покажется довольно мрачным тем, кто путает профессиональные обязанности с простым знанием. Способность компьютеров хранить и обрабатывать информацию выросла по экспоненте, и постоянно накапливается все больше данных о том, что люди делают на рабочем месте^[55]. Однако профессионализм включает в себя и нечто более сложное — постоянную необходимость решать конфликты ценностей и обязанностей, а также противоречивость описаний фактов^[56]. И это имеет большое значение для будущего состояния рынка труда.

Представим, например, что вы едете домой со скоростью сорок пять миль в час по дороге с двумя полосами движения. Впереди, на расстоянии сотни ярдов, вы замечаете группу детей, которые идут домой после школы. Но именно в тот момент, когда вы вот-вот проедете мимо них, встречная фура виляет и выезжает со своей полосы, направляясь вам прямо в лоб. У вас лишь пара секунд, чтобы решить: пожертвовать собой или наехать на детей, чтобы уклониться от грузовика.

Мне хочется думать, что большинство выберет более благородный вариант. По мере развития автоматизации вождения подобные ценности самопожертвования могут быть закодированы непосредственно в транспортные средства^[57]. Многие автомобили уже сегодня заметят малыша на дороге, которого может задавить водитель, если в поле его зрения есть слепое пятно. Они даже подают сигнал, когда есть риск столкновения с другими автомобилями. Технически возможно перейти от системы оповещения к остановке, которая будет закодирована на аппаратном уровне^[58]. А если это возможно, следовательно, возможно и автоматическое торможение, не позволяющее водителю вильнуть в сторону ради самосохранения, которое будет во вред другим.

Но такое решение можно закодировать и иначе — поставить интересы пассажиров машины выше интересов всех остальных. И хотя я не думаю, что это правильный подход, его правильность для нас сейчас не важна. Главный вопрос в том, как инженеры, регуляторы, маркетологи, а также специалисты по связям с государственными органами и продажам должны работать вместе, определяя такие взаимодействия человека и компьютера, при которых соблюдались бы интересы всех, кого затрагивает автоматизация, но при этом учитывались коммерческие требования. В проектировании, маркетинге и безопасности не так много проблем, которые надо решить всего один раз. По мере развития технологий пользователи адаптируются, рынки меняются и постоянно возникают новые требования.

Медицина как профессия давно сталкивается с подобными дилеммами. Работа врачей никогда не ограничивается лечением болезней, с которыми они имеют дело непосредственно. Врачи, обязанные понимать и отслеживать постоянно меняющиеся риски и возможности, должны не упускать из виду направление развития медицины в целом, учитывая актуальные исследования, которые либо подтверждают, либо ставят под вопрос общепринятые медицинские знания. Рассмотрим такое, на первый взгляд тривиальное, решение — давать пациенту с синуситом антибиотик или нет? Хороший терапевт должен сначала решить, есть ли клинические показания для данного лекарства. Позиции врачей касательно того, насколько сильна их обязанность ограничивать предписания антибиотиков с целью замедления эволюции резистентных бактерий, могут несколько разниться. Они могут учитывать и значение возможных побочных эффектов антибиотиков, таких как весьма опасные инфекционные болезни, вызываемые в некоторых случаях бактерией Clostridium difficile, а также вероятность последствий для пациентов разных типов. Когда пациенты приходят к терапевту, у них есть некоторое представление о подобных вещах, однако они не несут ответственности за правильное решение, и точно так же они не обязаны объединять все субъективные суждения в конкретные рекомендации. Это задача профессионала.

С точки зрения адептов всемогущества больших данных, предсказательной аналитики, алгоритмов и ИИ, «мозги» роботов могут найти путь, чтобы обойти все эти проблемы. Это весьма привлекательное представление, которое обещает быстрое развитие технологии, сопровождаемое ростом уровня жизни. Но является ли оно реалистическим? Даже системы, работающие в чисто цифровой сфере, такие как поисковые алгоритмы, высокочастотный трейдинг и таргетированная реклама, во многих случаях оказывались предвзятыми, нечестными, неточными или неэффективными^[59]. Гораздо сложнее собирать информацию в полевых условиях, да и вообще спорно то, что следует измерять в первую очередь. Ставки значительно выше, когда алгоритмические системы переходят на новый уровень, реализуясь в мозгах роботов, которые могут воспринимать свою среду и воздействовать на нее. Существенное значение в таком случае приобретает осмысленный человеческий контроль.

Подобный человеческий контроль необходим не только в таких областях, как медицина с ее историей профессионального самоуправления. Даже в сфере транспорта у профессионалов еще многие десятилетия будут сохраняться критически важные роли. Каким бы быстрым ни был прогресс в техниках роботизированного вождения, фирмы, его развивающие, не могут автоматизировать социальную апробацию дронов-доставщиков, переходных тележек или автомобилей. Как заметил эксперт по праву Брайант Смит, юристы, маркетологи, инженеры-строители и законодатели должны работать сообща, чтобы помочь обществу подготовится к широкому применению подобных технологий^[60]. Государствам следует изменить политику обеспечения как в области транспорта, так и инфраструктуры. Локальные сообщества должны принять сложные решения о том, как управлять переходами, поскольку светофоры и дорожные знаки, оптимизированные для водителей-людей, возможно, не будут достаточно хорошо работать для роботизированных транспортных средств, и наоборот. Как отмечает Смит, «необходимо пересмотреть долгосрочные принципы планов землепользования, инфраструктурных проектов, строительных кодексов, ценных бумаг и бюджетов»^[61].

Для этого перехода понадобится выполнить большую и многостороннюю работу^[62]. Эксперты по безопасности будут моделировать то, создают ли транспортные средства без людей-пассажиров особые риски для критически важной инфраструктуры или для толп. Террористам не нужен самоубийца-подрывник, если можно начинить взрывчаткой беспилотный автомобиль. Эксперты по здравоохранению будут моделировать распространение инфекционных заболеваний в той ситуации, когда в транспортных средствах перевозятся незнакомые друг с другом люди. Законодатели уже мучаются с вопросом о том, следует ли обязать такие транспортные средства возвращать контроль человеку по его запросу или предоставлять контроль полиции, если она его требует^[63]. Я использовал в последнем предложении двусмысленный термин «человек», поскольку у нас все еще нет хорошего термина для того, кто находится в полуавтоматическом транспортном средстве. И право, и нормы постепенно определят, что представляет собой подобная идентичность^[64].

Ни одно из таких решений не должно приниматься исключительно — или даже в первую очередь — программистами и корпорациями, разрабатывающими алгоритмы беспилотных автомобилей. Для них требуется участие властей и значительно более широкого спектра экспертов, начиная со специалистов по урбанистке и заканчивая регулирующими ведомствами, полицией и адвокатами. Переговоры всех этих заинтересованных сторон, скорее всего, будут длительными, но такова цена демократического, инклюзивного перехода к новой и более качественной технологии. И это только немногие из этических, правовых и социальных составляющих масштабного перехода к беспилотным автомобилям^[65].

Тем не менее некоторые футуристы утверждают, что ИИ обходит саму необходимость наличия профессий. По их мнению, если у нас есть достаточный массив данных для обучения, практически любую человеческую функцию можно заменить роботом. В этой книге мы исходим из прямо противоположного взгляда: в той мере, в какой наша повседневная жизнь оформляется ИИ и машинным обучением (которыми часто управляют далекие крупные корпорации), нам нужно больше профессионалов, причем профессионалов более квалифицированных. Это вопрос утверждения и расширения схем образования и лицензирования, которые у нас уже имеются в таких областях, как медицина и право. Также может потребоваться создание новых профессиональных идентичностей в других критически важных секторах, где существенную роль играет широкое участие общества и в то же время экспертные знания.

Два кризиса экспертных знаний

Утверждение человеческих ценностей как формы экспертных знаний у некоторых читателей может вызвать раздражение. В настоящий момент наиболее популярным аргументом против проникновения ИИ в управление рабочими местами и городами является не что иное, как принцип демократии. Критики ИИ утверждают, что технические эксперты в таких областях, как машинное обучение и нейронные сети, недостаточно отличаются друг от друга, чтобы представлять людей, на которых воздействует их технология^[66]. Также они слишком далеки от местных сообществ. То же самое можно сказать и о многих других экспертах. Давно известны выдающиеся активисты, которые обличают безразличных врачей и преподавателей, юристов в «башне из слоновой кости» и ученых, далеких от проблем обывателя. Обратив внимание на предсказания экономистов, указывающие на катастрофические последствия Брексита, британский политик Майкл Гоув заявил, что «народу в этой стране эксперты надоели»^[67]. Когда это ощущение начинает питать популистские кампании по всему миру, становится заметен все больший разлом между политикой и экспертными знаниями, массовыми движениями и бюрократической компетенцией, народной волей и соображениями элиты.

Комментируя подобные тенденции, социолог Джил Эйал утверждает, что экспертные знания и навыки — способ говорить о «пересечении, оформлении и трении между наукой и технологий, с одной стороны, правом и демократической политикой, с другой»^[68]. В управлении с давних пор известно противоречие, проявляющееся, когда бюрократам приходится принимать сложные решения, в которых учитываются и факты, и ценности. Так, повышение или снижение допустимых норм загрязнения — решение, влекущее определенные медицинские следствия (например, повышение заболеваемости раком легких), экономический эффект (в плане доходности предприятий) и даже культурные следствия (например, в плане жизнеспособности шахтерских районов). Эйал сосредоточивается на демократическом вызове чисто технократическому принятию решений на каждом из фронтов.

В этой книге исследуется принципиально иной вызов, брошенный экспертным знаниям, а именно столкновение различных форм экспертизы. Уважаемые экономисты и эксперты в области ИИ утверждали, что их способы познания и упорядочивания мира должны получить приоритет практически во всех областях, в больницах и школах, центральных банках и военных штабах. Немногие из них столь же откровенны, как бывший исполнительный директор некой технологической компании, который заявил одному генералу: «Вы вообще ничего не понимаете в машинном обучении. Если я проведу в вашей палатке один день, я смогу решить большую часть ваших проблем»^[69]. Однако общая тема многих книг об автоматизации на базе ИИ и экономическом прорыве такова: методы экономики и информатики — всего лишь первые среди равных, то есть среди других форм экспертных знаний. Они предсказывают (и помогают создавать) мир, в котором ИИ и робототехника быстро заменят человеческий труд, поскольку экономика требует более дешевых методов выполнения работ. С этой точки зрения почти все работники со временем разделят судьбу операторов лифтов и кучеров былых времен, то есть им только и останется, что ждать, когда их заменит кто-нибудь, обладающий подходящими данными, алгоритмами и техникой.

Конечно, есть такие области, где экономика и ИИ крайне важны. Бизнес не может работать, не покрывая издержки; касса самообслуживания сломается, если программа сканера не сможет распознать штрих-код товара. Однако на вопросы о том, должна ли существовать определенная фирма и следует ли заменить роботизированным киоском кассира, лишь экономика и информатика ответить не могут. Решение принимается политиками, сообществами и фирмами, причем на основе сложного комплекса ценностей и требований. Такие ценности и требования невозможно свести к уравнениям эффективности и алгоритмам оптимизации, совершенно отличным и абстрагированным от конкретных сообществ. Скорее они выражаются и согласовываются экспертами-людьми, в рамках современных или будущих профессий способных показать, как скрытые, локальные знания работников и менеджеров выражаются в услугах и практиках, заслуживающих сохранения.

Стремиться к противоположному, то есть к высвобождению коммерческих мотивов и мимикрии роботов, нацеленных на то, чтобы колонизировать, заменить или подчинить себе любую форму человеческого труда, — значит радикально реорганизовать общество. Социолог Уилл Дэвис однажды отметил, что «профессия, требующая права на все что угодно, является уже не профессией, а разновидностью эпистемологической тирании»^[70]. Сегодня в очень многих спорах об ИИ и робототехнике господствует узкий взгляд, сосредоточенный на эффективности и оптимизации. Моя цель в этой книге — ввести в обсуждение автоматизации намного более широкий список целей и ценностей. Чтобы закрепить этот более содержательный диалог, нам нужно добиться того, чтобы везде, где труд и услуги выражают наши ценности, распределенные экспертные знания соединяли демократическую ценность представительства с когнитивными ценностями точности, эффективности и научного метода^[71].

Этот подход существенно отличается от позиции многих программистов 1980-х гг., которые стремились свести процесс принятия решений в среде юристов или врачей к древу импликаций «если… то». Например, подобная программа может спрашивать обучаемого врача: «Есть ли у пациента жар? Если есть, спросите его, когда он начался. Если нет, спросите, есть ли у него кашель». Такие системы внушили немалый энтузиазм, однако они оставались громоздкими и неудобными. Оказалось, что систематизировать профессиональное суждение намного сложнее, чем думали исследователи ИИ.

Философ Хьюберт Л. Дрейфус для объяснения того, почему экспертные системы показали столь слабые результаты, разработал специальную теорию неявного знания^[72]. Мы знаем больше, чем можем объяснить. Подумайте о том, как сложно было бы свести вашу собственную работу к серии утверждений «если… то». Смог бы компьютер распознавать ситуации, с которыми вы сталкиваетесь ежедневно? Смог бы он с той же скоростью формулировать, оценивать и ранжировать возможные ответы на такие ситуации? И если нет (я подозреваю, что именно такой отрицательный ответ даст большинство моих читателей), трудности описания (профессиональных задач) и перевода (человеческих ситуаций в компьютерный код) позволяют хорошо понять, что у людей и в будущем останется определенная трудовая роль.

Конечно, изменчивость иногда следует сдерживать, а не превозносить. Если одни отоларингологи рекомендуют удаление миндалин 90 % детей, которых лечат, тогда как все остальные — лишь в 15 % случаев или даже реже, это, вероятно, означает наличие серьезных проблем с некомпетентностью или оппортунизмом, которые следует изучить^[73]. И все же самостоятельность врачей, указывающая на их право на инновации или на отклонение от общепринятой практики, часто защищается законом и является чем-то желанным, с точки зрения самих пациентов^[74]. В обычной медицинской практике слишком много неопределенности, чтобы целиком сводить ее к алгоритмам, которые обычно в шутку называются «поваренной медициной». Пациенты хотят также, чтобы осмотр вел человек, готовый посочувствовать их страданиям и их подбодрить, дабы они быстрее выздоравливали. Точно так же многие родители, вероятно, не захотят, чтобы их детей учил общенациональный учитель, транслируемый по телевидению или радио, и неважно, какого сокращения налогов, выплачиваемых на систему образования, удалось бы при таком подходе достичь. Есть общее понимание того, что прямая связь с человеком, которому ты доверяешь, нечто намного более ценное, чем простая трансляция с участием пусть даже самого квалифицированного человека или робота.

Следовательно, один из способов сгладить демократический кризис экспертных знаний, то есть напряжение, возникающее между безразличными технократами и страстными популистами, — предоставить определенные права местным профессионалам. Мы не хотим, чтобы школьные программы во всех подробностях определялись законодательными собраниями штатов или мультинациональными корпорациями; учителя и профессора с сохраняющимся здравым пониманием того, что важно в их сфере, должны обладать всеми возможностями обогащать и оживлять базовую программу. Достаточно распространить это понимание ценности «личного стиля» на многие другие области, в которых он важен для работников и тех, кому они служат, и у нас будет базовый аргумент против преждевременной автоматизации. Если ИИ и суждено добиться успеха, его, по крайней мере, следует кормить разными данными, исходящими от наблюдателей-людей. «Успех» может вообще определяться как помощь профессионалам, обладающим всеми необходимыми знаниями и достаточно преданными своему делу, чтобы понимать, когда доверяться машине, а когда полагаться на собственное суждение.

Выгода издержек

Технократические представления о быстрой и всеобщей автоматизации порождают странное напряжение в самом центре современной экономической политики. Когда вопрос о технологической безработице поднимается американским Советом консультантов по экономическим проблемам, Всемирным экономическим форумом или Международным валютным фондом, эксперты сухо предупреждают о том, что роботами будут заменены десятки миллионов рабочих мест^[75]. Эта дискуссия, сосредоточенная на нас как производителях, окрашена в грустные тона неотвратимости. Похоже, что будет автоматизирована одна область за другой — сперва рутинные задачи, потом более профессиональные, наконец даже работа программистов, когда будет найден «мастер-алгоритм»^[76]. Изучение подобной литературы способно создать апокалиптическое настроение. «Роботы готовятся украсть 15 млн рабочих мест» — выстрелила Daily Mail, потрясая исследованием, расхваленным директором Банка Англии Марком Карни^[77]. Хотя оценки сокращения числа рабочих мест существенно разнятся, тон экономической литературы не может ввести в заблуждение: любой работник сегодня под угрозой.

В то же время экономисты превозносят удешевление услуг. Модель экономического прогресса в этом случае странно напоминает модель, которая описывается в рассказах об автоматизации. Предполагается, что ведущие компании в области здравоохранения и образования должны учиться на успехе конвейерных линий в промышленном производстве, а также на персонализации в интернете, основанной на сборе данных. Шаблонные и в то же время персонализированные подходы, состоящие в своего рода диалектическом отношении, должны удешевить больницы и школы и в то же время сделать самые лучшие услуги общедоступными^[78].

Стоит только соединить дистопию «роботов, которые заберут все рабочие места» с утопией «постоянно дешевеющих услуг», и мы получим раздвоенное представление о нашем экономическом будущем. Рабочее место обречено стать дарвинистским адом, в котором работники подчинены машинам, записывающим каждое их движение для разработки роботизированных копий. Единственное утешение возможно после работы, когда чудеса технологии, как предполагается, приведут к всеобщему удешевлению.

Эта модель несчастных работников и восторженных потребителей не просто внушает опасения, она еще и просто неустойчива. Снижение затрат на рабочую силу само по себе представляется достижением. Если я могу заменить своего дерматолога приложением, а учителей детей — интерактивными игрушками, у меня будет больше денег на другие вещи. То же относится и к общественными услугам: город с полицейскими-роботами или нация с солдатами-дронами может отчислять меньше налогов на их зарплату и на здравоохранение. Однако врачи, учителя, солдаты и полицейские — все они тоже потенциальные покупатели того, что пытаются продать другие. И чем меньше у них денег, тем меньше я могу с них запросить.

Говоря языком классических экономических категорий, главной опасностью оказывается в таком случае дефляция, раскручивающаяся спираль низких заработных плат и цен.

Даже в рамках наиболее эгоистического рассуждения можно сказать, что «издержки» товаров и услуг, которые я несу, не просто убыток для моего благосостояния. Скорее, это способ перераспределения покупательной способности, позволяющий предоставить определенные возможности тем, кто мне помог (создавая то, что я покупаю), чтобы со временем они помогли сами себе (чтобы, возможно, купить то, что произвожу я). Конечно, универсальный базовый доход мог бы в какой-то мере компенсировать снижение покупательной способности тех людей, которых роботы лишают работы. Но нереалистично ожидать того, что перераспределение достигнет результата, аналогичного «пред-распределению», то есть некоторого сбалансированного паттерна экономического вознаграждения. В большинстве демократических стран налоговые обязательства богатейших граждан снижались многие десятилетия^[79]. Роботизация вряд ли изменит эту динамику, которая подрывает амбициозные планы по перераспределению богатства.

Если рассматривать экономику как устойчивую экологию трат и сбережений, как способ дробления власти (и ответственности) в части важных услуг, мы сможем лучше понять революцию робототехники. Традиционный анализ издержек и прибылей обычно требует поспешной замены людей машинами, даже если способности машин не дотягивают до стандарта. Чем ниже стоимость услуги, тем выше сравнительные прибыли. Но как только мы начинаем понимать выгоды самих издержек, представляемых как учет усилий и инвестиций в людей, недостатки этого упрощенного дуального представления об экономике становятся яснее. В предпоследней главе мы дополнительно обсудим выгоды издержек программ и курсов, которые рекомендуются в остальной части книги.

План книги

Многие адепты технологий стремятся к быстрой замене людей в областях, где нам не хватает данных и алгоритмов, чтобы эффективно выполнять работу. В то же время политики склоняются к фатализму, привычно жалуясь на то, что регулирующие ведомства и суды не могут поспеть за технологическим прогрессом. В этой книге будет обсуждаться как триумфализм технологического сообщества, так и минимализм политиков и стратегов; задача этого обсуждения в том, чтобы изменить публичное понимание роли государства в культивации технологического развития. Я предлагаю анализ программ развития, демонстрирующий силу нарратива и качественного суждения, управляющих развитием технологий, которые ныне подчинены алгоритмическим методам и количественным метрикам. Основная задача книги — извлечь накопленные знания из многих областей и позиций, чтобы представить их общественности, которая получит возможность ими пользоваться. В идеальном случае книга заложит основания для того, что Алондра Нельсон называет «предсказательным социальным исследованием», призванным оформлять технологическое развитие, а не только реагировать на него^[80].

Перевод задач в код — не просто технологическая задача. Скорее, это приглашение определить то, что на самом деле важно в процессе обучения, в медицинском уходе, уходе за душевнобольными, журналистике и множестве других областей. Хотя есть искушение установить во всех этих сферах простые количественные показатели успеха и оптимизировать алгоритмы так, чтобы они им удовлетворяли (методом проб и ошибок, переработки накопленных данных или за счет применения каких-либо иных стратегий); определение того, что считать успехом или неудачей в подобных областях, остается крайне спорным вопросом. Обосновывать решение каким-то одним показателем — значит исключать все остальные. Никто не может «управляться» данными вообще. Некоторые данные имеют значение, но определение того, что считать значимым (а что отвергать в качестве нерепрезентативного), — это вопрос политический.

Среди специалистов по этике, занимающихся проблемами ИИ, возникло определенное противостояние прагматиков (которые работают с небольшими и обозримыми реформами вычислительных систем, призванными снизить их склонность к дискриминационным или иным нечестным суждениям) и футуристов, беспокойство которых вызвано развитием неподконтрольных систем и саморазвивающегося ИИ (который, как они опасаются, вскоре станет «умнее» или, по крайней мере, смертоноснее своих создателей — людей). Прагматики обычно отмахиваются от футуристов, которых преследуют призраки, тогда как футуристы считают, что задачи прагматиков слишком скучны в своей ограниченности. Я полагаю, что каждая из этих двух сторон нуждается в другой. Страшные предсказания футуристов, вполне вероятно, сбудутся, если мы уже сегодня не будем активно требовать прозрачности и подотчетности автоматизированных систем. Но мы вряд ли справимся с этой серьезной задачей, если не сумеем учесть фундаментальные вопросы человеческой природы и свободы, которые ставят футуристы.

Эти вопросы не новы. Например, еще в 1976 г. специалист по компьютерным наукам Джозеф Вейценбаум спрашивал: «Какие человеческие цели и задачи нельзя в должной мере передать компьютерам? Вопрос не в том, можно ли это сделать, а в том, следует ли передавать машине функцию, которая ранее выполнялась человеком»^[81]. Однако вопросы: «Могут ли роботы быть лучше людей?» и «Когда люди не должны использовать роботов?» — сами по себе неполны. Почти каждый из нас в своей работе сегодня в определенной мере уже использует автоматизацию, которая начинается с простых инструментов и заканчивается ИИ, заменяющим человека. Более верная формулировка вопросов такова: «Какое социально-техническое сочетание людей и робототехники лучше всего отвечает социальным и индивидуальным задачам, а также ценностям?».

Разбирая ряд кейсов, я дам конкретные ответы на этот вопрос, отстаивая мысль о том, что именно дополнение, а не замена человеческих экспертных знаний искусственным интеллектом позволяет реализовать важные человеческие ценности. В главах 2, 3 и 4 описывается то, как подобный процесс мог бы осуществляться в здравоохранении, образовании и медиа, при этом обсуждение сосредоточено на первом новом законе робототехники, а именно на том, что технология должна дополнять, а не заменять уже существующих профессионалов.

В целом я смотрю на перспективы дополняющей автоматизации в здравоохранении и образовании с оптимизмом. В общем, пациентам и учащимся требуется взаимодействие с человеком^[82]. Они понимают, что, какого бы уровня развития не достиг ИИ, крайне важно о его применении консультироваться с экспертами, ежедневно изучающими надежность различных источников знаний. Еще более важно в различных образовательных и медицинских контекстах то, что во взаимодействии всегда присутствует элемент человеческих отношений. Роботизированные системы способны предоставить техническую помощь, оценить суждения, разработать увлекательные и захватывающие способы зубрежки. Возможно, в сельских или неблагополучных областях на них будет спрос как на замену профессионалам, которых там сегодня нет. Но требования в условиях дефицита очень далеки от образцовой программы развития рабочей силы. И особую тревогу они вызывают тогда, когда речь заходит о психиатрическом уходе, необходимом уязвимым группам.

Когда в точке контакта с ИИ присутствует медработник, учитель или врач, которые опосредуют его воздействие, обеспечивают правильный сбор данных, сообщают об ошибках и выполняют другую крайне важную работу, можно предположить существенное снижение вероятности мрачного детерминистического будущего, в котором нас всех толкают и шпыняют безличные машины, заставляющие учиться и заботиться о своем здоровье. У профессиональных работников в области здравоохранения и образования есть строго определенные юридические и этические обязанности перед пациентами и учащимися. Такие стандарты в среде технологий только начинают формироваться. Так, в области медиа и журналистики, которые изучаются в главе 4, для восстановления той публичной сферы, сегодня в значительной степени автоматизированной, потребуются коллективные усилия, которые смогут эту ситуацию исправить.

Когда дело дошло до систем рекламы и рекомендаций, то есть самой основы новых медиа, развитие ИИ было и в самом деле быстрым. Компании вроде Facebook и Google, занятые реорганизацией коммерческой и политической жизни, применяли ИИ для принятия таких решений, за которые раньше отвечали руководители телекомпаний или редакторы газет, но их следствия оказались более мощными. Такие компании сумели изменить читательские и зрительские привычки сотен миллионов людей. Прорывное развитие сильно ударило по газетам и журналистам. Для некоторых уязвимых групп, включая преследуемые меньшинства, его последствия оказались ужасными. Единственный способ остановить эпидемию фейковых новостей, цифровых кампаний по разжиганию ненависти и другого подобного мусора — вернуть в управление сетевыми медиа больше ответственных людей.

Если в главе 4 речь в основном идет о неудачах ИИ в определении ценности новостей, то в главе 5 описываются опасности, возникающие при попытке применять ИИ для оценки людей. Программное обеспечение играет все более значительную роль в найме и увольнении, а также в выдаче кредитов и работе с долгами. Также оно постепенно проникает и в службы безопасности. Я предостерегаю от поспешного внедрения роботов-полицейских и роботов-охранников. Даже предсказательная полиция, то есть чисто программные инициативы под управлением полицейских, оказалась достаточно спорной из-за того, что часто опиралась на старые и искаженные данные. Машины, отправляемые самостоятельно патрулировать районы или разгонять попрошаек, вызывают еще больше беспокойства. Не так много других форм применения ИИ в гражданском праве, которые бы подходили для широкого внедрения уже сегодня. Все они требуют власти машин над людьми, что заставляет принести человеческое достоинство в жертву на алтарь эффективности.

Конец ознакомительного фрагмента.

Примечания

1

Полезный обзор максималистских предсказаний дает Кевин Драм, который приходит к выводу, что «какую бы работу ни назвать, роботы смогут ее делать». См.: Kevin Drum, “You Will Lose Your Job to a Robot — and Sooner Than You Think,” Mother Jones, November/ December 2017, at https://www.motherjones.com/politics/2017/1o/ you-will-lose-your-job-to-a-robot-and-sooner-than-you-think/.

2

Экономические смыслы этого нарратива подробно рассматриваются в следующих книгах: Мартин Форд, Роботы наступают: развитие технологий и будущее без работы (Москва: Альпина нон-фикшн, 2016); Jerry Kaplan, Humans Xeed.Not Apply: A Guide to Wealth and Work in the Age of Artificial Intelligence (New Haven: Yale University Press, 2015); Robin Hanson, The Age of Em: Work, Love, and Life When Robots Rule the Earth (Oxford: Oxford University Press, 2016).

3

Eric Brynjolffson and Andrew McAfee, Race against the Machine: How the Digital Revolution Is Accelerating Innovation, Driving Productivity, and Irreversibly Transforming Employment and the Economy (Lexington, MA: Digital Frontier Press, 2014).

4

Айзек Азимов, Хоровод, Чёрный столб (Москва: Знание, 1963). Позже Азимов ввел метапринцип, который он назвал нулевым законом робототехники (утверждающим, что люди не должны вредить человечеству). См.: Айзек Азимов, Миры Азейка Азимова. Кн. 8. Роботы и империя (Рига: Полярис, 1994). Isaac Asimov, Robots and Empire (New York: Doubleday, 1985), 312.

5

Jack Balkin, “The Three Laws of Robotics in the Age of Big Data,” Ohio State Law Journal 78 (2017): 1, 10. К чести Азимова следует отметить, что он вполне понимал эти двусмысленности и использовал их для создания драматического эффекта в своих рассказах.

6

Эти законы робототехники, как и законы Азимова, служат общим ориентиром, а потому возможны исключения и пояснения. Как хорошо известно специалистам по административному праву, многие нормативы являются не вполне прозрачными и нуждаются в пояснении (а также согласовании с другими, возможно, конфликтующими с ними, законами), предоставляемом специальными агентствами и судами.

7

В этом я следую второму принципу робототехники Исследовательского совета инженерных и физических наук Великобритании (UK EPSRC), которым утверждается, что «ответственность несут люди, а не роботы». См.: Margaret Boden, Joanna Bryson, Darwin Caldwell, Kirsten Dautenhahn, Lillian Edwards, Sarah Kember, Paul Newman et al., Principles of Robotics (2010), https:// epsrc.ukri.org/research/ourportfolio/themes/engineering/activities/ principlesofrobotics/.

8

Государство, гражданское общество, деловые ассоциации и профессиональные общества разрабатывали этические руководства для ИИ; одно из метаисследований подобных руководств см. в: Anna Jobin, Marcello lenca, and Effy Vayena, “The Global Landscape of Ethics Guidelines,” Nature Machine Intelligence i, 389–399 (2019), https://d0i.0rg/10.1038/s42256-019-0088-2. Также появилось много предложений и руководств, составленных регулирующими ведомствами. Согласно Агентству по основополагающим правам ЕС, в странах — членах ЕС насчитывается более 250 инициатив такого рода. Хотя четыре закона робототехники, предложенные в этой книге, не могут, скорее всего, служить основанием для всех этих, весьма разнообразных, документов, они на них в какой-то мере опираются, выделяя ключевые идеи, в которых отражаются общепринятые ценности.

9

Я сосредотачиваюсь на робототехнике, а не роботах, чтобы сделать упор на том, как в социальные системы встраивается технология датчика/процессора/активатора.

10

Harold Wilensky, “The Professionalization of Everyone?” American Journal of Sociology 70, no. 2: 137–158 (ядро профессионального статуса здесь описывается как «успешное притязание на исключительную техническую компетентность и следование идеалу службы»).

11

Эти средства правовой защиты также отражаются в более общей социальной расположенности к ИИ, выполняющему функцию дополнения. См.: The Federal Government of Germany, Artificial Intelligence Strategy 25 (2018), https://ec.europa.eu/knowledge4policy/publication/germany-artificial-intelligence-strategy_en («Потенциал ИИ, способного работать на благо всего общества, заключен в обещанном росте производительности, который должен сочетаться с улучшением ситуации, касающейся рабочей силы, делегированием монотонных или опасных работ машинам, чтобы люди могли сосредоточиться на применении своей креативности в решении проблем»).

12

Lucas Mearian, “A. I. Guardian-Angel Vehicles Will Dominate Auto Industry, Says Toyota Exec,” Computerworld, June 3, 2016.

13

Некоторые формы автопилотирования снижают квалификацию пилотов. См.: Николас Карр, Стеклянная клетка (Москва: КоЛибри, 2015). Но в то же время автопилотирование можно проектировать так, чтобы навыки пилота поддерживались или повышались, что позволит сохранить его профессионализм. См.: Дэвид Минделл, Восстание машин отменяется! Мифы о роботизации (Москва: Альпина нон-фикшн, 2017).

14

Так, даже фирмы, составляющие витрину революции ИИ, в частности Microsoft, утверждают, что их цель «не в том, чтобы заменить людей машинами, а в том, чтобы дополнить человеческие способности безграничной способностью ИИ анализировать огромные объемы данных и находить паттерны, которые в ином случае выявить было бы невозможно». См.: Microsoft, “The Future Computed: Artificial Intelligence and Its Role in Society” (2018), https://blogs.microsoft.com/wp-content/uploads/2018/o2/ The-Future-Computed_2.8.18.pdf.

15

Kate Crawford and Vladan Joler, Anatomy of an Al System (2018), https://anatomyof.ai/.

16

Information Technology Industry Council (ГП), Al Policy Principles Executive Summary 5 (2017), https://www.itic.org/public-policy/ ITIAIPolicyPrinciplesFINAL.pdf.

17

The Agency for Digital Italy, Artificial Intelligence at the Service of Citizens 37, 54, 62 (2018), https://ia.italia.it/assets/whitepaper.pdf. См. также: Artificial Intelligence Industry Alliance (China), Joint Pledge on Artificial Intelligence Industry Self-Discipline (2019), https://www. newamerica.org/cybersecurity-initiative/digichina/blog/translation-chinese-ai-alliance-drafts-self-discipline-joint-pledge/, где утверждается, что развитие ИИ не должно позволить «искусственному интеллекту ослабить или заменить позицию человека».

18

Frank Pasquale, “A Rule of Persons, Not Machines,” George Washington Law Review 87, no. 1 (2019): 1-55.

19

Beijing Academy of Al, Beijing Al Principles (2019), https://www. baai.ac.cn/blog/beijing-ai-principles.

20

Daniella K. Citron and Robert Chesney, “Deep Fakes: A Looming Challenge for Privacy, Democracy, and National Security,” California Law Review 107 (2019): 1753–1819.

21

European Group on Ethics in Science and New Technologies, European Commission, Statement on Artificial Intelligence, Robotics and ‘Autonomous’ Systems 16 (2018), https://publications.europa.eu/en/publication-detail/-/publication/dfebe62e-4ceg-ne8-beid-oiaa75ed7iai, где цитируется фундаментальный принцип человеческого достоинства. См. также: IEEE, Global Initiative on Ethics of Autonomous and Intelligent Systems, Ethically Aligned Design 39 (1st. ed., 2019), https:// standards.ieee.org/content/ieee-standards/en/industry-connections/ ec/autonomous-systems.html: «Обязанность уважать человеческое достоинство, возможно, потребует определенных ограничений функций и способностей искусственных интеллектов, сузив их возможность заменять людей, человеческие функции и/ или „центральную мыслительную деятельность человека“, примерами которой являются суждение, рассуждение и оценка… Также она, возможно, не позволит ИИ обманывать людей или манипулировать ими».

22

Термин «дети разума» я заимствую у Моравека, хотя у меня совершенно другое представление о будущем робототехники. См.: Hans Moravec, Mind Children: The Future of Robot and Human Intelligence (Cambridge, MA: Harvard University Press, 1990).

23

Даже в подобных случаях можно навязать «бремя самострахования». См.: David С. Viadeck, “Machines without Principals: Liability Rules and Artificial Intelligence,” Washington Law Review 89, no. 1 (2014): 117, 150.

24

Термин «потенциально ответственные стороны» опирается на документ: Comprehensive Environmental Response, Compensation, and Liability Act, or CERCLA. 42 U.S.C. § 9607(a) (2012), в котором определяются четыре категории сторон, потенциально связанных обязательствами.

25

Helena Horton, “Microsoft Deletes ‘Teen Girl’ Al after It Became a Hitler-Loving Sex Robot,” Telegraph, March 24, 2017, https://www.telegraph. co.uk/technology/2016/o3/24/microsofts-teen-girl-ai-turns-into-a-hitler-loving-sex-robot-wit/.

26

Различие между закрытой и открытой робототехникой см. в: M. Ryan Calo, “Open Robotics,” Maryland Law Review 70 (2011): 571, 583–591; Diana Marina Cooper, “The Application of a ‘Sufficiently and Selectively Open License’ to Limit Liability and Ethical Concerns Associated with Open Robotics,” in Robot Law, eds. Ryan Calo, A. Michael Froomkin, and Ian Kerr (Cheltenham, UK: Edward Elgar, 2016), 163, 164–165.

27

Staff of the US Securities and Exchange Commission and Staff of the US Commodity Futures Trading Commission, Joint Study on the Feasibility of Mandating Algorithmic Descriptions for Derivatives (April 2011), 16, 16П77, 24, https://www.sec.gov/news/studies/2011/719b-study.pdf.

28

John Markoff, “The Creature That Lives in Pittsburgh,” New York Times, April 21, 1991, http://www.nytimes.com/1991/04/21/business/ the-creature-that-lives-in-pittsburgh.html?pagewanted=all; Rodney Brooks, Flesh and Machines: Ноъо Robots Will Change Us (New York: Pantheon, 2002).

29

См.: Джон Маркофф, Homo Roboticus?Люди и машины в поисках взаимопонимания (Москва: Альпина нон-фикшн, 2017), где описывается первопроходческая работа в области ИИ Дага Энгельбарта и многих его последователей. См. также: Doug Engelbart, Augmenting Human Intellect: A Conceptual Framework (Washington, DC: Air Force Office of Scientific Research, 1962).

30

Marc Andreessen, “Why Software Is Eating the World,” Wall Street Journal, August 20, 2011, https://www.wsj.com/articles/SB1ooo1424053111903480904576512250915629460..

31

Ryan Calo, “Robotics and the Lessons of Cyberlaw,” California Law Review 103, no. 3 (2015): 513–563.

32

Ian Kerr, “Bots, Babes and the Californication of Commerce,” Ottawa Law and Technology Journal 1 (2004): 285–325.

33

Rachel Lerman, “Be Wary of Robot Emotions; ‘Simulated Love Is Never Love,’ ” Phys.org, April 26, 2019, https://phys.org/news/2019-04-wary-r0b0t-em0ti0ns-simulated.html.

34

Natasha Dow Schull, Addiction by Design: Machine Gambling in Las Vegas (Princeton: Princeton University Press, 2014); Ryan Calo, “Digital Market Manipulation,” George Washington Law Review 82 (2014): 995; Neil Richards, “The Dangers of Surveillance,” Harvard Law Review 126 (2019): 1934.

35

Mark Andrejevic, “Automating Surveillance,” Surveillance and Society 17 (2019): 7.

36

Neil Selwyn, Distrusting Educational Technology: Critical Questions for Changing Times (New York: Routledge, 2014).

37

Laurence H. Tribe, Channeling Technology through Law (Chicago: Bracton, 1973).

38

Deborah G. Johnson, “The Role of Ethics in Science and Technology,” Cell 29 (2010): 589–590; Deborah G.Johnson, “Software Agents, Anticipatory Ethics, and Accountability,” in “The Growing Gap between Emerging Technologies and Legal-Ethical Oversight, eds. Gary E. Marchant, Braden R. Allenby, and Joseph R. Herkert (New York: Spring, 2011), 61–76; Ari Ezra Waldman, Privacy as Trust (Oxford: Oxford University Press, 2018).

39

Mary Flanagan and Helen Nissenbaum, Values at Play in Digital Games (Cambridge, MA: MIT Press, 2014).

40

См., например: Ann Cavoukian, “Privacy by Design: The 7 Foundational Principles,” Office of the Information and Privacy Commissioner of Canada (2009).

41

Дополнительную информацию по вопросам конфиденциальности, возникающим в связи с роботами и предсказательной аналитикой, см. в: Drew Simshaw, Nicolas Terry, Kris Hauser, and M. L. Cummings, “Regulating Healthcare Robots: Maximizing Opportunities while Minimizing Risks,” Richmond Journal of Law and Technology 27, no. 3 (2016): 1-38, 3. Об интеграции права и принципов проектирования с целью эффективного извещения см.: Ari Ezra Waldman, “Privacy, Notice, and Design,” Stanford Technology Law Review 21, no. 1 (2018): 129–184.

42

Эту стратегию аргументации Хуфнегл называет «карточной колодой отрицателей». См.: Christopher Jay Hoofnagle, “The Denialists’ Deck of Cards: An Illustrated Taxonomy of Rhetoric Used to Frustrate Consumer Protection Efforts,” ScienceBlogs, February 9, 2007, https:// scienceblogs.com/denialism/the — denialists — deck — of — cards.

43

Frank Pasquale, “Technology, Competition, and Values,” Minnesota Journal of Law, Science, and Technology 8 (2007): 607–622; Peter Asaro, “Jus Nascendi, Robotic Weapons and the Martens Clause,” in Robot Law, eds. Ryan Calo, A. Michael Froomkin, and Ian Kerr (Cheltenham, UK: Edward Elgar, 2016), 367–386.

44

Frank Pasquale, “Technology, Competition, and Values,” Minnesota Journal of Law, Science, and Technology 8 (2007): 607–622.

45

См., например: Kenneth Anderson and Matthew C. Waxman, “Law and Ethics for Autonomous Weapon Systems: Why a Ban Won’t Work and How the Laws of War Can,” Hoover Institution Stanford University Task Force on XationalSecurity and Law (2013), где дается ответ на кампанию «Остановить роботов-убийц» (Campaign to Stop Killer Robots).

46

P. W. Singer, Wiredfor War: The Robotics Revolution and Conflict in the 21st Century (New York: Penguin, 2009), 435.

47

Ray Kurzweil, The Age of Spiritual Machines (New York: Penguin, 1999).

48

Rebecca Crootof, “A Meaningful F100r for Meaningful Human Control,” Temple International and Comparative Law Journal 30 (2016): 53–62; Paul Scharre, “Centaur Warfighting: The False Choice of Humans vs. Automation,” Temple International and Comparative Law Journal 30 (2016): 151–166.

49

Jeffrey L. Caton, Autonomous Weapon Systems: A Brief Survey of Developmental, Operational, Legal, and Ethical Issues (Carlisle, PA: US Army War College Press, 2015); Liang Qiao and Xiangsui Wang, Unrestricted Warfare: China’s Master Plan to Destroy America, trans. Al Santoli (Panama City: Pan American Publishing, 2000).

50

Проекты по анализу лиц, упомянутые в этом абзаце, критикуются в работе: Frank Pasquale, “When Machine Learning is Facially Invalid,” Communications of the ACM 61, no. 9 (2018): 25–27.

51

David Castlevecchi, “Can We Open the Black Box of Al?” Scientific American, October 5, 2016, https://www.scientificamerican.com/ article/can-we-open-the-black-box-of-ai/.

52

Jennifer Kavanagh and Michael D. Rich, Truth Decay: An Initial Exploration of the Diminishing Role of Facts and Analysis in American Public Life, Santa Monica, CA: RAND Corporation, 2018, https://www.rand. org/pubs/research_reports/RR23i4.html; Alice Marwick and Rebecca Lewis, Media Manipulation and Disinformation Online (New York: Data and Society, 2017), https://datasociety.net/pubs/oh/DataAndSocie-ty_MediaManipulationAndDisinformationOnline.pdf.

53

О различии между речью и поведении см., например: Claudia Haupt, “Professional Speech,” Yale Law Journal 125, no. 5 (2016): 1238–1303.

54

Как показывает Джил Эйал, экспертные знания вполне могут существовать вне эксперта, не только в виде набора пропозиционально выраженных знаний, но и в качестве институтов. См.: Gil Eyal, The Crisis of Expertise (Medford, MA: Polity Press, 2019).

55

Alex (Sandy) Pentland, Honest Signals: How They Shape Our World (Cambridge, MA: MIT Press, 2008), где обсуждаются социометрические индикаторы.

56

См.: Andrew Abbott, The System of Professions: An Essay on the Division of Expert Labor (Chicago: University of Chicago Press, 2014); Eliot Freidson, Professionalism, The Third Logic: On the Practice of Knowledge (Chicago: University of Chicago Press, 2001).

57

Подробное обсуждение «автоматизации добродетели» см. в: Ian Kerr, “Digital Locks and the Automation of Virtue,” in From Radical Extremism to Balanced Copyright: Canadian Copyright and the Digital Agenda, ed. Michael Geist (Toronto: Irwin Law, 2010), 247–303.

58

Hope Reese, “Updated: Autonomous Driving Levels о to 5: Understanding the Differences,” TechRepublic, January 20, 2016, http:// www.techrepublic.com/article/autonomous-driving-levels-o-to-5-understanding-the-differences/.

59

Кэти О’Нил, Убийственные большие данные: как математика превратилась в оружие массового поражения (Москва: ACT, 2018); Frank Pasquale, The Black Box Society: The Secret Algorithms That Control Money and Information (Cambridge, MA: Harvard University Press, 2015); Da-nah Boyd and Kate Crawford, “Critical Questions for Big Data: Provocations for a Cultural, Technological, and Scholarly Phenomenon.” Information, Communication, and Society 15, no. 5 (2012): 662–679.

60

Bryant Walker Smith, “How Governments Can Promote Automated Driving,” New Mexico Law Review 47 (2017): 99-138.

61

Ibid., 114.

62

Я привожу здесь лишь очевидные примеры. Подробное описание будущей работы, сосредоточенное в основном на приспособлении к новой технологии, см. в: Thomas Frey, “55 Jobs of the Future,” Futurist Speaker, November 11, 2011, http://www.futu-ristspeaker.com/business-trends/55-jobs-of-the-future/.

63

US Department of Transportation, Federal Automated Vehicles Policy: Accelerating the Next Revolution in Roadway Safety (September 2016), 9, https://www.transportation.gov/AV/federal-automated-vehicles-policy-september-2016.

64

Критическую роль будут играть правила, определяющие ответственность. См.: Marc Canellas and Rachel Haga, “Unsafe at Any Level: The U. S. NHTSA’s Levels of Automation Are a Liability for Automated Vehicles,” Communications of the ACM 63, no. 3 (2020): 31–34.

65

Чисто технологические проблемы тоже не так-то просто решить. См.: Roberto Baldwin, “Self-Driving Cars are Taking Longer to Build Than Everyone Thought,” Car and Driver, May 10, 2020, https://www.caranddriver.com/features/a32266303/self-driving-cars-are-taking-longer-to-build-than-everyone-thought/.

66

Al Now Institute, Al Now 201g Report, December 2019, 8, 45–47, https://ainowinstitute.org/AI_Now_2019_Report.pdf.

67

Henry Mance, “Britain Has Had Enough of Experts, says Gove,” Financial Times, June 3, 2016, https://www.ft.com/ content/3be49734-29cb-ne6-83e4-abc22d5dio8c.

68

Gil Eyal, The Crisis of Expertise (Cambridge, UK: Polity Press, 2019), 20.

69

По воспоминаниям генерала Рэймонда Томаса (Главное управление войск специального назначения США), который упомянул, что это было сказано ему в июле 2016 г. Эриком Шмидтом, председателем правления Google. См.: Kate Conger and Cade Metz, “ T Could Solve Most of Your Problems’: Eric Schmidt’s Pentagon Offensive,” Xew York Times, May 2, 2020, https://www.nytimes. com/2020/05/02/technology/eric-schmidt-pentagon-google.html.

70

Will Davies, “Elite Power under Advanced Neoliberalism,” Theory, Culture and Society 34, nos. 5–6 (2017): 233.

71

Я считаю, что эта интеграция демократических и экспертокра-тических ценностей может стать ключом к решению проблемы разделения между «диггерами» и «левеллерами» в исследованиях науки и технологии, которую отчетливо сформулировал Филип Мировски в своей недавней работе: Philip Mirowski, “Democracy, Expertise and the Post-truth Era: An Inquiry into the Contemporary Politics of STS,” (working paper, version 1.1, April 2020), https://www.academia.edu/42682483/Democracy_Expertise_ and_the_Post-Truth_Era_An_Inquiry_into_the_Contemporary_ Politics_of_STS.

72

Hubert L. Dreyfus, What Computers Still Can’t Do (Cambridge, MA: MIT Press, 1992).

73

Gert Р. Westert, Stef Groenewoud, John E.Wennberg, Catherine Gerard, Phil DaSilva, Femke Atsma, and David 0. Goodman, “Medical Practice Variation: Public Reporting a First Necessary Step to Spark Change,” International Journal for Quality in Health Care 30, no. 9 (2018): 731–735, https://doi.org/1o.1093/intqhc/mzyo92.

74

Anna B. Laakmann, “When Should Physicians Be Liable for Innovation?” Cardozo Law Review 36 (2016): 913–968.

75

Andy Kiersz, “These Are the Industries Most Likely to Be Taken Over by Robots,” World Economic Forum, April 25, 2019, https://www. weforum.org/agenda/2019/o4/these-are-the-industries-most-likely-to-be-taken-over-by-robots; Andrew Berg, Edward F. Buffie, and Luis-Felipe Zanna, “Should We Fear the Robot Revolution? (The Correct Answer Is Yes),” IMF Working Paper WP/18/116, May 21, 2018, https://www.imf.org/en/Publications/WP/Issues/2018/o5/21/Should-We-Fear-the-Robot-Revolution-The-Correct-Answer-is-Yes-44923.

76

Петро Домингос, Верховный алгоритм: как машинное обучение изменит наш мир (Москва: Манн, Иванов и Фербер, 2016).

77

Hugo Duncan, “Robots to Steal 15 Million of Your Jobs, Says Bank Chief: Doom-Laden Carney Warns Middle Classes Will Be ‘Hollowed Out’ by New Technology,” Daily Mail, December 5, 2008, http://www. dailymail.co.uk/news/article-4oo3756/Robots-steal-15m-jobs-says-bank-chief-Doom-laden-Carney-warns-middle-classes-hollowed-new-technology.html#ixzz4SDCt2Pql.

78

См., например: Clayton M.M. Christensen, Curtis W. Johnson, and Michael B. Horn, Disrupting Class (New York: McGraw-Hill, 2008); and Clayton M. Christensen, Jerome Grossman, and Jason Hwang, The Innovator’s Prescription: A Disruptive Solution for Health Care (New York: McGraw-Hill, 2009), где исследуются прорывные инновации в области здравоохранения.

79

Kenneth Scheve and David Stasavage, Taxing the Rich: A History of Fiscal Fairness in the United States and Europe (Princeton: Princeton University Press, 2016).

80

Alondra Nelson, “Society after Pandemic,” Items: Insights from the Social Sciences, April 23, 2020, at https://items.ssrc.org/covid-19-and-the-social-sciences/society-after-pandemic/. Джон Ури также утверждает, что «исследования будущего должны стать частью социальных наук, а также в определенной мере — частью повседневной жизни». См.: Джон Урри, Как выглядит будущее? (Москва: Издательский дом «Дело» РАНХиГС, 2018), Urry, What Is the Future? (Malden: Polity, 2016), 17–18.

81

Джозеф Вейценбаум, Возможности вычислительных машин и человеческий разум: от суждений к вычислениям (Москва: Радио и связь, 1982).

82

Aaron Smith and Monica Anderson, Automation in Everyday Life (Washington, DC: Pew Research Center, October 4, 2017), https:// www.pewinternet.org/2017/1o/o4/automation-in-everyday-life/.