Атлас искусственного интеллекта: руководство для будущего

Кейт Кроуфорд, 2021

Искусственный интеллект стал неотъемлемой частью современного мира, помогая людям в множестве сфер – от медицины до тяжелой промышленности. Оптимизация рабочих процессов, скорость выполнения, машинная точность в расчетах или креатив в творчестве – кажется, что ИИ стал совершенным инструментом для любой задачи. Кейт Кроуфорд – старший научный сотрудник Microsoft, профессор Калифорнийского университета – предлагает нам книгу-исследование, обращая наше внимание на темную сторону успеха и скрытые издержки искусственного интеллекта. В книге «Атлас ИИ» профессор Кроуфорд ответит на такие вопросы: – как ИИ формирует наше понимание самих себя и нашего общества? – как ИИ влияет на информационные ресурсы и социальные сети? – как ИИ влияет на усиление неравенства между людьми? – как ИИ контролирует органы власти и структуры стран? В формате PDF A4 сохранен издательский макет.

Посвящается Эллиоту и Маргарет

Kate Crawford

Atlas of AI

Power, Politics, and the Planetary Costs of Artificial Intelligence

* * *

Печатается с разрешения правообладателя YALE UNIVERSITY PRESS.

© Кроуфорд К., текст, 2021

© ООО Издательство «АСТ», 2023

© Захватова О., перевод, 2023

© Дрёмов А. С., тов. знак, 2023

* * *

Введение

Самая умная лошадь в мире

В конце девятнадцатого века Европу покорила лошадь по кличке Ганс. Умный Ганс поражал воображение: он решал математические задачи, определял время, дни в календаре, различал музыкальные тона, составлял слова и предложения. Люди стекались посмотреть, как немецкий жеребец отстукивает копытом ответы на сложные задачи и неизменно приходит к правильному ответу. «Сколько будет два плюс три?» Ганс старательно отстукивал копытом по земле пять раз. «Какой сегодня день недели?» Лошадь стучала копытом, верно указывая на каждую букву на специально изготовленной доске. Ганс освоил даже более сложные вопросы, например, такие: «Я загадал число. Я вычитаю девять и получаю три. Какое число я загадал?» К 1904 году Умный Ганс стал международной знаменитостью, а газета New York Times назвала его «Чудесной берлинской лошадью, способной на все, кроме разговоров»^[1].

Дрессировщик Ганса, отставной учитель математики по имени Вильгельм фон Остен, давно увлекался интеллектом животных.

Фон Остен пытался обучать котят и медвежат порядковым номерам, однако успеха он добился лишь после того, как начал работать со своей лошадью. Сначала он научил Ганса считать, держа животное за ногу, показывая ему цифру и постукивая копытом нужное количество раз. Вскоре Ганс уже озвучивал простые суммы. Затем фон Остен ввел доску с написанным алфавитом, и Ганс научился отстукивать цифру для каждой буквы на доске. После двух лет обучения фон Остен был поражен тем, как животное хорошо усваивало интеллектуальные концепции. Поэтому он взял Ганса с собой в дорогу в качестве доказательства, что животные могут рассуждать, и стал вирусной сенсацией прекрасной эпохи.

Тем не менее, многие люди отнеслись к этому скептически, и совет Германии по образованию создал следственную комиссию для проверки научных утверждений фон Остена. Психолог и философ Карл Штумпф и его помощник Оскар Пфунгст возглавили комиссию по Гансу. Также в нее вошли управляющий цирком, отставной школьный учитель, зоолог, ветеринар и кавалерийский офицер. Однако после продолжительной проверки способностей Ганса, как в присутствии его дрессировщика, так и без него, лошадь сохраняла свой рекорд правильных ответов, и комиссия не смогла найти никаких доказательств обмана. Как позже написал Пфунгст, Ганс выступал перед «тысячами зрителей, любителей лошадей, тренеров первого ранга, и ни один из них в течение многих месяцев наблюдений не смог обнаружить никакого особого „сигнала“ между вопрошающим и лошадью»^[2].

Комиссия пришла к выводу, что методы, применяемые к обучению Ганса, более схожи с «обучением детей в начальной школе», чем с дрессировкой животных, и «достойны научной экспертизы»^[3]. Однако Штумпф и Пфунгст по-прежнему сомневались. В частности, их беспокоил один факт: когда спрашивающий не знал ответа или стоял далеко, Ганс редко отвечал правильно. Пфунгст и Штумпф задумались: а не подавал ли Гансу ответы некий непреднамеренный сигнал?

Вильгельм фон Остен и Умный Ганс

Как описал Пфунгст в своей книге 1911 года, интуиция их не подвела: поза, дыхание и выражение лица человека, задающего вопрос, едва уловимо менялись в тот момент, когда Ганс достигал правильного ответа, тем самым побуждая его остановиться^[4]. Позже Пфунгст проверил эту гипотезу на людях и подтвердил догадку. Больше всего в этом открытии его восхитило то, что люди, задающие вопросы, как правило, не знали, что сами давали подсказки лошади. Решения Умного Ганса, писал Пфунгст, основывались на бессознательных сигналах людей^[5]. Лошадь была обучена давать те ответы, которые хотел увидеть хозяин, однако зрители не сочли это умение за необыкновенный интеллект.

История Умного Ганса интересна со многих сторон: связь между желанием, иллюзией и действием; развлекательный бизнес; антропоморфизм; возникновение предубеждений и политика интеллекта. Ганс ввел в психологию термин для обозначения особого типа концептуальных ловушек — «Эффект умного Ганса» или «эффект ожидания наблюдателя», с помощью которого описываются влияния непреднамеренных подсказок экспериментаторов на испытуемых. Отношения между Гансом и фон Остеном указывают как на сложные механизмы, посредством которых предубеждения проникают в системы, так и на увязание людей в изучаемых явлениях. В настоящее время история Ганса используется в машинном обучении и служит предостерегающим напоминанием о том, что далеко не всегда можно быть точно уверенным в достоверности полученных моделью данных^[6]. Даже система, которая, казалось бы, демонстрирует впечатляющие результаты в процессе обучения, иногда делает ужасные прогнозы на основе совершенно новой информации.

Отсюда вытекает главный вопрос книги: как «создается» интеллект, и какие ловушки могут возникнуть? На первый взгляд, история Умного Ганса — это пример того, как один человек создал интеллект, учив лошадь следовать подсказкам и подражать человеческому разуму. Но с другой стороны мы видим, что практика создания интеллекта значительно шире. Такое начинание требовало подтверждения со стороны множества институтов, включая академические круги, школы, науку, общественность и военных. Более того, фон Остен и его удивительная лошадь обрели рынок — эмоциональные и экономические инвестиции, которые стимулировали туры, газетные статьи и лекции. Были сформированы бюрократические инстанции, чтобы измерить и проверить и измерить способности лошади. Отсюда следует вывод, что совокупность финансовых, культурных и научных интересов сыграла свою роль в создании интеллекта Ганса, и все кругом были заинтересованы в его уникальности.

Здесь появляются две различные мифологемы. Первая из них заключается в том, что нечеловеческие системы (будь то компьютеры или лошади) являются аналогами человеческого разума. Эта точка зрения предполагает, что при достаточной подготовке или достаточных ресурсах человекоподобный интеллект может быть создан с нуля, без учета фундаментальных межличностных отношений, и помещен в рамки более широкой экологии. Второй миф заключается в том, что интеллект — это нечто, существующее независимо; он является естественным и не сопряжен с социальными, культурными, историческими и политическими силами. На самом же деле концепция интеллекта на протяжении веков наносила огромный вред и использовалась для оправдания отношений господства — от рабства до евгеники^[7].

Эти мифологемы особенно сильны в области искусственного интеллекта, где вера в то, что человеческий интеллект может быть формализован и воспроизведен машинами, с середины двадцатого века стала аксиомой. Подобно тому, как интеллект Ганса считался схожим с человеческим и восприимчивым к обучению, так и системы искусственного интеллекта неоднократно описывались как простые, но человекоподобные формы.

В 1950 году Алан Тьюринг предсказал, что «к концу столетия употребление слов и общее мнение людей изменится настолько, что можно будет говорить о мышлении машин, даже не опасаясь возражений»^[8]. Математик Джон фон Нейман в 1958 году утверждал, что функция человеческой нервной системы «на первый взгляд цифровая»^[9]. Профессор Массачусетского технологического института Марвин Мински однажды ответил на вопрос о том, могут ли машины думать, сказав: «Конечно, машины могут думать; мы ведь тоже машины, только „мясные“»^[10]. Однако нашлись и те, кто не мог согласиться с данной теорией. Джозеф Вейценбаум, ранний изобретатель ИИ и создатель первой программы чат-бота, известной как ELIZA, считал, что представление о человеке как о простой системе обработки информации является слишком упрощенным понятием интеллекта и порождает «извращенную фантазию», будто «ученые ИИ создадут машину, которая сможет обучаться наподобие ребенка»^[11].

Это был один из основных споров в истории искусственного интеллекта. В 1961 году в Массачусетском технологическом институте состоялся знаменательный цикл лекций под названием «Управление и компьютер будущего». Звездный состав ученых-компьютерщиков, включая Грейс Хоппер, Дж. К. Р. Ликлайдера, Марвина Мински, Аллена Ньюэлла, Герберта Саймона и Норберта Винера, обсуждал стремительные достижения в области цифровых вычислений. В заключение Джон Маккарти смело заявил, что различия между человеческими и машинными задачами иллюзорны. Просто существуют некоторые сложные человеческие задачи, которые требуют больше времени для формализации и решения машинами^[12].

Однако профессор философии Хьюберт Дрейфус выступил с возражением, обеспокоенный тем, что собравшиеся инженеры «даже не рассматривают возможность того, что мозг обрабатывает информацию совершенно иначе, чем компьютер»^[13]. В своей более поздней работе «Чего не могут вычислительные машины» Дрейфус отметил, что «человеческий интеллект и опыт в значительной степени зависят от многих бессознательных и подсознательных процессов, тогда как компьютеры требуют, чтобы все процессы и данные были явными и формализованными»^[14]. Следовательно, формальные аспекты интеллекта должны быть абстрагированы, устранены или адаптированы для компьютеров, что делает их неспособными обрабатывать информацию так, как это делают люди.

С 1960-х годов в ИИ многое изменилось, включая переход от символьных систем к недавней волне шумихи вокруг методов машинного обучения. Во многом споры о способностях ИИ были забыты, а скептицизм сошел на нет. С середины 2000-х годов ИИ быстро развивался как научная область и как индустрия. В настоящее время небольшое число мощных технологических корпораций развертывают системы ИИ в планетарном масштабе, и их системы снова называют сравнимыми или даже превосходящими человеческий интеллект.

Однако история об Умном Гансе напоминает нам о том, насколько узко мы рассматриваем или признаем интеллект. Ганса учили имитировать задачи в очень ограниченном диапазоне: сложение, вычитание и отстукивание слов. Ганс демонстрировал выдающиеся способности в межвидовом общении, публичных выступлениях и значительном терпении, но все это не было признано интеллектом. По словам автора и инженера Эллен Ульман, убеждение, будто разум подобен компьютеру и наоборот, «на несколько десятилетий заразило мышление в области компьютерных и когнитивных наук», создав своего рода первородный грех^[15]. Это идеология картезианского дуализма в искусственном интеллекте: где ИИ понимается узко, как развоплощенный интеллект, отстраненный от любого отношения к материальному миру.

Что такое искусственный интеллект?

Давайте зададим простой вопрос: «Что такое искусственный интеллект?» Если вы спросите кого-нибудь на улице, он может упомянуть Siri или Apple, облачный сервис Amazon, автомобили Tesla или поисковый алгоритм Google. Если же вы обратитесь к экспертам в области глубокого обучения, вам дадут технический ответ о том, как нейронные сети организовываются в десятки слоев, получают данные типа метки, которым присваиваются пороговые значения, и они могут классифицировать данные таким образом, который пока что не до конца объясним^[16]. В 1978 году, обсуждая экспертные системы, профессор Дональд Мичи описал ИИ как совершенствование знаний, где «может быть достигнута надежность и компетентность кодификации, значительно превосходящая самый высокий уровень, которого когда-либо достигал, а возможно, и может достичь, человек-эксперт без посторонней помощи»^[17]. В одном из самых популярных учебников по этому предмету Стюарт Рассел и Питер Норвиг утверждают, что ИИ — это попытка понять и создать разумные сущности. «Интеллект в основном связан с рациональными действиями, — утверждают они. — В идеале — интеллектуальный агент предпринимает наилучшие возможные действия в той или иной ситуации»^[18].

Каждый способ определения искусственного интеллекта выполняет свою задачу, устанавливая рамки того, как его будут понимать, измерять, оценивать и регулировать. Если ИИ определяется потребительскими брендами для корпоративной инфраструктуры, то маркетинг и реклама предопределили горизонт. Если ИИ рассматривается как более надежная или рациональная система по сравнению с человеком-экспертом, то это предполагает, что ему следует доверять принятие решений в области здравоохранения, образования и уголовного правосудия. Когда в центре внимания оказываются конкретные алгоритмические методы, это говорит о том, что важен только постоянный технический прогресс, без учета вычислительных затрат и будущих последствий для планеты.

Напротив, в этой книге я утверждаю, что ИИ не является ни чем-то искусственным, ни интеллектуальным. Скорее, искусственный интеллект — это воплощение и материал, созданный из природных ресурсов, топлива, человеческого труда, инфраструктуры, логистики, истории и классификаций. Системы ИИ не обладают автономностью, рациональностью или способностью распознавать что-либо без длительного, требующего больших вычислительных затрат обучения с использованием больших массивов данных или предопределенных правил и вознаграждений. Искусственный интеллект, каким мы его знаем, полностью зависит от гораздо более широкого набора политических и социальных структур. И из-за капитала, необходимого для масштабного создания ИИ, и способов видения, которые он оптимизирует, системы ИИ в конечном итоге предназначены для обслуживания существующих доминирующих интересов. В этом смысле искусственный интеллект — это реестр власти.

В этой книге мы рассмотрим, как в самом широком смысле создается искусственный интеллект, а также формирующие его экономические, политические, культурные и исторические силы. Как только мы свяжем ИИ со структурами и социальными системами, мы сможем избавиться от представления, будто искусственный интеллект — это исключительно техническая область. На фундаментальном уровне ИИ — это технические и социальные практики, институты и инфраструктуры, политика и культура. Вычислительный разум и воплощенная работа глубоко взаимосвязаны: системы ИИ как отражают, так и производят социальные отношения и понимание мира.

Стоит отметить, что термин «искусственный интеллект» иногда вызывает дискомфорт в сообществе компьютерных наук. Это словосочетание то входит, то выходит из моды на протяжении десятилетий, и используется больше в маркетинге, чем исследователями. В технической литературе чаще используется термин «машинное обучение». Тем не менее, номенклатура ИИ нередко используется в период подачи заявок на финансирование, когда венчурные капиталисты приходят с чековыми книжками, или когда исследователи стремятся привлечь внимание прессы к новому научному результату. Термин ИИ то используется, то снова отвергается, поэтому его значение постоянно меняется. Что касается меня, то я использую ИИ, говоря о массивной индустриальной формации, включающей политику, труд, культуру и капитал. Когда я говорю о машинном обучении, я имею в виду ряд технических подходов (которые, по сути, также являются социальными и инфраструктурными, хотя об этом редко упоминают).

Между тем, существуют значительные причины, по которым данная область была сосредоточена на технических аспектах — алгоритмических прорывах, постепенном совершенствовании продуктов и повышении удобства. Структуры власти на пересечении технологий, капитала и управления хорошо поддаются узкому, абстрактному анализу. Чтобы понять, каким образом ИИ приобретает фундаментально политический характер, нам нужно выйти за рамки нейронных сетей и статистического распознавания образов, и спросить: что оптимизируется, для кого, и кто принимает решения? Затем мы можем проследить последствия этого выбора.

Взгляд на искусственный интеллект как на атлас

Чем же атлас может помочь нам понять принципы создания искусственного интеллекта? Атлас — это необычный тип книги. Он представляет собой собрание разрозненных частей с картами, разрешение которых варьируется от спутникового обзора планеты до подробного изображения архипелага. Открывая атлас, вы, возможно, ищете конкретную информацию о каком-то месте, а может быть, вы блуждаете, следуя любопытству, и находите неожиданные пути и новые перспективы. Как отмечает историк науки Лоррейн Дастон, все научные атласы стремятся приучить глаз, сфокусировать внимание наблюдателя на конкретных деталях и значимых характеристиках^[19]. Атлас представляет определенную точку зрения на мир с отпечатком науки — масштабами, соотношениями, широтами и долготами — и чувством формы и последовательности.

Однако атлас — это в равной степени акт творчества, некое субъективное, политическое и эстетическое вмешательство, сродни научной коллекции. Французский философ Жорж Диди-Юберман считает атлас чем-то, что живет в эстетической парадигме визуального и эпистемической парадигме знания. Задействуя и то, и другое, он подрывает идею о том, что наука и искусство когда-либо полностью разделялись^[20]. Вместо этого атлас предлагает нам возможность пересмотреть мир, по-разному связать фрагменты и «снова собрать его воедино, не думая о том, что мы подводим итоги или исчерпываем его»^[21].

Мой любимый пример о полезности картографического подхода принадлежит физику и критику технологий Урсуле Франклин: «Карты представляют собой целенаправленную деятельность: они призваны быть полезными, помогать путешественнику и преодолевать разрыв между известным и еще неизвестным; они являются свидетельством коллективного знания и проницательности»^[22].

Карты предлагают нам компендиум открытых путей, общих способов познания, которые можно смешивать и комбинировать для создания новых взаимосвязей. Но существуют также карты господства, те национальные карты, на которых территория вырезана вдоль линий разлома власти: от прямого вмешательства при проведении границ через спорные пространства до выявления колониальных путей империй. Ссылаясь на атлас, я хочу сказать, что нам нужны новые способы понимания империй искусственного интеллекта. Нам нужна теория ИИ, учитывающая государства и корпорации, которые управляют им и доминируют над ним; добычу полезных ископаемых, оставляющую отпечаток на планете; массовый сбор данных; а также глубоко неравные и все более эксплуататорские методы труда, которые его поддерживают. Таковы меняющиеся тектоники власти в ИИ. Топографический подход предлагает различные перспективы и масштабы, выходящие за рамки абстрактных обещаний искусственного интеллекта или новейших моделей машинного обучения. Цель состоит в том, чтобы понять ИИ в более широком контексте, пройдя через множество различных ландшафтов вычислений и увидев, как они связаны между собой^[23].

Атласы актуальны и в другом смысле. Область ИИ явно пытается запечатлеть планету в удобочитаемой для вычислений форме. И это не метафора, а прямое стремление индустрии. Индустрия ИИ создает и нормализует собственные карты, как централизованный взгляд на человеческое движение, общение и труд. Некоторые ученые в области ИИ заявили о желании захватить мир и вытеснить другие формы познания. Профессор ИИ Фей-Фей Ли описывает свой проект ImageNet как процесс, направленный на «нанесение на карту всего мира объектов»^[24]. В своем учебнике Рассел и Норвиг описывают искусственный интеллект следующим образом: «Механизм, относящийся к любой интеллектуальной задаче; это поистине универсальная область»^[25]. Один из основателей искусственного интеллекта и ранний экспериментатор в области распознавания лиц Вуди Бледсоу выразился наиболее прямолинейно: «В долгосрочной перспективе ИИ — это единственная наука»^[26]. Идея состоит в том, чтобы не создать атлас мира, а стать атласом. Этот колонизаторский импульс централизует власть в сфере ИИ: он определяет, как измеряется и определяется мир, одновременно отрицая, что это по своей сути политическая деятельность.

Не претендуя на универсальность, книга, которую вы держите в руках, представляет собой частичный отчет. Увлекая вас в мои исследования, я надеюсь показать вам, как формировались мои взгляды. Мы столкнемся с хорошо посещаемыми и менее известными ландшафтами вычислений: шахтами, длинными коридорами энергопоглощающих центров обработки данных, архивами, базами данных изображений и освещенными ангарами. Эти места включены не только для иллюстрации материальной конструкции ИИ и его идеологии, но и для того, чтобы «осветить неизбежно субъективные и политические аспекты картирования и предоставить альтернативу гегемонистским и авторитетным подходам», как пишет исследователь медиа Шеннон Мэттерн^[27].

Модели понимания систем уже давно опираются на идеалы прозрачности. Как я писала вместе с исследователем СМИ Майком Ананни, способность видеть систему иногда приравнивается к способности знать, как она работает и как ею управлять^[28]. Но эта тенденция имеет серьезные ограничения. В случае с ИИ у нас нет «черного ящика», нет секрета, который можно разоблачить, а есть множество переплетенных систем власти. Полная прозрачность является невозможной целью. Скорее, мы лучше понимаем роль ИИ в мире, изучая его материальную архитектуру, контекстную среду и преобладающую политику, а также прослеживая, как они связаны между собой.

Мои размышления опираются на такие дисциплины, как исследования науки и технологий, право и политическая философия, а также на опыт работы в академических кругах и в промышленной исследовательской лаборатории ИИ на протяжении почти десяти лет. За эти годы многие коллеги и сообщества изменили мой взгляд на мир: составление карты — это всегда коллективное занятие, и данная книга не является исключением^[29]. Я благодарна ученым, создавшим новые способы понимания социотехнических систем, включая Джеффри Боукера, Бенджамина Браттона, Венди Чун, Лоррейн Дастон, Питера Галисона, Яна Хакинга, Стюарта Холла, Дональда Маккензи, Ахилла Мбембе, Алондру Нельсон, Сьюзен Ли Стар, Люси Сачман, и многим другим. На создание этой книги повлияли многочисленные беседы и чтение последних работ авторов, изучающих политику технологий, включая Марка Андреевича, Руха Бенджамина, Мередит Бруссард, Симону Браун, Джули Коэн, Сашу Костанза-Чок, Вирджинию Юбэнкс, Тарлетона Гиллеспи, Мар Хикс, Тунг-Хуи Ху, Юк Хуи, Сафию Умоджа Ноубл и Астру Тейлор.

Как и любая книга, моя работа возникла на основе жизненного опыта, что накладывает свои ограничения. Поскольку последние десять лет я жила и работала в США, мое внимание сосредоточено на западной индустрии ИИ. И все же я не ставлю перед собой цель создать полный глобальный атлас: сама эта идея наводит на мысль о захвате и колониальном контроле. Взгляд любого автора основывается на местных наблюдениях и интерпретациях, что географ окружающей среды Саманта Савилл называет «скромной географией», которая признает специфические перспективы, но не претендует на объективность или мастерство^[30].

Mappa mundi Генриха Бюнтинга, известная как «Карта Бюнтинга в форме клеверного листа», символизирующая христианскую Троицу с городом Иерусалимом в центре мира. Из книги «Itinerarium Sacrae Scripturae» (Магдебург, 1581)

Подобно множеству способов создания атласа, существует немало вариантов будущего использования ИИ в мире. Расширение сферы применения систем ИИ может показаться неизбежным, хотя на самом деле это довольно спорный вопрос. Основополагающие концепции в области ИИ не возникают автономно, а формируются на основе определенного набора убеждений и перспектив. Главные разработчики современного атласа ИИ — это небольшая и однородная группа людей, базирующаяся в нескольких городах и работающая в отрасли, которая в настоящее время является самой богатой в мире. Подобно средневековым европейским mappae mundi (с лат. карта мира), которые иллюстрировали религиозные и классические концепции в той же степени, что и координаты, атласы, созданные индустрией ИИ, являются политическими интервенциями, а не нейтральным отражением мира. Настоящая книга написана в противовес логике колониального картографирования и охватывает различные истории, места и базы знаний, чтобы лучше понять роль ИИ в мире.

Топографии вычислений

Как на данный момент, в двадцать первом веке, концептуализируется и конструируется ИИ? Что стоит на кону в повороте к искусственному интеллекту, и какие виды политики содержатся в системах отображения и интерпретации мира? Каковы социальные и материальные последствия включения ИИ в системы принятия решений таких социальных институтов, как образование и здравоохранение, финансы, государственная деятельность, взаимодействие на рабочем месте и прием на работу, системы коммуникаций и правосудия? Эта книга — не рассказ о коде и алгоритмах или о последних достижениях в области компьютерного зрения и обработки естественного языка; этим занимаются многие другие книги. Это также не этнографический рассказ об отдельном сообществе и влиянии ИИ на их опыт работы, жилья или медицины — хотя нам, конечно, нужно больше таких работ.

Напротив, это расширенный взгляд на искусственный интеллект как на добывающую промышленность. Создание современных систем ИИ зависит от использования энергетических и минеральных ресурсов планеты, дешевой рабочей силы и данных в больших масштабах. Чтобы увидеть это в действии, мы отправимся в серию путешествий по местам, которые раскрывают зачатки ИИ.

В первой главе мы начинаем с литиевых шахт в Неваде, одного из многих мест добычи полезных ископаемых, необходимых для питания современных вычислений. Именно в шахтах мы в самом буквальном смысле наблюдаем за добывающей политикой ИИ. Спрос технологического сектора на редкоземельные минералы, нефть и уголь огромен, но истинные затраты на их добычу никогда не покрываются самой отраслью. Что касается программного обеспечения, то создание моделей для обработки естественного языка и компьютерного зрения требует огромного количества энергии, а конкуренция за создание более быстрых и эффективных моделей привела к появлению вычислительно жадных методов, которые увеличивают углеродный след ИИ. От последних оставшихся деревьев в Малайзии, вырубленных с целью производства латекса для первых трансатлантических подводных кабелей, до гигантского искусственного озера токсичных отходов во Внутренней Монголии, мы прослеживаем экологические и человеческие места рождения планетарных вычислительных сетей и видим, как они продолжают терраформировать планету.

Во второй главе показано, как человеческий труд способствует созданию искусственного интеллекта. Мы рассмотрим цифровых сдельщиков, которым платят за выполнение микрозадач, чтобы системы данных выглядели более интеллектуальными, чем они есть на самом деле^[31]. Наше путешествие приведет нас на склады Amazon, где работникам приходится успевать за алгоритмическим ритмом огромной логистической империи. Мы посетим чикагских рабочих-мясников на комбинате, где туши животных подвергаются вивисекции и готовятся к употреблению. И мы услышим рабочих, протестующих против систем искусственного интеллекта, внедряемых для усиления наблюдения и контроля.

Труд — это также и время. Координация действий людей с повторяющимися движениями роботов и линейного оборудования всегда предполагала управление телом в пространстве и времени^[32]. От изобретения секундомера до TrueTime от Google процесс координации времени лежит в основе управления рабочим местом. Технологии ИИ как требуют, так и создают условия для все более детальных и точных механизмов управления временем. Координация требует все более подробной информации о том, что делают люди, как и когда.

Третья глава посвящена роли данных. Все общедоступные цифровые материалы — включая личные или потенциально опасные данные — собираются для тренировочных наборов, которые используются для создания моделей ИИ. Существуют гигантские базы данных, полные селфи людей, жестов рук, людей за рулем автомобилей, плача младенцев, разговоров в новостных группах 1990-х годов, и все это собрано для улучшения алгоритмов, выполняющих такие функции, как распознавание лиц, предсказание языка и обнаружение объектов. Когда эти коллекции больше не рассматриваются как личный материал людей, а просто как инфраструктура, конкретное значение или контекст изображения или видео считается неважным. Помимо серьезных вопросов неприкосновенности частной жизни и продолжающегося капитализма наблюдения, нынешняя практика работы с данными в ИИ вызывает глубокие этические, методологические и эпистемологические проблемы^[33].

И как же все эти данные используются? В четвертой главе мы рассмотрим практику классификации в системах искусственного интеллекта, то, что социолог Карин Кнорр Цетина называет «эпистемическим механизмом»^[34]. Мы увидим, как современные системы используют ярлыки для предсказания человеческой личности, обычно используя бинарный пол, эссенциализированные расовые категории, проблематичные оценки характера и кредитоспособности. Знак заменяет систему, прокси заменяет реальность, а игрушечная модель заменяет бесконечную сложность человеческой субъективности. Рассматривая создание классификаций, мы увидим, как технические схемы навязывают иерархию и увеличивают неравенство. Машинное обучение представляет нам режим нормативных рассуждений, которые, когда они набирают силу, приобретают форму мощной управляющей рациональности.

Отсюда мы отправляемся в горные города Папуа-Новой Гвинеи, чтобы изучить историю распознавания аффектов — идею о том, что мимика лица является ключом к раскрытию внутреннего эмоционального состояния человека. В пятой главе рассматривается утверждение психолога Пола Экмана о том, что существует небольшой набор универсальных эмоциональных состояний, которые можно прочитать непосредственно по лицу. Технологические компании сейчас внедряют эту идею в системы распознавания аффектов, что является частью отрасли, стоимость которой, по прогнозам, превысит семнадцать миллиардов долларов^[35]. Однако вокруг распознавания эмоций существует значительное количество научных противоречий, которые в лучшем случае неполны, а в худшем — вводят в заблуждение. И все же, несмотря на нестабильность предпосылок, эти инструменты быстро внедряются в системы найма, образования и охраны правопорядка.

В шестой главе мы рассмотрим, как системы искусственного интеллекта используются в качестве инструмента государственной власти. Военное прошлое ИИ и его настоящее сформировали практику наблюдения, сбора данных и оценки рисков. Глубокие взаимосвязи между технологическим сектором и военным сейчас сдерживаются, чтобы соответствовать сильной националистической повестке дня. Тем временем внеправовые инструменты, используемые разведывательным сообществом, перешли из военной сферы в коммерческий технологический сектор и используются в классах, полицейских участках, на рабочих местах и в бюро по трудоустройству. Военная логика, сформировавшая системы ИИ, теперь является частью работы муниципальных органов власти, и она еще больше искажает отношения между государствами и субъектами.

В заключительной главе оценивается, как искусственный интеллект функционирует в качестве структуры власти, объединяющей инфраструктуру, капитал и труд. От водителя Uber до иммигранта без документов и жильцов коммунальных квартир, которые сталкиваются с системами распознавания лиц в своих домах, системы искусственного интеллекта построены на логике капитала, охраны порядка и милитаризации, и эта комбинация еще больше усиливает существующую асимметрию власти. Способы видения зависят от двух шагов — абстрагирования и извлечения: абстрагирование от материальных условий создания и извлечение большего количества информации и ресурсов из тех, кто менее всего способен сопротивляться.

Однако эту логику можно оспорить, так же как можно отвергнуть системы, увековечивающие угнетение. По мере изменения условий на Земле призывы к защите данных, трудовых прав, климатической справедливости и расовому равенству должны звучать вместе. Когда взаимосвязанные движения за справедливость станут основой нашего понимания искусственного интеллекта, тогда и различные концепции планетарной политики станут возможными.

Добыча, власть и политика

Итак, искусственный интеллект — это идея, инфраструктура, индустрия, форма осуществления власти и способ видения; это также проявление высокоорганизованного капитала, опирающегося на огромные системы добычи и логистики, с цепочками поставок, опоясывающими всю планету. Все эти вещи являются частью того, что представляет собой искусственный интеллект — двусловная фраза, на которую накладывается сложный набор ожиданий, идеологий, желаний и страхов.

ИИ может казаться призрачной силой — как развоплощенные вычисления, — однако эти системы не абстрактны. Это физические инфраструктуры, изменяющие Землю и одновременно меняющие представление о мире и его понимание.

Для нас важно разобраться с многочисленными аспектами искусственного интеллекта — его податливостью, беспорядочностью, пространственным и временным охватом. Неразборчивость ИИ как термина, его открытость к изменению конфигурации, также означает, что его возможно использовать по-разному: он может относиться ко всему, от потребительских устройств, таких как Amazon Echo, до безымянных систем обработки данных, от узких технических статей до крупнейших промышленных компаний в мире. Но и в этом есть своя польза. Широта термина «искусственный интеллект» дает нам право рассмотреть эти элементы и их глубокую связь: от политики интеллекта до массового сбора данных; от промышленной концентрации технологического сектора до геополитической военной мощи; от обездоленной окружающей среды до продолжающихся форм дискриминации.

Задача состоит в том, чтобы оставаться чуткими по отношению к обстановке и следить за изменчивыми и гибкими значениями термина «искусственный интеллект» (подобно контейнеру, куда помещают различные вещи, а затем вынимают), потому что это тоже часть истории.

Проще говоря, искусственный интеллект является игроком в формировании знаний, коммуникации и власти. Эти изменения происходят на уровне эпистемологии, принципов справедливости, социальной организации, политического выражения, культуры, понимания человеческих тел, субъективности и идентичности: какие мы есть и какими мы можем быть. Но мы можем капнуть дальше. Искусственный интеллект, в процессе перепланировки и вмешательства в мир, является политикой — хотя редко признается таковой. Эта политика управляется Великими домами ИИ, состоящими из полудюжины (или около того) компаний, которые доминируют в крупномасштабных планетарных вычислениях.

В настоящее время многие социальные институты находятся под влиянием инструментов и методов, формирующих ценности и способность принимать решения, создавая при этом сложный ряд последующих эффектов. Усиление технократической власти происходило уже давно, но сейчас этот процесс ускорился. Отчасти это связано с концентрацией промышленного капитала в период жесткой экономии и аутсорсинга, включая сокращение финансирования систем социального обеспечения и институтов, которые когда-то служили сдерживающим фактором для рыночной власти. Вот почему мы должны противостоять ИИ как политической, экономической, культурной и научной силе. Как отмечают Алондра Нельсон, Туй Линь Ту и Алисия Хедлам Хайнс: «Соревнования вокруг технологий всегда связаны с более масштабной борьбой за экономическую мобильность, политическое маневрирование и создание сообществ»^[36].

Мы находимся на переломном этапе, который требует от нас сложных вопросов о создании и внедрении ИИ. Мы должны спросить: что такое ИИ? Какие формы политики он пропагандирует? Чьим интересам он служит, и кто несет наибольший риск ущерба? И где использование ИИ должно быть ограничено? Да, на эти вопросы не так просто дать ответы. Но они и не являются неразрешимой ситуацией или точкой невозврата. Антиутопические формы мышления способны воспрепятствовать принятию мер и предотвратить крайне необходимые вмешательства^[37]. Как пишет Урсула Франклин: «Жизнеспособность технологии, как и демократии, в конечном итоге зависит от практики правосудия и соблюдения ограничений власти»^[38].

В этой книге утверждается, что решение фундаментальных проблем ИИ и планетарных вычислений требует объединения вопросов власти и справедливости: от эпистемологии до трудовых прав, от добычи ресурсов до защиты данных, от расового неравенства до изменения климата. Для этого нам необходимо расширить наше понимание того, что происходит в империях ИИ, увидеть, что поставлено на карту, и принять лучшие коллективные решения о том, что должно произойти дальше.

Примечания

1

Heyn, «Berlin’s Wonderful Horse.»

2

Pfungst, Clever Hans.

3

«Clever Hans’ Again.»

4

Pfungst, Clever Hans.

5

Pfungst.

6

Lapuschkin et al., «Unmasking Clever Hans Predictors.»

7

See the work of philosopher Val Plumwood on the dualisms of intelligence-stupid, emotional-rational, and master-slave. Plumwood, «Politics of Reason.»

8

Turing, «Computing Machinery and Intelligence.»

9

Von Neumann, The Computer and the Brain, 44. This approach was deeply critiqued by Dreyfus, What Computers Can’t Do.

10

See Weizenbaum, «On the Impact of the Computer on Society,» After his death, Minsky was implicated in serious allegations related to convicted pedophile and rapist Jeffrey Epstein. Minsky was one of several scientists who met with Epstein and visited his island retreat where underage girls were forced to have sex with members of Epstein’s coterie. As scholar Meredith Broussard observes, this was part of a broader culture of exclusion that became endemic in AI: «As wonderfully creative as Minsky and his cohort were, they also solidified the culture of tech as a billionaire boys’ club. Math, physics, and the other ‘hard’ sciences have never been hospitable to women and people of color; tech followed this lead.» See Broussard, Artificial Unintelligence, 174.

11

Weizenbaum, Computer Power and Human Reason, 202–3.

12

Greenberger, Management and the Computer of the Future, 315.

13

Dreyfus, Alchemy and Artificial Intelligence.

14

Dreyfus, What Computers Can’t Do.

15

Ullman, Life in Code, 136–37.

16

See, as one of many examples, Poggio et al., «Why and When Can Deep — but Not Shallow — Networks Avoid the Curse of Dimensionality.»

17

Quoted in Gill, Artificial Intelligence for Society, 3.

18

Russell and Norvig, Artificial Intelligence, 30.

19

Daston, «Cloud Physiognomy.»

20

Didi-Huberman, Atlas, 5.

21

Didi-Huberman, 11.

22

Franklin and Swenarchuk, Ursula Franklin Reader, Prelude.

23

For an account of the practices of data colonization, see «Colonized by Data»; and Mbembé, Critique of Black Reason.

24

Fei-Fei Li quoted in Gershgorn, «Data That Transformed AI Research.»

25

Russell and Norvig, Artificial Intelligence, 1.

26

Bledsoe quoted in McCorduck, Machines Who Think, 136.

27

Mattern, Code and Clay, Data and Dirt, xxxiv-xxxv.

28

Ananny and Crawford, «Seeing without Knowing.»

29

Any list will always be an inadequate account of all the people and communities who have inspired and informed this work. I’m particularly grateful to these research communities: FATE (Fairness, Accountability, Transparency and Ethics) and the Social Media Collective at Microsoft Research, the AI Now Institute at NYU, the Foundations of AI working group at the École Normale Supérieure, and the Richard von Weizsäcker Visiting Fellows at the Robert Bosch Academy in Berlin.

30

Saville, «Towards Humble Geographies.»

31

For more on crowdworkers, see Gray and Suri, Ghost Work; and Roberts, Behind the Screen.

32

Canales, Tenth of a Second.

33

Zuboff, Age of Surveillance Capitalism.

34

Cetina, Epistemic Cultures, 3.

35

«Emotion Detection and Recognition (EDR) Market Size.»

36

Nelson, Tu, and Hines, «Introduction,» 5.

37

Danowski and de Castro, Ends of the World.

38

Franklin, Real World of Technology, 5.