Опасный ИИ: что такое математическая отмывка и как чат-боты учатся у людей плохому
Исследовательница Джанель Шейн в своем научно-популярном блоге AI Weirdness («Странности ИИ») создает разные модели искусственного интеллекта, которые пытаются конструировать пикаперские фразы (пока не очень удачно), придумывать названия для оттенков краски, создавать рецепты или просит GPT-3 притвориться белкой — все это она делает для того, чтобы понять пределы возможностей искусственного интеллекта и разобраться, как он устроен.
В своей книге «Кокетливый интеллект. Как научить искусственный интеллект флиртовать?» (выходит на русском языке в мае в издательстве «Бомбора») она простым языком объясняет, насколько действительно разумен искусственный разум и можно ли ему доверять действительно важные задачи — и если да, то какие.
Берегитесь ИИ, которые учатся в процессе работы
Искусственному интеллекту сложно не только понять, что его решение провоцирует проблемы, но и взаимодействовать с окружающей средой. Можно вспомнить печально известный Microsoft Tay — Twitter-бот на машинном обучении, который должен был обучаться у пользователей, оставлявших у него на странице твиты.
Бот прожил недолго. «К сожалению, — заявил представитель Microsoft в интервью Washington Post, — уже в первые сутки мы зафиксировали скоординированную попытку некоторых воспользоваться комментаторскими способностями Tay, чтобы обучить чат-бот неприемлемым способам общения. Нам пришлось отключить Tay и скорректировать его настройки».
В мгновение ока пользователи научили Tay грязно выражаться, проявлять ксенофобию и другие нехорошие вещи. У чат-бота не было встроенной системы для распознавания оскорбительных фраз, и хулиганы с радостью этим воспользовались. Вообще крайне сложно помечать случаи использования оскорбительной лексики и притом не трогать дискуссии, где обсуждается результат ее применения. Если алгоритмы не научатся автоматически распознавать такие вещи, то будут неизбежно время от времени сбиваться с пути и способствовать их распространению.
ИИ, который в поисковых системах отвечает за автозаполнение запросов, обучается «на лету», и, поскольку в деле замешаны люди, это может привести к нелепым результатам. Проблема в том, что если поиск предложит фразу с очень смешной ошибкой, то человек, скорее всего, на нее кликнет, после чего ИИ с большей вероятностью будет отображать ее другим пользователям.
Яркий пример тому — случай в 2009 году с фразой: «Почему мой попугайчик не ест мою диарею?», которая появлялась при автозаполнении в поиске Google. Людям она казалась до того смешной, что вскоре ИИ стал предлагать ее всем, кто начинал печатать: «Почему мой…» Вероятно, сотрудникам Google пришлось вручную запретить ИИ предлагать этот вариант.
Обучать алгоритмы прогнозированию полицейской деятельности в процессе работы может быть опасно. Если ИИ увидит, что в каком-то районе происходит больше арестов, чем в других, она увеличит для него количество прогнозируемых будущих арестов. И если полиция в результате повысит число патрулей в том районе, то «пророчество» рискует оказаться самосбывающимся: чем больше полицейских на улицах, тем больше преступлений она зафиксирует и тем больше произведет арестов, даже если уровень преступности там такой же, как и в соседних районах. Получив данные о новых арестах, алгоритм может снова повысить прогноз для этого района. И если полиция снова увеличит там число патрулей, проблема будет только усугубляться.
Конечно, чтобы попасть в такую петлю обратной связи, не требуется ИИ — то же самое может произойти и с очень простыми алгоритмами и даже с людьми. Вот вам очень простой пример петли обратной связи: в 2011 году ученый из лаборатории биолога Майкла Айзена попытался приобрести один конкретный учебник по биологии плодовых мушек, и Айзен заметил нечто странное. Книга уже не издавалась, но в продаже экземпляров хватало; бывшие в употреблении копии стоили на Amazon примерно $35. Две новые копии, однако, стоили $1 730 045,91 и $2 198 177,95 (плюс $3,99 за доставку). Айзен проверил цену на те же копии на следующий день и обнаружил, что обе выросли в цене почти до $2,8 млн. Он наблюдал за ситуацией несколько дней и выявил закономерность: каждое утро компания, продававшая экземпляр по более низкой цене, увеличивала ее до значения, составлявшего 0,9983 от более высокой. После обеда цена более дорогой книги увеличивалась до значения, составлявшего 1,270589 от стоимости более дешевого. Очевидно, что в обеих компаниях цены на книги устанавливали алгоритмы. Первая, как можно понять, хотела получить наибольшую прибыль, притом предлагая товар по наименьшей цене. Какова же была мотивация компании, продававшей книгу дороже? Айзен обратил внимание, что покупатели оставляли очень хорошие отзывы, и выдвинул предположение: возможно, компания рассчитывала, что из-за ее репутации покупатели согласятся заплатить за ее товар чуть больше, тогда бы она приобрела более дешевый экземпляр, отправила бы его клиенту, а разницу положила бы себе в карман. Прошла примерно неделя, и взлетавшие по спирали цены упали до нормальных. Видимо, кто-то из сотрудников заметил неладное и решил проблему.
Но неконтролируемое алгоритмическое ценообразование встречается повсеместно. Как-то раз я заглянула на Amazon и нашла там несколько книжек с раскрасками по $2999 за штуку.
Цены на те книги выставляли простые, основанные на правилах программы. А вот алгоритмы машинного обучения способны вызывать проблемы куда более изощренными методами. В 2018 году одно исследование показало, что если двум алгоритмам машинного обучения в ситуации книжного ценообразования наподобие описанной выше дать задачу устанавливать цену, дающую максимальную прибыль, то они могут научиться сговариваться очень замысловатым и очень незаконным способом. Для этого их не надо учить тому, как сговариваться, не нужен даже прямой канал связи; им как-то удается прийти к схеме ценообразования, просто наблюдая за динамикой цены конкурента.
Пока что было продемонстрировано, как такой сценарий развивается в симуляции, а не на реальном рынке. Но специалисты сходятся, что сегодня в большом числе случаев цену на товары в онлайн-торговле устанавливают автономные ИИ, так что перспектива сговоров между ними внушает беспокойство.
Такие сценарии крайне выгодны для продавцов — если все согласятся держать цены высокими, прибыль повысится, — но плохи для покупателей. Продавцы могут с помощью ИИ ненамеренно совершать действия, которые были бы незаконными, если бы совершались открыто. Это лишь еще одно проявление так называемой математической отмывки — ситуации, когда перенятые ИИ плохие практики оказываются скрытыми от интерпретации внутренней логикой алгоритма. Людям необходимо внимательно следить, чтобы их ИИ не попадали в ловушки злоумышленников и не становились злоумышленниками сами.
Пусть этим займется ИИ
Выполнение задач на уровне человека — золотой стандарт для многих алгоритмов машинного обучения. В конце концов, от них в основном требуется имитировать действия людей: отмечать объекты на картинках, фильтровать письма в почте, придумывать имена для морских свинок. Если алгоритм справляется с чем-то примерно так же, как человек, он может (под присмотром) заменять людей там, где работа скучна и требует множества повторяющихся действий.
В некоторых агентствах новостей алгоритмы машинного обучения автоматически создают скучноватые, но читаемые заметки о местных спортивных событиях или сделках с недвижимостью. Программа Quicksilver генерирует черновики статей для «Википедии» о женщинах-ученых (которых там заметный дефицит), что экономит время редакторов-волонтеров. Те, кто расшифровывает аудиозаписи или переводит текст с одного языка на другой, используют результат работы алгоритмов машинного обучения (мягко говоря, неидеальный) как стартовую точку. Музыканты могут применять генераторы мелодий, чтобы из оригинальных набросков составить композицию, соответствующую узким коммерческим рамкам, то есть не выдающуюся, а всего лишь недорогую. Во многих случаях человеку достается роль редактора.
Но есть ряд задач, в которых лучше не использовать труд людей. Люди скорее проявят эмоции и поделятся чем-то, что может их стигматизировать, если будут думать, что разговаривают с роботом, а не человеком. (С другой стороны, медицинские чат-боты рискуют пропустить признаки серьезных проблем со здоровьем у собеседника.)
Кроме того, ботов учат распознавать на тревожащих изображениях свидетельства преступлений (хотя они часто ошибаются и принимают пустынные пейзажи за человеческую плоть).
Может, даже сами преступления легче совершать с помощью робота. В 2016 году студентка из Гарварда Серена Бус построила робота, чтобы проверить, не слишком ли люди им доверяют. Этот робот на дистанционном управлении подъезжал к студентам и просил пустить его в общежитие, куда можно было попасть только с ключом-карточкой. Его пускали лишь 19% людей (интересно, что процент оказывался немного выше, если ему встречалась целая группа студентов). Однако если тот же робот объяснял, что он доставляет печенье по заказу, его пускали уже 76% людей.
Как я уже говорила, из ИИ могут получаться хорошие преступники из-за математической отмывки. Принимая решение, алгоритм учитывает сложную взаимосвязь нескольких переменных, и в некоторых из них может заключаться информация, к которой ИИ не должен бы иметь доступ: например, о гендере или расе. Таким образом добавляется скрытый слой, позволяющий — намеренно или нет — нарушать закон.
Есть еще множество ситуаций, в которых стоит отдать предпочтение ИИ, потому что он работает лучше человека. В частности, он обычно способен действовать с огромной скоростью. В некоторых многопользовательских компьютерных играх ИИ, играющий против людей, принудительно замедляют, чтобы дать людям хоть какой-то шанс выиграть. Кроме того, искусственный интеллект, хоть и плохо справляется с непредвиденными штуками, всегда последователен.
Может ли ИИ быть справедливее человека? Потенциально да. По крайней мере, ИИ-систему можно проверить на объективность, прогоняя ее по целому ряду тестовых ситуаций и выискивая нежелательные статистические корреляции. Если тщательно подобрать данные — так, чтобы они статистически соответствовали параметрам мира, каким он должен быть, а не какой он есть, есть шанс получить ИИ, чьи решения будут беспристрастны и справедливы, хотя бы по сравнению с усредненными человеческими.