Все страхи мира: чего боятся создатели Кодекса этики искусственного интеллекта

«По системе запретов можно понять, чем люди занимаются... Такие себе картинки с натуры», — писал в «Маятнике Фуко» Умберто Эко по поводу, далекому от проблем искусственного интеллекта (ИИ). Но эту интеллектуальную конструкцию вполне можно применить к Кодексу этики в сфере искусственного интеллекта (далее — Кодекс).

Негативные сценарии имеют свойство сбываться. Если прочесть Кодекс «на просвет», как негатив, мы увидим все опасения, возможные злоупотребления и даже сценарии на грани катастрофы, которые происходят или могут произойти в будущем. Документ каталогизирует все варианты негативного воздействия ИИ на общество и заранее дает им этическую оценку. Разработчики, или «акторы искусственного интеллекта» (в терминах документа), договариваются о том, что такое плохо в области новой технологии, при этом признавая возможность таких событий. 

Пункт 1.2. «Уважение автономии и свободы воли человека»

Кодекс предписывает разработчикам ИИ «прогнозировать возможные негативные последствия для развития когнитивных способностей человека и не допускать разработку сильного искусственного интеллекта, который целенаправленно вызывает такие последствия». Иными словами, искусственный разум не должен приводить к оглуплению человечества.

Мы пока не очень понимаем, какие именно задачи из тех, что может взять на себя искусственный разум, критичны для нашего интеллектуального уровня. Если начинаешь ездить по городу с помощью навигатора, довольно быстро подсаживаешься на него и теряешь навык самостоятельно прокладывать маршрут. ИИ может выбирать для нас оптимальные одежду, книги, музыку, партнера, машину, билет на самолет, курорт для отпуска, сотрудников, работу, банк. Положившись на ИИ, мы можем поглупеть. Разработчики технологии считают, что это весьма вероятно и «нехорошо».

 Пункт 1.4. «Недискриминация»

О том, что инструменты ИИ могут носить дискриминационный характер, первыми заговорили исследователи в США. Оказалось, что системы распознавания лиц лучше всего работают с белыми женщинами. Причина в том, что их фотографий в базах, по которым обучались нейронные сети, было существенно больше. Хуже всего алгоритмы распознавания работают с чернокожими женщинами в возрасте от 18 до 30 лет. 

Причиной проблем с репрезентативностью могут быть не только обучающие базы данных. Некоторые исследователи утверждают, что базовые настройки фотокамер хуже работают при снимках людей с темной кожей, что приводит к более низкому качеству фотографий и худшей работе систем распознавания.

Часто бывает непросто проложить границу между «дискриминацией» и способностью алгоритмов фиксировать факты и выносить суждения без оглядки на их политическую корректность. Допустим, мы обучим систему ИИ на базе данных успешных сотрудников в определенной области и пропустим через нее полученные резюме. Окажется, что система предпочитает кандидатов определенного пола, возраста или выпускников конкретного вуза. Как понять, говорит ли это о том, что именно такие сотрудники подходят нам больше всего, или о том, что люди этого типа исторически составляют большинство в компании, в силу сложившихся предубеждений?

Можно убрать из обучающего набора данных сведения о возрасте, но они все равно останутся в базе, растворенные в другой информации. Надо ли с этим бороться? Кодекс не дает ответов на эти вопросы, но справедливо указывает, что дискриминация — это плохо, как в реальной жизни, так и в работе систем ИИ.

Пункт 2.5. «Идентификация»

Этика ИИ предписывает разработчикам таких систем «осуществлять добросовестное информирование пользователей об их взаимодействии с сильным искусственным интеллектом, когда это затрагивает вопросы прав человека и критических сфер его жизни, и обеспечивать возможность прекратить такое взаимодействие по желанию пользователя». Занятно, что отсутствие подобного информирования в ситуациях, не затрагивающих критических сфер жизни, не считается «плохим».

Создатели ботов и голосовых ассистентов оставляют за собой право не информировать пользователя о том, кто именно общается с ним в данный момент — реальный консультант или ИИ, и допускают возможность того, что даже в критической для себя ситуации человек не будет знать, с кем он сейчас говорит, и не сможет прервать общение с ИИ, даже если захочет. Относительно последней ситуации подписанты Кодекса согласны: это будет «неэтично». 

Пункт 2.9. «Контроль рекурсивного самосовершенствования сильного ИИ»

Самый мрачный раздел Кодекса. Рекурсивное самосовершенствование — процесс, в котором программа улучшает саму себя вплоть до полной замены исходного алгоритма. «Сильный искусственный интеллект» — ИИ, способный собирать информацию, прогнозировать, общаться на естественном языке, кроме того, он обладает свойствами воли и характера. Обе технологии пока рассматриваются лишь как теоретически возможные. Но если представить себе появление сильного ИИ, обладающего способностью к неограниченному рекурсивному самоулучшению, можно лишь согласиться с авторами Кодекса. Это опасно, «нехорошо» и должно находиться под контролем государства. Если такие «объекты» в принципе поддаются контролю.

В кодексе есть еще пара десятков пунктов, каждый из которых описывает негативные сценарии, которые в той или иной форме рано или поздно будут реализованы. Развитие науки невозможно остановить, но можно контролировать, при необходимости сдерживать, давать этическую оценку событиям и их участникам. С этой точки зрения принятый Кодекс — нужный и своевременный документ. По крайней мере, теперь мы знаем, чего бояться.

Мнение редакции может не совпадать с точкой зрения автора