Как охотники за багами и хакеры будут бороться с дискриминацией на рынке труда

Могут ли программы на основе технологий искусственного интеллекта помешать получить работу мечты? Городской совет Нью-Йорка планирует сделать все возможное, чтобы жители мегаполиса не столкнулись с подобной проблемой при поиске работы. Недавно члены совета одобрили законопроект, согласно которому разработчики автоматизированных HR-инструментов для отбора кандидатов должны ежегодно проверять свои алгоритмы искусственного интеллекта и делиться результатами с компаниями, входящими в число их клиентов.

В случае принятия соответствующего закона речь пойдет об одной из первых в США и важных с юридической точки зрения мер по борьбе с дискриминацией со стороны технологий искусственного интеллекта. Цель законопроекта — проверить автоматизированные HR-инструменты на наличие сбоев, из-за которых соискатели подвергаются дискриминации по расовым, этническим или другим признакам. Если подобные меры начнут принимать повсеместно, в Америке резко повысится спрос на так называемых «цифровых охотников за багами».

Сегодня многие компании предлагают крупное вознаграждение за выявление ошибок в области кибербезопасности, не обнаруженных ранее. Размер такого вознаграждения иногда может достигать сотен тысяч долларов. На фоне популярности этой практики появились стартапы вроде Bugcrowd и HackerOne, которые помогают IT-директорам и другим топ-менеджерам запускать специальные программы вознаграждения и нанимать хакеров.

Представители Bugcrowd и HackerOne заявляют, что на рынке наблюдается рост интереса к программам вознаграждения для охотников за багами и хакеров, которые помогают в выявлении непредусмотренных ошибок в различных алгоритмах искусственного интеллекта. И речь идет не только о предвзятом отношении при поиске работы. Наличие подобных ошибок в алгоритме может повлиять на многие сферы жизни, начиная с рассмотрения заявок на кредиты и заканчивая стратегиями в области охраны общественного порядка и противодействия преступности. Сами разработчики автоматизированных алгоритмов могут специально или же совершенно случайно допустить их появление в программном обеспечении. Кроме того, наличие ошибок зависит от наборов данных, с помощью которых обучаются алгоритмы.

На сегодняшний день почти все программы вознаграждения для охотников за багами носят закрытый характер. К работе над выявлением ошибок приглашают лишь небольшие группы хакеров, чтобы компании могли получить начальное представление о том, чего можно достичь благодаря подобным инициативам. 

Вознаграждение от Twitter

Представители социальной сети Twitter пошли еще дальше и провели настоящий публичный эксперимент. В июле 2021 года интернет-гигант заявил о запуске программы вознаграждения за выявление предубеждений в алгоритме предварительной обрезки фотографий. За анализ этого алгоритма охотники за багами могли получить вознаграждение до $3500. Ранее в Twitter были вынуждены признать, что алгоритм неоднократно обрезал лица представителей темнокожего населения, но при этом оставлял на фотографии белые лица. Кроме того, алгоритм отдавал предпочтение женщинам и обрезал лица мужчин. В Twitter рассказали об этом после первой проверки алгоритма обрезки фотографий, вызванной общественным резонансом в связи с возможной дискриминацией.

Некоторые критики назвали решение руководства Twitter о публичном запуске программы вознаграждения для охотников за багами пиар-ходом. Тем не менее инженеры социальной сети заявили, что привлечение совершенно разных людей к изучению алгоритма обрезки фотографий только поможет выявить наличие пошибок в коде. В итоге совокупный размер вознаграждения от Twitter составил $7000. Главный приз получил охотник за багами, который доказал, что алгоритм Twitter склонен отдавать предпочтение стереотипным признакам красоты, например, более подтянутым, молодым, женским и светлокожим лицам.  

Представители социальной сети подчеркнули, что одно из достоинств новой программы вознаграждения заключается в широкой географии пользователей, принявших участие в публичном эксперименте. Технический директор стартапа HackerOne Алекс Райс помогал Twitter в организации программы вознаграждения. Он считает, что благодаря более пристальной проверке технологий искусственного интеллекта подобные инициативы могут помочь другим компаниям выявить проблемы с алгоритмами. «Наша идея заключается в следующем: решением проблемы должны заняться совершенно разные люди со всех концов света. Так мы сможем воссоздать максимально реальные условия», — отмечает Райс.

Хотя представители Twitter пока что не заявляли о повторном проведении программы, эксперты консалтингового агентства Forrester считают, что в следующем году как минимум пять крупных компаний (в том числе банки и предприятия из сектора здравоохранения) тоже запустят аналогичные инициативы по выявлению предубеждений в алгоритмах. Аналитик Forrester Брэндон Перселл полагает, что в ближайшие годы количество программ вознаграждения стремительно вырастет. Он добавляет, что главными сторонниками проведения проверок алгоритмов, скорее всего, станут IT-директора и HR-директора компаний.

Нехватка охотников за багами

Для удовлетворения будущего спроса понадобится гораздо больше квалифицированных кадров, специализирующихся на искусственном интеллекте. В настоящее время на рынке наблюдается дефицит специалистов по кибербезопасности, однако профессионалов в области технологий искусственного интеллекта еще меньше. Скорее всего, при наличии достаточно высокого вознаграждения некоторые хакеры, которые сейчас в основном занимаются обнаружением багов в системе безопасности, вскоре также начнут поиск предубеждений в алгоритмах. Тем не менее эксперты считают, что эти два направления работы охотников за багами кардинально отличаются друг от друга. По мнению экспертов, выявление предубеждений — это более сложный процесс.

Одно из ключевых различий заключается в том, что с течением времени алгоритмы совершенствуются, так как они постоянно обрабатывают все больше и больше данных. Да, системы кибербезопасности тоже меняются. Тем не менее это, как правило, гораздо более медленный процесс. Кроме того, охотники за багами, которые будут заниматься обнаружением предубеждений, должны быть готовы к рассмотрению того, как именно алгоритмы взаимодействуют с более пространными системами. В то же время многие проблемы в области кибербезопасности носят скорее точечный характер.

Некоторые белые хакеры с опытом работы по обоим направлениям поиска багов отмечают, что именно из-за этих проблем выявление предубеждений в алгоритмах — это сложная задача, которая все же приносит интеллектуальное наслаждение. «Это в большей степени творческий и в меньшей — логический процесс. Мы пытаемся достичь цели, используя множество предварительно заданных методов», — рассказывает охотница за багами Меган Хауэлл, которая стала частью большого публичного эксперимента социальной сети Twitter.

В будущем дефицит охотников за багами могут ликвидировать специалисты в области оценки кредитоспособности и регулярно проводящие медицинские осмотры врачи, которые пока что не разбираются в работе технологий искусственного интеллекта. Основатель и председатель совета директоров стартапа Bugcrowd Кейси Эллис отмечает, что одни из лучших охотников за багами в системе безопасности в автомобильной сфере — это автолюбители. Они были настолько заинтересованы в проблемах систем безопасности в автомобилестроительной промышленности, что сами научились программировать. 

Хотя программы вознаграждения могут помочь с выявлением предубеждений в алгоритмах, IT-директора считают, что их не следует рассматривать в качестве главного метода решения проблемы. Вместо этого необходимо делать все возможное, чтобы при создании алгоритмов специалисты компаний могли четко объяснить результаты, которые выдают технологии искусственного интеллекта. Например, стоит выбирать контролируемое машинное обучение алгоритмов, которое предполагает использование предварительно маркированных наборов данных. При этом лучше отказаться от неконтролируемого машинного обучения, в рамках которого алгоритмы «самостоятельно» разбираются в структуре данных. Такой подход может снизить риск появления предубеждений, приводящих к дискриминации людей по тем или иным признакам. 

Ведущие технологические компании из различных сфер (например, из банковского дела) обращают пристальное внимание на то, как создаются и работают их алгоритмы. «Мы работаем в регулируемой отрасли... Естественно, это располагает к наличию более строгого подхода к технологиям искусственного интеллекта», — рассказывает руководитель отдела информации, данных и цифровых технологий Ally Financial Сатиш Мутукришнан. Рыночная стоимость этой банковской компании оценивается в $16,8 млрд. «Мы начинаем с разработки моделей контролируемого машинного обучения алгоритмов, которые будут использоваться при взаимодействии с клиентами», — добавляет Мутукришнан.

Технический директор стартапа HackerOne Алекс Райс согласен с тем, что для устранения предубеждений в алгоритмах можно и даже нужно делать многое непосредственно в процессе их разработки. Тем не менее он считает, что программы вознаграждения для охотников за багами должны быть лишь дополнением к работе IT-директоров и прочих топ-менеджеров над решением проблемы. «Вы хотите выявить предубеждения с помощью автоматизации, сканирования, обучения разработчиков и инструментов управления уязвимостями. Но проблема заключается в том, что всего этого недостаточно», — подчеркивает Райс.

Перевод Полины Шеноевой