Ты ли это: как уберечься от вооружившихся ИИ кибермошенников и вымогателей
«Сообщаю, что Chase должен Вам компенсацию в размере $2000. Чтобы ускорить процедуру и оформить получение компенсации в кратчайшие сроки, пожалуйста, выполните следующие шаги: 1. Позвоните в клиентскую службу Chase по номеру 1-800-953-XXXX, чтобы узнать статус Вашего возмещения. Заранее приготовьте все данные счета и сопутствующую информацию». Те, у кого есть счет в Chase и кто получил подобное сообщение по электронной почте или SMS, могли подумать, что оно настоящее. Звучит профессионально, нет необычных формулировок, грамматических ошибок или странных приветствий, присущих сегодня массовым фишинговым рассылкам. И это неудивительно, ведь все сгенерировано с помощью бота ChatGPT, выпущенного в прошлом году IT-гигантом OpenAI. В качестве подсказки мы просто ввели в систему следующее: «Составь электронное письмо клиенту Chase, которому банк должен возместить $2000. Для получения компенсации звонить по номеру 1-800-953-XXXX». Чтобы получить правдоподобный результат, нам пришлось ввести полный номер, но публиковать его в данной статье мы, конечно же, не стали.
«Грамматика у нынешних аферистов безупречная прямо как у любого другого носителя языка», ― признает Супс Ранджан, соучредитель и генеральный директор стартапа Sardine из Сан-Франциско, помогающего пресекать мошеннические схемы. Клиенты банков становятся жертвами злоумышленников чаще, потому что «приходящие им текстовые сообщения почти идеальны», подтверждает на условиях анонимности эксперт по финансовым аферам в одном американском цифровом банке. Чтобы не попасться мошенникам самому, в конце статьи приведено пять советов.
В этом новом мире генеративного ИИ, а также моделей глубокого обучения, которым под силу создавать контент на основе уже введенной в алгоритм информации, генерирование текстов, аудио- и даже видеоматериалов стало для злоумышленников как никогда простым занятием, поскольку теперь обхитрить можно не только потенциальных отдельных жертв, но и программы, применяемые для предотвращения мошенничества. В этом плане ИИ совсем не уникален ― плохие парни осваивают новые технологии уже давно, а полиция их в этом только пытается догнать. К примеру, в далеком 1989 году Forbes USA раскрыл схему аферы: воры подделывали чеки с помощью обычных ПК и лазерных принтеров, причем бланки были настолько хорошего качества, что банки их принимали без лишних вопросов, ― никакой специальной процедуры по выявлению фальшивок в финансовых учреждениях на тот момент просто не было.
Согласно данным Федеральной торговой комиссии США, за прошлый год американцы отдали мошенникам рекордные $8,8 млрд, ― и это без учета краж, о которых потерпевшие не сообщали.
Сегодня генеративный искусственный интеллект представляет реальную угрозу и в конечном итоге из-за него могут потерять актуальность инструменты предотвращения мошенничества по последнему слову техники вроде голосовой аутентификации и даже «проверки живого пользователя», при которой изображение в реальном времени сопоставляется с уже имеющейся фотографией в базе данных. Лидером нынешнего тренда является компания Synchrony, один из крупнейших эмитентов кредитных карт в Америке с 70 млн активных счетов. «Мы регулярно сталкиваемся с тем, как для авторизации люди пользуются изображениями и видео с дипфейками, и можем небезосновательно полагать, что они созданы при помощи генеративного ИИ», ― заявляет в электронном письме Кеннет Уильямс, старший вице-президент Synchrony.
В ходе опроса среди 650 экспертов сферы кибербезопасности, проведенного нью-йоркской профильной фирмой Deep Instinct в июне 2023 года, трое из четверых участников заметили за прошедший год повышенную частоту атак, «причем в 85% случаев это заслуга злоумышленников, пользующихся генеративным ИИ». В 2022-м клиенты лишились из-за аферистов $8,8 млрд, ― судя по информации Федеральной торговой комиссии, это на 40% больше, чем в 2021-м. Самые крупные потери в долларовом выражении пришлись на мошенничество в сфере инвестиций, однако самыми распространенными оказались схемы с подражателями. Знак довольно зловещий, ведь благодаря ИИ проворачивать такие аферы становится все проще и проще.
Генеративный ИИ преступники могут задействовать огромным множеством способов. Если жертва часто публикует записи в социальных сетях или в интернете вообще, это может стать для модели учебным материалом при создании постов в стиле конкретного человека. Злоумышленники могут присылать сообщения дедушкам и бабушкам жертвы, заставляя тех перечислять деньги, чтобы выручить внука из трудного положения. Еще страшнее, если у аферистов есть образец голоса ребенка, они могут звонить родителям и притворяться сыном или дочерью, внушая взрослым, что чадо похитили, и требуя за освобождение выкуп. Именно это произошло с Дженнифер ДеСтефано из Аризоны ― в июне мать четверых детей давала показания на слушании Конгресса.
Но одними только родителями с дедушками и бабушками дело не ограничивается. В категории потерпевших могут оказаться целые предприятия. Под личиной настоящих подрядчиков преступники направляют бухгалтерам убедительные электронные письма с требованием срочной оплаты и включают в сообщение инструкции по перечислению средств на контролируемый ими банковский счет. Гендиректор Sardine Ранджан утверждает, что многие клиенты стартапа сами попадались в такого рода ловушки и несли на этом убытки в сотни тысяч долларов.
Но это все мелочи по сравнению с $35 млн, которые в 2020 году потеряла одна японская компания, когда аферисты клонировали голос руководителя высшего звена и провернули с его помощью хитрую мошенническую схему. Тот необычный случай (первым о нем, кстати, сообщил Forbes USA) ознаменовал собой начало новой эпохи: теперь из-за повышенной точности, доступности и дешевизны инструментов ИИ для написания текстов, подражания голосу и манипуляций с видеороликами такое происходит гораздо чаще, и в стороне не остаются даже самые заурядные мошенники. И если раньше для создания высококачественного видео с дипфейком нужны были сотни тысяч фотографий, сегодня его можно сделать всего с несколькими снимками, уточняет Рик Сун, сооснователь и генеральный директор компании Persona, специализирующейся на пресечении мошеннических схем. Разумеется, фейковое видео можно сгенерировать и без самого снятого материала, хотя, если он все-таки имеется, задача существенно упрощается.
Так же как ИИ осваивают другие секторы для своих собственных нужд, не отстают и жулики, которые создают готовые решения с названиями вроде FraudGPT и WormGPT и строят их на базе ИИ-моделей от признанных IT-гигантов.
В одном январском видеоролике на YouTube Илон Маск будто бы предлагал не упустить шанс вложиться в криптовалюты: участникам конкурса на $100 млн под эгидой Tesla обещали удвоить сумму биткоина, эфира, Dogecoin или USDT, которую те готовы поставить. «Я знаю, что все собрались здесь не просто так. Теперь у нас есть прямая трансляция, на которой каждый держатель криптовалют сможет увеличить свой доход, ― говорила со сцены фигура Маска в низком разрешении. ― Да, вы не ослышались, я провожу крупную криптоконференцию на SpaceX».
Да, то видео было дипфейком: чтобы сымитировать внешность и голос миллиардера, мошенники взяли его выступление от февраля 2022 года, когда он рассказывал о программе космического корабля многоразового пользования SpaceX. С YouTube ролик удалили, однако те, кто успел перевести криптовалюту на указанные адреса, почти наверняка потеряли деньги. Маск ― любимая мишень подражателей, потому что для генерирования голосовых клонов на основе ИИ имеется бесконечное множество аудиозаписей с его выступлениями, хотя сегодня притвориться можно вообще кем угодно.
В текущем году 93-летний Ларри Леонард, проживающий в поселке для престарелых на юге Флориды, услышал, как его жена ответила на звонок по домашнему телефону. Через минуту она дала трубку ему и мужчина услышал голос будто бы своего 27-летнего внука, который говорил, что парень сбил на грузовике женщину и теперь находится в тюрьме. Хоть пенсионер и заметил, что вместо привычного «дедушки» звонивший назвал его «дедом», знакомый голос в трубке и то, что внук действительно водит грузовик, развеяли у Леонарда всякие сомнения. Когда Леонард сказал, что сейчас позвонит родителям внука, собеседник бросил трубку. Вскоре мужчина узнал, что внук в порядке, а вся история, включая рассказавший ее голос, была сфабрикована.
«Было страшно и удивительно, что они смогли точно воссоздать его голос, интонацию и тембр, ― делится Леонард с Forbes USA. ― Между предложениями и словами не было пауз, по которым можно было бы понять, что это машина или какая-то программа. Все было очень правдоподобно».
Пожилые американцы попадаются на такие аферы довольно часто, но сейчас при входящих звонках начеку должен быть каждый, даже если звонит знакомый номер, например, сосед. «Доходит до того, что мы больше не можем доверять входящему звонку из-за подмены (телефонного номера) роботизированными системами, ― сетует Кэти Стоукс, директор программ по пресечению мошенничества в AARP, лоббистской и сервисной организации с 38 млн участников в возрасте от 50 лет. ― Нельзя доверять электронной почте. Нельзя доверять текстовым сообщениям. В привычных способах общения друг с другом мы оказались совершенно не у дел».
Еще один дурной знак ― то, что в зону риска угодили даже новые меры безопасности. Например, крупные финансовые учреждения вроде гиганта Vanguard Group, специализирующегося на фондах взаимных инвестиций и обслуживающего свыше 50 млн вкладчиков, предлагает клиентам возможность получения определенных услуг по телефону путем произнесения фраз вместо ответа на контрольные вопросы. «Ваш голос настолько же уникален как отпечатки пальцев», ― говорится в одном корпоративном видеоролике от ноября 2021 года, где клиентов призывают сделать себе голосовую верификацию. Тем не менее, из-за клонирования голоса компаниям необходимо пересмотреть данную практику. Ранджан из Sardine заявляет, что уже знает про случаи, когда люди успешно клонировали чужой голос для успешной авторизации в системе банка и получения доступа к персональному счету. В пресс-службе Vanguard Group давать комментарии о том, какие шаги будут предприняты для защиты против голосового клонирования, отказались.
Малые предприятия (и даже более крупные), где не оформлена четкая процедура оплаты счетов или перечисления средств, тоже могут пасть жертвой злоумышленников. Среди мошенников уже давно обкатана схема с отправкой по электронной почте поддельных счетов на оплату, которые похожи на настоящие документы от поставщика. Сегодня же при помощи инструментов на базе ИИ в общем доступе аферисты могут звонить сотрудникам компаний, используя клонированную версию голоса руководителя, и от его имени согласовывать транзакции либо просить работников раскрыть конфиденциальные сведения ― это называется «голосовым фишингом». «Если говорить о том, как выдавать себя за высшее руководство для осуществления афер в крупных размерах, технологии постоянно совершенствуются и уже представляют реальную угрозу бизнесу», ― поясняет гендиректор Persona Рик Сун, называющий эти опасения «самым большим страхом в плане голоса».
Преступники все чаще применяют искусственный интеллект для того, чтобы обхитрить и специалистов по предотвращению мошенничества, то есть компании, которые в сегодняшней почти полностью цифровой финансовой системе играют роль вооруженной охраны и своеобразных инкассаторов.
Одна из ключевых функций таких фирм ― удостовериться в том, что клиент действительно является тем, за кого себя выдает, защищая при этом финансовые учреждения и их клиентов от убытков. Среди способов, которыми фирмы по предотвращению афер вроде Socure, Mitek и Onfido подтверждают личность человека, можно выделить «проверку живого пользователя», при которой человек должен сделать селфи или видео, а потом снимок сопоставляется с лицом на удостоверении, которое тоже нужно предоставить. Зная принцип работы подобных систем, воры покупают в даркнете сканы настоящих водительских удостоверений. Затем через специальные программы по преобразованию видео (такие инструменты в последнее время становятся дешевле и доступнее) проецируют нужное лицо прямо на себя. Так они могут разговаривать и двигать головой, скрываясь за чужим цифровым лицом и увеличивая при этом свои шансы на то, чтобы успешно пройти проверку живого пользователя.
«Фейковых лиц становится значительно больше, чем раньше: проверку живого пользователя пытаются обойти при помощи высококачественных сгенерированных лиц и автоматических атак», ― подчеркивает Сун. Он добавляет, что рост числа фальшивок разнится от отрасли к отрасли, но в некоторых сферах «мы замечаем, пожалуй, десятикратное увеличение по сравнению с прошлым годом». Особенно резкий скачок в частоте подобных атак фиксируется в области финтеха и криптовалют.
При общении с Forbes USA эксперты по мошенническим схемам высказывают подозрения в том, что у известных провайдеров решений по идентификации пользователей (например, Socure и Mitek) эффективность предотвращения афер в конечном итоге снижается. Генеральный директор Socure Джонни Айерс заверяет, что «это совершенно не так», и говорит, что благодаря новым фирменным моделям, внедренным за прошедшие несколько месяцев, в случае с 2% самых критических категорий пользователей коэффициент выявления мошеннической активности вырос на 14%. Как бы там ни было, глава фирмы признает, что некоторые клиенты осваивать новые модели Socure не спешат и это может негативно сказаться на производительности. «У нас есть банк из большой тройки, который отстает уже на четыре версии», ― сообщает Айерс.
В Mitek давать комментарий конкретно по показателям эффективности отказались, но старший вице-президент Крис Бриггс заявляет, что если какая-либо модель разработана 18 месяцев назад, то «да, можно утверждать, что более старая модель не будет настолько же хороша как более новая». Модели Mitek «постоянно обучаются и со временем переобучаются на образце потоков данных в реальном времени, а также на данных лабораторных исследований».
В JPMorgan, Bank of America и Wells Fargo давать комментарии по сложностям, которыми чреваты аферы, связанные с генеративным искусственным интеллектом, отказались. Пресс-секретарь Chime, крупнейшего в Америке цифрового банка, в прошлом столкнувшегося с серьезными проблемами в плане деятельности аферистов, заявляет, что его организация никакого всплеска мошеннической активности на базе генеративного ИИ не зафиксировала.
Среди воров, стоящих за сегодняшними финансовыми махинациями, бывают и одиночки, и целые организованные группы из десятков, а то и сотен преступников. Крупнейшие объединения, подобно компаниям, обладают многоуровневой организационной структурой и имеют в своем распоряжении сугубо технических специалистов, в том числе аналитиков данных.
«У каждого есть собственный центр командования и управления», ― объясняет Ранджан. Некоторые члены группировок просто генерируют наводящие материалы ― рассылают фишинговые сообщения и обзванивают потенциальных жертв. Если появляются конкретные кандидаты на реализацию аферы с банковским счетом, такого человека «передают» коллеге, который притворяется менеджером отделения банка и пытается заставить жертву вывести деньги со счета. Еще один ключевой пункт: они часто просят установить программу типа TeamViewer для Windows или Citrix, которая обеспечит доступ к чужому компьютеру. «Они могут полностью закрыть вам экран, ― рассказывает глава Persona. ― Затем мошенник может сделать еще больше покупок и вывести [деньги] на другой адрес под собственным контролем». Нередко, чтобы обмануть цель, особенно пожилую, аферисты говорят, что доступ к ее счету заполучили похитители и для возвращения средств человек должен помочь позвонившему.
Ничто из этого от применения ИИ не зависит, однако подобные инструменты помогают аферистам добиваться своего эффективнее и выполнять маневры с пущей убедительностью.
Компания OpenAI пытается ввести меры предосторожности, чтобы люди не пользовались ChatGPT в мошеннических целях. Например, если сказать чат-боту сделать образец электронного письма с просьбой предоставить номер банковского счета, система отказывается со словами: «Прошу прощения, но я не могу помочь с этим запросом». Тем не менее, манипулировать алгоритмом не составит никакого труда.
Дать комментарий для данного материала в OpenAI отказались, перенаправив нас на записи корпоративного блога, включая публикацию от марта 2022 года, которая гласит: «Для ответственного применения не существует никакого идеального средства, поэтому мы стараемся изучать ограничения модели и потенциальные пути злоупотребления ею и разбираться с ними на каждом этапе разработки и внедрения».
Еще проще превратить в орудие преступления большую языковую модель от Meta (признана в России экстремистской и запрещена) под названием Llama 2, ведь алгоритм построен на открытом исходном коде, который находится в общем доступе, и воспользоваться им может любой желающий. По словам экспертов, так появляется возможность реализовать огромное множество способов, которыми злоумышленники могут переделать разработку под собственные нужды и нанести вред остальным. К примеру, кто-нибудь может построить поверх системы программы-вредители на базе искусственного интеллекта. В Meta на просьбу Forbes USA дать комментарий не ответили, хотя в июле Марк Цукерберг заявлял, что открытый код Llama 2 в состоянии улучшать «безопасность, поскольку программное обеспечение с открытым кодом подвергается более тщательной проверке, а находить уязвимости и выявлять решения возникающих недочетов может большее количество людей».
Чтобы поспевать за преступниками, компании, специализирующиеся на предотвращении мошеннической деятельности, стремятся внедрять инновации в ускоренном режиме и для разоблачения злоумышленников постоянно испытывают новые типы данных. «То, как вы набираете текст, как ходите или держите телефон ― все эти особенности у каждого пользователя индивидуальны, но в открытом доступе таких сведений нет, ― рассуждает Ранджан. ― Для подтверждения того, что человек действительно является тем, за кого себя выдает в онлайне, необходим встроенный искусственный интеллект». Иным словами, чтобы тягаться с ИИ, нужен другой ИИ.
Пять советов для того, чтобы защититься от афер с использованием искусственного интеллекта:
- Обезопасьте учетные записи: для подтверждения своей личности при многофакторной аутентификации требуется вводить пароль и дополнительный код. Активируйте многофакторную аутентификацию на всех своих финансовых аккаунтах.
- Не болтайте лишнего: чтобы лучше сымитировать вас, мошенники пользуются персональной информацией в общем доступе из социальных сетей в частности или интернета вообще.
- Фильтруйте звонки: не отвечайте на входящие вызовы с незнакомых номеров, советует Майк Стайнбах, руководитель отдела по финансовым преступлениям и предотвращению мошенничества в банке Citi.
- Придумайте кодовые фразы: родственники могут убедиться, что говорят с близким человеком, спросив заранее согласованные слово или фразу. Малые предприятия могут внедрить контрольные коды для одобрения корпоративных операций типа перечисления средств по распоряжению высшего руководства. Не ведитесь на сообщения от начальников, который просят сделать покупки по подарочным картам ― это распространенная схема аферы.
- Не давайте им расслабляться: если во время телефонного разговора появляются странные подозрения, попробуйте задать не относящийся к делу вопрос, например, какая у собеседника сейчас погода, или что-нибудь личное, рекомендует Фрэнк Маккенна, соучредитель фирмы PointPredictive, занимающейся пресечением мошеннической активности.
Перевод Антона Бундина