В 2013 году Мэй Хабиб листала GitHub и наткнулась на работы IТ-менеджера из Дубая Васима Альшиха, который использовал техники машинного обучения (на тот момент едва зарождающиеся), чтобы анализировать большие блоки информации.
Хабиб выросла в маленькой ливанской деревне, а в 1990-х годах переехала в Канаду, спасаясь от гражданской войны. Она немедленно заметила сходство между собой и Альшихом, которому тоже пришлось покинуть свою родину, Сирию, но по другой причине — в юности он взломал сервер Министерства внутренних дел страны.
Десять лет и два стартапа спустя партнеры лидируют среди множества компаний, которые занимаются генеративным искусственным интеллектом (ИИ). Рудиментарные техники, с которыми Альших экспериментировал 10 лет назад, заметно продвинулись благодаря развитию трансформеров и моделей глубокого обучения. Их стартап Writer использует собственные крупные языковые модели под названием «Пальмира» (в честь древнего сирийского города), чтобы компании и их сотрудники могли писать и редактировать такие материалы, как электронные письма, документы, реклама и сводки, в полном соответствии с корпоративным стилем.
В отличие от подавляющего большинства генеративных моделей ИИ, которые галлюцинируют или выдают искаженную информацию (это большая проблема для компаний, которые внедряют эти технологии), говорит генеральный директор стартапа Хабиб, последняя версия их языковой модели ИИ «никогда не создаст что-то, не соответствующее действительности». Это возможно благодаря архитектуре модели, которая ставит точность выше креативности.
Это правдоподобно с технической точки зрения, но лишь до определенной степени. «Архитектура модели совершенно точно влияет на объемы галлюцинаций, — говорит Пранав Редди, инвестор Conviction, который раньше работал в стартапе Neeva, создававшем поисковую систему на основе генеративного ИИ. — Но нет такой модели, которая бы гарантировала, что не будет галлюцинировать». По словам Хабиб, в том редком случае, когда технология компании все же галлюцинирует, Writer отмечает ту часть текста, которая не подкреплена источниками.
Похоже, что это звучит убедительно для клиентов, среди которых есть гиганты вроде Uber, Deloitte, Spotify and Accenture. United Healthcare использует модели Writer, соответствующие требованиям HIPAA, чтобы анализировать условия программ медицинского страхования, а потом писать посты и письма, чтобы объяснить условия медикам и пациентам. Intuit поручает ИИ писать посты на основе финансовых данных, а L’Oréal использует программу, чтобы создавать описания продуктов и пуш-уведомления. Кроме того, клиенты Writer могут загрузить в систему подкаст или видео и получить текстовый материал. Одним из первых клиентов Writer стал Twitter, который, по словам Хабиб, не оплатил счет. В конце февраля стартап предъявил компании Илона Маска иск за пропущенные платежи.
Модели Writer обучаются как на информации в открытом доступе, так и на собственных данных компании, включая pdf-файлы, руководства по стилистике и брендам — в общей сложности 30 млрд параметров. Каждая компания получает собственную персонализированную версию модели, и данные хранятся в облачном архиве компании. «Данные фактически используются как оглавление, и мы можем проследить, откуда были взяты те или иные факты», — говорит Хабиб.
Компания вошла в список AI 50 2023 года и напрямую конкурирует с другими стартапами в области генеративного ИИ, которые все чаще нацеливаются на корпоративный сектор. Однако с точки зрения финансирования ей еще далеко до конкурентов. Оцененный в $155 млн, стартап Writer получил $26 млн венчурного финансирования от Insight Partners, Upfront Ventures и других инвесторов. Для сравнения: копирайтинговый сервис на основе ИИ Jasper — «единорог», получивший $125 млн венчурного капитала. По словам его сооснователей, главное отличие Writer — это то, что сервис использует собственные крупные языковые модели (в отличие от Jasper, который основан на GPT-3.5 от OpenAI) и обучает эти модели на данных, соответствующих определенной компании, чтобы добиться более точных результатов.
«Большинство компаний на рынке остаются на уровне приложений, и даже с этим не очень справляются. Они буквально берут чужую технологию и добавляют к ней пользовательский интерфейс, — говорит Альших, сооснователь и технический директор стартапа. — Пример тому — Jasper. Это просто посредник. Если вы ИИ-компания и вы даже не контролируете сам искусственный интеллект, как вы будете контролировать качество продукта?»
Стратегия стартапа из Сан-Франциско, направленная на то, чтобы устранить склонность генеративного ИИ выдумывать факты, связана с тем, как ИИ устроен. В основе сервиса Writer лежит машинное обучение, методы обработки естественных языков и трансформеры, что позволяет понимать тексты и генерировать новые. Writer сочетает кодировщики (это часть трансформера, которая хорошо понимает текст) и декодировщики (компоненты, которые предсказывают и генерируют текст).
В отличие от других моделей, модели Writer заставляют кодировщиков и декодировщиков вступать в диалог. Как только кодировщик понимает запрос, он берет информацию из базы данных, загруженной компанией-клиентом, а потом сообщает декодировщику, как сгенерировать ответ с учетом этой информации. «Именно так нам удается не искажать факты и использовать инклюзивный язык», — рассказывает Forbes Хабиб.
Редди, инвестор Conviction, соглашается, что, хотя модели, основанные на кодировщиках и декодировщиках, несовершенны, они все еще лучше, чем ChatGPT, хотя бы в плане точности. «Модели, основанные на кодировщиках и декодировщиках, действительно галлюцинируют гораздо реже, чем модели, где есть только декодировщики — такова и структура OpenAI GPT-3, — говорит Редди. — Но вам приходится мириться с тем, что эти модели (кодировщики и декодировщики), как правило, менее креативны».
Хабиб говорит, что ее клиентов больше заботят верные формулировки и пунктуация в их фирменных материалах, чем возможность генерировать истории, сонеты и стихотворения. По ее словам, любая история, вошедшая в материалы, написанные программой Writer — реальность, а не выдумка.
В соответствии со своим названием инструменты Writer производят только текст, но не визуальный контент, такой как изображения и видео, однако такую услугу предлагают появившиеся позднее стартапы вроде Typeface, которые разрабатывают корпоративное программное обеспечение на основе генеративного ИИ. Программы Writer можно интегрировать со многими инструментами для создания контента и текстов, такими как Google Docs, Microsoft Word и Figma. Клиенты Writer платят за право пользоваться платформой от $30 000 до $1 млн. На цены влияет и количество слов, сгенерированных программой. Writer рассчитывает, что в 2023 году его бизнес-модель принесет выручку в $20 млн.
По словам Альшиха, Nvidia относительно недорого поставляет Writer физическое оборудование (графические и центральные процессоры) для обработки информации и обучения ИИ. «Сейчас наша цель — как можно лучше обучить менее крупные модели, чтобы издержки оставались низкими и для нас, и для наших клиентов», — говорит он Forbes.
Предприниматели-иммигранты говорят, что Writer — результат их личного опыта взаимодействия с английским языком и ведения бизнеса в сфере машинного обучения. Хабиб, выпускница Гарварда, стала в своей семье первой женщиной, учившейся в университете, и учила родственников говорить по-английски. Альших в 20 лет самостоятельно выучил английский, чтобы изучать информатику. В 2015 году этот опыт подтолкнул их создать свой первый проект — программу-переводчик Qordoba, которая была основана на машинном обучении и помогала компаниям вроде Sephora и Visa переводить их онлайн-материалы на другие языки и диалекты, а в 2020 году превратилась в Writer.
«Мы давно и упорно размышляли о том, как язык помогает находить свой путь в мире», — говорит Хабиб.
Перевод Натальи Балабанцевой