Диагноз по селфи. Как пять российских ученых научили искусственный интеллект оценивать людей по фото
В конце мая в авторитетном научном журнале Nature Scientific Reports вышла статья об определении черт личности человека по фотоснимкам его лица с помощью искусственного интеллекта. Ее авторами стали пятеро россиян: специалист по искусственному интеллекту Александр Качур, психологи Евгений Осин (ВШЭ) и Денис Давыдов (ОГЭУ), специалист по данным Константин Шутилов и инженер Алексей Новокшонов. Публикация наделала много шума — ее авторы пришли к выводу, что машина может «считывать» характер человека по фото лучше среднестатистического человека. Статья готовилась к выходу два года, а само исследование длилось пять лет — первые наработки российских ученых еще в 2015 году легли в основу стартапа BestFitMe. На сегодняшний день компания успела выпустить на российский и зарубежный рынки несколько продуктов и получить предложение на 150 млн рублей инвестиций от венчурного фонда ВЭБа. Тем не менее в научных кругах все еще ведутся споры, насколько жизнеспособна сама теория о том, что характер человека можно определить по его внешности. Forbes Life поговорил с авторами нашумевшего исследования, чтобы узнать, какие перспективы они видят для своей разработки и как отвечают на критику.
Ретейл и психология
История BestFitMe началась в 2013-м. Тогда совладелец пермского автохолдинга Verra Алексей Новокшонов захотел повысить продажи в своих салонах и задался вопросом: как помочь клиенту выбрать автомобиль так, чтобы он потом не разочаровался, а менеджеру — оптимальным образом обслужить клиента? Довольно быстро стало понятно, что ключ нужно искать в анализе личностных качеств клиента и менеджера. Два года спустя, в 2015-м, Новокшонов познакомился с Качуром (именно его имя стоит первым в списке автором статьи в Nature), который собрал команду психологов и специалистов по ИИ, чтобы решить задачу научно.
Экспериментировали не только с лицами. Проверяли, можно ли эффективно «снять психологию» с речи человека, позы, жестов, одежды
«Мы с самого начала опирались на строго научный подход, перепробовали много вариантов, некоторые из которых были тупиковыми. Ради интереса проверили и спорные теории Ломброзо (в XIX веке итальянский психиатр Чезаре Ломброзо продвигал идею о том, что люди с определенной внешностью становятся преступниками. — Forbes Life), и физиогномику, — рассказывает другой автор исследования, психолог Денис Давыдов. — Не то чтобы мы к этому относились серьезно, но нужно было убедиться, что это действительно не работает. И мы в этом убедились. На это ушла бóльшая часть из этих пяти лет — года три, наверное».
Экспериментировали не только с лицами. Проверяли также, можно ли эффективно «снять психологию» с речи человека (его голоса и интонаций), позы, жестов, одежды. По некоторым направлениям получались неплохие результаты — в команде утверждают, что собираются продолжать в них работать. Но пока самым перспективным и удобным источником информации о личностных качествах человека оказалось именно его лицо.
«Большая пятерка» и не только
Для проекта было важно опубликовать результаты своего исследования в солидном международном научном журнале. «Если статья выходит в Scientific Reports журнала Nature — это гарантия того, что она тщательно проверена экспертами, — говорит Качур. — Авторитетные психологи анализировали статью, задавали нам вопросы, и только получив ответы, дали «добро» на публикацию (рецензирование заняло значительную часть времени, потребовавшегося для подготовки публикации). Неожиданно, мы попали с ней в топ самых популярных статей, опубликованных в журнале за последнее время. Мы к этому не стремились. Нашей целью было рассказать о наших результатах и получить их научную валидацию».
Если вкратце, суть исследования в следующем. Сначала 12 500 добровольцев сделали 31 400 селфи и заполнили опросники по стандартным психологическим методикам на определение личностных качеств. Затем нейросеть на этом материале научили узнавать людей и выделять в их лицах 128 ключевых индивидуальных особенностей. А после искусственные нейроны уже сами «учились» соотносить комплекс этих особенностей с личностными характеристиками — практически так же, как это делает человек с развитым эмоциональным интеллектом, приобретая опыт общения с разными людьми.
В результате нейросеть научилась определять черты из «Большой пятерки» (психологической модели, которая позволяет описать структуру личности человека с помощью пяти общих черт: экстраверсия, доброжелательность, добросовестность, эмоциональная устойчивость, открытость новому опыту) лучше, чем это делает человек без специальной подготовки. «Если взять пару людей с полярными показателями черт — например, «добросовестный» и «раздолбай», — незнакомый с ними человек верно угадает, кто есть кто, примерно в 61% случаев, а наша система — в 66%. Это в среднем по пяти чертам. Только экстраверсию живой человек «считывает» немножко лучше, чем наш ИИ, а все остальные 4 черты, наоборот, хуже или существенно хуже», — объясняет Осин.
Наталья Кисельникова, кандидат психологических наук и заведующий лабораторией консультативной психологии и психотерапии Психологического института РАО, подтверждает, что исследования, в ходе которых ИИ обучают распознавать черты личности по текстам, фото и цифровым следам в социальных сетях, ведутся широко, научному сообществу эта методология знакома уже не первый год и не вызывает вопросов. Но вот прикладное применение полученных данных пока остается под сомнением: «Попытки таргетировать рекламу или, скажем, послания во время предвыборной кампании с учетом черт личности делаются не впервые. Есть отдельные свидетельства о том, что персонализированные тексты для контрастных групп по чертам «Большой пятерки» более эффективны, чем общие, не учитывающие таких различий». При этом Кисельникова отмечает, что сама идея об изучении характера по внешности признается не всеми учеными: «К опроснику «Большой пятерки» как измерительному инструменту есть много претензий, а также и к чертам личности как конструкту. В частности, к возможности достоверно предсказывать поведение людей на их основе».
В BestFitMe заявляют, что, кроме черт «Большой пятерки», технология также позволяет определять различные аспекты самооценки человека и важные для него ценности. Ученые из компании уверены, что все это в комплексе позволяет построить подробный психометрический профиль человека, из которого можно делать практические выводы.
От Ломброзо к ИИ
Авторы особо подчеркивают, что они не «оцифровали физиогномику», как про них иногда говорят. На самом деле физиогномические теории, пытающиеся связать черты характера человека с особенностями его внешности, появились еще в Античности и достигли расцвета в XVIII–XIX веках в трудах таких ученых, как Иоганн Каспар Лафатер и Чезаре Ломброзо. В XX веке физиогномические идеи подверглись критической проверке и были признаны лженаучными.
В последние годы стали появляться исследования, показывающие, что поддающаяся анализу взаимосвязь между внешностью человека и его личностными качествами все же может существовать. Эта связь намного сложнее, чем в теории Ломброзо, который считал асимметричность лица, развитые надбровные дуги и массивную нижнюю челюсть «характерными признаками прирожденного преступника». «На протяжении всего XX века психология пользовалась очень несовершенной методологией, и где-то к 1980-м годам это стало понятно. Тогда люди стали использовать выборки большего объема, более совершенные статистические модели. И оказалось, что многие связи, которые до сих пор не удавалось обнаружить, действительно можно поймать на больших массивах данных с использованием машинного обучения», — объясняет Осин.
Одна только ширина, на которую разнесены глаза, сама по себе ничего не значит без учета формы лица, длины носа
Обычный человек может достаточно неплохо считывать особенности характера собеседника по чертам его лица, у опытных психологов и HR-специалистов эта способность развита лучше. Значит, этому можно научить и нейросеть, если загрузить в нее достаточно данных, решили в BestFitMe.
Обученная ими нейросеть раскладывает каждый снимок лица на 128 инвариантных признаков — регулярно повторяющихся индивидуальных особенностей, и учитывает их в комплексе. В процессе обучения нейронная сеть сама выявляет все многообразие закономерностей, которые потом помогают ей принимать решение. Учитывая, что анализ производится в 128-мерном векторном пространстве во всем его безграничном многообразии, разговоры о том, что отдельный параметр внешности А связан с характеристикой личности Х, становятся бессмысленными. Как и человек, нейросеть анализирует изображение в целом. Осин в беседе с Forbes Life признал, что авторы сами не знают во всех подробностях, как именно она это делает.
«Это совершенно стандартная история с машинным обучением, — говорит он. — Здесь мы имеем дело не с простой регрессионной моделью, где мы на входе подаем набор переменных, а на выходе получаем предсказание и четко видим, какая переменная какой вклад в него вносит. Регрессионные модели хороши, когда переменных немного и связи между ними линейны, без сложных взаимодействий. С лицом все иначе. Его черты работают в комплексе, влияют друг на друга. Условно, одна только ширина, на которую разнесены глаза, сама по себе ничего не значит без учета формы лица, длины носа и так далее. И здесь следующий этап как раз заключается в том, чтобы понять, а что все-таки она [система] выявляет».
Практическое применение
На основе своей технологии компания выпустила коммерческие продукты — сервис подбора для клиента наиболее подходящего менеджера (оборудование одного рабочего места системой Manager BestFitMe стоит от 20 000 рублей в месяц) и сервис помощи HR-специалистам в найме сотрудников (за его использование клиенты платят около 300 рублей за транзакцию). Также продается сама технология по API в виде SDK-решения — набора средств разработки, позволяющего создавать на базе технологии новые приложения. При использовании API расценки начинаются от $15 000 в год или от $1 за транзакцию (анализ одной фотографии). Как говорит Олег Позняков, занимающийся в компании продвижением продуктов, на пике перед пандемией у компании было в среднем по 10 крупных клиентов в месяц.
Психологические тесты пока что дают более точную картину, но только в том случае, если человек заполняет их абсолютно честно
Отзывы о работе машинных психологов у клиентов в основном нейтрально-положительные. Самый воодушевляющий результат система показывает в «родном» для стартапа автохолдинге Verra (осенью 2019-го Алексей Новокшонов продал свою долю в компании). «Технологию мы начали использовать в 2017 году, — рассказывает Анна Бояршинова, генеральный директор Verro. — Основной задачей было повысить конверсию визитов [покупателей в автосалоны] в сделки. SaaS-решение устанавливалось на ресепшен. Делали фотографию клиента на входе, и программа подбирала менеджера, который больше всего подходит данному клиенту. Также система дает сотруднику рекомендации по работе с клиентом». По словам Бояршиновой, в первые три месяца после первичного внедрения системы конверсия визитов поднялась примерно на 30%. По итогам года она составляет 50% от входящего трафика, что выше среднеотраслевого показателя.
Тот же сервис сейчас использует в своем шоуруме компания I-Retail, провайдер решений для автоматизации малого и среднего бизнеса. «Точность, конечно, не абсолютная, но больше, чем в 50% [технология BestFitMe] точно определяет черты личности. В нашем случае это дает хороший эффект», — рассказал Кирилл Войцехович-Казанцев, основатель и операционный директор I-Retail.
Продукт для HR тестировала «Северсталь». «У нас с BestFitMe был пилотный проект по их ключевой компетенции — возможности по лицам делать прогнозы в целях HR-аналитики, — рассказывает Тимур Ермаков, руководитель направления HR Digital и аналитики АО «Северсталь Менеджмент». — Мы нащупываем новые возможности по определению потенциала сотрудников, прогнозированию их увольнения, высокого или низкого перформанса, возможностью включения в новые проекты — на основании большого количества признаков, в том числе физиогномики. Результат применения технологии BestFitMe у нас получился, скажем так, интересный, но недостаточно точный, на наш взгляд, чтобы мы могли заходить в длительные коммерческие отношения. Пока что мы нашли больше возможностей для прямого HR-анализа наших внутренних данных — «цифрового следа» сотрудников или их опросов, например. Мы скорее пройдем этот путь сами, а потом «догрузим» полученный датасет рекомендациями на основании этого сервиса. Но в целом это очень перспективная тема, хотя она и вызывает много споров, в том числе и внутри нашей организации. Мы держим ее в периметре, безусловно, интересуемся. Мой прогноз: в 2021 году мы вернемся к этой теме в сотрудничестве с данной компанией или с другой».
Создатели технологии сами признают, что ее точность пока не достигает 100%. «Психологические тесты пока что дают более точную картину, — признает Осин. — Но только в том случае, если человек заполняет их абсолютно честно. Однако здесь есть эффект «социальной желательности». Когда человек отвечает на вопросы психологического теста, он, конечно, хочет представить себя определенным образом, особенно если речь идет о приеме на работу. В этом смысле диагностика по внешности объективнее. А чтобы повысить ее точность и надежность предсказаний, мы собираем больше данных».
Дарья Жаркова, бывший HR-аналитик «Дикси» и «Спортмастера», осторожно оценила перспективы технологии: «На мой взгляд, идея подбора кандидата с помощью анализа его фото ИИ в целом имеет право на существование, однако пока использование технологии видится возможным для найма сотрудников только на те позиции, где личные качества приоритетнее опыта работы и профессиональных компетенций. Например, речь может идти о продавцах-консультантах, в чьи обязанности входит активные коммуникации с посетителями, а доход значительно зависит от процента с продаж». Жаркова отметила, что в перспективе нейросеть может стать альтернативным решением автоматизации найма людей с такими качествами, как коммуникабельность, инициативность, стрессоустойчивость.
Инвестиции и перспективы
По словам Качура, вложения основателей в проект составили порядка $5 млн. В июне 2019 года стало известно, что BestFitMe привлек 150 млн рублей от VEB Ventures (компания группы ВЭБ.РФ, созданная для поддержки высокотехнологичных проектов). В интервью Forbes Life Качур уточнил, что пока речь идет только о предложении об инвестировании 150 млн рублей в проект под оценку компании в 1 млрд рублей.
Компания планирует выходить на глобальный рынок. У BestFitMe, кроме российского офиса, есть еще представительства в Великобритании и в США. На систему и метод оценки особенностей поведения человека по внешности подана патентная заявка в США, ряде европейских и других стран. Майская статья в Nature, по словам представителей компании, очень помогла в переговорах с западными клиентами. Даже не само исследование, а его пересказы в других СМИ. Например, в Daily Mail вышла статья с заголовком «Искусственный интеллект может проанализировать вашу личность по селфи», а The Science Times написали: «Боссы скоро смогут использовать при найме сотрудников ИИ, анализирующий личность соискателей по селфи».
Стоит отметить, что сама по себе идея анализа личностных качеств людей по снимкам их лиц с помощью компьютерных алгоритмов не нова. Например, в 2017 году было опубликовано нашумевшее исследование ученых из Стэнфорда о том, что ИИ способен с точностью в 91% определять по фото сексуальную ориентацию человека (фотографии брались с сайтов для знакомств, как и данные об ориентации запечатленных на них людей). Один из авторов исследования, профессор Михал Косински, тогда сказал Guardian, что в будущем, возможно, по лицам можно будет определять и многое другое, включая уровень IQ и политические взгляды.
В 2018 году австралийско-немецкий научный коллектив показал, что ИИ способен достоверно распознавать личностные черты из все той же «Большой пятерки» по движениям глаз (они отслеживались у 42 студентов). Прошлой весной Google представил новый инструмент AI Image Recognition Tool, способный определять по фотографиям людей уровень испытываемых ими различных эмоций — удовольствия, печали, гнева и удивления. Также в прошлом году появилось шуточное веб-приложение ImageNet Roulette, в котором машина дает по фото людям характеристики вроде «читатель новостей» или «эксперт по микроэкономике».
Искусственный интеллект пока только учится «читать» по человеческим лицам, но уже делает на этом пути первые успехи. В перспективе на этом рынке может развернуться нешуточная конкуренция: и тот, кто выйдет на него первым, может получить важную фору. Похоже, в BestFitMe это понимают.