Грег Коррадо, Google Brain Team: В работе с машинным обучением нужно оставаться «ремесленником»

На прошедшей в мае 2017 года ежегодной конференции  для разработчиков Google, Google I/O, корпорация заявила о переходе от стратегии mobile first к AI-first. Сервисы на основе машинного обучения, нейросетей и искусственного интеллекта пронизывают большинство продуктов компании —  от главного поискового алгоритма до Lens, который благодаря компьютерному зрению распознает объекты со снимков камеры.

В исследовательские проекты в сфере AI инвестируют крупнейшие IT-игроки — от Microsoft до Uber. Общее число AI-стартапов, поглощенных технологическими корпорациями начиная с 2012 года, прошло отметку 200. В 2016 году 550 стартапов, развивающих продукты на основе AI, получили около $5 млрд инвестиций. Что дальше? По всей видимости, мы вступим в эру самообучаемых машинных систем, которые не действуют по заранее заданным правилам, а понимают эти правила сами. Чем больше информации будет доступно AI-сервисам о нас, тем быстрее они будут становиться «умнее» — это уже  вызывает беспокойство о  безопасности персональных данных в руках лидеров мировой IT-отрасли.

О том, как машинное обучение стало «модным», когда (или если?) появится универсальный «искусственный интеллект», Forbes поговорил с Грегом Коррадо, старшим научным сотрудником Google Brain Team, воспользовавшись его визитом в Москву. Если вы пользуетесь Inbox и видите подсказки для ответов на электронные письма (ассистент уже используется для каждого десятого письма, отправленного с мобильных устройств), вы ежедневно экономите время благодаря в том числе работе Коррадо. В Google Brain работают около 200 человек, но всего в AI-проектах корпорации задействованы тысячи исследователей и разработчиков.

— Как и когда появилась Google Brain Team?

— Она была создана в 2011 году для исследования самых разных гипотез о том, как  глубокое машинное обучение и крупные нейронные сети могут быть использованы в самых разных продуктах Google. Для нас всегда было важно поддерживать баланс между фундаментальными исследованиями и фокусом на прикладной разработки. В конечном счете многие из тестируемых нами решений вошли в состав сервисов. С одной стороны, технологии машинного обучения позволяют вывести продукты на новый уровень, научить их делать то, что они раньше не умели и предполагали ручные операции со стороны пользователя. Хороший пример — Google Photo, где теперь пользователь может искать на снимках те или иные предметы  или друзей.  С другой — машинное обучение помогает улучшить качество или эффективность существующих сервисов.  Так, хотя машинный перевод текстов все еще уступает живым переводчикам, с переходом на нейросети системы научились переводить не отдельные слова и сочетания, а понимать целые предложения и абзацы. Для некоторых пар языков (например, английский-японский) мы видим огромное улучшение ситуации. И это тренд.  

— Google Brain Team ведет проекты по машинному обучению одновременно для разных продуктов?

— Верно, и эта установка на эксперименты очень важна. Машинное обучение всегда работает не так, как ждут разработчики, поэтому важна гибкость. Например, мы пытались изменить качество перевода за счет машинного обучения еще несколько лет назад, но серьезных изменений не получилось. Тогда мы сконцентрировались в первую очередь на прогнозе вероятности следующего слова. Но это не сработало. Через несколько лет мы попробовали другой подход —  стали работать с более крупными фрагментами текста, с контекстом, — и здесь добились успеха. Экспериментировали мы и с методами машинного обучения: вначале работали с нейросетями прямого распространения, затем — с рекуррентными. Я имею в виду, что в случае с машинным обучением нельзя начать работать с заранее определенным подходом.  Нужно быть знакомым с широким набором технологий и оставаться «ремесленником» — пробовать разные инструменты и постепенно отбирать те, что показывают лучший результат.

— Как работа Google Brain Team соотносится с проектами DeepMind и, например,  с проектами на недавно купленной Google платформе для соревнований data scientists Kaggle?

— DeepMind в целом сосредоточен на более долгосрочных проектах, Google Brain Team больше ориентирован в том числе на практические применения. Конкретных деталей по будущей работе с Kaggle я не назову — в целом это такой же инструмент, как, например, открытый конкурс компьютерного зрения ImageNet. Как я говорил, для проектов в  сфере машинного обучения важно, что  к решению той или иной проблемы никогда нет одного правильного подхода.  Поэтому когда в рамках соревнований в гонку включаются разные команды, это становится лучшим способом найти самые эффективные решения.

— Для Google огромную роль играет работа с open-source-проектами  - например, полностью доступен исходный код системы машинного обучения TensorFlow. Google традиционно распространяет многие проекты под свободными лицензиями. Вы видите риски с точки зрения конкуренции? Например, уже обсуждается то, что адаптация технологий американских и европейских компаний позволяет быстро развивать AI-проекты китайским гигантам.

— Да, есть здоровая   конкуренция между транснациональными корпорациями.  Но я верю, что большие технологические вызовы, подобные развитию машинного обучения, решить невозможно без «ядра» стандартного набора инструментов. Среди таких же «стандартов», например, язык программирования Java или единые для всего мира метрические системы. С той же идеей мы развиваем TensorFlow, хотя вначале он родился как внутренний инструмент (c одной стороны, достаточно гибкий для экспериментов, с другой — достаточно крепкий как основа бизнес-приложений).  Я уверен, что нет никакой причины  держать такие сервисы в секрете, они вовлекают в эксперименты в том числе и небольшие компании  и, возможно, игроков  не столь погруженных в ИТ-технологии, часто со свежим взглядом. История  технологий машинного обучения еще не написана, она рождается на наших глазах. И роль разработчиков, подчас с удивительными для меня экспериментами в сфере AI, огромна. Чего стоит пример японского фермера (японец  собрал сортировочный конвейер для огурцов, где нейросети помогают классифицировать каждый овощ по фото в зависимости от его длины, спелости и колючести. — Forbes).

— Какие проекты ведет Google Brain Team, не связанные напрямую с текущими проектами Google?

— Например, у нас много проектов, связанных с медициной. Машинное обучение может помочь в борьбе со случаями слепоты у больных диабетом (диабетическая ретинопатия. — Forbes). Развитие заболевания можно предотвратить, если диагностировать его на ранних стадиях, поэтому всем диабетикам советуют осмотр окулиста. Но врачей не хватает, осмотр нужно проводить очень тщательно. Глубокое машинное обучение может  автоматизировать обработку фотографий сетчатки и помогать врачам лучше интерпретировать признаки  заболевания. Другие проекты связаны  с диагностикой рака кожи и других патологий:  нейросети анализируют фотографию кожи пациента, опять же, ассистируя врачам. Еще одно направление — управление координацией роботов. Сверточные нейросети позволяют системе самой определять, когда робот успешно схватил предмет, а когда промахнулся. С каждым разом, учитывая обратную связь и корректируя поведение,  робот все лучше  справляется с задачей. Это совершенно новый подход для развитии координации роботов: мы не задаем набор правим, а учим систему самостоятельно постепенно улучшать работу захватывающего механизма.

— В работе исследователей и разработчиков Google Brain Team в каких-то задачах заменяют машинные системы?

— Пожалуй,  я не приведу таких примеров. В целом страх того, что машины заменят людей в той или иной профессии, не реалистичен. Сегодня мы строим автоматические системы, которые ассистируют нам, но не меняют  естественную суть вещей. Строители, например, не используют лопаты, они используют технику, чтобы строить здания или ремонтировать дороги. Но рабочие не исчезли, они просто стали выполнять задачи сложнее. И такой подход мы увидим в каждой индустрии: задания меняются,   наиболее скучные и рутинные из них становятся обязанностями машин. А потом мы просто смотрим на следующий уровень задач по их сложности — и пытаемся автоматизировать их. Но люди остаются необходимыми, просто их роль меняется.

Поэтому я во многом плохо отношусь к разговорам об универсальном искусственном интеллекте. Сегодня системы с опорой на машинное обучение все лучше справляются с очень узкими специфическими задачами, и это наиболее эффективный подход в текущих условиях. Мы должны учиться ставить все более четкие задачи и добиваться  наилучших результатов. Пожалуй, мы так озабочены созданием универсального машинного интеллекта только потому, что сами  мы достаточно «общие», разносторонние и «универсальные». Но ведь это совсем не означает, что машины должны быть такими же.  Как специалист по   вычислительной нейробиологии  я  вижу очень много различий между тем, как устроен мозг человека, и тем, как думают машины.

— Одним из сдерживающих факторов для все большего распространения машинного обучения часто называют сложности «железа» и инфраструктуры. Google представил собственный чип для приложений с машинным обучением,  Bloomberg на днях сообщал о возможных схожих разработках у Apple.

— Никаких сугубо специализированных, «магических» решений для работы с машинным обучением нет. Все дело в цене, скорости вычислений и энергоэффективности, и именно по этим параметрам мы будем видеть улучшения в ближайшие годы. Безусловно, мы увидим чипы для машинного обучения и нейросетей в устройствах пользователей, а не только в дата-центрах. Но если у кого-то не будет  подобных, например, интегральных схем  (ASIC),  это не сделает для него машинное обучение недоступной технологией — максимум, для него вычисления обойдутся немного дороже на единицу времени. В последнее время мы работаем с чипами  TPU (Tensor Processing Unit, для работы с TensorFlow), они позволяют анализировать огромные массивы информации о миллионах пользователей самых массовых продуктов (например, поисковика и почтового клиента), но CPU (центральный процессор. — Forbes) и GPU (графический процессор. — Forbes) мы тоже используем. В будущем мы увидим не столько удешевление «железа», сколько расширение возможностей и вычислительных мощностей текущего оборудования. «Облака» сыграют в этом процессе решающую роль.

— Достаточно ли оцифрованных данных для быстрого прогресса систем машинного обучения?

— Качественные данные действительно становятся сдерживающим фактором, но я не вижу в этом большой проблемы. Мы часто советуем компаниям собирать крупные массивы цифровых данных и запускать, например, внутренние соревнования, или хакатоны, для сообщества разработчиков вокруг них. Безусловно, если мы  мы действительно хотим добиться прорыва например, в распознавании изображений  image recognition для медицинских применений или использовать машинное обучение для прогнозов в финансовой сфере, нам нужно больше качественных данных. Но я всегда подчеркиваю, что  объем данных, необходимых для успешного применения машинного обучения, может быть разным. Всегда можно начать с экспериментов с тем, что есть в распоряжении.