Ученые не могли пройти мимо такого мощного инструмента, как искусственный интеллект (ИИ). Если нейронные сети улучшают фотографии на смартфонах, почему бы им не улучшать рентгеновские снимки? Коль скоро телефонные роботы синтезируют звуки по буквам, почему бы нейронной сети не синтезировать структуру молекул по формулам? И если уж нейросети справляются с экзаменами на адвокатскую лицензию, не пора ли поручить им писать обзоры научной литературы?
Новости о победах ИИ появляются одна за другой. Нейронные сети предсказали трехмерные структуры сотен тысяч белков и нашли миллионы новых материалов. Искусственный интеллект справляется с прогнозами погоды точнее метеорологов и помогает врачам в постановке диагнозов.
В этом восторженном хоре трудно расслышать голоса скептиков, предупреждающих: блестящие успехи могут оказаться вершиной айсберга, состоящего из ошибок и спекуляций.
Истина в повторе
Краеугольный камень науки — воспроизводимость. Всегда нужно дать коллегам возможность перепроверить результаты. Если эксперимент действительно установил некую истину, то результат останется неизменным, кто бы и сколько раз ни проводил опыт. Поэтому хорошая научная статья не только сообщает результат исследования, но и содержит инструкцию, как его повторить.
Разумеется, на практике далеко не все публикации отвечают этому высокому стандарту. Часто методика исследования описана слишком кратко и размыто, чтобы его воспроизвести. Есть и другие проблемы. Например, что делать с оборудованием, существующем в одном экземпляре? У человечества просто нет второго Большого адронного коллайдера, чтобы перепроверять результаты первого.
Внедрение искусственного интеллекта обостряет проблему воспроизводимости. Результат работы нейронной сети зависит от слишком многих факторов. Тут и устройство самой сети, и обучающие данные, и количество циклов обучения, и многое другое.
Научная магия
Об этой проблеме заговорили не вчера. Еще в 2018 году исследователи проанализировали 400 научных статей, авторы которых использовали ИИ. Вывод оказался неутешительным: ни одна публикация не содержала достаточно информации для того, чтобы эксперимент и обработку данных можно было воспроизвести в точности.
Если ученые не говорят, что и как они сделали, можно ли быть уверенными, что они все сделали правильно? Увы, нет никаких причин для подобного оптимизма. Экспериментаторы нередко ошибаются даже при применении математической статистики, хотя ее ключевые методы известны уже сотню лет и вошли в учебные курсы. Слишком распространен подход к формулам как к заклинаниям: нужно произвести странные манипуляции с цифрами, и из них магическим образом возникнет результат. Между тем без понимания формулы слишком легко применить ее там, где она не применима, и получить бессмысленное число.
Нейронные сети только увеличивают эту опасность. Во-первых, это совсем новый инструмент. Трудно ожидать, что рядовой физик, химик или биолог разбирается во всех тонкостях их обучения и проверки. Хуже того, он может даже не подозревать о существовании этих тонкостей. Во-вторых, формулу можно разобрать по буковке, а вот большая обученная нейросеть — это черный ящик. Алгоритм, по которому она принимает решения, слишком сложен для понимания человеком. Так что гораздо труднее заметить, что что-то пошло не так.
Эксперты уже указывали на распространенные ошибки в применении ИИ в некоторых узких областях — например, диагностике COVID-19. Но для большинства сфер науки такая работа еще не проделана. По некоторым оценкам, некорректное использование ИИ уже привело к появлению тысяч научных статей с ошибочными результатами.
Стандарт качества
И вот в новой работе междисциплинарной группы из 19 исследователей, опубликованной в авторитетном журнале Science Advances, предложена «дорожная карта» по применению нейронных сетей в науке. Авторы сформулировали 32 требования к исследованиям, использующим ИИ.
В частности, эксперты призывают размещать в открытом доступе наборы данных, на которых нейронная сеть обучалась и тестировалась. Необходимо также объяснить, откуда эти данные взялись и как они были обработаны перед обучением нейросети. Также авторы требуют публиковать значения настроек, управляющих обучением сети. Программный код искусственного интеллекта тоже должен быть доступен, а вычислительные мощности, на которых он обучался, подробно описаны.
Эксперты предлагают использовать этот перечень на всех этапах подготовки статьи. Исследователи должны свериться с ним, прежде чем отправить текст в журнал. Рецензенты — проверить, все ли условия выполнены. Редакция — потребовать от авторов соблюсти все требования либо отклонить публикацию.
Если эти предложения будут приняты научным сообществом, ситуация с воспроизводимостью «ИИ-результатов», безусловно, улучшится. Взять на вооружение дорожную карту можно снизу, силами самих ученых, или сверху, решением самых крупных и авторитетных научных издательств.
Маяки и рифы
Искусственный интеллект можно использовать не только для получения новых научных результатов, но и для упорядочения уже накопленных. С 1950-х годов количество публикаций по физическим, техническим, биологическим и медицинским наукам удваивается каждые 14 лет. Другими словами, за последние 14 лет вышло столько же научных статей, сколько за все предыдущие века развития науки. Ориентироваться в этом море информации все сложнее. Ни один человек уже не может уследить за всеми публикациями даже в сравнительно узкой области науки.
Напрашивается решение — заставить искусственный интеллект писать обзоры и компиляции. Но у такого подхода есть недостатки. Например, нейронные сети склонны «галлюцинировать» — выдумывать несуществующие факты. Кроме того, многие специалисты опасаются, что нейросеть не сможет учесть нюансов и ограничений, присущих любому научному исследованию. Условно говоря, она выступит в роли плохого журналиста, который вместо «ученые уменьшили на 13% количество раковых клеток в хвосте крысы» пишет «ученые изобрели лекарство от рака».
Существует также риск, что суждения искусственного интеллекта окажутся предвзятыми. Да, алгоритм трудно заподозрить в человеческих предрассудках. Но это еще не значит, что у него не окажется собственных «слепых пятен», предупреждают исследователи. Люди по крайней мере разные, что и позволяет им подмечать ошибки друг друга. А вот если популярная нейросеть будет использоваться в каждой лаборатории и редакции, как мы вообще поймем, что она ошибается?
Все эти трудные вопросы наглядно показывают, что искусственный интеллект — отнюдь не волшебная палочка. Однако во многих научных задачах, будь то предсказание структуры белка или распознавание спиральных галактик на снимках, альтернатив нейронным сетям просто нет. Данных слишком много, чтобы обрабатывать их «руками и глазами», и они слишком сложны, чтобы с ними справлялись традиционные алгоритмы.
Нейронные сети — не яд и не панацея. Это просто инструмент, которым нужно научиться пользоваться. В неумелых руках и кухонный нож может натворить бед. Другое дело, что мы совсем недавно взяли этот нож в руки и наверняка еще не раз порежемся. Но по крайней мере мы уже понимаем, что он острый, а это и есть первый шаг.