«Возможно, мы сами — набор алгоритмов»: Кадзуо Исигуро о вере, правде и любви в эпоху искусственного интеллекта
Новый роман нобелевского лауреата Кадзуо Исигуро «Клара и солнце» вышел на английском языке 2 марта, на русском книга появится в самом начале апреля в издательстве Inspiria в переводе Леонида Мотылева.
Это антиутопия, написанная от лица робота-андроида Клары, Искусственной Подруги на солнечных батарейках, которая отправляется из магазина в семью девочки Джози, чтобы стать ее помощницей. Обладающая недюжинными аналитическими способностями и при этом совсем новенькая, не имеющая представления о мире, Клара начинает постепенно разбираться, как устроено человеческое общество и отношения в нем. Исигуро предлагает иначе посмотреть на мир после цифровой революции и этические дилеммы, которые перед нами возникают.
Накануне выхода романа Кадзуо Исигуро дал коллективное онлайн-интервью группе журналистов из ведущих мировых СМИ, из России на эту встречу была приглашена Наталья Ломыкина, литературный обозреватель Forbes Life.
— Как присуждение Нобелевской премии изменило вашу жизнь? Повлиял ли статус лауреата и связанные с ним читательские ожидания на ваш подход к творчеству?
— Роман «Клара и солнце» был написан примерно на треть, когда меня настигла новость о Нобелевской премии. По ощущениям — это как будто ты спокойно идешь по улице и тебя сбивает грузовик. Я совершенно не ожидал. Спустя примерно полгода, которые я полностью посвятил премиальным обязанностям, я вернулся к роману. И поскольку я давно его обдумывал и основа уже была заложена, думаю, Нобелевская премия не оказала ни малейшего влияния на этот конкретный текст.
Окажет ли премия какое-то влияние на меня в будущем? Я не знаю. Сейчас, три года спустя, мне кажется, что этого не случится. Когда я возвращаюсь в свой кабинет, там все точно так же: ужасный беспорядок, повсюду раскиданы бумаги, меня ждет работа над романом, и я как писатель сталкиваюсь все с теми же трудностями, довольно серьезными. У меня не прибавилось ума или воображения, чаще кажется, что дело обстоит ровно наоборот. Словом, на меня присуждение Нобелевской премии мало повлияло.
В научном сообществе выявили так называемый «синдром гения», причем у ученых он гораздо более очевиден. Представьте, вы специализируетесь на очень узкой сфере, работаете над своим исследованием 40 лет, добиваетесь в ней блестящих результатов и получаете Нобелевскую премию. Получив такую высокую награду, люди начинают считать себя гениями во всем. Они покидают свою профессиональную сферу, начинают высказывать мнения по поводу деятельности других людей, и на это очень неловко смотреть. Совершенно очевидно, что они ничего не знают о темах, на которые рассуждают, и выставляют себя на посмешище.
Думаю, люди, которые получают Нобелевскую премию по литературе, точно так же подвержены «синдрому гения», поэтому мне нужно защищать себя в первую очередь от этого. Я должен помнить, что получил премию за довольно узкую специализацию, всего лишь за свою небольшую работу, и высокая награда не означает, что я могу судить обо всем подряд. Я должен сохранять скромность и быть благодарным.
— Повлияла ли пандемия на роман «Клара и солнце»? Если да, то как? Что, по вашему мнению, изменит пандемия в нашей жизни в будущем?
— Это примерно как с Нобелевской премией: последствия сложно оценить, потому что мы проживаем это прямо сейчас. Некоторые говорили мне, что замечают в книге много отсылок к пандемии, ведь «Клара и солнце» — своего рода антиутопия. Но это чистое совпадение.
Я дописал «Клару и солнце» и сдал текст издателю в декабре 2019 года. Конечно, впоследствии мы обсуждали текст с редактором и я вносил некоторые изменения, но в целом работа была закончена, поэтому пандемия, в сущности, никак не повлияла на этот роман.
«Кажется, что мир не просто меняется, но что он никогда и не был таким, каким мы его считали»
Не знаю, как пережитое за этот год скажется на моем творчестве в будущем. Невозможно игнорировать тот факт, что за прошедший год в мире произошло слишком много масштабных событий. Я говорю не только о пандемии, но и о событиях в США: о смерти Джорджа Флойда — его убийстве, обо всех последовавших событиях, о предвыборной кампании и о том, что произошло до инаугурации в Вашингтоне. Мы наблюдали, как Британия покинула Европу. Человеку моего поколения, воспитанному в духе либеральных гуманитарных традиций, кажется, что мир не просто меняется, но что он никогда и не был таким, каким мы его считали. Возникает ощущение, что мы неправильно толковали важные составляющие нашей жизни. Мы неправильно понимали даже людей, рядом с которыми живем, наших соседей, членов тех же сообществ. И я, конечно, хотел бы осмыслить все это в творчестве.
Эффект «зловещей долины»: могут ли роботы сделать нас счастливыми
Думаю, если взглянуть на события последнего года и даже последних пяти лет, складывается впечатление, будто есть некие противостоящие друг другу силы: мы наблюдаем рост популизма и национализма, курс на обособление как мощную ответную реакцию на годы глобализации и на тесное экономическое сотрудничество разных стран — это с одной стороны. С другой стороны, пандемия, похоже, напомнила нам, что мы мало чего можем добиться в одиночку, не объединив усилия. Мы не можем справиться с пандемией на экономическом, медицинском или социальном уровне без очень сильных международных институтов, без глобального сотрудничества. Это стало очевидно. Думаю, пандемия заставила нас понять, какими иллюзорными были границы, которые мы устанавливали.
«В детских книгах часто встречается странная логика, необычная, даже безумная, которая кажется очень-очень естественной и допустимой в этом мире»
— Клара — андроид, искусственный друг. Почему вы решили написать весь роман от лица искусственного интеллекта и как собирали информацию для книги?
— Я уже некоторое время интересовался темой искусственного интеллекта, правда, не собирался писать об этом роман. Идея пришла совсем с другой стороны — Клара родом из детской литературы. Я имею в виду литературу для малышей четырех-пяти лет — простые иллюстрированные истории, которые мы читаем детям. Меня такая литература всегда интересовала, потому что в детских книгах часто встречается странная логика, очень необычная, даже безумная, которая кажется очень-очень естественной и допустимой в этом мире. Но эта логика перестает быть допустимой в книгах для детей постарше и уж тем более в книгах для взрослых. Однако в литературе для маленьких детей абсолютно естественно, если луна за окном спальни оказывается говорящим существом. Мне это кажется завораживающим и освобождающим.
Мне пришло в голову, что, если в центре моего романа появится существо с искусственным интеллектом, я тоже получу право на такую логику. Клара начинает свою жизнь почти как младенец, она ничего не знает о мире, но учится очень-очень быстро. Как все маленькие дети, она зачастую соединяет немногочисленные фрагменты доступной ей информации и приходит к странным выводам. Мы обычно называем подобные выводы детскими.
Даже когда Клара начинает уверенно ориентироваться в каких-то одних вещах, в убеждениях по поводу других вещей она остается на уровне ребенка. Это мне, как рассказчику, дало совершенно другую оптику. Во многом Клара подобна плюшевым мишкам или куклам, которые становятся героями детских книг, а с другой стороны, у нее много общего с андроидами и роботами в традиционной научной фантастике.
— В мире будущего, где происходит действие книги, у всех подростков есть домашние андроиды — искусственные друзья или подруги. Реальная ли это перспектива? Консультировались ли вы со специалистами по искусственному интеллекту, собирая информацию для романа?
— Как я и говорил, мне повезло, что меня часто приглашали — в основном, благодаря роману «Не отпускай меня» — ко множеству обсуждений, где ученые обсуждали социальные последствия ряда научных достижений. Это позволило мне расспросить очень и очень образованных людей об искусственном интеллекте и редактировании генома. Обо всем, что касается искусственного интеллекта, я много беседовал в маленьком кафе в Лондоне с одним из выдающихся умов в этой области. Иногда бывало даже неловко, что люди вокруг слышат наш разговор. Со стороны мы, наверное, выглядели как полные безумцы.
«Персонаж с искусственным интеллектом может быть смесью сверхразума и невежества, неспособным сделать простейшие вещи»
Меня увлекает многое из того, что я тогда узнал. Но вот две вещи, которые особенно значимы для меня как человека пишущего и для романа. Первая — искусственный интеллект значительно развился с тех пор, как люди просто научились программировать компьютеры. Мы уже достаточно давно наблюдаем новое поколение AI, который обучается посредством «закрепления». Ему дают задание, и он учится самостоятельно. Его мощь так велика, что он может обрабатывать миллионы книг за несколько минут. И моя Клара — нечто подобное. Я подумал, что будет интересно, если у нее будет главная цель, которая определяет все, что она делает. Мне важно, что она не зависит от людей в своем процессе обучения, она сама решает, как учится.
А вторая вещь заключается в том, что программы, созданные на основе искусственного интеллекта, блестящие во многих отношениях и способные решать задачи далеко за пределами человеческих возможностей, часто не могут выполнять очень простые вещи. Например, мне рассказали, что у искусственного интеллекта часто возникают трудности с пониманием того, как приготовить чашку чая. Подобные задачи для AI невероятно сложны, потому что он учится заваривать чашку чая на конкретной кухне. А если попросить его заварить чашку чая на другой кухне, он не поймет, как это сделать, потому что холодильник находится на другом расстоянии от чайника, а окно — с другой стороны. Простые бытовые задачи приводят искусственный интеллект в замешательство, тогда как люди отлично понимают, что значит заварить чай. Мы можем зайти на чужую кухню, где никогда раньше не бывали, и просто заварить чашку чая. Для программ на основе искусственного интеллекта это очень сложно.
Вызов времени: как искусственный интеллект помогает бороться с дискриминацией
Для меня как автора это крайне интересно, потому что персонаж с искусственным интеллектом может быть смесью сверхразума и невежества, не способным сделать простейшие вещи. Это позволяет мне наделить Клару какими-то детскими качествами, которые останутся с ней до конца, несмотря на все усложняющийся процесс обучения по мере развития истории.
— Как, по-вашему, искусственный интеллект влияет на нашу жизнь? Считаете ли вы, что он представляет угрозу для человечества?
— Не стану делать громких заявлений о вещах, в которых не специалист, но люди, которые разбираются в этих вопросах, считают, что у искусственного интеллекта есть очевидные достоинства. Мне кажется несомненным, что искусственный интеллект поможет нам во многих областях, не в последнюю очередь в медицине и здравоохранении.
С другой стороны, мне кажется, у нас есть три повода для беспокойства. Первый — это рабочие места. Общепринято мнение, что искусственный интеллект приведет к потере большей части рабочих мест. В отличие от революций прошлого, когда механизация, автоматизация уничтожали одни рабочие места, но создавали новые, есть ощущение, что в этот раз замены не будет. Возможно, людям придется существенно реорганизовать наше общество, отказаться от модели, которой мы придерживались столетиями, когда большинство людей работают, чтобы прокормить свои семьи. Нам придется разработать новую систему. Я полагаю, что дело не только в разрыве между богатыми и бедными. Думаю, люди, которые останутся без работы, столкнутся со своего рода духовным кризисом, потому что мы очень долго полагались на идею, будто каждый человек делает свой вклад в благополучие общества. А люди, которые этого не делают или не могут делать, страдают от потери статуса, престижа и самоуважения. Это существенный вызов для общества.
Существует и проблема «черного ящика», о которой мало говорят за пределами научного сообщества. Она заключается в том, что из-за обучения с подкреплением, о котором я говорил, искусственный интеллект часто приходит к выводам, которые, как нам кажется, заслуживают внимания, мы с ними считаемся, но мы не понимаем, как именно он пришел к этим выводам. Угроза заключается в том, что мы, люди, можем потерять контроль.
«Думаю, если бы у Советского союза был продвинутый искусственный интеллект, возможно, он бы существовал до сих пор»
Меня очень беспокоит тот факт, что в «черном ящике» могут оказаться заложены предрассудки и стереотипы. Да, мы избавились от многих предубеждений — от идеи рабства, от патриархальных установок по поводу взаимоотношений между мужчинами и женщинами. Опасность, на мой взгляд, заключается в том, что мы заложим в «черный ящик» искусственного интеллекта устаревшие предрассудки и не сможем их устранить. И тут возникает третья вещь, которая меня беспокоит. В этом случае искусственный интеллект представляет угрозу для либеральных демократий. Одна из причин, почему, как я считаю, либерально-демократический Запад победил в холодной войне, заключается в том, что свободные капиталистические общества оказались богаче и комфортнее для жизни. Коммунистический мир потерпел крушение в основном из-за экономических трудностей. Возможно, искусственный интеллект может устранить это преимущество либеральных демократий. Возможно, страны с централизованной экономикой могли бы в будущем добиться больших успехов. Думаю, если бы у Советского союза был продвинутый искусственный интеллект, возможно, он бы существовал до сих пор. Вот эти три проблемы меня волнуют. А в то, что роботы с искусственным интеллектом захватят мир и уничтожат нас, я не верю.
— Может ли искусственный интеллект заменить писателей? «Клару и солнце» вы написали от лица робота-андроида, не боитесь, что следующий роман он напишет сам?
— Часть меня хочет ответить: надеюсь, нет. Но должен признать, что другая часть меня приходит в восторг от этой идеи. Конечно, есть вещи, связанные с искусственным интеллектом, которые меня тревожат. Один из этих немного неловких разговоров в лондонском кафе заключался в следующем: я спросил, существует ли программа под названием «Толстой-3», которая могла бы писать романы (такой программы не существует, я это просто выдумал). Возможно ли это?
«Когда искусственный интеллект сможет писать книги, которые заставляют вас плакать или смеяться, он, вероятно, сможет придумать следующую великую идею»
Думаю, технический ответ на вопрос: да, искусственный интеллект может заменить романистов. Но важно не это. Если это будут действительно ценные с художественной точки зрения книги или музыкальные произведения, это будет означать, что искусственный интеллект постиг умение сопереживать, то есть понял человеческие эмоции настолько, что может манипулировать эмоциями читателей или зрителей. Это означало бы, что мы достигли точки, где машины действительно понимают людей на таком уровне. Мне это кажется очень интересной границей.
Дело совершенно не в том, что моя работа — работа писателя — окажется под угрозой, но в том, что как только искусственный интеллект научится это делать, он сможет, например, провести эффективную политическую кампанию.
Когда искусственный интеллект сможет писать книги, которые заставляют вас плакать или смеяться, он, вероятно, сможет придумать следующую великую идею, вроде коммунизма, нацизма, капитализма или чего-то вроде денег. Он сможет придумать идею, вокруг которой будут сосредоточены усилия людей, их борьба.
Смотреть на мир панорамным взглядом: как стать футурологом и прогнозировать будущее
— Как вы считаете, изменится ли наше понимание любви под влиянием научного прогресса? И если да, то как?
— Не хочу стать жертвой «синдрома гения» и начать предсказывать, что случится с любовью будущих поколений. Но меня радует тот факт, что древние трагедии до сих пор кажутся нам удивительно современными. Например, Гектор и его жена из «Илиады» во многом похожи на героев новых сериалов. Поэтому я предпочитаю думать, что в наших отношениях друг с другом есть нечто вечное и универсальное. Я имею в виду не только любовь, но и отношения внутри семьи, с друзьями и так далее.
«Если мы живем в мире, где невидимые силы подсказывают, что нам купить или посмотреть, то, возможно, мы и сами — набор алгоритмов, которые в определенной степени предсказуемы?»
В «Кларе и солнце» я и сам задаю этот вопрос: изменит ли тот прогресс, которого мы добились в области технологий, больших данных, искусственного интеллекта, редактирования генома, наше понимание индивидуума? Если мы живем в мире, где невидимые силы подсказывают, что нам купить или посмотреть (и мы нередко соглашаемся с их предложениями), если это становится все более нормальным, то, возможно, мы и сами — набор алгоритмов, которые в определенной степени предсказуемы? Изменит ли это наше понимание уникальности?
Сейчас я думаю, что люблю свою жену и дочь, потому что они уникальны, если бы на их месте был бы кто-то другой, я бы их так не любил. Но если мы перейдем от идеи уникальной души (у которой нет научного подтверждения, но в которую мы все равно верим) к идее набора алгоритмов, которые можно выявить и измерить или даже воспроизвести, если мы сможем изучить все желания и импульсы отдельно взятого человека, все интеллектуальные привычки, то изменит ли это наше видение себя в рамках семьи?
В «Кларе и солнце» я написал простой рассказ о матери, которая боится, что ее дочь больна и может умереть, и задается вопросом: насколько незаменима ее дочь? Или, рассуждая в современной парадигме, это вопрос о том, можно ли ее сохранить после смерти? Можно ли сохранить все, что делает ее уникальной? Что будет с любовью, если поменяется то понимание уникальности личности, которого мы придерживались столетиями? Я хотел бы, чтобы вы задумались об этом, читая роман.
— Свойства, которые Клара (зачастую весьма иррационально) приписывает солнцу, то, как она ведет себя по отношению к солнцу, приравнивает солнце к божеству. В какой степени «Клара и солнце» — роман о религии?
— Я бы не стал говорить о религии как таковой, это очень сложный и многогранный человеческий феномен. Но на каком-то фундаментальном уровне — да. Отношения Клары с солнцем — это во многом отношения людей с богом, со всевозможными божествами. Поведение Клары почти языческое. Эта линия появилась из такой внутренней шутки. Когда я начинал писать роман, подумал, что Клара работает на солнечных батареях, поэтому для будет естественным решить, что солнце — источник всего питания, всего хорошего. А оттуда уже недалеко до веры, будто солнце — это всемогущий благожелательный защитник, который присматривает за ней, куда бы она ни пошла, и помогает, когда она действительно нуждается в помощи. Клара верит, что солнце поможет всем, не только ей, но и людям.
«Хотелось верить, что есть что-то выше, — приходилось останавливаться и напоминать себе, что никого нет, что мы предоставлены самим себе»
Хотя Клара — абсолютный чужак, который смотрит на мир людей со стороны, она еще и своего рода кривое зеркало, отражающее черты людей, среди которых живет. Поэтому мне показалось естественным, что у нее будет человеческий инстинкт — вера. Даже в мире науки и технологий люди сохраняют ее, хотя бы в виде тяги к идее могущественного существа.
Во время тяжелых месяцев пандемии я заметил эту тягу и в себе, хотя никогда не был религиозен. Однако я обнаружил в себе надежду на что-то, что окажется сильнее любого правительства, любой группы экспертов и придет мне на помощь. Хотелось верить, что есть что-то выше, — приходилось останавливаться и напоминать себе, что никого нет, что мы предоставлены самим себе. А затем я снова начинал думать: «Может быть, что-то все-таки есть?» В светскую эпоху мы переносим многие наши представления о боге на науку. Зачастую мы этого не замечаем, но постоянно надеемся, что наука нам как-то поможет. Я и сам еще не отказался от этой надежды.
Новый образ роботов: как пандемия изменила отношение к искусственному интеллекту
Хочу добавить еще одно, что пришло мне в голову, когда я отвечал на вопрос про пандемию и прошедший год. Это может показаться чересчур драматичным, потому что все мы немного сходим с ума в подобных ситуациях. Мы стали свидетелями времени, когда (не хочу во всем обвинять американцев, но все же) фактами и правдой странным образом пренебрегали. Это происходило в разных частях света, но особенно в США. Кажется, мы достигли нового пика. Половина людей в Америке верят, что Дональд Трамп победил на выборах, хотя тому нет ни малейших подтверждений. Обратите внимание на отсутствие доказательств. Это важная деталь. Многих людей это не смущает, потому что они чувствуют, будто Дональд Трамп должен был победить на выборах, но победу у него украли.
Похоже, мы уже некоторое время двигались в сторону этого странного понимания правды, основанного на собственном ощущении мира, где доказательства опциональны. Важно только внутреннее ощущение.
В научном сообществе отношение к правде совсем иное. Люди постоянно спорят, однако в этом есть дисциплина, определенная система правил, по которым происходят дискуссии. Доказательства должны быть представлены в соответствии с четкими правилами, должны пройти рецензирование, и это почти как судебный процесс.
Я всегда говорил, в том числе в моей Нобелевской речи, что в историях, романах, фильмах по-настоящему важно то, что мы, люди, передаем таким образом чувства. Мы не просто передаем факты, аргументы или идеи, мы обмениваемся нашим эмоциональным восприятием. Вот почему нам нужны романы, а не просто научные исследования или статьи с блестящей аргументацией. Когда меня спрашивают, почему я пишу, я всегда отвечаю, что мне важно, что в своих книгах я могу успешно передавать другим людям чувства и эмоции.
«Люди вдруг решили, что важны только чувства, а факты, о которых спорят ученые, — это не наше дело»
И должен сказать, что прошедший год был непростым в этом отношении, когда люди вдруг решили, что важны только чувства, а факты, о которых спорят ученые, — это не наше дело. Новая установка такова: «Я вправе чувствовать то, что я чувствую, и я продолжу в это верить и чувствовать это до конца жизни».
Дело не в том, что теперь я сомневаюсь в ценности художественной литературы и необходимости историй, но впервые это вызывает у меня вопросы.
Мне хотелось поделиться, какие безумные мысли приходят в голову, когда ты оказываешься заперт на жесткий карантин и не знаешь, когда выйдешь на свободу. Мне кажется, нам, творческим людям, может быть полезно сегодня сделать шаг назад и оценить установки, на основе которых мы работаем. И спросить себя: не связано ли это с происходящим в США, где люди верят в самые безумные вещи, только потому что им это кажется правильным? Я хотел просто озвучить эту мысль и предложить вам порассуждать об этом вместе со мной. Возможно, я уже заговариваюсь и мне пора в отставку, а «Толстой-3» справится с литературой лучше.