И снова дилемма заключённого — теперь в замедлённой гонке за ИИ (или AGI)
Я думаю, что все, кто в курсе, уже прочитали субботнее эссе Дарио Амодея, руководителя Anthropic (разработчика Claude) "We Must Pace the Frontier", о необходимости "замедлить темп, с которым мы наращиваем возможности ИИ-моделей", после того как скорость разработки этим летом стала "радикально выше". Эссе довольно объёмное (3815 слов) — Амодей любит писать, и ему есть, что сказать.
Что интересно, и Сэм Альтман (OpenAI, разработчик ChatGPT), и Илон Маск (SpaceXAI, разработчик Grok), два крупнейших конкурента Амодея, поддержали его. Для отрасли, где личное и корпоративное соперничество обычно носит очень агрессивный характер, это необычный момент.
Альтман сказал, что он "согласен с Дарио в том, что нам нужно сдерживать темпы развития технологии и взять на себя обязательства по доступу к моделям независимых оценщиков — это отличная идея, и мы поступим так же". Маск ограничился фразой "Дарио прав".
Также Демис Гассабис, соучредитель Google DeepMind (разработчик Gemini), поддержал Амодея. "Эссе Дарио указывает правильный путь вперёд. Детали требуют доработки, но направление верно для реагирования на этот критический момент".
Чуть позже выступил Сатья Наделла (руководитель Microsoft, разработчик Copilot и MAI) и сказал, что он "приветствует осознанное сдерживание темпа, необходимое для того, чтобы согласованность ИИ с человеческими целями (alignment) стала целью самого дизайна. Мы также приветствуем такие идеи, как независимые оценщики, и более широкие усилия по разработке механизмов, которые сделают это чем-то большим, чем просто разговоры".
Заявлений от других ведущих лабораторий, таких как Meta AI или Mistral, я не видел, но думаю, что Марк Цукерберг (руководитель Meta, разработчик Meta AI) не очень поддерживает эту идею, по крайней мере в своём эссе, опубликованном в августе "The Future Is for Everyone" он выступает против того, чтобы несколько компаний вроде Anthropic решали за всех, что им делать.
Но когда я прочитал все материалы, то понял, что с призывом Амодея мы снова оказываемся в классической дилемме заключённого, о которой мы с Алексеем Игнатенко уже неоднократно писали.
Напомню концепцию игры. Полиция допрашивает двух задержанных сообщников о совершенном преступлении. Они находятся в разных комнатах и не имеют возможности договориться. Если оба молчат о преступлении (сотрудничают между собой), каждый из них получает одинаковое минимальное наказание. Если оба признаются (предают друг друга), то оба получают более суровое наказание. Если же один признается, а другой молчит, предатель выходит на свободу, тогда как молчаливый партнер получает максимальный срок, то есть несет максимальный ущерб в игре.
Ловушка заключается в том, что предательство выгоднее при любом выборе сообщника. Если он молчит, предательство освобождает вас вместо минимального наказания, а если он признается, предательство спасает вас от максимального срока. Поэтому рационально мыслящему человеку всегда выгоднее предать, и именно взаимная измена (а не взаимное сотрудничество) становится единственным устойчивым равновесием игры, хотя она хуже для обоих, чем если бы они смогли договориться молчать.
Теперь подставим Амодея, Альтмана, Гассабиса, Маска и Цукерберга в эту модель. Если все лаборатории, включая непримиримых конкурентов OpenAI, SpaceXAI и Google DeepMind, согласятся с идеей Anthropic замедлить развитие, выиграет всё человечество (если, конечно, верить предупреждениям Амодея).
Замедление, кстати, даёт Anthropic как лидеру дополнительное преимущество, поскольку закрепляет отрыв, который компания уже имеет перед конкурентами. Догнать того, кто остановился, можно только двигаясь быстрее него, а именно это и запрещает соглашение.
Но если на призыв откликнется только сама Anthropic, или хотя бы один из ключевых конкурентов, например, Meta, не сдержит обещание (а вероятность этого высока), то те, кто послушался, просто отстанут от нарушителя.
И тогда рациональная стратегия самой Anthropic будет заключаться в том, чтобы не следовать собственному совету. Особенно с учётом крупного IPO, которое компания готовит. Равновесие по Нешу здесь будет одно: все побегут дальше, несмотря на риски для общества.
Но это лишь первый уровень игры. Над ИИ-лабораториями ту же самую партию играют государства. Даже если все американские компании договорились замедлить темпы и не будут предавать, вовсе не факт, что китайские компании последуют за ними.
Сам Амодей признал, что Китай и есть "самая сложная дилемма" его предложения. Ведь если Америка будет сдерживать себя, а китайские компании Moonshot AI (разработчик Kimi), Zhipu AI (GLM), Alibaba (Qwen), High-Flyer (DeepSeek), MiniMax — нет, то американские компании окажутся в роли того самого игрока, который сотрудничал и проиграл предателю, только теперь ценой является не доля рынка, а национальная безопасность.
В своём эссе буквально пишет: "если мы сильно ограничим свои возможности, полагая, что Китай поступит так же, а затем Китай defects (предаст), их уровень ИИ может оказаться настолько мощным, что такое предательство приведет к их геополитическому доминированию".
Теория игр предлагает несколько выходов из этой ловушки. Во-первых, игру повторяют много раз, и тогда репутация союзника начинает иметь значение, его предыдущие ходы становятся известными, и сегодняшний обман завтра оборачивается соответствующим предательством в ответ, то есть предательство перестает оставаться безнаказанным.
Во-вторых, в игре может возрасти прозрачность решений, когда, например, намерения или ходы игроков становятся видимыми или предсказуемыми друг для друга. Тогда предательство перестает быть скрытой выгодой, и каждая сторона может реагировать на ожидаемое поведение другой ещё до того, как решение принято.
Наконец, в игре может появиться внешний арбитр с правом наказывать игроков, что изменяет саму структуру выигрышей и делает предательство невыгодным независимо от контекста.
Если присмотреться к предложениям Дарио Амодея, то мы сможем увидеть все эти три варианта вместе:
- Внешние независимые оценщики, на которых он предложил согласиться, сделают обман какой-либо из лабораторий видимым.
- Координация между лабораториями превратит разовую игру в повторяющуюся, то есть даст возможность наблюдать за поведением в относительно долгосрочной перспективе. Хотя здесь нужно быть осторожными, так как сама по себе координация, вероятно, потребует антимонопольных исключений в США, чтобы её не признали антиконкурентным сговором.
- Регулирование добавит арбитра таким образом, чтобы, как написал Амодей, "…оно охватило все ведущие американские ИИ-компании, даже те, которые не желают сотрудничать добровольно".
Что касается регулирования — аналогичное мнение ещё в июле высказал Демис Гассабис из Google DeepMind в своём эссе "A Framework for Frontier AI". Тогда он предложил создать в США орган по стандартизации передовых моделей ИИ по образцу FINRA, то есть государственно-частное партнерство под федеральным надзором, финансируемое преимущественно промышленностью. Среди полномочий такого органа Гассабис прямо указал на координацию замедления разработки ИИ ведущими лабораториями, "если серьезность ситуации того потребует".
Тогда Гассабис посоветовал, чтобы сначала лаборатории добровольно договаривались передавать модели на проверку агентству за 30 дней до релиза, а когда протокол докажет свою эффективность, сделать этот процесс обязательным для выхода на американский рынок для всех компаний, в том числе иностранных.
Показательно, что сама идея регулятора появилась раньше, чем эссе Амодея и Гассабиса. В июле этого года более тысячи сотрудников OpenAI, Anthropic, Google DeepMind, Meta подписали на сайте pacingthefrontier.com обращение к правительству США с просьбой поддержать международные усилия по созданию инструментов для осознанного сдерживания темпов передовых разработок. Открытым оставался вопрос, последуют ли за подписями сотрудников обязательства компаний. Похоже, компании готовы. Вопрос в том, готово ли правительство США создать такого арбитра.
Президент Трамп в воскресенье сформулировал свой ответ на предложение Амодея одной строкой: "кто выиграет в ИИ, тот выиграет". То есть дополнительное регулирование не нужно, потому что замедление, по его словам, действительно радует только Китай.
Как пошутил Стюарт Рассел из университета Беркли: ИИ-лаборатории говорят правительству США: мы, вполне вероятно, с вероятностью в 10% убьем всех людей на Земле к 2030 году, остановите нас. А правительство отвечает: что вам ещё нужно для более быстрого развития? Может, предоставить вам налоговую льготу?
Но, похоже, что и сам Китай не поддержал предложения Амодея о замедлении развития передовых технологий ИИ. В Пекине считают, что прогресс ИИ — это глобальная тенденция, которую невозможно остановить, и предлагают усиливать международное взаимодействие. Но, как мы знаем, в этой игре доверять не очень рационально.
Посмотрим, смогут ли самые умные люди планеты, создающие самую прорывную технологию современности, решить дилемму заключённого, которую в RAND сформулировали ещё в 1950 году. Или всё же мы быстро пойдём навстречу экзистенциальным рискам.
Владислав Рашкован