І знову дилема в'язня — тепер у сповільнені гонки за ШІ (або AGI)
Я думаю, що усі, хто в темі, вже прочитали суботнє есе Даріо Амодея, керівника Anthropic (розробника Claude) "We Must Pace the Frontier", про необхідність "сповільнити темп, з яким ми нарощуємо можливості ШІ-моделей", після того як швидкість розробки цього літа стала "радикально вищою". Есе досить велике (3815 слів) – Амодей любить писати, і йому є, що сказати.
Що цікаво, і Сем Альтман (OpenAI, розробник ChatGPT), і Ілон Маск (SpaceXAI, розробник Grok), два найбільші конкуренти Амодея, підтримали його. Для індустрії, де особисті й корпоративні суперництва зазвичай дуже агресивні, це неординарний момент.
Альтман сказав, що він "згоден з Даріо в тому, що нам треба стримувати темп розвитку технології і взяти на себе зобов'язання щодо доступу до моделей незалежних оцінювачів – це чудова ідея, і ми зробимо те саме". Маск обмежився фразою "Даріо має рацію".
Також Деміс Гассабіс, співзасновник Google DeepMind (розробник Gemini), підтримав Амодея: "Есе Даріо вказує на правильний шлях уперед. Деталі потребують опрацювання, але напрямок правильний для відповіді на цей критичний момент".
Уже пізніше вийшов Сатья Наделла (керівник Microsoft, розробник Copilot і MAI) і сказав, що він "вітає свідоме стримування темпу, яке потрібне для того, щоб узгодженість ШІ з людськими цілями (alignment) стала метою самого дизайну. Ми також вітаємо такі ідеї, як незалежних оцінювачів, і ширші зусилля з розробки механізмів, які зроблять це чимось більшим за розмови".
Заяв від інших провідних лабораторій, Meta AI чи Mistral, я не бачив, але думаю, що Марк Цукерберг (керівник Meta, розробник Meta AI) не дуже підтримує цю ідею, як мінімум в своєму есе в серпні "The Future Is for Everyone" він виступає проти того, щоб кілька компаній на кшталт Anthropic вирішували за всіх, що їм робити.
Але коли я прочитав усі матеріали, то зрозумів, що із закликом Амодея ми знову опиняємося в класичній дилемі в'язня, про яку ми з Олексієм Ігнатенком уже неодноразово писали.
Нагадаю концепт гри. Поліція допитує двох затриманих спільників про скоєний злочин. Вони знаходяться в різних кімнатах і не мають можливості домовитися. Якщо обидва мовчать про злочин (співпрацюють між собою), кожен з них отримує однакове мінімальне покарання. Якщо обидва зізнаються (зраджують один одного), то обидва отримують суворіше покарання. Якщо ж один зізнається, а інший мовчить, зрадник виходить на волю, тоді як мовчазний партнер отримує максимальний термін, тобто має максимальний збиток в грі.
Пастка в тому, що зрада вигідніша за будь-який вибір спільника. Якщо він мовчить, зрада звільняє вас замість мінімального покарання, а якщо він зізнається, зрада рятує вас від максимального терміну. Тому раціонально мислячій людині завжди вигідніше зрадити, і саме взаємна зрада (а не взаємна співпраця) стає єдиною стійкою рівновагою гри, хоча вона гірша для обох, ніж якби вони змогли домовитися мовчати.
Тепер підставимо Амодея, Альтмана, Гассабіса, Маска та Цукерберга в цю модель. Якщо всі лабораторії, включно з непримиренними конкурентами OpenAI, SpaceXAI і Google DeepMind, погодяться з ідеєю Anthropic сповільнитися в розвитку, виграє все людство (якщо, звісно, вірити попередженням Амодея).
Сповільнення, до речі, дає Anthropic як лідеру додаткову перевагу, бо заморожує відрив, який компанія вже має перед конкурентами. Наздоганяти когось, хто зупинився, можна лише рухаючись швидше за нього, а саме це і забороняє домовленість.
Але якщо на заклик відгукнеться лише сама Anthropic, або хоча б один із ключових конкурентів, наприклад, Meta не дотримає обіцянки (а ймовірність цього висока), то ті, хто послухався, просто відстануть від зрадника.
І тоді раціональна стратегія самої Anthropic полягатиме в тому, щоб не слідувати власній пораді. Особливо з огляду на велике IPO, яке компанія готує. Рівновага за Нешем буде тут одна: всі побіжуть далі, незважаючи на ризики для суспільства.
Але це лише перший рівень гри. Над ШІ-лабораторіями ту саму партію грають держави. Навіть якщо всі американські компанії домовляться сповільнитися і не будуть зраджувати, зовсім не факт, що китайські компанії підуть за ними.
Сам Амодей визнав, що Китай і є "найважча дилема" його пропозиції. Бо якщо Америка стримує себе, а китайські компанії Moonshot AI (розробник Kimi), Zhipu AI (GLM), Alibaba (Qwen), High-Flyer (DeepSeek), MiniMax – ні, то американські компанії опиняться в ролі того самого гравця, який співпрацював і програв зраднику, тільки тепер ціною є не частка ринку, а національна безпека.
В своєму есе буквально пише: "якщо ми сильно стримаємо свої можливості, вірячи, що Китай зробить те саме, а потім Китай defects (зрадить), їх рівень ШІ може бути настільки потужним, що така зрада приведе до їхнього геополітичного домінування".
Теорія ігор пропонує кілька виходів із цієї пастки. По-перше, гру повторюють багато разів, і тоді репутація спільника починає мати значення, його попередні ходи стають відомими, і сьогоднішній обман завтра обертається відповідною зрадою у відповідь, тобто зрада перестає бути безкарною.
По-друге, у грі може зрости прозорість рішень, коли, наприклад, наміри чи ходи гравців стають видимими або передбачуваними одне для одного. Тоді зрада перестає бути прихованою вигодою і кожна сторона може реагувати на очікувану поведінку іншої ще до того, як рішення ухвалено.
Наприкінці, у грі може з'явитися зовнішній арбітр із правом карати гравців, що змінює саму структуру виграшів і робить зраду невигідною незалежно від контексту.
Якщо придивитися до пропозицій Даріо Амодея, то ми зможемо побачити всі ці три виходи разом:
- Зовнішні незалежні оцінювачі, на яких він запропонував погодитися, зроблять обман якоїсь з лабораторій видимим.
- Координація між лабораторіями перетворить одноразову гру на повторювану, тобто дасть можливість спостерігати за поведінкою у відносно довгій перспективі. Хоча тут треба бути акуратними, тому що сама по собі координація напевно потребуватиме антимонопольних винятків у США, щоб її не визнали антиконкурентним зговором.
- Регулювання додасть арбітра, таким чином, щоб, як написав Амодей "…воно охопило всі провідні американські ШІ-компанії, навіть тих, хто не бажає співпрацювати добровільно".
Щодо регулювання – аналогічну думку ще в липні висловив Деміс Гассабіс з Google DeepMind у своєму есе "A Framework for Frontier AI". Тоді він запропонував створити в США орган стандартів для передових ШІ-моделей за моделлю FINRA, тобто публічно-приватне партнерство під федеральним наглядом, фінансоване переважно індустрією. Серед повноважень такого органу Гассабіс якраз прямо назвав координацію сповільнення розробки ШІ провідними лабораторіями, "якщо серйозність ситуації цього вимагатиме".
Тоді Гассабіс порадив, щоб спочатку лабораторії добровільно домовлялись передавати моделі на перевірку агенції до 30 днів до релізу, а коли протокол доведе ефективність, зробити цей процес обов'язковим для виходу на американський ринок всім компаніям, також іноземним.
Показово, що сама ідея регулятора старша за есе Амодея та Гассабіса. У липні цього року більше тисячі співробітників OpenAI, Anthropic, Google DeepMind, Meta підписали на pacingthefrontier.com звернення до уряду США з проханням підтримати міжнародні зусилля зі створення інструментів для свідомого стримування темпу передових розробок. Відкритим лишалося, чи підуть за підписами співробітників зобов'язання компаній. Схоже, компанії готові. Питання, чи готовий уряд США створити такого арбітра.
Президент Трамп в неділю сформулював свою відповідь на пропозицію Амодея одним рядком: "хто виграє ШІ, той виграє". Тобто додаткове регулювання не потрібне, тому що сповільнення, за його словами, дійсно тішить лише Китай.
Як пожартував Стюарт Рассел з університету Берклі: "ШІ-лабораторії кажуть уряду США: ми, цілком імовірно, з вірогідністю в 10% вб'ємо всіх людей на Землі до 2030 року, зупиніть нас. А уряд відповідає: що вам ще треба для більш швидкого розвитку? Може, дати вам податкову пільгу?".
Але виглядає так, що й сам Китай не підтримав пропозиції Амодея щодо уповільнення розвитку передових технологій ШІ. У Пекіні вважають, що прогрес ШІ є глобальною тенденцією, яку неможливо зупинити і пропонують посилювати міжнародну взаємодію. Але, як ми знаємо, в цій грі довіряти не дуже раціонально.
Подивимось, чи зможуть найрозумніші люди планети, які створюють найпроривнішу технологію сучасності, розв'язати дилемму в'язня, яку в RAND сформулювали в далекому 1950 році. Чи все ж таки ми швидко спрямуємо на зустріч екзистенційним ризикам.
Владислав Рашкован