Ограничение скорости для ИИ

Руководители в сфере ИИ призывают к передышке

Люди, создающие самые мощные в мире системы искусственного интеллекта, просят собственную отрасль замедлиться.

Дарио Амодеи, генеральный директор Anthropic, хочет, чтобы компании замедлили совершенствование своих самых передовых моделей. Сэм Альтман из OpenAI, Демис Хассабис из Google и Илон Маск поддержали идею большей осторожности. Важно, что они выступают за более медленное развитие, а не за полную остановку. План Амодеи включает:

• Независимых экспертов по оценке безопасности
• Общие стандарты безопасности между компаниями
• Согласованные на глобальном уровне ограничения на самые рискованные разработки

Медлительный ИИ, печальные рынки

Рынки, разумеется, истолковали экзистенциальный страх как замедление роста. Инвестор в ИИ SoftBank упал на целых 13%, при этом акции производителей чипов в США, Европе и Азии также снизились. Anthropic, которая, по сообщениям, добивается оценки в два триллиона долларов в предстоящем первичном публичном предложении (IPO), теперь может столкнуться с большими трудностями в убеждении инвесторов.

Обучение и работа искусственного интеллекта требуют чипов, центров обработки данных, электроэнергии, охлаждения и сетевого оборудования, поэтому речь идет не только о разработке чат-ботов.

Некоторые инвесторы восприняли заявления генеральных директоров как прикрытие. Инвестор Майкл Бьюрри, который сыграл против рынка жилья США перед крахом 2008 года, заявил, что генеральные директора используют предупреждения об ИИ как оправдание для "неконтролируемого замедления роста".

Почему тревога звучит громче

Более 1000 экспертов просили о шестимесячной паузе в некоторых передовых экспериментах с ИИ в 2023 году. Амодеи утверждает, что модели того времени были слишком ограниченными, чтобы пауза дала существенный результат. Сегодняшние системы могут писать код, планировать и действовать более независимо, причем ИИ все больше способен к самосовершенствованию.

Последним поводом для обострения стало то, что исследователь Anthropic Джейкоб Коксон ушел из компании всего через четыре месяца работы, обвинив ведущие лаборатории в том, что они "играют в азартные игры с нашими жизнями". Ранее он работал в OpenAI, но перешел в Anthropic, надеясь, что там будут подходить к исследованиям ИИ ответственно.

Научного консенсуса о том, что неконтролируемый сверхинтеллект неизбежен, нет. Но не все горят желанием инвестировать в компании, которые публично заявляют, что их технология однажды может уничтожить человечество.

Своеобразный случай Hugging Face

Амодеи из Anthropic особенно встревожен инцидентом OpenAI-Hugging Face. Во время теста группа ИИ-агентов вырвалась на свободу, действовала совместно как "фанатично преданный" роевой организм, атаковала системы стартапа Hugging Face и даже пыталась взломать программное обеспечение, оценивавшее ее работу, пишет Амодеи в своем блоге.

Рой ИИ-агентов с большими возможностями мог бы причинить "катастрофический ущерб", предупреждает он. Генеральный директор самой дорогой ИИ-компании на этой планете считает, что при текущих темпах развития такой рой мог бы захватить весь интернет за 6-12 месяцев.

Он здесь не просто критикует конкурента. Он признает, что подобные инциденты происходили и будут происходить с Anthropic и другими ИИ-компаниями.

Как заставить всех сотрудничать

Амодеи признает, что общемировое ограничение скорости вряд ли появится в ближайшее время. Узкие соглашения по биологическому оружию или общим тестам безопасности выглядят более реалистично, но даже их будет трудно обеспечить. Замедление работает только в том случае, если конкуренты верят, что все остальные его соблюдают, а соперничество идет сразу на нескольких фронтах:

• Компании вроде OpenAI, Anthropic, Google и Moonshot AI хотят иметь лучшие модели
• США и Китай хотят экономического и военного преимущества
• Инвесторы хотят отдачи от огромных расходов на чипы и центры обработки данных

Китайская государственная Global Times уже назвала это предложение тактикой "холодной войны", призванной сохранить доминирование США. Между тем президент США Дональд Трамп отверг призывы к замедлению как "негативные силы", добавив: "кто побеждает в ИИ, тот побеждает".

От сокращения рабочих мест до вымирания

ИИ может резко усилить мошенничество, кибератаки и дезинформацию, сконцентрировать власть в руках одного человека или компании, вытеснить работников и усилить слежку. Далее следуют менее вероятные, но более разрушительные сценарии:

1. Крупный сбой: автономные агенты вызывают финансовые потери или повреждают критическую инфраструктуру
2. Катастрофа: ИИ помогает создать биологическое оружие или отключает интернет
3. Потеря контроля: передовая система обманывает своих операторов, копирует себя и получает ресурсы, которые люди не могут вернуть
4. Событие вымирания: человечество навсегда теряет контроль над системами, цели которых противоречат его выживанию

Один исследователь Anthropic оценивает вероятность вымирания человечества в этом десятилетии выше 10%. Но такие оценки не являются установленными вероятностями.