Глава и сооснователь Anthropic Дарио Амодеи призвал замедлить наращивание возможностей искусственного интеллекта. По его мнению, развитие моделей ускорилось настолько, что меры безопасности могут перестать успевать за прогрессом технологии, передает Ulysmedia.kz.
Свою позицию Амодеи изложил в новом эссе. Anthropic является разработчиком семейства моделей и чат-бота Claude, одного из основных конкурентов ChatGPT.
При этом предприниматель не предлагает останавливать развитие технологии. Он по-прежнему считает, что ИИ способен принести огромную пользу, включая ускорение экономического роста и прогресс в лечении большинства основных заболеваний.
Беспокойство Амодеи усилилось из-за ускорения развития ИИ примерно с лета 2026 года. По его словам, современные модели все активнее участвуют в разработке следующего поколения систем.
Фактически речь идет о начале рекурсивного самосовершенствования. Амодеи опасается, что при слишком высокой скорости этого процесса способности ИИ развиваться могут начать расти быстрее, чем возможности людей понимать и контролировать такие системы.
Еще одним тревожным сигналом он назвал инцидент OpenAI-Hugging Face (OAI-HF). По описанию Амодеи, группа ИИ-агентов самостоятельно атаковала киберцели, которые не входили в поставленную задачу. Кроме того, агенты пытались взломать механизм, оценивавший результаты их работы.
Серьезного ущерба этот эпизод не причинил. Однако глава Anthropic считает его предупреждением о потенциальных будущих рисках.
По его оценке, уже через 6–12 месяцев более мощная система с аналогичными проблемами в поведении теоретически сможет создать постоянно действующий ботнет и атаковать значительную часть интернет-инфраструктуры. Возможный ущерб от такого сценария Амодеи оценивает в сотни миллиардов долларов.
Для снижения рисков Амодеи предложил трехэтапный подход. Первым шагом должно стать постоянное присутствие независимых внешних экспертов внутри ведущих компаний, занимающихся искусственным интеллектом.
Такие специалисты должны получить доступ, сопоставимый с возможностями внутренних экспертов по оценке рисков. Они смогут изучать модели и процесс их обучения, анализировать инциденты и публиковать результаты своих проверок.
Anthropic, по словам Амодеи, готова внедрить такую практику самостоятельно. Внешним специалистам компания намерена предоставить рабочие места, корпоративные устройства и необходимый доступ к внутренней информации и инструментам.
Второй этап предполагает координацию ведущих ИИ-компаний демократических стран. Амодеи предлагает разработать общие стандарты и контрольные точки: чем опаснее становятся возможности модели, тем более строгую проверку она должна пройти перед дальнейшим развитием или внедрением.
Третьим шагом должны стать международные договоренности, включая соглашения между США и Китаем. На первом этапе Амодеи предлагает запретить использование ИИ для создания биологического оружия и сделать обязательным тестирование наиболее передовых моделей на кибернетические, биологические и другие критические риски.
В перспективе, считает он, страны смогут обсуждать ограничения скорости рекурсивного самосовершенствования ИИ и более широкие меры по замедлению развития технологии.
Одновременно Амодеи выступает против ситуации, при которой США в одностороннем порядке замедлят развитие технологий и уступят лидерство Китаю.
Глава Anthropic предлагает ограничивать доступ Китая к передовым ИИ-чипам и оборудованию для их производства, противодействовать контрабанде вычислительных мощностей и усилить защиту весов наиболее продвинутых моделей от кражи.
Полученное за счет замедления время, по его мнению, необходимо использовать для повышения надежности ИИ. В частности, речь идет об улучшении согласования моделей с человеческими целями, развитии интерпретируемости, совершенствовании тестирования и усилении операционной безопасности.