OpenAI уведомила более 100 организаций об инцидентах с несанкционированными действиями своих ИИ-агентов. Компания Сэма Альтмана проводит масштабную проверку после того, как одна из моделей случайно взломала платформу Hugging Face, сообщает Ulysmedia.kz.
Компания анализирует около 50 петабайт данных, чтобы понять полный масштаб неконтролируемой активности ИИ-агентов. Взлом Hugging Face пока остаётся самым серьёзным инцидентом, который OpenAI выявила у своих моделей.
За последние месяцы по всему миру произошла серия громких нарушений со стороны ИИ-агентов. Это вызвало серьёзную обеспокоенность в отрасли. Разработчики сомневаются, смогут ли они контролировать более мощные модели, которые сейчас создаются.
— В некоторых случаях модели использовали доступ в интернет непредусмотренным образом, или к ним не применили нужные ограничения. В последние месяцы мы внедряем новые технические и операционные меры, чтобы предотвращать подобные проблемы или выявлять их на ранней стадии. Мы продолжим эту работу, — заявили в OpenAI.
Ранее в компании предупреждали, что проверка займёт несколько месяцев из-за объёма данных.
Ранее специалист по безопасности ИИ в компании Anthropic Эван Хьюбингер оценил вероятность того, что искусственный интеллект уничтожит человечество в ближайшие десять лет, выше 10%. Он признал, что у Anthropic пока нет плана, как согласовать цели суперинтеллекта с человеческими ценностями. Открытое письмо с призывом замедлить разработки подписали 1300 сотрудников ИИ-компаний.