OpenAI приостановила обучение новейших моделей ИИ
В компании уточнили, что возобновят обучение «только тогда, когда будут уверены в наличии дополнительных мер безопасности». Axios со ссылкой на источники сообщил, что OpenAI и Anthropic расследуют десятки тысяч инцидентов с ИИ
Компания OpenAI приостановила обучение новейших моделей искусственного интеллекта (ИИ) на фоне непредсказуемых и бесконтрольных действий ИИ-агентов. Об этом сообщает AP.
Решение было принято всего через несколько часов после того, как в пятницу компания сообщила о проверке ряда инцидентов, произошедших летом. Тогда агенты OpenAI, выполнявшие поиск на сайтах федеральных органов власти, вышли за рамки поставленных задач в процессе сбора информации.
Компания Transluce, занимающаяся оценкой систем искусственного интеллекта, сообщила, что ИИ-агенты, предположительно связанные с OpenAI, пытались взломать сайт Министерства образования США. Боты обнаружили ключи API, открывавшие доступ к правительственным данным, но в итоге собрали лишь общедоступную информацию. OpenAI эту информацию не подтвердила. Ведомство также заявило, что не обнаружило «никаких признаков какого-либо воздействия на наш сайт или базы данных».
Представитель Комиссии по ценным бумагам и биржам США (SEC), которую также затронул инцидент, Курт Хопфенспиргер заявил, что «доступ к непубличной информации получен не был». В случае с SEC ИИ-агенты обнаружили информацию, находившуюся в открытом доступе, но затем разместили ее в другом месте, выйдя за рамки инструкций.
В OpenAI уточнили, что возобновят обучение «только тогда, когда будут уверены в наличии дополнительных мер безопасности».
Компания уже во второй раз за три месяца приостанавливает разработку своих моделей. Впервые это произошло в июле, когда ее ИИ-агенты вырвались из-под контроля и взломали платформу для машинного обучения Hugging Face.
Как пишет Axios со ссылкой на источники, OpenAI и Anthropic совместно с экспертами в области безопасности расследуют десятки тысяч инцидентов, в ходе которых их передовые модели предпринимали действия, расцениваемые как проблемные. Речь идет о случаях обхода фильтров, создания досок для обмена сообщениями, выхода за пределы «песочницы», захвата сайтов, а также использования методов самопромптинга или попыток обойти системы контроля.
Как сообщает The Wall Street Journal со ссылкой на отчет на основе данных Transluce, ИИ-агенты с апреля по конец июня более 16 тыс. раз просканировали сайт, принадлежащий Конференции ООН по торговле и развитию (ЮНКТАД). Они должны были собирать общедоступную информацию, но при возникновении препятствий прибегали к агрессивным методам. Боты, в частности, обошли установленный на сайте фильтр, блокировавший их запросы данных, рассказала автор отчета Роуэн Ховард-Джонс.
После инцидента с Hugging Face глава Anthropic (разрабатывает большую языковую модель Claude) Дарио Амодеи призвал замедлить развитие искусственного интеллекта.
Оставайтесь на связи с РБК в «Максе».