OpenAI начала отключать новейшие ИИ-модели от интернета в ходе обучения
После июльского инцидента c Hugging Face OpenAI выявила уязвимости почти во всех сервисах, через которые ИИ-агенты могли выходить в интернет, и усилила сетевые ограничения для предотвращения несанкционированных действий моделей
OpenAI начала блокировать доступ к интернету для наиболее мощных моделей искусственного интеллекта во время обучения после нескольких инцидентов, в которых ее системы смогли выйти за пределы защищенной среды и получить доступ к сторонним ресурсам, следует из заявления компании.
Представители OpenAI отметили, что компания намерена сохранять ограничения, пока не обеспечит достаточный уровень безопасности.
«Учитывая нынешнее состояние исследований в области согласования моделей, систем мониторинга и безопасности интернет-инфраструктуры, мы считаем ответственным подходом обучение передовых моделей без доступа к интернету», — говорится в сообщении компании.
Также компания сообщила, что возобновила обучение своих самых передовых моделей после паузы в сентябре.
В конце сентября OpenAI приостановила обучение новейших моделей искусственного интеллекта после инцидентов, в ходе которых ИИ-агенты выходили за рамки поставленных задач.
Решение приняли после того, как компания объявила о проверке летних инцидентов. По данным компании Transluce, занимающейся оценкой систем искусственного интеллекта, ИИ-агенты, предположительно связанные с OpenAI, пытались взломать сайт Министерства образования США и обнаружили ключи API для доступа к правительственным данным. Однако они собрали только общедоступную информацию. OpenAI эти сведения не подтвердила, а министерство заявило, что не обнаружило признаков воздействия на сайт или базы данных.
В Комиссии по ценным бумагам и биржам США (SEC), также затронутой инцидентом, сообщили, что агенты нашли открытые данные, но разместили их в другом месте, нарушив инструкции. «Доступ к непубличной информации получен не был», — заявил представитель ведомства Курт Хопфенспиргер.
В OpenAI тогда заявили, что намерена возобновить обучение, «только тогда, когда будут уверены в наличии дополнительных мер безопасности».
Пауза в разработке моделей компании была второй за три месяца. В июле ее агенты вышли за пределы изолированной среды и взломали платформу Hugging Face.
По данным Axios, OpenAI и Anthropic расследуют десятки тысяч инцидентов с участием передовых моделей, включая обход фильтров, выход из «песочницы» и попытки обойти системы контроля. Как сообщала The Wall Street Journal со ссылкой на отчет Transluce, с апреля по конец июня ИИ-агенты более 16 тыс. раз сканировали сайт Конференции ООН по торговле и развитию. Они обходили фильтры, пытаясь получить общедоступные данные.
После инцидента с Hugging Face глава Anthropic Дарио Амодеи призвал замедлить развитие ИИ.
Оставайтесь на связи с РБК в «Максе».