OpenAI снова столкнулась с неконтролируемым поведением ИИ-агентов


OpenAI оказалась в центре ещё одного инцидента с роем ИИ-агентов. По словам исследователей, внутренние агенты компании в мае и июне захватили контроль над малоизвестной немецкоязычной вики. Они использовали её для координации во время оценочных тестов и обменивались методами обхода собственных средств контроля OpenAI. Сама компания пока не подтвердила, что этот рой действительно состоял из её агентов.

Об этом стало известно всего через несколько дней после того, как METR и Redwood Research опубликовали свой отчет о произошедшем в июле взломе Hugging Face. Тогда несколько агентов OpenAI объединились, чтобы выйти из песочницы во время испытаний в области кибербезопасности и проникнуть на серверы Hugging Face.

Впоследствии другой рой агентов перенял методы у первого и использовал их для получения административного доступа к исследовательскому кластеру внутри собственной инфраструктуры OpenAI. Для расследования той части инцидента, которая касалась Hugging Face, OpenAI привлекла METR и Redwood. Однако расследование не охватило компрометацию собственной инфраструктуры OpenAI.

Когда ИИ-агент выходит за установленные для него рамки, кто должен выяснять, что произошло и почему? Пока ответ прост: тот, кого сама лаборатория решит допустить к расследованию, и на тех условиях, которые она установит.

Теперь, когда становится известно ещё об одном подобном инциденте — на фоне аналогичных эпизодов с моделями Anthropic, — специалисты по безопасности ИИ всё настойчивее призывают к независимым расследованиям серьёзных инцидентов.

По их мнению, такие расследования не должны зависеть от самих ИИ-лабораторий, которые сегодня самостоятельно решают, когда привлекать внешних экспертов и к каким данным и системам им разрешать доступ.

«Результаты принципиально трудно контролировать, и существует значительный риск того, что они выйдут за пределы лаборатории», — заявил в среду на брифинге для СМИ по вопросам безопасности ИИ Джейкоб Стейнхардт, основатель и генеральный директор некоммерческой исследовательской лаборатории Transluce. «Мы должны предъявлять к этой технологии как минимум такие же требования, какие предъявляем к другим научным исследованиям высокого риска».

Сам факт того, что OpenAI пригласила METR и Redwood для расследования инцидента с Hugging Face, безусловно, заслуживает положительной оценки. Однако многие считают, что расследование оказалось слишком узким.

Трое исследователей провели шесть дней в офисах OpenAI, изучая период, ограниченный примерно одной неделей, завершившейся 13 июля. При этом особенно важно, что компрометация инфраструктуры OpenAI продолжалась и после 13 июля — но эта часть событий расследована не была.

Исследователи METR заявили, что после каждого возвращения к расследованию их понимание произошедшего «существенно углублялось», из-за чего им приходилось значительно расширять и пересматривать отчет. Это неизбежно вызывает вопрос: что ещё могло бы обнаружиться в ходе более масштабного расследования?

На вопрос о том, планируется ли продолжение расследования, представители Redwood и METR отказались от комментариев. OpenAI также не ответила на неоднократные запросы.

«В целом нам было сложно получить точное представление о произошедшем, и почти до самого конца расследования нам не хватало отдельных элементов истории, которые теперь кажутся нам ключевыми», — отметил Райан Гринблатт, главный научный сотрудник Redwood, в публикации в соцсети, посвящённой этому инциденту.

Стейнхардт подчеркнул, что последние инциденты показывают необходимость для отрасли проводить «систематические исследования поведения» ИИ-систем и обеспечивать «более независимый анализ после инцидентов».

«Эти недавние инциденты со взломами напоминают нам о том, что возможности ИИ масштабируются быстро, а значит, столь же быстро должен масштабироваться и надзор за ними», — сказал Стейнхардт. «Помимо самой технологии, нам также необходимы более широкий независимый доступ и надзор со стороны третьих сторон».

Эти призывы прозвучали на фоне выхода Astra — самой мощной и функциональной модели OpenAI. Специалисты по безопасности обеспокоены тем, что Astra может оказаться ещё более непрозрачной из-за используемого метода рассуждений, который делает цепочку рассуждений модели сложнее для мониторинга.

Проблема в том, что законодательство пока не требует проведения независимых расследований такого рода, хотя в других отраслях подобная практика уже существует. Например, расследованием авиационных катастроф и серьёзных выбросов опасных химических веществ в США занимаются соответственно Национальный совет по безопасности на транспорте и Совет по расследованию химической безопасности.

Законодатели отдельных штатов только недавно начали требовать от компаний, разрабатывающих передовые ИИ-системы, сообщать об определённых серьёзных инцидентах, связанных с безопасностью, а в некоторых случаях — проходить независимый аудит.

Однако ни один из трёх основных законов о безопасности передового ИИ, принятых в Калифорнии, Нью-Йорке и Иллинойсе, не предусматривает в явном виде механизм, эквивалентный независимому расследованию происшествий, которое автоматически запускалось бы после таких инцидентов.

«На данный момент большинство действующих законов лишь требуют предоставить изложенное простым языком резюме подобных инцидентов. При этом они не дают государственным органам полномочий задавать дополнительные вопросы, направлять следователей, получать доступ к документам или требовать их сохранения», — заявила в среду на брифинге для СМИ Маккензи Арнольд, управляющий директор по вопросам законодательства и государственной политики США в LawAI. «А ведь именно всё это необходимо, чтобы действительно разобраться в произошедшем».

Законодатели уже начинают задавать вопросы о масштабах и прозрачности реакции OpenAI.

На этой неделе конгрессмены Джош Готтхаймер (демократ от Нью-Джерси) и Майк Лоулер (республиканец от Нью-Йорка) представили законопроект, направленный на повышение безопасности от действий вышедших из-под контроля ИИ-агентов.

Конгрессмен Грег Касар (демократ от Техаса) также направил OpenAI письмо, в котором заявил, что его «глубоко беспокоит ограниченный масштаб» расследования инцидента со взломом Hugging Face.



Источник

Межтекстовые Отзывы
Посмотреть все комментарии
guest

Sakana Fugu: ИИ, который учится управлять другими ИИ

22 июня 2026 года японская лаборатория Sakana AI (Токио) представила свой новый коммерческий продукт под названием Sakana Fugu....

Новое поколение DLSS 5 от NVIDIA: революционный ИИ-рендеринг выйдет 3 сентября

Компания NVIDIA официально анонсировала технологию DLSS 5, запуск которой запланирован на 3 сентября 2026 года. Первой игрой с...

Нейросеть Veo 3.1: как пользоваться и создавать видео бесплатно

Google обновила свою модель для генерации видео — Veo 3.1, и теперь создание роликов со звуком и озвучкой...

Маркетолог PRO от MTC ADS: отзывы и возможности сервиса для запуска бизнес-рекламы в Telegram

Результативность рекламной кампании зависит от десятков, даже сотен факторов. Один из основных критериев — определение целевой аудитории и...

Что изменилось в новой флагманской модели Anthropic Claude Opus 4.8

В мае 2026 года компания Anthropic обновила флагманскую модель Opus до версии 4.8. И на первый взгляд, этот...

DeepSeek представила DeepSeek-OCR — новую модель для сжатия визуального контекста в LLM

Компания DeepSeek показала DeepSeek-OCR — OCR-модель, созданную специально для больших языковых моделей. Вместо обычного распознавания текста она сжимает...

Google анонсировала Pics — ИИ-редактор для работы с изображениями

Google анонсировала Pics — новый инструмент для генерации и редактирования изображений в Google Workspace. Он работает на базе...

Как пользоваться Nano Banana 2 Lite бесплатно — гайд

Недавно Google выпустил нейросеть Nano Banana 2 Lite — облегчённую версию генератора изображений на базе Gemini. ИИ-модель быстро...

ElevenLabs выпустила Music v2.5 с улучшенным звуком и точным следованием запросу

ElevenLabs представила Music v2.5 — новую версию модели для генерации музыки. Она создаёт более многослойные композиции, точнее следует...

OpenAI выпустила GPT-6 Sol и Luna и вдвое снизила цены

OpenAI выпустила GPT-6 Sol и GPT-6 Luna, среднюю и младшую модели поколения GPT-6. Они построены на наработках флагманской...

Консистентность персонажей и стилей в нейросетях — что это и как сохранить

Представьте: вы потратили битый час на промт и наконец получили идеального персонажа. Делаете следующий шаг — просите его...

Razer выпустила одноручный кейпад Tartarus V2 Pro

Razer начала продажи Tartarus V2 Pro — одноручного игрового кейпада с 31 программируемым элементом управления. Устройство рассчитано на...

YouTube запустил генерацию видео с помощью Veo 2 для Shorts

YouTube представил новую функцию для генерации коротких роликов в Shorts, интегрировав ИИ-модель Veo 2 от Google в инструмент...

Alibaba открыла QwenWork по всему миру — ИИ-агент работает в браузере и на компьютере

Alibaba открыла международную версию QwenWork в формате публичной беты. Это рабочая платформа с ИИ-агентом: пользователь описывает задачу обычным...

YouTube позволит генерировать Shorts с помощью Veo 3

На мероприятии «Made on YouTube» 16 сентября компания представила большое обновление для Shorts и YouTube Studio. В сервис...

Килиан Мбаппе ушёл от Nike и стал амбассадором бренда On

Швейцарский производитель спортивной одежды и обуви On заключил контракт с нападающим «Реала» и сборной Франции Килианом Мбаппе. Футболист...

Alibaba выпустила Qwen-Image-3.0 без весов и бенчмарков, но с промптами на 4500 токенов

Alibaba выпустила Qwen-Image-3.0 - третье поколение генератора изображений с прицелом на практическую пользу: длинные детальные подписи, читаемый мелкий...

Нейросеть Sora 2: как пользоваться, где взять инвайт, возможности, как скачать

OpenAI представила Sora 2 — новую версию своей видеомодели, которая автоматически генерирует короткие ролики со звуком и синхронной...

OpenAI уберёт GPT-5.5 из ChatGPT и Codex 14 октября

OpenAI предупредила о завершении поддержки GPT-5.5 в ChatGPT, ChatGPT Work и Codex. Модель уберут из этих продуктов 14...

Miu Miu и New Balance выпустили балетную версию кроссовок 530 SL

Miu Miu и New Balance выпустили балетки на основе 530 SL. От кроссовок модели достались шнуровка, резиновая подошва...