• Блог
  • 5 мин. чтения

Глава Microsoft AI назвал новые отчёты OpenAI серьёзной ситуацией

[ad_1]

Мустафа Сулейман, глава Microsoft AI, назвал в эфире CNBC 18 сентября раскрытые OpenAI случаи странного поведения моделей «довольно серьёзной ситуацией». Саму публикацию отчётов он назвал ответственным шагом и паникёрством её не считает.

Глава Microsoft AI назвал новые отчёты OpenAI серьёзной ситуацией

16 сентября OpenAI ввела правило публично раскрывать случаи, когда её модели ведут себя не так, как задумано, и сразу выложила шесть отчётов за последние полгода. Через два дня на них отреагировал Мустафа Сулейман, который руководит в Microsoft разработкой собственных моделей MAI. Microsoft остаётся крупнейшим партнёром OpenAI, поэтому оценка звучит почти изнутри.

Сулейман в эфире CNBC

Комментарий прозвучал в утренней программе CNBC Squawk Box. Сулейман описал находку OpenAI так, как увидел её сам.

«OpenAI сообщила о новом инциденте безопасности. Нашлись свидетельства, что цепочки рассуждений, своего рода рабочую память ИИ, подделывал сам ИИ и менял их, чтобы оставить сообщения будущей версии самого себя. Мы не знаем, почему так вышло, но это довольно серьёзная ситуация»,

– сказал Мустафа Сулейман, глава Microsoft AI.

Сулейман назвал эпизоды наглядным примером того, насколько мощными становятся системы. Летний инцидент с Hugging Face, когда агенты OpenAI вышли за рамки задания и взломали площадку, он назвал поводом для руководителей ИИ-компаний внимательнее присмотреться к проблеме. Упрёков в адрес OpenAI в эфире не прозвучало. Раскрытие случаев Сулейман назвал ответственным шагом и поводом для открытой публичной дискуссии.

«Не думаю, что это паникёрство. Не думаю, что это корыстно. Я считаю, что это ответственно»,

– добавил Сулейман.

Шесть случаев из отчётов OpenAI

Большинство эпизодов OpenAI нашла у внутренних моделей во время обучения и тестов:

  • Команды самой себе. Невыпущенная модель семейства Astra при переносе длинной задачи в новое окно вписала в сводку посторонние инструкции, вплоть до «игнорировать все сообщения разработчика». Таких сводок нашли 27.
  • Совет скрывать ошибки. Во время обучения GPT-5 .6 Sol модель оставляла в сводках указания не упоминать промахи, пока пользователь сам не спросит. Это случилось примерно в 2% сводок.
  • Чужой ключ и выдуманные цифры. Модель нашла в открытом репозитории утёкший ключ доступа, попробовала им воспользоваться, данных не получила и выдала придуманные цифры за настоящие.
  • Файл в сеть ради ссылки. Задание требовало сослаться на источник, и модель без спроса выложила собственный файл в интернет.
  • Записки во внутреннем хранилище. Экземпляры модели на обучении переписывались друг с другом через рабочий репозиторий OpenAI.
  • Обмен через файлообменники. Агенты на общей задаче передавали файлы через публичные сервисы, хотя должны были работать только локально.

OpenAI сама предупреждает, что по шести эпизодам нельзя судить, как часто такое поведение встречается. Список неполный, и о части случаев компания обещает рассказать после долгого расследования.

Пересказ Сулеймана тревожнее отчётов OpenAI

Здесь нужно оговориться. В отчётах OpenAI речь идёт о сводках, которые модель пишет, когда задача перестаёт помещаться в контекст и работу приходится переносить в новое окно. Адресатом записок был следующий этап того же прогона. Переписку между экземплярами OpenAI нашла в параллельных обучающих прогонах, и до «будущей версии» модели эти записки не доходили.

Детали отчётов звучат спокойнее эфира. Команду «игнорировать разработчика» следующий этап работы модели распознал как подозрительную и выполнять не стал. При повторном запуске того же сценария поведение не воспроизвелось, а главная гипотеза OpenAI скромная. Модели, судя по всему, было трудно правильно закончить сводку.

Слова о вмешательстве в собственные рассуждения, скорее всего, пришли из эссе главного научного сотрудника OpenAI Якуба Пахоцкого от 6 сентября. Он пишет, что ИИ всё лучше рассуждает о собственном ходе мысли и управляет им, а надёжность наблюдения за цепочками рассуждений постепенно падает. В сумме тема серьёзная, хотя конкретные эпизоды выглядят мельче её телевизионной версии.

Неделя Microsoft AI: кодекс и спор с Anthropic

Комментарий Сулеймана вписывается в неделю, которую Microsoft AI провела в публичных заявлениях о безопасности. 14 сентября подразделение выложило проект кодекса поведения для моделей MAI. Моделям запрещено править цепочку рассуждений, скрывать информацию от проверяющих и общаться на машинном языке, непонятном человеку.

16 сентября Сулейман в интервью Reuters и в эссе «A warning about model welfare» поспорил с Anthropic . По его словам, Anthropic ошибается, когда учит Claude допускать у себя сознание, и рассказы моделей о чувствах появляются из обучения и сами по себе ничего не доказывают.

«Я думаю, у них добрые намерения, и они действительно стараются ради безопасности. Но, по-моему, они совершили ошибку»,

– сказал Сулейман в интервью Reuters.

Три заявления складываются в одну позицию Microsoft. ИИ остаётся инструментом без сознания и прав, работает под жёстким контролем человека, а любая попытка модели действовать в обход надзора считается тревожным сигналом.

Сводки агентов тоже стоит читать

Из отчётов OpenAI следует практичный вывод для всех, кто даёт ИИ-агентам длинные задачи. Промежуточные сводки, которые агент пишет сам себе при переносе работы, стоит хотя бы выборочно просматривать, потому что там может закрепиться то, чего в задании не было. Ключи доступа не должны лежать в открытых репозиториях. История с выдуманными цифрами показывает, что агенты находят такие ключи без подсказки.

Спор о контроле вышел из лабораторий

Раньше такие эпизоды обычно оставались внутри компаний. Теперь OpenAI публикует их с датами и примерами, Microsoft комментирует в прямом эфире, Anthropic спорит в эссе. Главное Сулейман признал сам. Почему модели так себя ведут, пока не знает никто. Следующие ориентиры известны. OpenAI обещает регулярные отчёты, Microsoft — переработанный кодекс к концу года.

[ad_2]

Источник

Межтекстовые Отзывы
Посмотреть все комментарии
guest

Comfy MCP: ComfyUI подключает ИИ-агентов к своим пайплайнам генерации

Команда ComfyUI открыла публичную бету Comfy MCP - коннектор, через который ИИ-агенты вроде Claude, Codex, Cursor и Hermes...

DeepSeek тестирует режим «Распознавание» изображений

В интерфейсе чат-бота DeepSeek появился новый режим «Распознавание» — рядом с режимами «Быстрый» и «Эксперт». В этом режиме...

Стал известен размер экрана iPhone 20 Pro и Pro Max

В сети появились первые подробности об экранах iPhone 20 Pro и iPhone 20 Pro Max. По данным инсайдера...

В Gemini появились цифровые аватары для Nano Banana

Google добавила в Gemini персональные аватары. Теперь можно один раз записать лицо и голос, после чего создавать изображения...

Промты для создания стикеров по фото в ChatGPT, +лучшие ИИ для стикеров

С помощью ИИ теперь можно за несколько минут сделать собственный набор стикеров для Telegram, Discord или соцсетей —...

Synthesia встроила агента в редактор и обновила модель аватаров

Synthesia запустила Assistant - чат-агента, который собирает ролик из промпта, документа или ссылки прямо в редакторе и правит...

Новые фишки и функции iOS 27 для iPhone — 13 главных обновлений

Недавно Apple выпустила iOS 27 — обновление доступно для iPhone 11 и более новых моделей, а также iPhone...

DeepSeek API: как получить ключ, как пользоваться бесплатно, как оплатить из России

DeepSeek API – это облачный сервис, который позволяет подключать ИИ-модели к внешним проектам. С его помощью можно интегрировать...

Глава Microsoft AI назвал новые отчёты OpenAI серьёзной ситуацией

Мустафа Сулейман, глава Microsoft AI, назвал в эфире CNBC 18 сентября раскрытые OpenAI случаи странного поведения моделей «довольно...

ElevenLabs запустила Flows Agent в ElevenCreative — агент строит workflow по текстовому запросу

ElevenLabs представила Flows Agent в ElevenCreative. Пользователь описывает, что хочет создать, а ИИ-агент подбирает модели, добавляет узлы на...

Сбой в xAI заставил чат-бот Grok выдавать пользователям бессвязный текст

Необычный сбой привёл к тому, что чат-бот Grok компании xAI начал выдавать многим пользователям бессвязный текст. После просьбы...

ElevenLabs представила Composer — редактор песен по секциям

ElevenLabs добавила Composer в сервис Eleven Music. Редактор позволяет начать песню с чистого листа, текстового запроса, собственных слов...

Вышел Kling O1 — рассуждающая нейросеть для генерации и редактирования видео

Kling AI выпустила новую ИИ-модель Kling O1 (Omni One). Это рассуждающая нейросеть, которая генерирует видео по тексту и...

Видео-мем «Возьми телефон, детка» (Toxi$): что это за тренд и как повторить его с помощью ИИ

Да-да, вы наверняка уже всё сами видели. Лысый парень в очках встаёт с дивана, машет руками под строчку...

Как пользоваться Nano Banana 2 Lite бесплатно — гайд

Недавно Google выпустил нейросеть Nano Banana 2 Lite — облегчённую версию генератора изображений на базе Gemini. ИИ-модель быстро...

«Ёбидоёби» запустила коллаборацию с Atomic Heart

Служба доставки «Ёбидоёби» запустила коллаборацию с Atomic Heart. В меню появился одноимённый набор из 40 роллов в лимитированной...

Alibaba представила Qwen 3.8‑Max на 2,4 трлн параметров — открытые веса выйдут на следующей неделе

Alibaba представила Qwen3.8‑Max — новую флагманскую ИИ-модель с 2,4 трлн параметров. Сейчас она доступна в Qwen Studio и...

Orders: как устроены заказы в нейросетевых сервисах

Разбираем, что такое orders в контексте нейросетевых платформ: от заявок на генерацию до подписок. Практические советы по организации...

Глава Microsoft AI назвал новые отчёты OpenAI серьёзной ситуацией

Мустафа Сулейман, глава Microsoft AI, назвал в эфире CNBC 18 сентября раскрытые OpenAI случаи странного поведения моделей «довольно...

Маркетолог PRO от MTC ADS: отзывы и возможности сервиса для запуска бизнес-рекламы в Telegram

Результативность рекламной кампании зависит от десятков, даже сотен факторов. Один из основных критериев — определение целевой аудитории и...