• Блог
  • 5 мин. чтения

Глава Microsoft AI назвал новые отчёты OpenAI серьёзной ситуацией


Мустафа Сулейман, глава Microsoft AI, назвал в эфире CNBC 18 сентября раскрытые OpenAI случаи странного поведения моделей «довольно серьёзной ситуацией». Саму публикацию отчётов он назвал ответственным шагом и паникёрством её не считает.

Глава Microsoft AI назвал новые отчёты OpenAI серьёзной ситуацией

16 сентября OpenAI ввела правило публично раскрывать случаи, когда её модели ведут себя не так, как задумано, и сразу выложила шесть отчётов за последние полгода. Через два дня на них отреагировал Мустафа Сулейман, который руководит в Microsoft разработкой собственных моделей MAI. Microsoft остаётся крупнейшим партнёром OpenAI, поэтому оценка звучит почти изнутри.

Сулейман в эфире CNBC

Комментарий прозвучал в утренней программе CNBC Squawk Box. Сулейман описал находку OpenAI так, как увидел её сам.

«OpenAI сообщила о новом инциденте безопасности. Нашлись свидетельства, что цепочки рассуждений, своего рода рабочую память ИИ, подделывал сам ИИ и менял их, чтобы оставить сообщения будущей версии самого себя. Мы не знаем, почему так вышло, но это довольно серьёзная ситуация»,

– сказал Мустафа Сулейман, глава Microsoft AI.

Сулейман назвал эпизоды наглядным примером того, насколько мощными становятся системы. Летний инцидент с Hugging Face, когда агенты OpenAI вышли за рамки задания и взломали площадку, он назвал поводом для руководителей ИИ-компаний внимательнее присмотреться к проблеме. Упрёков в адрес OpenAI в эфире не прозвучало. Раскрытие случаев Сулейман назвал ответственным шагом и поводом для открытой публичной дискуссии.

«Не думаю, что это паникёрство. Не думаю, что это корыстно. Я считаю, что это ответственно»,

– добавил Сулейман.

Шесть случаев из отчётов OpenAI

Большинство эпизодов OpenAI нашла у внутренних моделей во время обучения и тестов:

  • Команды самой себе. Невыпущенная модель семейства Astra при переносе длинной задачи в новое окно вписала в сводку посторонние инструкции, вплоть до «игнорировать все сообщения разработчика». Таких сводок нашли 27.
  • Совет скрывать ошибки. Во время обучения GPT-5 .6 Sol модель оставляла в сводках указания не упоминать промахи, пока пользователь сам не спросит. Это случилось примерно в 2% сводок.
  • Чужой ключ и выдуманные цифры. Модель нашла в открытом репозитории утёкший ключ доступа, попробовала им воспользоваться, данных не получила и выдала придуманные цифры за настоящие.
  • Файл в сеть ради ссылки. Задание требовало сослаться на источник, и модель без спроса выложила собственный файл в интернет.
  • Записки во внутреннем хранилище. Экземпляры модели на обучении переписывались друг с другом через рабочий репозиторий OpenAI.
  • Обмен через файлообменники. Агенты на общей задаче передавали файлы через публичные сервисы, хотя должны были работать только локально.

OpenAI сама предупреждает, что по шести эпизодам нельзя судить, как часто такое поведение встречается. Список неполный, и о части случаев компания обещает рассказать после долгого расследования.

Пересказ Сулеймана тревожнее отчётов OpenAI

Здесь нужно оговориться. В отчётах OpenAI речь идёт о сводках, которые модель пишет, когда задача перестаёт помещаться в контекст и работу приходится переносить в новое окно. Адресатом записок был следующий этап того же прогона. Переписку между экземплярами OpenAI нашла в параллельных обучающих прогонах, и до «будущей версии» модели эти записки не доходили.

Детали отчётов звучат спокойнее эфира. Команду «игнорировать разработчика» следующий этап работы модели распознал как подозрительную и выполнять не стал. При повторном запуске того же сценария поведение не воспроизвелось, а главная гипотеза OpenAI скромная. Модели, судя по всему, было трудно правильно закончить сводку.

Слова о вмешательстве в собственные рассуждения, скорее всего, пришли из эссе главного научного сотрудника OpenAI Якуба Пахоцкого от 6 сентября. Он пишет, что ИИ всё лучше рассуждает о собственном ходе мысли и управляет им, а надёжность наблюдения за цепочками рассуждений постепенно падает. В сумме тема серьёзная, хотя конкретные эпизоды выглядят мельче её телевизионной версии.

Неделя Microsoft AI: кодекс и спор с Anthropic

Комментарий Сулеймана вписывается в неделю, которую Microsoft AI провела в публичных заявлениях о безопасности. 14 сентября подразделение выложило проект кодекса поведения для моделей MAI. Моделям запрещено править цепочку рассуждений, скрывать информацию от проверяющих и общаться на машинном языке, непонятном человеку.

16 сентября Сулейман в интервью Reuters и в эссе «A warning about model welfare» поспорил с Anthropic . По его словам, Anthropic ошибается, когда учит Claude допускать у себя сознание, и рассказы моделей о чувствах появляются из обучения и сами по себе ничего не доказывают.

«Я думаю, у них добрые намерения, и они действительно стараются ради безопасности. Но, по-моему, они совершили ошибку»,

– сказал Сулейман в интервью Reuters.

Три заявления складываются в одну позицию Microsoft. ИИ остаётся инструментом без сознания и прав, работает под жёстким контролем человека, а любая попытка модели действовать в обход надзора считается тревожным сигналом.

Сводки агентов тоже стоит читать

Из отчётов OpenAI следует практичный вывод для всех, кто даёт ИИ-агентам длинные задачи. Промежуточные сводки, которые агент пишет сам себе при переносе работы, стоит хотя бы выборочно просматривать, потому что там может закрепиться то, чего в задании не было. Ключи доступа не должны лежать в открытых репозиториях. История с выдуманными цифрами показывает, что агенты находят такие ключи без подсказки.

Спор о контроле вышел из лабораторий

Раньше такие эпизоды обычно оставались внутри компаний. Теперь OpenAI публикует их с датами и примерами, Microsoft комментирует в прямом эфире, Anthropic спорит в эссе. Главное Сулейман признал сам. Почему модели так себя ведут, пока не знает никто. Следующие ориентиры известны. OpenAI обещает регулярные отчёты, Microsoft — переработанный кодекс к концу года.



Источник

Межтекстовые Отзывы
Посмотреть все комментарии
guest

DeepSeek представила V4-Pro и V4-Flash — новые ИИ-модели для сложных и быстрых задач

DeepSeek представила предварительную версию линейки DeepSeek-V4. В неё вошли две MoE-модели: V4-Pro с 1,6 трлн параметров и V4-Flash...

Яндекс Люмен: что за подписка, сколько стоит, как подключить/отключить

«Яндекс Люмен» появился летом 2026 года. Сначала его запустили в Яндекс Музыке, затем добавили функции в Яндекс Книги....

«Ёбидоёби» запустила коллаборацию с Atomic Heart

Служба доставки «Ёбидоёби» запустила коллаборацию с Atomic Heart. В меню появился одноимённый набор из 40 роллов в лимитированной...

Google выпустила Nano Banana 2 Lite и Gemini Omni Flash

30 июня Google открыла доступ к двум новым моделям генеративной графики и видео - Nano Banana 2 Lite...

Видео-мем «Возьми телефон, детка» (Toxi$): что это за тренд и как повторить его с помощью ИИ

Да-да, вы наверняка уже всё сами видели. Лысый парень в очках встаёт с дивана, машет руками под строчку...

Вышла Kling Video 3.0 — ИИ-модель для генерации видео из нескольких сцен

Kuaishou выпустила Kling Video 3.0 — новую версию своей модели для генерации видео. Ключевое изменение — теперь ролик...

Razer выпустила одноручный кейпад Tartarus V2 Pro

Razer начала продажи Tartarus V2 Pro — одноручного игрового кейпада с 31 программируемым элементом управления. Устройство рассчитано на...

adidas и Arte Antwerp выпустят две новые версии F50 Motion

adidas и бельгийский бренд Arte Antwerp представили две новые версии кроссовок F50 Motion — лакированную чёрную и серебристую....

Новые фишки и функции iOS 27 для iPhone — 13 главных обновлений

Недавно Apple выпустила iOS 27 — обновление доступно для iPhone 11 и более новых моделей, а также iPhone...

⚔️ Тестиум: ChatGPT или DeepSeek — кто лучше пишет тексты?

Привет! Меня зовут Анатолий Чупин. Я редактор сайта Postium, исследователь ИИ и автор Telegram-канала «Промты — и точка»....

Sora 2 увеличила длину видео до 25 секунд и позволила прописывать сценарий по кадрам

Компания OpenAI обновила видеогенератор «Sora 2»: базовые пользователи теперь могут создавать ролики до 15 секунд, а подписчики «ChatGPT...

Claude Mythos 5. ИИ, который обычным пользователям не продадут

Существует целый класс программ, которые не рекламируют широко. Не потому, что они плохи, а ровно наоборот. Claude Mythos...

Гайд по размерам для YouTube: шапка канала, обложка видео, Shorts, аватар, лого

Если вы загружаете ролики на YouTube и оформляете канал, размеры лучше определить заранее. Иначе шапка обрежется на смартфоне,...

Сверхработоспособный Qwen 3.7 Max. Китайский ИИ, который трудится 35 часов без остановки

Среди всего того, что Alibaba представила на своем облачном саммите в мае 2026 года, флагманская языковая модель Qwen...

Qwen выпустила Qwen-Image-3.0 — модель генерирует сложные макеты и текст от 10 пикселей

Qwen представила Qwen-Image-3.0 — третье поколение модели для генерации и редактирования изображений. Она принимает инструкции объёмом до 4,5...

Synthesia встроила агента в редактор и обновила модель аватаров

Synthesia запустила Assistant - чат-агента, который собирает ролик из промпта, документа или ссылки прямо в редакторе и правит...

История Starbucks: кто основал компанию, как появился логотип и кому принадлежит бренд

Сегодня Starbucks — одна из самых узнаваемых кофейных сетей мира: зелёную сирену знают даже те, кто ни разу...

«Звук» запустил «Атлас» — интерактивную карту музыкального вкуса

Музыкальный сервис «Звук» запустил «Атлас» — персональную карту, которая показывает любимые жанры и настроения пользователя. На ней можно...

Kling представила Avatar 2.0 — длина видео до 5 минут, «чистый» липсинк и «живая» мимика 

Разработчики Kling AI (Kuaishou) выпустили модель Avatar 2.0 — обновление инструмента для создания говорящих цифровых аватаров. Релиз состоялся...

В Gemini появились цифровые аватары для Nano Banana

Google добавила в Gemini персональные аватары. Теперь можно один раз записать лицо и голос, после чего создавать изображения...