Perplexity открыла исходный код Lily — движка для локальной работы ИИ на Mac


Perplexity открыла исходный код Lily — лёгкого движка инференса для локальной работы с моделями в Perplexity Computer. Он рассчитан на компьютеры Mac с Apple Silicon и специально оптимизирован для модели Qwen3.6-35B-A3B.

Lily написан на Rust и использует собственные Metal-ядра. В опубликованном описании Perplexity связывает движок с гибридным режимом работы: часть задач выполняется локально на Mac, а облачные модели используются для исследований и сложных рассуждений.

Что известно о Lily

Perplexity оптимизировала Lily для Qwen3.6-35B-A3B — разреженной модели с 35 млрд параметров, которая активирует около 3 млрд параметров на токен. Движок рассчитан именно на этот чекпойнт в формате MLX affine 4-bit и не является универсальным сервером для других моделей Qwen. Lily также предоставляет совместимый с OpenAI API интерфейс.

Lily не превращает Perplexity Computer в полностью офлайн-сервис. По данным компании, гибридный режим распределяет работу между локальной моделью и облачными моделями: облако используется для исследований и рассуждений, а локальная модель может работать с приватными файлами и приложениями на Mac.

Как пользоваться

Опубликованный Lily можно собрать и запустить отдельно от Perplexity Computer. Для него требуется Mac с Apple GPU Family 10 или новее — это соответствует Apple Silicon поколения M5 и новее — и macOS 26 или новее. В репозитории есть инструкции по загрузке чекпойнта, сборке через Rust и запуску сервера.

Проект распространяется по лицензии Apache-2.0.

Почему это важно? Код Lily можно изучать и дорабатывать отдельно от Perplexity Computer. При этом движок остаётся специализированным решением для Qwen3.6-35B-A3B, а обычный пользовательский режим Perplexity Computer по-прежнему сочетает локальную обработку с облачными возможностями сервиса.

Ранее Perplexity Computer получила гибридные вычисления на Mac — сервис распределяет задачу между облачными ИИ-моделями и локальной моделью на компьютере пользователя.

Итог. Lily даёт Perplexity собственный открытый движок для локального запуска Qwen3.6-35B-A3B на Mac с Apple Silicon. Компания оптимизировала его непосредственно под архитектуру модели и добилась более высокой производительности по сравнению с MLX-LM в собственных тестах.



Источник

Межтекстовые Отзывы
Посмотреть все комментарии
guest

Perplexity открыла исходный код Lily — движка для локальной работы ИИ на Mac

Perplexity открыла исходный код Lily — лёгкого движка инференса для локальной работы с моделями в Perplexity Computer. Он...

Промты для новогодней ИИ-фотосессии, +подходящие нейросети

Как говорят, готовь сани зимой, а промты для новогодних ИИ-фотосессий — в ноябре. Картинки можно публиковать уже сейчас...

ElevenLabs добавила генерацию речи, музыки, изображений и видео в MCP

ElevenLabs расширила свой MCP-сервер. Теперь подключённый ИИ-ассистент может создавать речь, музыку, звуковые эффекты, изображения и видео, а также...

Wan3.0 от Alibaba превращает презентации и отчёты в 30-секундные ролики

Alibaba официально запустила Wan3.0 - видеомодель, которая делает ролик длиной до 30 секунд из текста, картинок, аудио и...

ElevenLabs открыла общий доступ к Eleven v3 Conversational

ElevenLabs открыла общий доступ к Eleven v3 Conversational — модели синтеза речи для диалогов в реальном времени. Она...

Вышла Kling Video 3.0 — ИИ-модель для генерации видео из нескольких сцен

Kuaishou выпустила Kling Video 3.0 — новую версию своей модели для генерации видео. Ключевое изменение — теперь ролик...

Claude Mythos 5. ИИ, который обычным пользователям не продадут

Существует целый класс программ, которые не рекламируют широко. Не потому, что они плохи, а ровно наоборот. Claude Mythos...

Alibaba сообщила о падении прибыли на 75% из-за крупных инвестиций в ИИ-инфраструктуру

Китайский технологический гигант Alibaba в четверг сообщил о падении прибыли за последний квартал на 75% на фоне крупных...

Нейросеть Veo 3.1: как пользоваться и создавать видео бесплатно

Google обновила свою модель для генерации видео — Veo 3.1, и теперь создание роликов со звуком и озвучкой...

Нейросеть Sora 2: как пользоваться, где взять инвайт, возможности, как скачать

OpenAI представила Sora 2 — новую версию своей видеомодели, которая автоматически генерирует короткие ролики со звуком и синхронной...

Видео-мем «Возьми телефон, детка» (Toxi$): что это за тренд и как повторить его с помощью ИИ

Да-да, вы наверняка уже всё сами видели. Лысый парень в очках встаёт с дивана, машет руками под строчку...

ElevenLabs выпустила Music v2.5 с улучшенным звуком и точным следованием запросу

ElevenLabs представила Music v2.5 — новую версию модели для генерации музыки. Она создаёт более многослойные композиции, точнее следует...

Промты для коллажей — как сделать коллаж по фото с помощью ИИ

Хотите красивые фоточки для соцсетей, но без одинаковых селфи? Держите 5 промтов для трендовых коллажей: неон ночью, дождь...

Miu Miu и New Balance выпустили балетную версию кроссовок 530 SL

Miu Miu и New Balance выпустили балетки на основе 530 SL. От кроссовок модели достались шнуровка, резиновая подошва...

Veo 3.1 уже доступна на WaveSpeedAI — создаёт видео из текста и картинок

Платформа WaveSpeedAI представила интеграцию с новой моделью Google Veo 3.1 — одной из самых продвинутых ИИ-моделей для генерации...

Яндекс Люмен: что за подписка, сколько стоит, как подключить/отключить

«Яндекс Люмен» появился летом 2026 года. Сначала его запустили в Яндекс Музыке, затем добавили функции в Яндекс Книги....

Grok Imagine научился править картинку по кускам: xAI открыла Image 2.0 всем пользователям

xAI открыла общий доступ к Imagine Image 2.0 - новому режиму Quality в Grok Imagine на сайте и...

ElevenLabs представила Studio 4.0 с генерацией видео, изображений и звука

ElevenLabs выпустила Studio 4.0 — обновлённый редактор, а также Studio Agent. В одном проекте теперь можно генерировать видео,...

Grok 4.7 обогнал более дорогих конкурентов в юридических задачах

SpaceXAI выпустила Grok 4.7 - флагманскую модель для программирования и долгой рабочей рутины. Она заметно прибавила против Grok...

OpenAI выпустила приложение Sora на Android — пока только в 7 странах

OpenAI представила Android-версию приложения Sora — инструмента для генерации коротких видео с помощью искусственного интеллекта. Скачать ИИ-генератор видео...