Microsoft вбудувала локальну LLM-модель Mu у Windows 11

Microsoft інтегрувала в операційну систему Windows 11 нову локальну LLM-модель Mu, яка має 330 млн параметрів і швидкість до 100 токенів на секунду. Вона працює на самому пристрої і не потребує підключення до хмарних платформ. Запустити Mu можна в додатку «Параметри», інформує блог Microsoft.

Модель Mu здатна замінити звичайний пошук у налаштуваннях на повноцінного агента, який розуміє природну мову. Наприклад, можна написати «Як поміняти мову системи», і модель не просто знайде відповідний розділ, а одразу покаже потрібну дію.

Модель вбудована в Windows 11, починаючи зі збірки 26120.3964 (KB5058496), і вже доступна учасникам Dev Channel з Copilot+ PC — комп’ютерами з нейропроцесором (NPU), здатним обробляти 40+ TOPS.

За рахунок спрощеної архітектури Mu обробляє перший токен на 47% швидше і декодує в 4,7 рази швидше за аналоги. За продуктивністю її можна порівняти з моделлю Phi-3.5-mini, хоча Mu в 10 разів менше.

Нова модель найкраще справляється із багатослівними запитами, для коротких фраз у Windows 11 продовжить працювати звичайний пошук за ключовими словами.

Нагадаємо, що минулого місяця компанія Microsoft дозволила розробникам оновлювати будь-яку програму через Windows Update