Microsoft відкриває код мовної моделі Phi-4

Компанія Microsoft відкрила вихідний код Phi-4, невеликої мовної моделі, яка може генерувати текст і розв’язувати математичні задачі. Раніше Phi-4 була доступна лише через сервіс Microsoft Azure Foundry, але тепер цю модель можна завантажити на Hugging Face, популярному веб-сайті для розміщення проектів ШІ з відкритим кодом, пише Silicon Angle.

Phi-4 — це четверта ітерація серії невеликих мовних моделей, яку Microsoft представила в 2023 році. Вона має 14 мільярдів параметрів та навчена протягом 21 дня на кластері з 1920 графічних процесорів H100 від Nvidia.

Модель базується на галузевому стандарті архітектури Transformer, яка є основою більшості великих мовних моделей. Коли вони отримують підказку користувача, моделі Transformer розбивають введені дані на окремі слова та визначають значення кожного слова, аналізуючи навколишній текст. Крім того, вони віддають пріоритет частинам навколишнього тексту, які вважаються найбільш релевантними.

Phi-4 реалізує так званий варіант архітектури Transformer лише для декодера. Стандартна модель Transformer аналізує текст перед і після слова, щоб визначити його значення. Моделі лише з декодером зосереджуються виключно на тексті, який передує слову, що зменшує обсяг даних, які їм потрібно обробити, і, таким чином, знижує витрати на логічні висновки. 

У Майкрософт уточнили, що якість виведення Phi-4 покращена за допомогою двох методів оптимізації після навчання. Ці методи відомі як пряма оптимізація переваг і контрольована точна настройка. Обидва передбачають забезпечення мовної моделі прикладами, які пояснюють, як вона має генерувати швидкі відповіді.

Під час внутрішньої оцінки Microsoft порівняла Phi-4 із Llama 3.3 70B, моделлю з відкритим кодом від Meta, яка має в п’ять разів більшу кількість параметрів. Виявилось, що Phi-4 забезпечує кращу продуктивність у популярних тестах GPQA та MATH, які містять наукові запитання та математичні завдання. 

У лютому минулого року компанія Google теж представила серію невеликих мовних моделей під назвою Gemma. Алгоритми серії мають від 2 до 27 мільярдів параметрів. Нещодавно Meta випустила дві моделі Llama 3.2 із менш ніж п’ятьма мільярдами параметрів.