Meta випустила Llama API, який забезпечує рекордну швидкість виведення даних

На конференції LlamaCon компанія Meta зробила кілька анонсів та представила інструменти, які мають зробити сімейство LLM-моделей Llama доступнішими для розробників. Головною подією став запуск набору інструкцій Llama API, який вже доступний у вигляді обмеженої безкоштовної preview-версії. Про це повідомляє Neowin.

Llama API дозволяє розробникам використовувати в своїх програмах різні LLM-моделі Llama, включно з останніми: Llama 4 Scout та Llama 4 Maverick. Створення ключів API відбувається одним натисканням миші. Також у бібліотеку входять TypeScript SDK і Python SDK. Щоб розробникам було легше портувати програми на базі OpenAI, API Llama сумісний з OpenAI SDK.

Для забезпечення швидшого виведення даних для Llama API компанія Meta також співпрацює з Cerebras та Groq. Cerebras стверджує, що модель Llama 4 Cerebras в API може забезпечити швидкість генерації токенів до 18 разів швидше, ніж звичайні рішення на базі GPU від NVIDIA та інших. Згідно з сайтом бенчмаркінгу Artificial Analysis, рішення Cerebras забезпечує виведення зі швидкістю понад 2600 токенів/с для Llama 4 Scout, що набагато швидше порівняно з ChatGPT (130 токенів/с) і DeepSeek (25 токенів/с).

Також на конференції стало відомо, що Meta запустить окремий додаток на базі штучного інтелекту, щоб конкурувати з ChatGPT. Цей застосунок дозволяє користувачам отримувати доступ до Meta AI в додатку, подібному до ChatGPT та інших додатків-помічників AI.