Meta випустила «економну» ШІ-модель Llama 3.3 з відкритим кодом

Компанія Meta оголосила про випуск Llama 3.3, нової моделі штучного інтелекту з відкритим кодом. Її особливістю є те, що вона потребує значно менше ресурсів, ніж при застосуванні інших моделей, повідомляє Venture Beat. Llama 3.3 вже доступна для завантаження через Meta, Hugging Face, GitHub та інші платформи з можливостями інтеграції для дослідників і розробників.

Llama 3.3 має 70 мільярдів параметрів: налаштувань, які регулюють поведінку моделі. Її потужність та результати роботи знаходяться приблизно на одному рівні з іншою флагманською моделлю від Meta: Llama 3.1, яка має 405 мільярдів параметрів. При цьому робота Llama 3.3 вимагає набагато менше потужностей GPU. Таким чином розробник економить гроші на вартості обчислювальних витрат, отримуючи такий самий результат, як і при використанні найпотужнішої моделі Llama 3.1.

На практиці це означає, що Llama 3.3 використовує в 24 рази менше навантаження на графічний процесор (для стандартного графічного процесора Nvidia H100 на 80 ГБ), ніж Llama 3.1.

Якщо врахувати, що графічний процесор NVidia H100 коштує приблизно $25 000 (при купівлі безпосередньо у компанії-виробника), то це потенційно може заощадити до $600 000 на GPU, не кажучи вже про витрати на електроенергію.

Llama 3.3 було попередньо навчено на 15 трильйонах токенів «загальнодоступних» даних і налаштовано на понад 25 мільйонах синтетично згенерованих прикладах.

Llama 3.3 дозволено використовувати на умовах безоплатної ліцензії. Це стосується відтворення, розповсюдження та модифікацію моделі та її результатів. Розробники, які інтегрують Llama 3.3 у свої продукти чи послуги, повинні лише включати відповідне посилання, наприклад «Built with Llama», і дотримуватися Політики прийнятного використання, яка забороняє такі дії, як створення шкідливого вмісту, порушення законів або підтримка кібератак.