Nvidia представила перший комп’ютер для локального запуску LLM-моделей

Компанія Nvidia почала продаж «компактного суперкомп’ютера» DGX Spark вартістю $3999 — він призначений для локальної роботи з LLM-моделями. Одним із перших пристрій отримав Ілон Маск. Засновник і генеральний директор Nvidia Дженсен Хуанг особисто подарував комп’ютер в будівлі SpaceX. Про це пише блог компанії.

«Уявіть собі, що ви доставляєте найменший суперкомп’ютер поруч із найбільшою ракетою», — сказав Хуан зі сміхом.

DGX Spark поєднує в собі не тільки відеокарти та процесори Nvidia, але й інструменти, які дозволяють прискорити розробку додатків на базі штучного інтелекті, а також готові рішення та фреймворки для навчання та розгортання моделей.

Комп’ютер має продуктивність в 1 петафлопс при енергоспоживанні 240 Вт. Об’єм об’єднаної пам’яті процесора та графічного процесора — 128 ГБ. Для порівняння: попередня модель (DGX-1) забезпечувала 170 терафлопс при 3200 Вт.

Потужність пристрою дозволяє виконувати інференс — перевірку навченої моделі з 200 млрд параметрів. Також на ньому можна локально запускати LLM-моделі з 70 млрд параметрів. За допомогою DGX Spark можна створювати ШІ-агентів та розгортати сервіси зі складною архітектурою без підключення до хмари.

Розмір пристрою становить 15 х 15 х 5 см. Вага — 1,2 кг. Починаючи з 15 жовтня 2025 року пристрій можна замовити на сайті Nvidia. Придбати DGX Spark можна і у партнерів — Acer, ASUS, Dell, Gigabyte, HP, Lenovo та інших компаній.