Docker запускає сервіс для локальної розробки та запуску моделей штучного інтелекту

Компанія Docker, відома своїми контейнерними інструментами розробки програмного забезпечення, запустила новий сервіс під назвою Docker Model Runner. Він допомагає розробникам створювати та запускати моделі штучного інтелекту локально на власному обладнанні та в рамках існуючих робочих процесів. 

Незважаючи на те, що локальна розробка штучного інтелекту стає все більш популярною, оскільки забезпечує перевагу з точки зору продуктивності та вартості моделі, вона залишається доволі складною. Наприклад, розробникам часто доводиться інтегрувати кілька інструментів і налаштовувати свої інфраструктурні середовища вручну, одночасно керуючи своїми моделями окремо від робочих процесів контейнерів. Досі не існує стандартизованого способу зберігання, спільного використання чи обслуговування LLM-моделей. 

Docker Model Runner — сервіс, доступний як частина релізу Docker Desktop 4.40, робить створення та запуск моделі штучного інтелекту «таким же простим, як запуск контейнера». Сервіс побудовано на механізмі виведення Docker Desktop, який доступний через інтерфейс програмування додатків OpenAI. За допомогою цього механізму локального виведення розробники можуть тестувати та ітерувати свої моделі в одному місці.

Розробники, які працюють на ноутбуках Mac від Apple, зможуть скористатися прискоренням GPU, використовуючи вбудований графічний процесор на своєму комп’ютері. Компанія пояснює, що це виконання на базі хосту допомагає обійти обмеження продуктивності, пов’язані з запуском моделей всередині контейнерів або віртуальних машин, що означає швидше виведення, плавніше тестування та кращі цикли зворотного зв’язку.

Щоб полегшити життя розробникам локальних моделей штучного інтелекту, Docker співпрацює з такими компаніями, як Google, Qualcomm, HuggingFace, Spring, VMware і Dagger. Це надає користувачам доступ до цілої екосистеми інструментів і сервісів штучного інтелекту при роботі з Docker Model Runner. Тож розробники зможуть використовувати для локальної розробки великі мовні моделі, фреймворки ШІ та інструменти розробки, з якими вони вже знайомі.