Google випустила мобільний додаток для локального запуску LLM-моделей на смартфоні

Компанія Google без зайвого анонсу випустила безкоштовний мобільний застосунок, який дозволяє користувачам запускати на смартфонах великі мовні моделі з платформи, розміщені на платформі Hugging Face. Моделі працюють на смартфоні офлайн, без потреби в підключення до Інтернету, використовуючи мобільні процесори, пише TechCrunch.

Додаток під назвою Google AI Edge Gallery вже доступний для завантаження на Android і незабаром з’явиться на iOS. Завдяки йому користувачі можуть знаходити, завантажувати та запускати сумісні моделі, які генерують зображення, відповідають на запитання, пишуть і редагують код тощо. 

LLM-моделі, які працюють у хмарі, як правило, потужніші за локальні аналоги, але вони теж мають недоліки. Наприклад, деякі користувачі не хочуть надсилати особисті або конфіденційні дані до віддаленого дата-центру. Інші зацікавлені в тому, щоб моделі могли працювати без доступу до Wi-Fi або мобільного зв’язку.

Google AI Edge Gallery можна завантажити з GitHub, виконавши ці інструкції. На головному екрані програми відображаються ярлики для завдань, таких як «Ask Image» та «AI Chat». Натискання на ярлик відкриває список моделей, що підходять для цього завдання.

Додаток також має функцію Prompt Lab, яку користувачі можуть використовувати для запуску «одноразових» завдань на основі моделей, таких як підсумовування та переписування тексту. Prompt Lab містить кілька шаблонів завдань та налаштовувані параметри для точного налаштування поведінки моделей.

Google AI Edge Gallery працює за ліцензією Apache 2.0. Це означає, що його можна використовувати без обмежень, в тому числі, для комерційних проектів.

Нагадаємо, що кілька днів тому в Google Drive інтегрували нові функції LLM-моделі Gemini, які надають користувачам більше інформації про збережені відео. Функція Gemini AI, яка раніше аналізувала документи та PDF-файли в Google Drive, тепер може працювати також і з відеофайлами.