Android-додатки отримають доступ до LLM-моделі Gemini Nano, яка працює прямо на смартфоні

Google опублікувала документацію про оновлений набір інструментів розробника ML Kit SDK. У ньому з’явилася підтримка API для функцій генеративного штучного інтелекту на основі локальної мовної моделі Gemini Nano. Вона побудована на платформі AI Core, як і експериментальний Edge AI SDK, але підключається до існуючої моделі із заданим набором функцій, які розробники можуть легко реалізувати. Про це пише Android Authority.

Крім документації, яка вже у вільному доступі, очікується, що компанія Google за кілька днів докладніше розповість про ML Kit SDK на конференції Google I/O. Одна із сесій цього заходу зветься: «Gemini Nano на Android: розробка з використанням генеративного ШІ на пристрої». 

Донедавна робота з локальним генеративним штучним інтелектом на мобільних пристроях була непростим завданням: експериментальний Edge AI SDK, який представили в жовтні 2024 року, відкриває доступ до апаратного прискорення (NPU) для запуску моделей, але він працює лише з пристроями серії Pixel 9 та обмежений виключно текстом. Власні API для запуску ШІ-навантажень пропонують також Qualcomm та MediaTek, але їхні можливості залежать від пристрою, що робить їх використання у довгострокових проектах ризикованим. 

Незважаючи на обмежені можливості локальних моделей на мобільних пристроях, це яскравий приклад практичної користі штучного інтелекту. Більшість користувачів, швидше за все, не хочуть передавати свої персональні дані на віддалені сервери. Поява API для підключення до локальної моделі Gemini Nano стане першим кроком до мобільного штучного інтелекту. При цьому слід пам’ятати, що більшість смартфонів поки не мають достатньої обчислювальної потужності для подібних завдань.

Нагадаємо, що кілька днів тому стало відомо, що в Google Drive з’явилась підтримка української мови при роботі з Gemini. Інтеграція Gemini в Google Drive дозволяє користувачам спілкуватися зі штучним інтелектом щодо файлів, отримувати зведення або ставити запитання.