Мінцифри працює над розробкою української LLM-моделі на базі Llama

Міністерство цифрової трансформації України працює над розробкою власної версії великої мовної моделі. Про це в інтерв’ю для Mind розповів заступник очільника Мінцифри Олександр Борняков.

Як запевняє чиновник, мова не йде про розробку «українського ChatGPT» — національну мовну модель «для державних сервісів» побудують на основі однієї з версій Llama від компанії Meta. Оскільки ця модель має відкритий код, це спрощує завдання.

«Тобто українська LLM може використовувати ядро іншої мовної моделі. Втім на відміну від ChatGPT та інших ця модель має бути сфокусована на українських даних. Тож мова не про створення нової LLM з нуля, а про донавчання моделі, щоб дані, які до неї потрапляють, були українськими», — пояснює заступник міністра.

У перспективі українська LLM-модель буде інтегрована в публічні сервіси, такі як «Дія». Це означає, що модель матиме доступ до деяких даних державних реєстрів.

За словами Олександра Борнякова, компанія Meta надає українським фахівцям консультативну допомогу, як краще інтегрувати ядро Llama в нову розробку Мінцифри. Щодо фінансування «українського ChatGPT», то з державного бюджету на розробку моделі грошей не передбачено. Однак міністерство сподівається на донорську допомогою з боку партнерів, які можуть надати своїх розробників для участі в проекті.

Нагадаємо, що Мінцифри готується додати в «Дію» чат-бот «Наталка» та низку нових функцій. Чат-бот «Наталка» поки використовується для комунікації з потенційними партнерами, які хочуть інтегрувати сервіси Дії. Бот працює лише три місяці і за цей час обробив більш ніж 1400 запитів. Після розширення інтеграції «Наталки» користувачі зможуть звернутися до цього чат-боту при виникнення проблем під час взаємодії з державними установами.