Американська компанія з корпоративного програмного забезпечення Databricks випустила Dolly 2.0.
Це перша LLM з відкритим вихідним кодом та набором інструкцій для навчання у вільному доступі, йдеться в блозі Databricks.
Останнім часом з’являється чимало мовних моделей. Почалося все з GPT від Open AI.
Перша версія Dolly була навчена за $30 з використанням набору даних, створеного командою Stanford Alpaca за допомогою OpenAI API. Він містив вихідні дані ChatGPT, і, умови надання послуг спрямовані на те, щоб ніхто не міг створити модель, яка конкурує з OpenAI.
Тому Dolly 1.0 не можна було використовувати в комерційних цілях. І усі існуючі відомі моделі (Alpaca, Koala, GPT4All, Vicuna) страждають від цього обмеження.
Dolly 2.0 — це модель мови параметрів 12B, заснована на сімействі моделей EleutherAI pythia. Вона:
Відповідно, умови ліцензування дозволяють використовувати її в будь-яких цілях, включаючи і комерційне використання.
У блозі Databricks підкреслюється, що, як і оригінальна Dolly, версія 2.0 не є найсучаснішою, але «демонструє напрочуд ефективний рівень виконання інструкцій, враховуючи розмір навчального блоку».
«Ми очікуємо, що Dolly та набір даних з відкритим вихідним кодом стануть зачатком для багатьох наступних робіт, які можуть служити для завантаження ще потужніших мовних моделей», — резюмують розробники.
Щоб скористатися Dolly 2.0, необхідно відвідати сторінку Databricks Hugging Face та сховище Dolly на databricks-labs, і завантажити databricks-dolly-15k dataset. Також можна ознайомитися з інструкціями на GitHub.
Нагадаємо, менш ніж місяць тому дослідницька група Стенфордського університету розробила на Large Language Model Meta AI LLaMA штучний інтелект Alpaca і протестували його на базовій мовній моделі ChatGPT. Результати вразили: Alpaca пройшов 90 тестів, GPT — 89.
Потім на основі даних Stanford Alpaca було створено першу модель Dolly.
Google оголосила, що бібліотека адаптивних макетів Compose 1.2 офіційно переходить у бета-версію. Вона надає розробникам…
Опитування Dice, проведене серед понад 200 IT-працівників, виявило широке розчарування автоматизованою перевіркою резюме. Багато респондентів…
Зловмисники використовують Grok, вбудований у X помічник на основі штучного інтелекту, щоб обійти обмеження на…
На GitHub виклали оригінальний вихідний код інтерпретатора BASIC 1.1 для процесора MOS 6502. Microsoft датує…
Компанія OpenAI оголосила, що функція Projects стала доступною для безкоштовних користувачів ChatGPT. Проекти дозволяють каталогізувати…
Міністерство цифрової трансформації оголосило конкурс для бажаючих взяти участь у розробці та навчанні української великої…