Співзасновник OpenAI Карпати опублікував код відкритого клону ChatGPT

Співзасновник OpenAI Андрей Карпати виклав у відкритий доступ код проекту NanoChat, який є open source форком ChatGPT. За його словами, це «кращий ChatGPT, який можна створити за $100». Репозиторій вже набрав на GitHub понад 7000 зірок.

Як запевняє Карпати, NanoChat створений на основі ChatGPT в єдиній кодовій базі на 8000 рядків з мінімальними залежностями. 

«Ви завантажуєте хмарний графічний процесор, запускаєте один скрипт, і вже через 4 години можете спілкуватися зі своєю LLM у веб-інтерфейсі, подібному до ChatGPT», — пише розробник.

NanoChat включає токенізацію, навчання, донавчання, оцінку, інференс та веб-інтерфейс, що дозволяє спілкуватися з моделлю прямо з браузера. Все працює на одному вузлі з 8 GPU H100 і запускається однією командою:

bash speedrun.sh

Навчання займає близько чотирьох годин і коштує приблизно $100 за оренду хмарного сервера Lambda Labs. Після цього можна відкрити локальний веб-інтерфейс і вести діалог з власною LLM-моделлю, як із ChatGPT. NanoChat поширюється під відкритою ліцензією MIT.

У міру подальшого масштабування витрат до ~$1000 (~41,6 години навчання) чат-бот швидко стає набагато більш розумним і може вирішувати прості математичні/кодові задачі та проходити тести з множинним вибором.

Репозиторій написаний в основному на Python (89%), з мінімальними вставками на Rust та HTML. NanoChat використовує просту пайплайн-архітектуру з підтримкою етапів pretraining, fine-tuning, evaluation та serving, а також вбудований сервер чату на Python (python -m scripts.chat_web). Результати навчання зберігаються у вигляді звітної таблиці з ключовими метриками (ARC, GSM8K, MMLU).