Дослідники створили конкурента OpenAI o1 та DeepSeek-R1 менш ніж за $50

Дослідники штучного інтелекту зі Стенфорда та Університету Вашингтона (США) опублікували статтю, в якій стверджується, що їм вдалось навчити модель «міркування», аналогічну OpenAI o1 та DeepSeek-R1 за менше ніж $50. Ці гроші знадобилися для оплати хмарних обчислень, пише TechCrunch.

Модель, відома як s1, демонструє в тестах по математиці та програмуванню схожі результати з провідними сучасними моделями. Код моделі s1 доступний на GitHub разом із даними, які використовувались для її навчання.

Команда, яка розробляє s1, повідомила, що вони почали з готової базової моделі, а потім налаштували її за допомогою дистиляції: процесу «витягування» даних з іншої моделі штучного інтелекту. Ці дані необхідні для подальшого навчання на відповідях моделі-донора Google Gemini 2.0 Flash Thinking Experimental. 

У статті розробників s1 стверджується, що моделі міркування можуть бути дистильовані з відносно невеликим набором даних за допомогою процесу, що називається контрольованим тонким налаштуванням (SFT, supervised fine-tuning). У ньому моделі штучного інтелекту явно вказується імітувати певну поведінку в наборі даних.

SFT коштує набагато дешевше, ніж широкомасштабний метод навчання з підкріпленням, який компанія DeepSeek використала для навчання своєї моделі R1.

Google пропонує безкоштовний доступ до Gemini 2.0 Flash Thinking Experimental, хоч і з щоденними обмеженнями, через свою платформу Google AI Studio. Однак умови Google забороняють зворотню розробку своїх моделей для створення сервісів, які конкурують з власними моделями штучного інтелекту. 

Для базового навчання s1 використали невелику готову модель штучного інтелекту від китайської лабораторії Qwen, яка належить Alibaba. Її можна завантажити безкоштовно. Щоб навчити s1, дослідники створили набір даних лише з 1000 ретельно підібраних запитань у поєднанні з відповідями на ці запитання, а також з процесом «мислення», що стоїть за кожною відповіддю з Google Gemini 2.0 Flash Thinking Experimental.

За словами вчених, навчання s1 зайняло менше 30 хвилин із використанням 16 графічних процесорів Nvidia H100. Ніколас Муннігофф, дослідник Стенфордського університету, який працював над проектом, заявив, що сьогодні він може орендувати необхідний для такого навчання комп’ютер приблизно за $20.