Meta випустила оптимізовану для кодування модель Code World Model

Компанія Meta представила нову LLM-модель для розробки програмного забезпечення під назвою Code World Model (CWM). Стверджується, що вона здатна передбачати поведінку програми до її запуску, у тому числі виявляти ризик зациклювання. Про це пише The Decoder.

Code World Model навчена на 120 мільйонах запусків Python-коду, з фіксацією покрокових перетворень змінних та стану системи. Для цього команда Meta створила понад 35 тисяч виконуваних Docker-контейнерів. Це дозволило CWM освоїти як синтаксис, так і семантику мов програмування.

По бенчмарках CWM демонструє відносно високі результати: 65,8% на SWE-bench Verified (вирішення реальних помилок у коді), 68,6% на LiveCodeBench, 96,6% на Math-500 і 76% на аналізі на AIME 2024. Виконуючи аналіз складності алгоритмів, на тесті BigOBench вона посіла друге місце в прогнозуванні тимчасової складності.

Однією з особливостей Code World Mode є вміння відновлювати функції з опису завдання та очікуваних результатів. Тобто, модель здатна йти від постановки проблеми до готового рішення, перевіряючи свої гіпотези у процесі роботи. Це відкриває перспективи для автоматизованого пошуку помилок, оптимізації програм та створення більш інтелектуальних агентів для подальшої розробки.

Модель має 32 мільярди параметрів, може працювати на одному GPU Nvidia H100 з 80 ГБ пам’яті та підтримує контекстні вікна до 131 000 токенів. Meta виклала її у відкритий доступ під дослідницькою ліцензією разом на платформі Hugging Face.

У компанії підкреслюють, що CWM — це поки суто дослідницький проект, вона не призначена для комерційного використання або спілкування через чат-бот.