Vibe Checker — нова система оцінки коду від Google DeepMind

Дослідники Google DeepMind представили нову систему Vibe Checker, яка оцінює код, згенерований штучним інтелектом, за стандартами, близькими до людських. Про це пише The Decoder.

За словами авторів дослідження, поточні методи оцінки згенерованого коду не відображають того, що справді важливо для програмістів. Розробники цінують не тільки функціональну коректність, а й такі фактори, як обробка помилок, читабельність і логічна узгодженість коду.

Щоб усунути цей розрив, команда DeepMind створила таксономію VeriCode, що включає 30 перевірених правил, згрупованих у п’ять категорій: стиль та угоди, логіка та шаблони, документація та коментарі, обробка помилок, а також робота з бібліотеками та API.

Кожне правило VeriCode пов’язане з конкретною перевіркою лінтера і дає однозначний результат: пройдено чи не пройдено. На основі цієї системи було розроблено Vibe Checker — тестову систему, яка розширює існуючі бенчмарки BigCodeBench та LiveCodeBench. Вона містить понад дві тисячі реальних завдань із програмування.

Під час тестування дослідники випробували 31 мовну модель від різних компаній. Навіть передові LLM показали, що їм складно дотримуватися кількох інструкцій одночасно: при п’яти запитах середній показник успішності знизився майже на 6%. Крім того, був зафіксований ефект «втрати середини» — моделі гірші за інструкціями, розташованими в середині запиту.

Дослідники зазначили, що підхід з поетапним редагуванням допомагає трохи покращити виконання інструкцій, але при цьому погіршується загальну функціональність коду. При порівнянні результатів Vibe Checker з більш ніж 800 тисячами людських оцінок з бази LMArena з’ясувалося, що поєднання двох факторів — функціональної коректності та дотримання інструкцій — набагато краще відображає уявлення розробників про «якісний» код, ніж будь-який з них окремо.

Автори дослідження вважають, що висновки мають змінити підхід до навчання мовних моделей. Наразі більшість систем удосконалюються за допомогою методу Reinforcement Learning with Verifiable Rewards (RLVR), де основна увага приділяється проходженню тестів. Використання VeriCode дозволить додати до процесу навчання розуміння людських критеріїв якості: ясності, структури та логіки.

Google DeepMind планує опублікувати таксономію VeriCode у відкритому доступі та адаптувати її для інших мов програмування. Дослідники впевнені, що такі інструменти допоможуть точніше оцінювати реальні можливості ШІ та зробити машинний код ближчим до стандартів професійної розробки.