Розробник порівняв Claude 4 Opus і Grok 4 на тестах з програмування

Автор блогу Forge Code порівняв на практиці дві потужні LLM-моделі: перевірений Claude 4 Opus і новинку Grok 4. Кожній моделі пропонувалось вирішити 15 завдань загальним обсягом приблизно 28 тисяч рядків коду. Задачі стосувались багатофайлового рефакторингу в кодовій базі Rust, виправлень помилок у коді та взаємних блокувань. 

Grok 4 виявився потужним інструментом для виявлення складних, важкодоступних помилок, таких як глухі блокування в асинхронних Rust-проектах. Він значно дешевший за кожне завдання, але іноді може ігнорувати інструкції. Claude 4 Opus, хоча й дорожчий, є більш слухняним та надійним, особливо коли вам потрібно, щоб він дотримувався певних правил.

Grok 4 майже вдвічі швидше відповідає на запит. Якщо Claude 4 Opus вирішує завдання в середньому за 13-24 секунди, то Grok 4 за 9-15 секунд. Це робить ітерації набагато швидшими. Але потім розробник постійно натикався на обмеження швидкості xAI через кожні кілька запитів. Те, що мало бути швидким тестовим сеансом, перетворилось на кошмар із зупинками та очікуванням.

При виявленні багів в коді Claude 4 Opus пропустив помилки race conditions/deadlocks, тоді як Grok 4 знайшов усі.

З іншого боку, Grok проігнорував 2 з 15 інструкцій, а Claude 4 Opus виконав їх точно за правилами.

Grok 4 коштував в середньому $4,50 за завдання, тоді як Opus досяг $13. Але ціна Grok подвоюється після 128 тисяч токенів. Ціна Opus залишається незмінною.

Обидві моделі впорались з викликом інструментів з точністю 99%, майже щоразу вибираючи правильні інструменти з дійсними аргументами. Перехід на налаштування на основі XML знизив цей показник: Opus досяг 83%, Grok 78%. Надійно, але не бездоганно.

У підсумку автор тестів схилився на користь Grok 4. Він кращий для складних завдань виключно через економію коштів та швидкість, а також через його «орлиний погляд на складні помилки». Grok виконав більше завдань з першої спроби та працював дешевше, навіть якщо обмеження швидкості «зводили з розуму». Opus надійний та послідовно дотримується правил, що робить його безпечнішим вибором, коли вам потрібні передбачувані результати та ви не можете дозволити собі сюрпризів.