GPT-5 виявилась «найпотужнішою для кодування», однак багато хто сподівався на краще

Компанія OpenAI випустила флагманську LLM-модель GPT-5, яка, за словами Сема Альтмана, є найкращою моделлю для кодування. У загальному рейтингу LMArena GPT-5 опинилась на першому місці, хоча із вимкненою опцією Remove Style Control новинка все ж поступається Gemini 2.5 Pro.

Починаючи з 8 серпня GPT-5 доступна всім безкоштовним користувачам ChatGPT як модель за замовчуванням.

У SWE-bench Verified — тесті реальних завдань кодування, взятих з GitHub — GPT-5 набрала 74,9% з першої спроби. Це означає, що нова модель OpenAI трохи перевершує Claude Opus 4.1 від Anthropic, яка набрала 74,5%, та Gemini 2.5 Pro з 59,6%.

На «Останньому іспиті людства» — складному тесті, що вимірює продуктивність моделей штучного інтелекту в математиці, гуманітарних та природничих науках — версія GPT-5 з розширеним мисленням (GPT-5 Pro) набрала 42% при використанні інструментів. Це трохи менше, ніж xAI змогла досягти з Grok 4 Heavy, яка в цьому тесті отримала 44,4%.

У GPQA Diamond — тесті з наукових питань рівня PhD (доктор наук) — GPT-5 Pro набрала 89,4% з першої спроби, перевершивши Claude Opus 4.1 з 80,9% та Grok 4 Heavy з 88,9%.

OpenAI стверджує, що GPT-5 краще підходить для відповідей на запитання, пов’язані зі здоров’ям. У тесті HealthBench Hard Hallucinations, що вимірює точність відповідей моделей ШІ на теми охорони здоров’я, GPT-5 (з опцією міркування) викликає галюцинації лише в 1,6% випадків. Це набагато нижче, ніж у попередніх моделей компанії GPT-4o та o3, які набрали 12,9% та 15,8% відповідно.

У відповідях на запити ChatGPT, нова модель викликає галюцинації чи неправильно відповідає лише в 4,8% випадків. Це значне покращення, оскільки o3 та GPT-4o мають показники галюцинацій 22% та 20,6% відповідно в тесті.

Передплатники тарифного плану Plus від ChatGPT вартістю $20 на місяць отримують вищі ліміти використання GPT-5, ніж безкоштовні користувачі. Тоді як передплатники Pro вартістю $200 на місяць можуть розраховувати на необмежений доступ до GPT-5, а також на доступ до покращеної версії під назвою GPT-5 Pro, яка використовує додаткові обчислювальні ресурси для отримання кращих відповідей.