ChatGPT відповідає неправильно на 52% питань щодо програмування — дослідження

Партнер видання

Популярний ШІ-сервіс ChatGPT дає 52% неправильних відповідей на питання, які стосуються програмування.

Про це йдеться в дослідженні Університету Пердью, яке нещодавно презентували на конференції Computer-Human Interaction.

Для дослідження переглянули понад 517 запитань у Stack Overflow.

«Ми виявили, що 52% відповідей ChatGPT містять дезінформацію, 77% відповідей більш багатослівні, ніж відповіді людей, а 78% відповідей мають різний ступінь невідповідності», — написали вони.

Особливо непокоїть те, що досить багато програмістів використовують для консультацій саме ChatGPT. Дослідники виявили, що 35% надають перевагу ChatGPT і не помічають помилок 39%.

«Подальші напівструктуровані інтерв’ю показали, що ввічлива мова, сформульовані відповіді в стилі підручника та вичерпність є одними з основних причин, які зробили відповіді ChatGPT більш переконливими, тому учасники схильні йому довіряти», – пишуть дослідники.

Зазначимо, що за півтора роки трафік Stack Overflow впав приблизно на 35%. І помітне падіння почалося після релізу ШІ-чатбота ChatGPT.У відповідь на це Stack Overflow анонсував OverflowAI — комплекс функцій, які працюють на основі штучного інтелекту.

Також Stack Overflow навіть вирішив заборонити використання ChatGPT на платформі, заявивши, що має сумніви щодо точності таких відповідей.

Тим не менш, це не домогло і Stack Overflow звільнив 28% персоналу.

Партнер видання

Favbet Tech – це ІТ-компанія зі 100% українською‌ ДНК, що створює досконалі сервіси для iGaming і Betting з використанням передових технологій та надає доступ до них. Favbet Tech розробляє інноваційне програмне забезпечення через складну багатокомпонентну платформу, яка здатна витримувати величезні навантаження та створювати унікальний досвід для гравців.