ChatGPT відповідає неправильно на 52% питань щодо програмування — дослідження

Популярний ШІ-сервіс ChatGPT дає 52% неправильних відповідей на питання, які стосуються програмування.

Про це йдеться в дослідженні Університету Пердью, яке нещодавно презентували на конференції Computer-Human Interaction.

Для дослідження переглянули понад 517 запитань у Stack Overflow.

«Ми виявили, що 52% відповідей ChatGPT містять дезінформацію, 77% відповідей більш багатослівні, ніж відповіді людей, а 78% відповідей мають різний ступінь невідповідності», — написали вони.

Особливо непокоїть те, що досить багато програмістів використовують для консультацій саме ChatGPT. Дослідники виявили, що 35% надають перевагу ChatGPT і не помічають помилок 39%.

«Подальші напівструктуровані інтерв’ю показали, що ввічлива мова, сформульовані відповіді в стилі підручника та вичерпність є одними з основних причин, які зробили відповіді ChatGPT більш переконливими, тому учасники схильні йому довіряти», – пишуть дослідники.

Зазначимо, що за півтора роки трафік Stack Overflow впав приблизно на 35%. І помітне падіння почалося після релізу ШІ-чатбота ChatGPT.У відповідь на це Stack Overflow анонсував OverflowAI — комплекс функцій, які працюють на основі штучного інтелекту.

Також Stack Overflow навіть вирішив заборонити використання ChatGPT на платформі, заявивши, що має сумніви щодо точності таких відповідей.

Тим не менш, це не домогло і Stack Overflow звільнив 28% персоналу.