Пошук ChatGPT не вразив експертів: «галюцинує та вигадує інформацію»

Презентована кількома днями тому функція пошуку в ChatGPT отримала неоднозначні відгуки. На думку експертів, прориву не сталось. ChatGPT Search надто сирий та непрактичний для використання. Головна претензія, за словами автора TechCrunch, полягає в тому, що пошук ChatGPT ненадійний для коротких запитів. 

Незважаючи на те, що інтерфейс має деякі переваги, оскільки відображає в правій частині сторінки джерела, на які спираються результати пошуку, ChatGPT Search має кілька суттєвих недоліків. Він погано працює в реальному часі та навіть зі свіжими даними за сьогоднішній чи вчорашній день. Також він вигадує частину інформації.

Наприклад, під час тестування експерт ввів у ChatGPT пошуковий запит «рахунок Наггетс» (Nuggets score), щоб перевірити, як проходить матч НБА між командами «Денвер Наггетс» і «Міннесота Тімбервулвз». ChatGPT відповів, що «Наггетс» перемагають, хоча вони насправді програвали, і показав результат, який був на 10 очок меншим, ніж насправді, відповідно до результатів Google у той же час.

Іншого разу автор TechCrunch ввів запит «прибутки сьогодні» (earnings today), щоб перевірити квартальні результати компаній, які можуть вплинути на ціни акцій у п’ятницю. ChatGPT повідомив, що Apple і Amazon звітували про свої результати в п’ятницю, хоча обидві компанії звітували днем ​​раніше, у четвер. Іншими словами, пошук галюцинував і вигадував інформацію. 

Ще в одному тесті експерт ввів ім’я технічного керівника, щоб знайти його контактну інформацію. ChatGPT показав короткий виклад профілю людини у Facebook і вигадав посилання на її сторінку LinkedIn. При переході на цю сторінку з’явилось повідомлення про помилку.

Втім, у ChatGPT Search виявились й переваги в порівнянні з Google: він достатньо добре відповідає на довгі, детальні запити. При введенні чогось на зразок «Яка американська професійна спортивна ліга найбільш різноманітна?», Google навряд чи дасть швидку та точну відповідь, тоді як ChatGPT Search напише правильну розгорнуту відповідь лише за пару секунд.