Парне програмування зі штучним інтелектом менш ефективне, ніж з людиною — дослідження

Розробники, які практикують парне програмування з помічником на основі штучного інтелекту, демонструють менш критичне ставлення до результатів роботи свого віртуального партнера. Про це йдеться в результатах дослідження науковців Саарландського університету (Німеччина), пише The Register.

Парне програмування є поширеною практикою серед багатьох розробників. Вважається, що воно сприяє покращенню коду, обміну знаннями та економить час. Однак останніми роками розробники все частіше працюють з асистентами коду, а не з іншими людьми. Це має як свої переваги, так й недоліки.

Під час експерименту групу програмістів розділили на пари «людина – людина» і «людина – GitHub Copilot». Кожній парі дали завдання з реалізацією функцій в існуючій кодовій базі обсягом приблизно 400 рядків, включно з кодом Python та коментарями, які були розділені на 5 файлів.

Дослідники прагнули відповісти на два запитання. По-перше, науковців цікавило, наскільки відрізняються частота, тривалість та глибина епізодів передачі знань між парним програмуванням людина-людина та парним програмуванням людина-штучний інтелект. Ще одна мета полягала в тому, щоб дослідити, як відрізняються якість та різноманітність епізодів передачі знань, включаючи типи тем та типи завершень.

У підсумку пари «людина – людина» згенерували 210 епізодів, порівняно зі 126 епізодами в сеансах парного програмування «людина – штучний інтелект». Тобто, програмісти між собою частіше взаємодіяли, ніж людина з віртуальним помічником.

Це означає, що між людиною-програмістом та інструментом на базі штучного інтелекту був «високий рівень епізодів ДОВІРИ». Відповідно, розробник менш критично ставиться до згенерованого коду. Також це зменшує обмін знаннями, який виникає в результаті побічних обговорень у парному програмуванні «людина – людина». Потенційно це знижує довгострокову ефективність парного програмування.

«Хоча штучний інтелект корисний для простих, повторюваних завдань, де додаткові обговорення менш цінні… коли справа доходить до поглиблення знань, до нього слід ставитися обережно, особливо студентам… Ми спостерігаємо, що на багатьох сесіях з GitHub Copilot програмісти схильні приймати пропозиції асистента з мінімальною перевіркою, покладаючись на припущення, що код працюватиме належним чином», — йдеться у дослідженні Саарландського університету.

З іншого боку, науковці зауважили, що парне програмування «людина – людина» дозволяє спонтанну взаємодію, але також збільшує ризик відволікання. Тоді як передача знань за допомогою ШІ-помічника має меншу ймовірність переривання, «проте пропозиції часто приймаються з меншою перевіркою».