З'ясувалося, що штучні інтелектуальні помічники не здатні вирішувати задачі, з якими стикаються програмісти.
Згідно з новими дослідженнями, застосування GitHub Copilot не сприяє підвищенню ефективності роботи програмістів і не знижує рівень вигорання.
Дослідження компанії Uplevel показало, що використання ШІ-інструментів, таких як GitHub Copilot, не призводить до підвищення продуктивності та не зменшує вигорання серед розробників.
Незважаючи на великі сподівання щодо впровадження генеративного штучного інтелекту в сфері програмування, результати дослідження виявилися несподіваними. Команда Uplevel провела аналіз роботи близько 800 програмістів протягом тримісячного періоду, порівнюючи їхню продуктивність при використанні Copilot і без нього. Дослідники оцінювали різні показники, такі як швидкість обробки пул-запитів, обсяг написаного коду та частота помилок. Виявилось, що, незважаючи на використання ШІ-асистентів, розробники не продемонстрували суттєвих поліпшень у своїй продуктивності. Матт Хоффман, аналітик даних компанії Uplevel, зазначив, що очікування були зовсім іншими: передбачалося, що інструменти на базі ШІ зможуть пришвидшити процес розробки, зменшити кількість помилок і полегшити навантаження на програмістів.
Навпаки, нове дослідження показало, що користувачі GitHub Copilot зробили на 41% більше помилок у своєму коді в порівнянні з розробниками, які не застосовували цей інструмент. Це викликає сумніви в заявах прихильників інструментів штучного інтелекту, які обіцяли значне покращення якості та швидкості програмування. Раніше спонсоровані GitHub дослідження стверджували, що використання Copilot дозволяє програмістам писати код на 55% швидше, а близько 30% нового коду генерувалося за допомогою ШІ. Проте нове незалежне дослідження спростовує ці твердження, демонструючи, що Copilot не лише не зменшує кількість помилок, а й навпаки – збільшує їх.
Ці дослідження не виявили жодних позитивних змін у впливі Copilot на проблему вигорання серед розробників. Програмісти продовжують працювати в умовах постійного стресу і відчувають значне емоційне та фізичне виснаження, незважаючи на використання штучного інтелекту. Ситуація з вигоранням залишається критичною, і за три місяці досліджень не було зафіксовано жодних істотних покращень у стані програмістів.
Деякі фахівці вважають, що однією з причин отриманих результатів може бути неякісний код, створений за допомогою Copilot. Багато розробників відзначають, що код, згенерований штучним інтелектом, часто є складним для сприйняття та налагодження. Наприклад, Іван Гехт, генеральний директор Gehtsoft USA, повідомив, що його команда регулярно стикається з труднощами під час використання Copilot, оскільки код, створений ШІ, виявляється важким для розуміння і потребує більше часу на налагодження, ніж на переписування з нуля. Він також підкреслив, що написання коду становить лише 10% роботи розробника, тоді як основні виклики полягають у зрозумінні вимог, проектуванні архітектури системи та врахуванні різних обмежень, які наразі не можуть бути повністю охоплені ШІ.
У той же час, інші підприємства ілюструють зовсім інший підхід до застосування інструментів штучного інтелекту в програмуванні. Наприклад, Тревіс Рехл, технічний директор хмарної компанії Innovative Solutions, підкреслив, що завдяки таким інструментам, як Copilot та Claude Dev, продуктивність їхніх програмістів зросла втричі. Це свідчить про те, що ефективність ШІ-асистентів може суттєво варіюватися в залежності від контексту їх використання та специфіки завдань, що стоять перед командою розробників.
Незважаючи на суперечливі дані з різних досліджень, фахівці дійшли висновку, що індустрія лише розпочинає впровадження штучних інтелектуальних асистентів у сферу програмування. Сучасні рішення, такі як GitHub Copilot, активно вдосконалюються та розвиваються. Очікується, що з часом їх функціональні можливості значно зростуть, що дозволить їм надавати істотну підтримку програмістам, як у підвищенні продуктивності, так і у зниженні робочого навантаження.
Цікаво, що програмісти, попри стрімке впровадження інструментів штучного інтелекту, не квапляться покладатися на них у повній мірі. Навіть ті, хто активно використовує Copilot, часто вважають за краще перевіряти та коригувати згенерований код, адже існує високий ризик виникнення помилок. Дослідження показують, що ChatGPT та інші AI-моделі продовжують помилятися в кожній четвертій відповіді на запити розробників. Це спонукає фахівців бути обачними та не віддавати повністю свою довіру інструментам штучного інтелекту.
