52% відповідей ChatGPT щодо програмування неправильні — дослідження
Posted: Tue Jan 07, 2025 6:31 am
В останні роки програмісти стали частіше звертатися за допомогою до чат-ботів, таких як ChatGPT від OpenAI. Це завдало удару по Q&A-сервісу Stack Overflow, який минулого року був змушений звільнити майже 30% персоналу.
Однак, згідно з дослідженням Університету Перд’ю, представленому на конференції Computer-Human Interaction, ChatGPT — не найкращий помічник. З’ясувалося, що більш ніж половина його відповідей щодо програмування неправильні.
Вчені взяли понад 517 питань зі Stack Overflow, задали їх ChatGPT та проаналізували його відповіді. Ось що вони виявили.
52% відповідей містять дезінформацію.
77% більш багатослівні у порівнянні з людськими відповідями.
78% тією чи іншою мірою не відповідають людським відповідям.
Дослідники також опитали 12 програмістів і з’ясували, що ті надають проверка номера в бахрейне перевагу ChatGPT у 35% випадків і не помічають помилок у його відповідях у 39% випадків. Можлива причина – стиль спілкування чат-бота.
У результаті лінгвістичного аналізу 2 тис. випадково вибраних відповідей ChatGPT з’ясувалося, що вони «формальніші та аналітичніші», а також відображають «менш негативні настрої».
«Наступні напівструктуровані інтерв’ю показали, що ввічлива мова, чітко сформульовані відповіді як з підручників, а також повнота — одні з основних причин, з яких відповіді ChatGPT здаються більш переконливими, тому учасники послабили пильність і знехтували дезінформацією», — пишуть дослідники.
Результати показують, що ChatGPT, як і раніше, має серйозні недоліки. Однак це слабка втіха для людей, звільнених із Stack Overflow, а також програмістів, яким доводиться виправляти в коді помилки, зроблені штучним інтелектом.
Однак, згідно з дослідженням Університету Перд’ю, представленому на конференції Computer-Human Interaction, ChatGPT — не найкращий помічник. З’ясувалося, що більш ніж половина його відповідей щодо програмування неправильні.
Вчені взяли понад 517 питань зі Stack Overflow, задали їх ChatGPT та проаналізували його відповіді. Ось що вони виявили.
52% відповідей містять дезінформацію.
77% більш багатослівні у порівнянні з людськими відповідями.
78% тією чи іншою мірою не відповідають людським відповідям.
Дослідники також опитали 12 програмістів і з’ясували, що ті надають проверка номера в бахрейне перевагу ChatGPT у 35% випадків і не помічають помилок у його відповідях у 39% випадків. Можлива причина – стиль спілкування чат-бота.
У результаті лінгвістичного аналізу 2 тис. випадково вибраних відповідей ChatGPT з’ясувалося, що вони «формальніші та аналітичніші», а також відображають «менш негативні настрої».
«Наступні напівструктуровані інтерв’ю показали, що ввічлива мова, чітко сформульовані відповіді як з підручників, а також повнота — одні з основних причин, з яких відповіді ChatGPT здаються більш переконливими, тому учасники послабили пильність і знехтували дезінформацією», — пишуть дослідники.
Результати показують, що ChatGPT, як і раніше, має серйозні недоліки. Однак це слабка втіха для людей, звільнених із Stack Overflow, а також програмістів, яким доводиться виправляти в коді помилки, зроблені штучним інтелектом.