研究表明ChatGPT在回答编程问题时错误百出，并且错误很容易被忽略
在研究中，研究人员查看了 Stack Overflow 中的 517 个问题，并分析了 ChatGPT 对这些问题的回答尝试。研究人员表示：“我们发现 52% 的 ChatGPT 答案包含错误信息，77% 的答案比人类的答案更冗长。”尤其令人不安的是，许多人类程序员似乎更喜欢 ChatGPT 的答案。普渡大学的研究人员对 12 名程序员进行了调查——诚然，样本量很小 —— 发现他们中 39% 的人没有发现人工智能产生的错误。
研究人员写道：“礼貌的语言、清晰的教科书式的回答以及全面性是使 ChatGPT 答案看起来更令人信服的部分主要原因，这让用户放松了警惕，忽略了 ChatGPT 答案中的一些错误信息。”
—— Futurism
发表回复