Blog
研究人員發現，ChatGPT擅長以風格取勝，讓人們以為它很聰明
研究人員發現，ChatGPT擅長以風格取勝，讓人們以為它很聰明
August 15, 2023
ChatGPT可能正在欺騙人們，讓他們認為它比實際上更聰明。
研究人員發現，程式設計師在回答編碼問題時，常常偏好ChatGPT的（錯誤）答案。
他們說，這是因為ChatGPT聽起來「表達的條理十分清晰」。
ChatGPT似乎在說服人們相信它很聰明這方面，取得了很大的成功。但如果它實際上是在欺騙他們呢？
這個由OpenAI建立的聊天機器人自去年11月推出以來，已經改變了社會，經常出現在CEO的財報電話會議中，並且顛覆了從教育到創意產業的一切。
但是，本月發布的一篇預印本論文暗示，ChatGPT有一個巧妙的小技巧來說服人們相信它很聰明：一種風格勝過實質的方法。
普渡大學的研究人員分析了ChatGPT對Stack Overflow（一個對於軟體開發人員和工程師至關重要的問答網站）上發布的517個問題的回答。
在評估機器人的回答「正確性、一致性、全面性和簡潔性」後，研究人員發現52%的答案完全不正確，且77%的答案冗長。
研究的另一部分發現，儘管ChatGPT出現了所有的錯誤，但使用者驚人地40%的時間更喜歡它對問題的回答，而不是Stack Overflow上的人類回答。
研究指出：「當被問及為什麼即使答案不正確，他們也更喜歡ChatGPT的答案時，參與者認為答案的全面性和清晰的語言結構是他們偏好的一些原因。」
值得注意的是：這項使用者分析僅涉及12名程式設計師被要求評估他們是否更喜歡ChatGPT的回答，還是Stack Overflow上人類對2000個隨機抽樣問題的回答。但OpenAI本身已經警告說，機器人可能會寫出「聽起來合理但不正確或無意義的答案。」
正如本月報導，Stack Overflow已成為伊隆·馬斯克所稱的「LLM之死」的案例研究，自OpenAI推出其高級GPT-4 AI模型後，其網站流量在4月同比下降了13%。
普渡大學的發現跟隨斯坦福和加州大學伯克利分校學者的研究，表明這個大型語言模型正在變得愚蠢。
ChatGPT似乎已經在沒有太多審查的情況下融入了網路，這在AI倫理學家和程式設計師中引起了警告和惱怒。
作為對普渡研究的回應，電腦科學家和AI專家Timnit Gebru在推特上寫道：「很高興Stack Overflow被OpenAI和朋友們摧毀。」
新聞原址： https://www.businessinsider.com/chatgpt-frequently-wrong-about-coding-but-sounds-smart-2023-8