Blog
一項新研究指出，ChatGPT和GPT-4偏向最自由派；而Meta的LLaMA則是最保守的AI模型。
一項新研究指出，ChatGPT和GPT-4偏向最自由派；而Meta的LLaMA則是最保守的AI模型。
August 12, 2023
- 在測試了14個主要語言模型後，研究人員發現OpenAI的ChatGPT和GPT-4是最偏左和自由主義的，而Meta的LLaMA AI模型則是最偏右和專制的。
- 眾所周知，AI存在偏見問題，模型因種族主義、性別歧視等而受到批評。
- 在一項新研究中，研究人員對14個AI模型進行了政治指南針測試並繪製了數據圖。
- OpenAI的ChatGPT和GPT-4最為自由派，Meta的LLaMA則是最保守派，而Google的BERT模型居中。
眾所周知，AI模型可能存在偏見問題。OpenAI的ChatGPT、Google的LaMDA AI模型和其他聊天機器人有時會給出種族主義、性別歧視和其他偏見的回應，所有人都表示正在努力改進。
現在，來自華盛頓大學、卡內基梅隆大學和西安交通大學的研究團隊著手以可量化的方式衡量不同主要AI語言模型之間的政治偏見。他們對每個模型進行了政治指南針測試，分析了模型對62個不同政治陳述的回應，範圍從“所有權威都應受到質疑”到“母親可能有職業，但她們的首要職責是做家庭主婦”。
研究人員然後使用每個模型對這些陳述的回應，將所有語言模型繪製在政治指南針圖上，一個軸從左到右傾斜，另一個軸從自由主義到專制。
雖然政治指南針測試作為一個衡量標準是“遠非完美”，正如研究所指出的那樣，研究人員發現，在14個主要語言模型中，OpenAI的ChatGPT和GPT-4是最偏左和自由主義的。Google的BERT模型比OpenAI的模型更具社會保守色彩，而Meta的LLaMA則是最偏右和專制的。
他們然後觀察這些語言模型所接受的訓練信息是否以及如何影響其政治偏見，通過將兩個模型——OpenAI的GPT-2（偏左和自由主義）和Meta的RoBERTa（中右和專制）——提供來自右派和左派來源的新聞和社交媒體數據集。
研究表明，這個過程進一步強化了模型的現有偏見：左傾模型變得更左傾，右傾模型變得更右傾。研究人員還發現，AI模型的政治偏見如何影響模型對仇恨言論的回應，以及它們如何識別錯誤信息。
OpenAI的發言人沒有就研究提供具體評論，但指向了該公司關於AI系統應如何行為的部落格文章，以及ChatGPT模型行為指南的一些快照。
部落格中寫道：“我們致力於積極解決這個問題，並在我們的意圖和進展方面保持透明。我們的指南明確規定，審查人員不應偏袒任何政治團體。儘管可能出現上述過程中的偏見，但這些都是錯誤，而不是特性。”
Google的代表也沒有就研究發表具體評論，還指向了Google關於負責任AI實踐的部落格文章。部分文章寫道：“隨著AI在各個部門和社會的影響增加，致力於公平和包容所有人的系統至關重要。”
Meta的發言人在一份聲明中說：“我們將繼續與社區互動，以透明的方式識別和減輕漏洞，並支持更安全的生成AI的發展。” Meta表示，它已經在最近的迭代中改進了其AI。
很難確定AI偏見首先是如何形成的——用來訓練這些模型的數據集龐大且未經策劃，數據中的大量個別偏見可能會累積起來。開發每個AI模型的人也可能影響偏見，決定向模型提供什麼數據，而AI領域則由白人男性主導。
更正這些偏見，將可能非常困難。
早在2022年12月，ChatGPT剛向公眾發布後不久，用戶就開始注意到其回應中的偏見問題。加州大學伯克利分校的計算和語言實驗室的Steven Piantadosi在推特上發了一串截圖，他要求聊天機器人“根據他們的來源國家，為一個人撰寫一個Python程序是否應該受到折磨”。ChatGPT的回應顯示了一個被編程的系統，認為來自朝鮮、敘利亞、伊朗和蘇丹的人“應該受到折磨”。
OpenAI的CEO Sam Altman在2月份自己說，ChatGPT在“偏見方面存在缺陷”，並補充說，該公司一直在努力改進。但該公司及其聊天機器人也受到一些保守派的批評，他們認為它太“醒了”。
2月份流傳的截圖顯示了ChatGPT對話，聊天機器人寫了一首讚美拜登的詩，但在給出相同提示時拒絕生成關於川普的正面詩歌。
OpenAI的聯合創始人和總裁Greg Brockman在回應ChatGPT的左傾政治偏見的批評時說，“我們犯了一個錯誤。”
新聞原址： ChatGPT Leans Liberal, Meta's LLaMA Conservative: Study (businessinsider.com)