Blog
人工智慧高層：生成式AI出錯也是必要之惡
人工智慧高層：生成式AI出錯也是必要之惡
February 15, 2024
重點摘要：
- 生成式AI的不可靠性可能具有意義：Anthropic共同創辦人卡普蘭表示，生成式AI的偶爾出錯是為了保持其實用性，過度焦慮於不可靠性可能使AI對使用者失去意義。
- 平衡準確性和實用性：人工智慧行業正努力在提高準確性的同時保持其實用性，即使是像Google的Gemini人工智慧也因出錯而受到批評。
- Anthropic在倫理問題上的思考：Anthropic公司對生成式人工智慧的準確性和倫理問題進行了思考，並設計了能夠撒謊的人工智慧模型，以探討安全性和倫理價值觀。
新聞內文：
生成式人工智慧因其容易出錯而聞名。但一位人工智慧高的相關高層表示，這也許並不是一件壞事，至少現在是這樣。在週一舉行的華爾街日報CIO Network峰會上，Anthropic的共同創辦人賈瑞德·卡普蘭表示，如果聊天機器人對自身的不可靠性太焦慮，它們可能會對所呈現的所有訊息進行反覆考慮，這會使它們對使用者毫無意義。
卡普蘭，偶爾的「幻覺」（由於錯誤的假設或程式缺陷引起的錯誤）是一個「折衷」的一部分，而這些錯誤是為了一個否則有用的人工智慧系統。
他說：「如果你訓練這些系統永遠不會產生幻覺，它們將非常非常擔心犯錯，它們會對所有事情說，『我不知道上下文』」。
那麼，什麼時候可以讓聊天機器人以它知道可能不是100%準確的答案回答查詢？卡普蘭表示，這就是開發人員需要決定的事情。
他說：「石頭不會幻覺，但它也不太有用」。他說：「我認為你不會想要到達那個極限」。
卡普蘭表示，最終目標是一個「零」幻覺的人工智慧平台。但這說起來容易做起來難。
他說：「我有時候也會幻覺」。他說：「我犯錯，我們都犯錯」。
人工智慧行業仍在努力在準確性和實用性之間保持平衡。去年，Google的Gemini人工智慧因對明確查詢給出錯誤答案而受到使用者的批評。與此同時，使用者表示，聊天機器人不願在有爭議的話題上表態，建議他們「嘗試使用Google搜索」的方式代替。
Anthropic在生成式人工智慧的準確性和倫理問題上進行了思考。今年早些時候，BI報導稱，該公司的研究人員在一項研究中設計了故意向人類撒謊的人工智慧模型。該研究表明，訓練為撒謊的模型可以欺騙評估者並通過安全程式。
卡普蘭與OpenAI的其他前員工共同創立了Anthropic。該公司自稱是一家「人工智慧安全和研究公司」，並表示其人工智慧開發優先考慮倫理價值觀和安全問題。
新聞原址： https://www.businessinsider.com/anthropic-cofounder-says-ai-errors-are-necessary-tradeoff-2024-2