Blog
大型語言模型的雙面刃：創造力與編造事實的微妙平衡
大型語言模型的雙面刃：創造力與編造事實的微妙平衡
September 5, 2023
重點摘要：
新聞內文：
像OpenAI的ChatGPT這樣的大型語言模型（LLM）都存在著同樣的問題：它們會編造事實。
這些錯誤範圍從奇怪而無害的地步開始，例如聲稱「金門大橋在2016年被運送到埃及」。最近，澳大利亞的一位市長因為ChatGPT錯誤地聲稱他在一個重大賄賂醜聞中承認有罪而威脅要起訴OpenAI。研究人員發現LLM的幻想可以被利用來向毫不知情的軟體開發人員分發惡意的程式碼。而且LLM經常給出不良的心理健康評論和醫療建議，比如說葡萄酒的飲用可以「預防癌症」。
這種「編造事實」的傾向是一種稱為「幻想」的現象，而這是因為今天的LLM，以及所有生成性AI模型，是如何開發和訓練的。
訓練模型
生成性AI模型並不具備真正的智慧，它們是一種預測詞語、圖像、語音、音樂或其他數據的統計系統。通過提供大量的範例，通常來自公開網路。AI模型學習根據模式，包括周圍數據的上下文，預測數據發生的可能性。
例如，對於一封典型的以「期待中…」結尾的電子郵件，LLM可能會用「…期待收到回應」來完成它，這是根據它所訓練的無數封電子郵件的模式。這並不意味著LLM正在期待著什麼。
倫敦大學瑪麗女學院的博士研究生塞巴斯蒂安·伯恩斯在電子郵件訪談中告訴TechCrunch說：「當前的LLM訓練框架涉及對先前的單字進行上下文的掩蓋或『遮罩』，並讓模型預測應該替換被遮蓋單字的哪些詞。這在概念上類似於在iOS中使用預測文本，並持續按下建議的下一個詞之一」。
這種基於概率的方法在大規模情況下運作得非常好，大部分情況下都是如此。但儘管詞語和它們的概率範圍可能會導致有意義的文本，但準確性卻遠遠不足。
例如，LLM可能會生成語法正確但無意義的內容，就像有關金門大橋的主張。或者他們可能會說謊，傳播其訓練數據中的不準確資訊。或者他們可能會混合不同來源的訊息，包括虛構的來源，即使這些來源明顯相互矛盾。
這並不是LLM的惡意行為。它們沒有惡意，對他們來說真實和虛假的概念是毫無意義的。他們只是學會了將某些單詞或短語與某些概念聯繫起來，即使這些關聯並不準確。
伯恩斯表示：「『幻想』與LLM無法估計其自身預測的不確定性有關。LLM通常被訓練總是產生輸出，即使輸入與訓練數據非常不同。標準的LLM無法知道它是否能夠可靠地回答一個查詢或進行預測」。
解決幻想問題
問題是，「幻想能否被解決」？這取決於你對「解決」的理解。
艾倫人工智慧研究所的應用研究員和工程師Vu Ha主張，LLM「確實會，且將一直產生幻想」。但他還認為，根據LLM的訓練和部署方式，有具體的方法可以「減少」，而不是「消除」幻想。
他通過電子郵件說：「考慮一個問答系統。透過為問題和答案建立一個高品質的知識庫，並將該知識庫與LLM相結合，透過搜尋的過程提供準確的答案」。
哈用一個「高品質」知識庫和一個不太仔細的數據養護來區分LLM之間的差異。他將問題「《Toolformer論文》的作者是誰？」（Toolformer是由Meta訓練的AI模型）透過微軟的LLM動力Bing Chat和Google的Bard。Bing Chat正確地列出了所有八位Meta的合著者，而Bard則將該論文錯誤地歸因於Google和Hugging Face的研究人員。
哈說「任何部署且基於LLM的系統都會產生幻想。真正的問題是，幻想引起的負面結果是否超過了利益」。換句話說，如果模型沒有明顯的傷害，模型偶爾會錯誤地說錯日期或名字。但它在其他方面是有幫助的，那麼可能會值得進行權衡。他補充說：「這是關於最大化AI的預期效果的問題」。
伯恩斯指出了另一種在減少LLM幻想方面取得一定成功的技術：來自人類反饋的強化學習（RLHF）。OpenAI在2017年引入了RLHF，它涉及訓練LLM，然後收集額外的資訊來訓練「獎勵」模型，並透過強化學習來微調LLM。
在RLHF中，從預定數據集中經過LLM的一組提示詞被傳遞以生成新的文本。然後，使用人類標註者對LLM的輸出按其整體「幫助程度」進行排名，這些數據被用於訓練獎勵模型。該獎勵模型此時可以接受任何文本並為其分配人類認為給它的分數，然後用獎勵模型微調LLM的生成回應。
伯恩斯警告說，但即使RLHF也不是完美的，OpenAI也利用了RLHF來訓練其幾個模型，包括GPT-4。。
他說：「我認為可能太過於『調整』LLM與RLHF的空間，使其完全一致。在RLHF的設定中，通常做的一件事是訓練模型產生一個『我不知道』的答案（對於一個棘手的問題），主要依賴人類領域知識，並希望模型將其推廣到自己的領域知識。通常它會這樣做，但可能有點麻煩」。
替代哲學
假設幻想問題不能解決（至少在今天的LLM中是如此），那麼這是一件壞事嗎？實際上，伯恩斯並不這麼認為。幻想模型可能會通過作為「合作創造夥伴」來激發創造力，提供的輸出可能並不完全屬實，但仍然包含一些有用的想法。對於創意性的使用，「幻想」可以產生結果或想法的組合，這些結果或想法可能大多數人不會想到。
他表示：「如果生成的陳述在事實上不正確，或者違反了任何一般人類、社會或特定文化的價值觀，但在某些情況下，人們依賴LLM，那麼「幻想」是一個問題。但在創意或藝術工作中，能夠提供意想不到的輸出的能力可能是有價值的。人類可能會對查詢的回答感到驚訝，因此會被推向某種思維方向，這可能會導致想法的新聯繫」。
哈認為，如今的LLM被設置在一個不合理的標準下，就是人類也會「幻想」，畢竟，當我們記錯或扭曲事實時，我們也會這樣做。但是，對於LLM來說，我們之所以會產生認知上的不協調，是因為這些模型生成的輸出在表面上看起來很好，但經過進一步檢查後卻包含錯誤。
他說：「簡單地說，LLM，就像任何AI技術一樣，都是不完美的，因此會出現錯誤。傳統上，我們接受AI系統犯錯，因為我們預期並接受不完美。但是當LLM犯錯時，情況變得更加微妙」。事實上，答案可能不在生成性AI模型在技術層面上的工作方式上。就目前而言，對模型的預測持懷疑態度似乎是最佳方法。
新聞原址： https://techcrunch.com/2023/09/04/are-language-models-doomed-to-always-hallucinate/
- 大型語言模型（LLM）如ChatGPT存在編造事實的問題，這不僅可能導致法律問題，還可能被用於分發惡意程式碼或提供不良醫療建議。
- 這些模型的訓練方式導致了「幻想」現象，即生成不準確或虛假的資訊。儘管有技術如強化學習來自人類反饋（RLHF）試圖解決這一問題，但效果有限。
- 專家認為，LLM的「幻想」問題可能無法完全解決，但在某些創意或藝術工作中，這種「幻想」能力可能是有價值的。
新聞內文：
像OpenAI的ChatGPT這樣的大型語言模型（LLM）都存在著同樣的問題：它們會編造事實。
這些錯誤範圍從奇怪而無害的地步開始，例如聲稱「金門大橋在2016年被運送到埃及」。最近，澳大利亞的一位市長因為ChatGPT錯誤地聲稱他在一個重大賄賂醜聞中承認有罪而威脅要起訴OpenAI。研究人員發現LLM的幻想可以被利用來向毫不知情的軟體開發人員分發惡意的程式碼。而且LLM經常給出不良的心理健康評論和醫療建議，比如說葡萄酒的飲用可以「預防癌症」。
這種「編造事實」的傾向是一種稱為「幻想」的現象，而這是因為今天的LLM，以及所有生成性AI模型，是如何開發和訓練的。
訓練模型
生成性AI模型並不具備真正的智慧，它們是一種預測詞語、圖像、語音、音樂或其他數據的統計系統。通過提供大量的範例，通常來自公開網路。AI模型學習根據模式，包括周圍數據的上下文，預測數據發生的可能性。
例如，對於一封典型的以「期待中…」結尾的電子郵件，LLM可能會用「…期待收到回應」來完成它，這是根據它所訓練的無數封電子郵件的模式。這並不意味著LLM正在期待著什麼。
倫敦大學瑪麗女學院的博士研究生塞巴斯蒂安·伯恩斯在電子郵件訪談中告訴TechCrunch說：「當前的LLM訓練框架涉及對先前的單字進行上下文的掩蓋或『遮罩』，並讓模型預測應該替換被遮蓋單字的哪些詞。這在概念上類似於在iOS中使用預測文本，並持續按下建議的下一個詞之一」。
這種基於概率的方法在大規模情況下運作得非常好，大部分情況下都是如此。但儘管詞語和它們的概率範圍可能會導致有意義的文本，但準確性卻遠遠不足。
例如，LLM可能會生成語法正確但無意義的內容，就像有關金門大橋的主張。或者他們可能會說謊，傳播其訓練數據中的不準確資訊。或者他們可能會混合不同來源的訊息，包括虛構的來源，即使這些來源明顯相互矛盾。
這並不是LLM的惡意行為。它們沒有惡意，對他們來說真實和虛假的概念是毫無意義的。他們只是學會了將某些單詞或短語與某些概念聯繫起來，即使這些關聯並不準確。
伯恩斯表示：「『幻想』與LLM無法估計其自身預測的不確定性有關。LLM通常被訓練總是產生輸出，即使輸入與訓練數據非常不同。標準的LLM無法知道它是否能夠可靠地回答一個查詢或進行預測」。
解決幻想問題
問題是，「幻想能否被解決」？這取決於你對「解決」的理解。
艾倫人工智慧研究所的應用研究員和工程師Vu Ha主張，LLM「確實會，且將一直產生幻想」。但他還認為，根據LLM的訓練和部署方式，有具體的方法可以「減少」，而不是「消除」幻想。
他通過電子郵件說：「考慮一個問答系統。透過為問題和答案建立一個高品質的知識庫，並將該知識庫與LLM相結合，透過搜尋的過程提供準確的答案」。
哈用一個「高品質」知識庫和一個不太仔細的數據養護來區分LLM之間的差異。他將問題「《Toolformer論文》的作者是誰？」（Toolformer是由Meta訓練的AI模型）透過微軟的LLM動力Bing Chat和Google的Bard。Bing Chat正確地列出了所有八位Meta的合著者，而Bard則將該論文錯誤地歸因於Google和Hugging Face的研究人員。
哈說「任何部署且基於LLM的系統都會產生幻想。真正的問題是，幻想引起的負面結果是否超過了利益」。換句話說，如果模型沒有明顯的傷害，模型偶爾會錯誤地說錯日期或名字。但它在其他方面是有幫助的，那麼可能會值得進行權衡。他補充說：「這是關於最大化AI的預期效果的問題」。
伯恩斯指出了另一種在減少LLM幻想方面取得一定成功的技術：來自人類反饋的強化學習（RLHF）。OpenAI在2017年引入了RLHF，它涉及訓練LLM，然後收集額外的資訊來訓練「獎勵」模型，並透過強化學習來微調LLM。
在RLHF中，從預定數據集中經過LLM的一組提示詞被傳遞以生成新的文本。然後，使用人類標註者對LLM的輸出按其整體「幫助程度」進行排名，這些數據被用於訓練獎勵模型。該獎勵模型此時可以接受任何文本並為其分配人類認為給它的分數，然後用獎勵模型微調LLM的生成回應。
伯恩斯警告說，但即使RLHF也不是完美的，OpenAI也利用了RLHF來訓練其幾個模型，包括GPT-4。。
他說：「我認為可能太過於『調整』LLM與RLHF的空間，使其完全一致。在RLHF的設定中，通常做的一件事是訓練模型產生一個『我不知道』的答案（對於一個棘手的問題），主要依賴人類領域知識，並希望模型將其推廣到自己的領域知識。通常它會這樣做，但可能有點麻煩」。
替代哲學
假設幻想問題不能解決（至少在今天的LLM中是如此），那麼這是一件壞事嗎？實際上，伯恩斯並不這麼認為。幻想模型可能會通過作為「合作創造夥伴」來激發創造力，提供的輸出可能並不完全屬實，但仍然包含一些有用的想法。對於創意性的使用，「幻想」可以產生結果或想法的組合，這些結果或想法可能大多數人不會想到。
他表示：「如果生成的陳述在事實上不正確，或者違反了任何一般人類、社會或特定文化的價值觀，但在某些情況下，人們依賴LLM，那麼「幻想」是一個問題。但在創意或藝術工作中，能夠提供意想不到的輸出的能力可能是有價值的。人類可能會對查詢的回答感到驚訝，因此會被推向某種思維方向，這可能會導致想法的新聯繫」。
哈認為，如今的LLM被設置在一個不合理的標準下，就是人類也會「幻想」，畢竟，當我們記錯或扭曲事實時，我們也會這樣做。但是，對於LLM來說，我們之所以會產生認知上的不協調，是因為這些模型生成的輸出在表面上看起來很好，但經過進一步檢查後卻包含錯誤。
他說：「簡單地說，LLM，就像任何AI技術一樣，都是不完美的，因此會出現錯誤。傳統上，我們接受AI系統犯錯，因為我們預期並接受不完美。但是當LLM犯錯時，情況變得更加微妙」。事實上，答案可能不在生成性AI模型在技術層面上的工作方式上。就目前而言，對模型的預測持懷疑態度似乎是最佳方法。
新聞原址： https://techcrunch.com/2023/09/04/are-language-models-doomed-to-always-hallucinate/