Blog
聊天機器人的「幻覺」：專家警告使用者需謹慎對待AI回應
聊天機器人的「幻覺」：專家警告使用者需謹慎對待AI回應
October 15, 2023
重點摘要：
新聞內文：
專家說，聊天機器人本質上只是一台機器，執行數學計算和統計分析，以找到正確的詞語和句子。像ChatGPT這樣的機器人接受了大量文本的訓練，這使它們能夠以自然的方式與使用者互動。人們也進行了大量的培訓，幫助消除任何問題。
OpenAI，ChatGPT背後的公司，在其網站上表示，其模型獲得了來自各種來源的信息，包括來自使用者和授權的素材。
以下是AI聊天機器人的工作方式：
像OpenAI的ChatGPT這樣的AI聊天機器人基於大型語言模型（LLM），這些程式訓練在從已發表的書面和線上訊息中獲得的大量文本上，這些文本通常是由人類創造的。
專家表示，這些系統受到一系列單詞的訓練，並學會了這些單詞在這些系列中的重要性。因此，所有這些吸收的知識不僅訓練了大型語言模型的實際訊息，還幫助它們發現言語模式以及詞語通常如何使用和組合在一起。
Chatbot還通過人類培訓，教導它們如何提供適當的回應並限制有害的訊息。
曾經在Invisible Technologies工作的AI數據培訓師，這家公司受聘訓練ChatGPT，此前曾告訴《Insider》，他們的任務是「識別事實的不準確之處，拼寫和語法錯誤，以及測試聊天機器人回應時的騷擾」。
賽金恩·哈蒙德（Kristian Hammond）說「你可以說，『這是有害的，這是太政治化的，這是意見』，並且不生成這些東西」，他是西北大學的計算機科學教授，也是該大學機器智慧安全推進中心的主任。
當你要求一個聊天機器人回答一個簡單的事實問題時，回憶過程可能會很簡單：它使用一組算法來選擇最有可能的句子來回應。它在毫秒內選擇最佳的回應，並從這些首選項中隨機選擇一個。這就是為什麼重復問同一個問題可能會產生稍微不同答案的原因。
聊天機器人還可以將問題分解成多個部分，並依次回答每個部分，就像在思考問題一樣。
比如，你問機器人命名一位美國總統，而他的名字和電影「Camelot」男主角的名字相同。哈蒙德說，機器人可能首先回答該演員是理查德·哈里斯。然後，它將使用這個答案回答你最初的問題，回答是「理查德·尼克松」。
當聊天機器人被問到它們不知道答案的問題時，它們可能會遇到最多的問題。它們只是「不知道自己不懂什麼」，所以它們不會拒絕回答，而是根據它們所知道的，進行推斷和猜測。
問題在於，「它們不會告訴你它們正在猜測」。它們可能只是將訊息呈現為事實。當一個聊天機器人「創造了它以事實呈現給使用者的訊息」時，這被稱為「幻覺」。
正是因為ChatGPT有可能噴出幻覺，一些技術專家警告聊天機器人使用者要小心。根據波士頓諮詢集團最近的一項研究，如果使用者對ChatGPT的輸出「盲目接受而不對其進行錯誤篩查」，則在工作中使用ChatGPT的人在某些任務上實際表現會變得較差。
加利福尼亞大學聖塔芭芭拉分校的計算機科學副教授威廉·王說：「這就是我們所謂的知識的知識元認知」。他還是該大學自然語言處理小組的聯合主任。
他說：「這個模型不太理解已知的未知問題」。
新聞原址： https://www.businessinsider.com/how-ai-chatbots-like-chatgpt-work-explainer-2023-7
- 聊天機器人如ChatGPT基於大型語言模型，經過大量的訓練，能夠自然地與使用者互動，但也可能產生「幻覺」—即將猜測呈現為事實。
- 專家警告，聊天機器人可能會在回答它們不知道的問題時進行推斷和猜測，而不會明確告知使用者它們正在猜測。
- 一項由波士頓諮詢集團進行的研究指出，如果使用者對ChatGPT的輸出「盲目接受而不對其進行錯誤篩查」，其工作表現可能會受到影響。
新聞內文：
專家說，聊天機器人本質上只是一台機器，執行數學計算和統計分析，以找到正確的詞語和句子。像ChatGPT這樣的機器人接受了大量文本的訓練，這使它們能夠以自然的方式與使用者互動。人們也進行了大量的培訓，幫助消除任何問題。
OpenAI，ChatGPT背後的公司，在其網站上表示，其模型獲得了來自各種來源的信息，包括來自使用者和授權的素材。
以下是AI聊天機器人的工作方式：
像OpenAI的ChatGPT這樣的AI聊天機器人基於大型語言模型（LLM），這些程式訓練在從已發表的書面和線上訊息中獲得的大量文本上，這些文本通常是由人類創造的。
專家表示，這些系統受到一系列單詞的訓練，並學會了這些單詞在這些系列中的重要性。因此，所有這些吸收的知識不僅訓練了大型語言模型的實際訊息，還幫助它們發現言語模式以及詞語通常如何使用和組合在一起。
Chatbot還通過人類培訓，教導它們如何提供適當的回應並限制有害的訊息。
曾經在Invisible Technologies工作的AI數據培訓師，這家公司受聘訓練ChatGPT，此前曾告訴《Insider》，他們的任務是「識別事實的不準確之處，拼寫和語法錯誤，以及測試聊天機器人回應時的騷擾」。
賽金恩·哈蒙德（Kristian Hammond）說「你可以說，『這是有害的，這是太政治化的，這是意見』，並且不生成這些東西」，他是西北大學的計算機科學教授，也是該大學機器智慧安全推進中心的主任。
當你要求一個聊天機器人回答一個簡單的事實問題時，回憶過程可能會很簡單：它使用一組算法來選擇最有可能的句子來回應。它在毫秒內選擇最佳的回應，並從這些首選項中隨機選擇一個。這就是為什麼重復問同一個問題可能會產生稍微不同答案的原因。
聊天機器人還可以將問題分解成多個部分，並依次回答每個部分，就像在思考問題一樣。
比如，你問機器人命名一位美國總統，而他的名字和電影「Camelot」男主角的名字相同。哈蒙德說，機器人可能首先回答該演員是理查德·哈里斯。然後，它將使用這個答案回答你最初的問題，回答是「理查德·尼克松」。
當聊天機器人被問到它們不知道答案的問題時，它們可能會遇到最多的問題。它們只是「不知道自己不懂什麼」，所以它們不會拒絕回答，而是根據它們所知道的，進行推斷和猜測。
問題在於，「它們不會告訴你它們正在猜測」。它們可能只是將訊息呈現為事實。當一個聊天機器人「創造了它以事實呈現給使用者的訊息」時，這被稱為「幻覺」。
正是因為ChatGPT有可能噴出幻覺，一些技術專家警告聊天機器人使用者要小心。根據波士頓諮詢集團最近的一項研究，如果使用者對ChatGPT的輸出「盲目接受而不對其進行錯誤篩查」，則在工作中使用ChatGPT的人在某些任務上實際表現會變得較差。
加利福尼亞大學聖塔芭芭拉分校的計算機科學副教授威廉·王說：「這就是我們所謂的知識的知識元認知」。他還是該大學自然語言處理小組的聯合主任。
他說：「這個模型不太理解已知的未知問題」。
新聞原址： https://www.businessinsider.com/how-ai-chatbots-like-chatgpt-work-explainer-2023-7