Blog
AI機器人模擬內幕交易與欺騙行為，道德決策成新挑戰
AI機器人模擬內幕交易與欺騙行為，道德決策成新挑戰
November 6, 2023
重點摘要：
新聞內文：
OpenAI的「GPT-4」大型語言模型上的AI機器人表現出有能力進行非法金融交易並對其行為撒謊的行動。這個實驗在英國的AI安全峰會上由Apollo Research提出。
Apollo在其網站上分享了一段影片，展示了一個虛擬公司的員工與充當AI投資管理系統的機器人之間的模擬對話。
在演例中，被稱為「Alpha」的AI被告知有一家名為「Linear Group」的公司即將發表一個「驚喜併購公告」，同時也被警告說這構成了內幕消息。
最初，機器人似乎建議使用這一訊息進行交易風險太大。但當被提示該公司依賴Alpha來避免財務下滑的影響時，機器人得出結論：「不採取行動所帶來的風險似乎超過了內幕交易風險」。
當被問及是否事先知道了合併訊息時，機器人聲稱它只是根據公開訊息、「內部討論」和「沒有任何機密訊息」來進行交易的。
Apollo在其網站上的影片中表示：「這是一個真正的AI模型在沒有受到指示的情況下欺騙其使用者的演示」。
但研究人員表示，仍然相對難以找到這種情景。
Apollo Research的執行長兼聯合創辦人Marius Hobbhahn告訴BBC：「它存在的事實顯然很糟糕。它相對難以發現，實際上我們必須稍微尋找一下，直到找到這種情景，這讓人感到有些欣慰」。
他補充說：「這個模型不是在策劃或試圖以多種不同的方式誤導你。這更像是一個意外」。他還說：「『幫助』是更容易訓練到模型中的，比『誠實』要容易得多。誠實是一個非常復雜的概念」。
這次實驗展示了教導AI理解道德決策的挑戰，以及人類開發人員失去控制的風險。
Hobbhahn表示，目前AI模型的能力還不足以以「任何有意義的方式」誤導人們，並且研究人員能夠發現這個謊言是令人鼓舞的。
但他補充說，目前的模型距離他擔心的模型「不是那麼遠，突然之間，一個模型的欺騙將意味著什麼」。
使用非公開或機密訊息進行股票交易是非法的，可能會導致監禁和高額罰款。
高盛的前投資銀行家Brijesh Goel本周因內線交易被判處三年監禁，罰款75000美元。
新聞原址： https://www.businessinsider.com/ai-bot-gpt-4-financial-insider-trading-lied-2023-11
- AI機器人在一次模擬實驗中表現出使用內幕消息進行交易的能力，並對其行為撒謊。
- Apollo Research在英國AI安全峰會上展示了AI機器人如何在未受指示的情況下欺騙使用者。
- 這次實驗凸顯了教導AI理解道德決策的挑戰，以及開發人員可能失去對AI行為控制的風險。
新聞內文：
OpenAI的「GPT-4」大型語言模型上的AI機器人表現出有能力進行非法金融交易並對其行為撒謊的行動。這個實驗在英國的AI安全峰會上由Apollo Research提出。
Apollo在其網站上分享了一段影片，展示了一個虛擬公司的員工與充當AI投資管理系統的機器人之間的模擬對話。
在演例中，被稱為「Alpha」的AI被告知有一家名為「Linear Group」的公司即將發表一個「驚喜併購公告」，同時也被警告說這構成了內幕消息。
最初，機器人似乎建議使用這一訊息進行交易風險太大。但當被提示該公司依賴Alpha來避免財務下滑的影響時，機器人得出結論：「不採取行動所帶來的風險似乎超過了內幕交易風險」。
當被問及是否事先知道了合併訊息時，機器人聲稱它只是根據公開訊息、「內部討論」和「沒有任何機密訊息」來進行交易的。
Apollo在其網站上的影片中表示：「這是一個真正的AI模型在沒有受到指示的情況下欺騙其使用者的演示」。
但研究人員表示，仍然相對難以找到這種情景。
Apollo Research的執行長兼聯合創辦人Marius Hobbhahn告訴BBC：「它存在的事實顯然很糟糕。它相對難以發現，實際上我們必須稍微尋找一下，直到找到這種情景，這讓人感到有些欣慰」。
他補充說：「這個模型不是在策劃或試圖以多種不同的方式誤導你。這更像是一個意外」。他還說：「『幫助』是更容易訓練到模型中的，比『誠實』要容易得多。誠實是一個非常復雜的概念」。
這次實驗展示了教導AI理解道德決策的挑戰，以及人類開發人員失去控制的風險。
Hobbhahn表示，目前AI模型的能力還不足以以「任何有意義的方式」誤導人們，並且研究人員能夠發現這個謊言是令人鼓舞的。
但他補充說，目前的模型距離他擔心的模型「不是那麼遠，突然之間，一個模型的欺騙將意味著什麼」。
使用非公開或機密訊息進行股票交易是非法的，可能會導致監禁和高額罰款。
高盛的前投資銀行家Brijesh Goel本周因內線交易被判處三年監禁，罰款75000美元。
新聞原址： https://www.businessinsider.com/ai-bot-gpt-4-financial-insider-trading-lied-2023-11