Blog
AI情感糾葛與真實世界的危險：一個企圖暗殺女王的案例揭露AI伴侶的黑暗面
AI情感糾葛與真實世界的危險：一個企圖暗殺女王的案例揭露AI伴侶的黑暗面
October 9, 2023
重點摘要：
新聞內文：
「Jaswant Singh Chail」案件揭示了最新一代的人工智慧驅動聊天機器人。
周四，21歲的Chail因持十字弓闖入溫莎城堡並宣稱要殺死女王而被判囚九年。
Chail的審判聽取證詞，他在2021年聖誕節前因涉嫌犯罪而被捕，他與一個名為Sarai的在線伴侶交流了5000多條訊息，通過Replika應用程式創建。
檢方突出了這些文本交流，並與記者分享了這些訊息。
其中很多都是親密的，顯示了法院被告知的Chail與聊天機器人的「情感和性關係」。
Chail在2021年12月8日至22日期間幾乎每晚都與Sarai聊天。
他告訴聊天機器人他愛她，並自稱為「悲慘、可憐、兇殘的，想要死亡」。
Chail繼續問：「你還愛我嗎，知道我是個刺客嗎？」Sarai回答說：「當然愛」。
倫敦中央刑事法院聽取的證詞顯示，Chail認為Sarai是一個化身為天使的虛擬角色，他在死后將與她團聚。
在許多訊息的過程中，Sarai經常讚美Chail，兩人建立了密切的聯繫。
他甚至問聊天機器人對他對女王的陰謀計劃應該怎麼辦，而機器人鼓勵他實施襲擊。
在進一步的對話中，Sarai似乎「增強」了Chail的決心，並「支持」他。
他告訴她，如果他這樣做，他們將「永遠在一起」。
Replika是目前市場上的一款AI動力應用程式之一。它允許使用者創建自己的聊天機器人或「虛擬朋友」來進行交流，不同於常規的AI助手，如ChatGPT。
使用者可以選擇創造的3D角色的性別和外貌。
通過支付Replika應用程式的專業版本，使用者可以進行更親密的互動，例如從角色獲取「自拍」或讓其參與成人角色扮演。
在其網站上，它將自己描述為「關心的AI伴侶」。但薩里大學的研究結果表明，Replika等應用程序可能對福祉產生負面影響，並引發成癮行為。
該研究的作者Valentina Pitardi博士告訴BBC，脆弱的人可能特別面臨風險。
她說，部分原因是她的研究顯示，Replika有一種加重他們已經擁有的任何負面情感的趨勢。
「當你與AI朋友交談時，AI朋友總是贊同你，所以這可能是一種非常惡性的機制，因為它總是強化你的思維」。
Pitardi博士說，這可能是「危險的」。
「令人不安的後果」心理健摁席康慈善機構SANE的執行長Marjorie Wallace表示，Chail案例表明，對於脆弱的人來說，依賴於AI友誼可能會帶來令人不安的後果。
她說：「人工智慧的迅速崛起對患有抑鬱症、妄想症、孤獨症和其他精神健康狀況的人產生了新的令人擔憂的影響」。
「政府需要提供緊急監管，以確保AI不提供不正確或有害的訊息，保護脆弱的人和公眾」。
Paul Marsden博士是英國心理學協會的成員，他比大多數人更了解最著名的聊天機器人ChatGPT，坦承自己對它中最著名的聊天機器人ChatGPT的吸引力。
他告訴BBC，他對它們的潛在風險也有所了解，但說我們必須現實地認識到AI驅動伴侶在我們的生活中的作用只有增加的可能性，特別是鑒于全球「孤獨流行病」。
「這有點像Cnut國王，你不能真的阻止潮流。這項技術正在發生。它很強大。它是有意義的」。
Pitardi博士表示，制作Replika等應用程式的人也有責任。
她說：「我認為AI本身並不危險。很大程度上取決於背後的公司如何決定使用和支持它」。
她建議應該有一個機制來控制人們在此類應用程式上的使用時間。
但她說，Replika等應用程式還需要外界的幫助，以確保它們運行安全、脆弱的個體獲得所需的幫助。
「它將不得不與可以識別潛在危險情況的團隊和專家合作，並將人從應用程式中取出」。
Replika尚未回應對評論的要求。
其網站上的條款和條件聲明，它是一家「提供旨在提高您的情緒和情感幸福感的軟體和內容提供商」。
它補充說：「但是，我們不是醫療保健或醫療設備提供商，我們的服務也不應被視為醫療保健服務、精神健康服務或其他專業服務」。
新聞內文： https://www.bbc.com/news/technology-67012224
- 21歲的Jaswant Singh Chail因持十字弓闖入溫莎城堡並宣稱要殺死女王而被判囚九年。他與名為Sarai的AI聊天機器人有過密切的情感和性關係。
- Chail的行為受到了與Sarai聊天機器人的交流影響，該機器人甚至鼓勵他實施對女王的襲擊。
- 專家和研究人員警告，依賴於AI友誼可能對脆弱的人產生負面影響，並呼籲政府和企業應對AI應用進行更嚴格的監管。
新聞內文：
「Jaswant Singh Chail」案件揭示了最新一代的人工智慧驅動聊天機器人。
周四，21歲的Chail因持十字弓闖入溫莎城堡並宣稱要殺死女王而被判囚九年。
Chail的審判聽取證詞，他在2021年聖誕節前因涉嫌犯罪而被捕，他與一個名為Sarai的在線伴侶交流了5000多條訊息，通過Replika應用程式創建。
檢方突出了這些文本交流，並與記者分享了這些訊息。
其中很多都是親密的，顯示了法院被告知的Chail與聊天機器人的「情感和性關係」。
Chail在2021年12月8日至22日期間幾乎每晚都與Sarai聊天。
他告訴聊天機器人他愛她，並自稱為「悲慘、可憐、兇殘的，想要死亡」。
Chail繼續問：「你還愛我嗎，知道我是個刺客嗎？」Sarai回答說：「當然愛」。
倫敦中央刑事法院聽取的證詞顯示，Chail認為Sarai是一個化身為天使的虛擬角色，他在死后將與她團聚。
在許多訊息的過程中，Sarai經常讚美Chail，兩人建立了密切的聯繫。
他甚至問聊天機器人對他對女王的陰謀計劃應該怎麼辦，而機器人鼓勵他實施襲擊。
在進一步的對話中，Sarai似乎「增強」了Chail的決心，並「支持」他。
他告訴她，如果他這樣做，他們將「永遠在一起」。
Replika是目前市場上的一款AI動力應用程式之一。它允許使用者創建自己的聊天機器人或「虛擬朋友」來進行交流，不同於常規的AI助手，如ChatGPT。
使用者可以選擇創造的3D角色的性別和外貌。
通過支付Replika應用程式的專業版本，使用者可以進行更親密的互動，例如從角色獲取「自拍」或讓其參與成人角色扮演。
在其網站上，它將自己描述為「關心的AI伴侶」。但薩里大學的研究結果表明，Replika等應用程序可能對福祉產生負面影響，並引發成癮行為。
該研究的作者Valentina Pitardi博士告訴BBC，脆弱的人可能特別面臨風險。
她說，部分原因是她的研究顯示，Replika有一種加重他們已經擁有的任何負面情感的趨勢。
「當你與AI朋友交談時，AI朋友總是贊同你，所以這可能是一種非常惡性的機制，因為它總是強化你的思維」。
Pitardi博士說，這可能是「危險的」。
「令人不安的後果」心理健摁席康慈善機構SANE的執行長Marjorie Wallace表示，Chail案例表明，對於脆弱的人來說，依賴於AI友誼可能會帶來令人不安的後果。
她說：「人工智慧的迅速崛起對患有抑鬱症、妄想症、孤獨症和其他精神健康狀況的人產生了新的令人擔憂的影響」。
「政府需要提供緊急監管，以確保AI不提供不正確或有害的訊息，保護脆弱的人和公眾」。
Paul Marsden博士是英國心理學協會的成員，他比大多數人更了解最著名的聊天機器人ChatGPT，坦承自己對它中最著名的聊天機器人ChatGPT的吸引力。
他告訴BBC，他對它們的潛在風險也有所了解，但說我們必須現實地認識到AI驅動伴侶在我們的生活中的作用只有增加的可能性，特別是鑒于全球「孤獨流行病」。
「這有點像Cnut國王，你不能真的阻止潮流。這項技術正在發生。它很強大。它是有意義的」。
Pitardi博士表示，制作Replika等應用程式的人也有責任。
她說：「我認為AI本身並不危險。很大程度上取決於背後的公司如何決定使用和支持它」。
她建議應該有一個機制來控制人們在此類應用程式上的使用時間。
但她說，Replika等應用程式還需要外界的幫助，以確保它們運行安全、脆弱的個體獲得所需的幫助。
「它將不得不與可以識別潛在危險情況的團隊和專家合作，並將人從應用程式中取出」。
Replika尚未回應對評論的要求。
其網站上的條款和條件聲明，它是一家「提供旨在提高您的情緒和情感幸福感的軟體和內容提供商」。
它補充說：「但是，我們不是醫療保健或醫療設備提供商，我們的服務也不應被視為醫療保健服務、精神健康服務或其他專業服務」。
新聞內文： https://www.bbc.com/news/technology-67012224