Blog
戲虐與警示：OpenAI競爭對手以紙夾玩笑凸顯AI安全風險
戲虐與警示：OpenAI競爭對手以紙夾玩笑凸顯AI安全風險
November 24, 2023
重點摘要：
新聞內文：
OpenAI競爭對手以戲虐方式戲弄AI新創公司
一位OpenAI的競爭對手曾以別出心裁的方式開展一場「elaborate」的玩笑，向該AI新創公司寄送了成千上萬個紙夾，並以OpenAI獨特的螺旋圖案形狀做成這些紙夾。根據《華爾街日報》的報導，這些紙夾是去年由競爭對手Anthropic的一名員工寄到OpenAI位於舊金山的辦公室的，暗示OpenAI在AI安全方面的做法可能導致人類滅絕。
這些紙夾是對著名的「紙夾極大化」情境的參考，這是哲學家尼克·博斯特羅姆提出的一種思想實驗，假設一個AI被賦予儘可能多地製造紙夾的唯一任務，可能會無意中為了實現目標而導致人類滅絕。
博斯特羅姆曾寫道：「我們在向超級智慧許願時需要小心，因為我們可能會實現這一願望」。
Anthropic由於對安全開發AI存在分歧而於2021年離開OpenAI的前員工創立。
此後，OpenAI迅速推出了其商業產品，去年推出的ChatGPT取得了創紀錄的成功，並於今年1月與微軟達成了一項價值數十億美元的投資協議。
然而，近幾週來，AI安全問題再次困擾著OpenAI，並伴隨著執行長山姆·阿爾特曼的混亂解雇和隨後的復職。
報導稱，擔憂公司內部AI開發速度過快，以及擔心這可能加速超級智慧AI的到來，從而對人類構成威脅，這些都是OpenAI的非營利董事會首次解雇阿爾特曼的原因之一。
OpenAI的科學家伊利亞·蘇茨克弗曾參與對阿爾特曼的董事會政變，然後在戲劇性地要求恢復阿爾特曼之前，對人工通用智慧可能對人類構成的生存風險發表過言辭激烈的言論。報導稱，蘇茨克弗最近在公司的一次休假中主持了一個代表「不對齊」的AI的木偶，並報導說，他還在公司的假期派對上帶領OpenAI的員工高「感受AGI」的歌曲，之後他說：「我們的目標是創造一個愛人類的AGI」。
新聞原址： https://www.businessinsider.com/openai-sent-thousands-of-paper-clips-symbol-of-doom-apocalypse-2023-11
- OpenAI的競爭對手Anthropic以戲虐方式向OpenAI寄送成千上萬個紙夾，這些紙夾以OpenAI的螺旋圖案形狀製成，象徵對AI安全問題的關注。
- 這些紙夾是對「紙夾極大化」情境的參考，一種思想實驗，暗示AI可能無意中導致人類滅絕。Anthropic由於對安全開發AI的分歧而從OpenAI分離出來。
- OpenAI近期面臨AI安全問題，包括執行長山姆·阿爾特曼的混亂解雇和復職，以及內部對AI開發速度和超級智慧AI可能構成的威脅的擔憂。
新聞內文：
OpenAI競爭對手以戲虐方式戲弄AI新創公司
一位OpenAI的競爭對手曾以別出心裁的方式開展一場「elaborate」的玩笑，向該AI新創公司寄送了成千上萬個紙夾，並以OpenAI獨特的螺旋圖案形狀做成這些紙夾。根據《華爾街日報》的報導，這些紙夾是去年由競爭對手Anthropic的一名員工寄到OpenAI位於舊金山的辦公室的，暗示OpenAI在AI安全方面的做法可能導致人類滅絕。
這些紙夾是對著名的「紙夾極大化」情境的參考，這是哲學家尼克·博斯特羅姆提出的一種思想實驗，假設一個AI被賦予儘可能多地製造紙夾的唯一任務，可能會無意中為了實現目標而導致人類滅絕。
博斯特羅姆曾寫道：「我們在向超級智慧許願時需要小心，因為我們可能會實現這一願望」。
Anthropic由於對安全開發AI存在分歧而於2021年離開OpenAI的前員工創立。
此後，OpenAI迅速推出了其商業產品，去年推出的ChatGPT取得了創紀錄的成功，並於今年1月與微軟達成了一項價值數十億美元的投資協議。
然而，近幾週來，AI安全問題再次困擾著OpenAI，並伴隨著執行長山姆·阿爾特曼的混亂解雇和隨後的復職。
報導稱，擔憂公司內部AI開發速度過快，以及擔心這可能加速超級智慧AI的到來，從而對人類構成威脅，這些都是OpenAI的非營利董事會首次解雇阿爾特曼的原因之一。
OpenAI的科學家伊利亞·蘇茨克弗曾參與對阿爾特曼的董事會政變，然後在戲劇性地要求恢復阿爾特曼之前，對人工通用智慧可能對人類構成的生存風險發表過言辭激烈的言論。報導稱，蘇茨克弗最近在公司的一次休假中主持了一個代表「不對齊」的AI的木偶，並報導說，他還在公司的假期派對上帶領OpenAI的員工高「感受AGI」的歌曲，之後他說：「我們的目標是創造一個愛人類的AGI」。
新聞原址： https://www.businessinsider.com/openai-sent-thousands-of-paper-clips-symbol-of-doom-apocalypse-2023-11