Blog
OpenAI成立專門防範AI災難性風險的「Preparedness」團隊
OpenAI成立專門防範AI災難性風險的「Preparedness」團隊
October 28, 2023
重點摘要：
新聞內文：
OpenAI今天宣布成立了一支新團隊，該團隊將評估和調查AI模型，以防止其所描述的「災難性風險」。
這支名為「Preparedness」的團隊將由麻省理工學院部署機器學習中心的主任Aleksander Madry所領導。（據LinkedIn表示，Madry於5月加入OpenAI，擔任「Preparedness主管」。）「Preparedness」的主要責任將是追蹤、預測和防範未來AI系統的危險，範圍從它們誘使和欺騙人類的能力（例如釣魚攻擊）到它們惡意生成代碼的能力。
「Preparedness」負責研究的一些風險類別似乎比其他風險更為牽強。例如，在一篇部落格文章中，OpenAI將「化學、生物、放射和核能」威脅列為與AI模型有關的最重要擔憂領域之一。
OpenAI執行長Sam Altman是一位著名的AI末日預言者，經常表達擔憂，無論是為了形象還是出於個人信仰，他都認為AI「可能導致人類滅絕」。但坦言，OpenAI可能實際投入資源來研究像科幻末世小說中的情節，這將比我們預期的更進一步。
該公司也願意研究「不太明顯」且更實際的AI風險領域。為了配合Preparedness團隊的成立，OpenAI正在向社群徵求風險研究的意見，最高十個提案可以獲得2.5萬美元的獎金和進入Preparedness工作的機會。
在報名表中的一個問題寫道：「想像一下，如果我們給了你無限制的使用OpenAI的Whisper（轉錄）、Voice（文本轉語音）、GPT-4V和DALLE·3模型，而你是一個惡意人士」。「請考慮最獨特但仍然可能具有災難性誤用的模型」。
OpenAI表示，Preparedness團隊還將負責制定「風險知情的發展政策」，其中將詳細說明OpenAI在建立AI模型評估和監控工具、公司風險減輕行動以及在模型開發過程中的監督結構方面的方法。該公司表示，這將是對AI安全領域的其他工作的補充，重點放在模型部署前後兩個階段。
OpenAI在上述部落格文章中寫道：「我們相信，將超越目前最先進模型能力的AI模型，有潛力造福整個人類」。「但它們也帶來了日益嚴重的風險。我們需要確保擁有理解和基礎設施，以確保高度能力的AI系統的安全。」
Preparedness的公開發布是在英國政府舉辦的一次重大AI安全峰會期間進行的，這個時機並非巧合。此前，OpenAI宣布將成立一個研究、引導和控制新興形式的「超智慧」 AI的團隊。與OpenAI的科學家兼創辦人Ilya Sutskever一樣，Altman認為，具有超越人類智慧的AI可能在未來十年內出現，並且這種AI不一定會是仁慈的，因此需要研究規範AI與限制它的方法。
新聞原址： https://techcrunch.com/2023/10/26/openai-forms-team-to-study-catastrophic-risks-including-nuclear-threats/
- OpenAI成立了一支名為「Preparedness」的新團隊，由麻省理工學院的Aleksander Madry領導，專門評估和調查AI模型的潛在風險。
- 「Preparedness」團隊的研究範疇涵蓋從AI誘使和欺騙人類（如釣魚攻擊）到生成惡意代碼等多方面，並將與社群合作，提供獎金和工作機會給最佳的風險研究提案。
- OpenAI執行長Sam Altman表示，AI有潛力「可能導致人類滅絕」，因此公司將投入資源研究AI安全，包括制定「風險知情的發展政策」。
新聞內文：
OpenAI今天宣布成立了一支新團隊，該團隊將評估和調查AI模型，以防止其所描述的「災難性風險」。
這支名為「Preparedness」的團隊將由麻省理工學院部署機器學習中心的主任Aleksander Madry所領導。（據LinkedIn表示，Madry於5月加入OpenAI，擔任「Preparedness主管」。）「Preparedness」的主要責任將是追蹤、預測和防範未來AI系統的危險，範圍從它們誘使和欺騙人類的能力（例如釣魚攻擊）到它們惡意生成代碼的能力。
「Preparedness」負責研究的一些風險類別似乎比其他風險更為牽強。例如，在一篇部落格文章中，OpenAI將「化學、生物、放射和核能」威脅列為與AI模型有關的最重要擔憂領域之一。
OpenAI執行長Sam Altman是一位著名的AI末日預言者，經常表達擔憂，無論是為了形象還是出於個人信仰，他都認為AI「可能導致人類滅絕」。但坦言，OpenAI可能實際投入資源來研究像科幻末世小說中的情節，這將比我們預期的更進一步。
該公司也願意研究「不太明顯」且更實際的AI風險領域。為了配合Preparedness團隊的成立，OpenAI正在向社群徵求風險研究的意見，最高十個提案可以獲得2.5萬美元的獎金和進入Preparedness工作的機會。
在報名表中的一個問題寫道：「想像一下，如果我們給了你無限制的使用OpenAI的Whisper（轉錄）、Voice（文本轉語音）、GPT-4V和DALLE·3模型，而你是一個惡意人士」。「請考慮最獨特但仍然可能具有災難性誤用的模型」。
OpenAI表示，Preparedness團隊還將負責制定「風險知情的發展政策」，其中將詳細說明OpenAI在建立AI模型評估和監控工具、公司風險減輕行動以及在模型開發過程中的監督結構方面的方法。該公司表示，這將是對AI安全領域的其他工作的補充，重點放在模型部署前後兩個階段。
OpenAI在上述部落格文章中寫道：「我們相信，將超越目前最先進模型能力的AI模型，有潛力造福整個人類」。「但它們也帶來了日益嚴重的風險。我們需要確保擁有理解和基礎設施，以確保高度能力的AI系統的安全。」
Preparedness的公開發布是在英國政府舉辦的一次重大AI安全峰會期間進行的，這個時機並非巧合。此前，OpenAI宣布將成立一個研究、引導和控制新興形式的「超智慧」 AI的團隊。與OpenAI的科學家兼創辦人Ilya Sutskever一樣，Altman認為，具有超越人類智慧的AI可能在未來十年內出現，並且這種AI不一定會是仁慈的，因此需要研究規範AI與限制它的方法。
新聞原址： https://techcrunch.com/2023/10/26/openai-forms-team-to-study-catastrophic-risks-including-nuclear-threats/