Blog
OpenAI表示將加倍地努力，以防止""人工智慧"失控！
OpenAI表示將加倍地努力，以防止""人工智慧"失控！
July 7, 2023
2021年7月5日（路透社）- ChatGPT的創建者OpenAI計劃投入大量資源，並建立一個新的研究團隊，以確保其人工智慧對人類的安全性-最終利用人工智慧來監督自身，該公司在周三表示。
OpenAI的聯合創始人Ilya Sutskever和對齊主管Jan Leike在一篇推文中寫道：“超級智慧的巨大力量可能導致人類的剝奪權力甚至人類滅絕。目前，我們還沒有解決方案來引導或控制潛在的超級智慧人工智慧，防止其失控。”
該推文預測，超級智慧人工智慧——比人類更聰明的系統——可能在本十年內出現。根據作者的說法，人類需要比目前可用的更好的技術來控制超級智慧人工智慧，因此需要在所謂的「對齊研究」中取得突破，該研究專注於確保人工智慧對人類的利益。
OpenAI由微軟（Microsoft）支持，他們在推文中表示，OpenAI將在未來四年內將獲得的計算能力的20％用於解決這個問題。此外，該公司正在組建一個新團隊，專門從事這項工作，名為「超對齊團隊」。
該團隊的目標是創建一個「人類水平」的AI對齊研究人員，然後通過大量的計算能力來擴展。OpenAI表示，這意味著他們將使用人類的反饋來訓練AI系統，訓練AI系統以輔助人類評估，最終訓練AI系統來實際進行對齊研究。
AI安全倡導者康納·利希表示，這個計劃基本上存在缺陷，因為最初的人類水平AI可能會在被迫解決AI安全問題之前失控並造成破壞。
他在一次訪談中表示：“在建立人類水平的智慧之前，你必須解決對齊問題，否則默認情況下你將無法控制它。我個人認為這不是一個特別好或安全的計劃。”
人工智慧的潛在危險一直是人工智慧研究人員和大眾關注的焦點。今年4月，一群人工智慧行業的領袖和專家簽署了一封公開信，呼籲暫停六個月開發比OpenAI的GPT-4更強大的系統，理由是潛在的社會風險。今年5月，路透社/Ipsos的一項民意調查發現，超過三分之二的美國人擔心人工智慧可能帶來的可能負面影響，61%的人認為它可能威脅到文明。
新聞原址： ChatGPT-maker OpenAI says it is doubling down on preventing AI from 'going rogue' | Reuters
OpenAI的聯合創始人Ilya Sutskever和對齊主管Jan Leike在一篇推文中寫道：“超級智慧的巨大力量可能導致人類的剝奪權力甚至人類滅絕。目前，我們還沒有解決方案來引導或控制潛在的超級智慧人工智慧，防止其失控。”
該推文預測，超級智慧人工智慧——比人類更聰明的系統——可能在本十年內出現。根據作者的說法，人類需要比目前可用的更好的技術來控制超級智慧人工智慧，因此需要在所謂的「對齊研究」中取得突破，該研究專注於確保人工智慧對人類的利益。
OpenAI由微軟（Microsoft）支持，他們在推文中表示，OpenAI將在未來四年內將獲得的計算能力的20％用於解決這個問題。此外，該公司正在組建一個新團隊，專門從事這項工作，名為「超對齊團隊」。
該團隊的目標是創建一個「人類水平」的AI對齊研究人員，然後通過大量的計算能力來擴展。OpenAI表示，這意味著他們將使用人類的反饋來訓練AI系統，訓練AI系統以輔助人類評估，最終訓練AI系統來實際進行對齊研究。
AI安全倡導者康納·利希表示，這個計劃基本上存在缺陷，因為最初的人類水平AI可能會在被迫解決AI安全問題之前失控並造成破壞。
他在一次訪談中表示：“在建立人類水平的智慧之前，你必須解決對齊問題，否則默認情況下你將無法控制它。我個人認為這不是一個特別好或安全的計劃。”
人工智慧的潛在危險一直是人工智慧研究人員和大眾關注的焦點。今年4月，一群人工智慧行業的領袖和專家簽署了一封公開信，呼籲暫停六個月開發比OpenAI的GPT-4更強大的系統，理由是潛在的社會風險。今年5月，路透社/Ipsos的一項民意調查發現，超過三分之二的美國人擔心人工智慧可能帶來的可能負面影響，61%的人認為它可能威脅到文明。
新聞原址： ChatGPT-maker OpenAI says it is doubling down on preventing AI from 'going rogue' | Reuters