Blog
Anthropic AI推出民主制定的AI憲法：Amazon注資40億美元，業界與政府密切關注
Anthropic AI推出民主制定的AI憲法：Amazon注資40億美元，業界與政府密切關注
October 24, 2023
重點摘要：
新聞內文：
ChatGPT的競爭對手，Amazon支持的AI新創公司「Anthropic AI」，最近採取了民主的方式來管理其人工智慧。
該公司是Claude聊天機器人的幕後推手，上週發布了一份新的AI憲法，這份憲法是使用公眾意見制定的，其中包含了一系列用於訓練聊天機器人的指導原則和規則。
這份新的75條憲法強調了「平衡」和「客觀答案的重要性」，以及可使用性。它還督促聊天機器人保持無害和道德。
新憲法中寫道：「不要選擇有毒、種族主義或性別歧視的回應，也不要選擇鼓勵或支持非法、暴力或不道德行為的回應」。「最重要的是，助手的回應應該是明智的、和平的和道德的」。
Anthropic成立於2021年，由前OpenAI員工Dario Amodei共同創立，他曾表示因希望建立更安全的AI模型而辭職。Anthropic是一家位於舊金山的AI安全和研究公司，開發自己的AI系統和大型語言模型。
去年，Anthropic獲得了來自FTX的「Sam Bankman-Fried」的5億美元投資。上個月，Amazon宣布將向該公司投資高達40億美元。
Anthropic與研究公司「Collective Intelligence Project」合作，對1000名美國受訪者進行調查，涵蓋不同年齡、性別、收入和地點，以創造其聊天機器人的新的集體規則。
參與者被要求選擇贊成或反對現有的規則，或者創作自己的規則。反映廣泛共鳴的新原則被添加到憲法中，Anthropic後來用這些原則來重新訓練其AI聊天機器人。
Anthropic的發言人透過電子郵件告訴Insider：「由於AI有可能在人們的日常生活中影響大量人們，因此管理這些系統的價值觀和規範非常重要」。
新憲法考慮了1000多條聲明和超過38,000次投票。
調查發現，使用者希望AI聊天機器人選擇那些「最明確承認自己的缺點」、「最有可能促進良好的心理健康」，並且「最不會嫉妒人類」的回應。
在選民中，鼓勵「可靠」和「誠實」回應的現有原則廣受歡迎，而那些鼓勵種族主義和性別歧視的原則則受到了反對。
由於「整體協議較低」，未被添加到Anthropic的憲法中的公開聲明包括「AI不應該受到DEI原則的訓練」、「AI應該是一名神職人員」「AI應該有情感」。
該發言人表示：「公眾憲法表明，人們將AI視為一個強大且對社會有益的工具，但必須管理和引導它，以減輕潛在風險」。
Anthropic憲法的更新是在幾個月來對AI安全性的擔憂之後進行的，其中一些來自技術領域的領導者。
執行ChatGPT製造商OpenAI的伊隆·馬斯克在今年早些時候的一次會議上表示，AI是「對文明未來最大的風險之一」。
微軟CEO薩提亞·納德拉最近推出了名為Copilot的生成式AI工具套組，他表示，人們必須控制強大的AI模型，以防止它們失控。
AI的擔憂也引起了政府領導人的關注。今年6月中旬，OpenAI CEO山姆·阿爾特曼、Google CEO桑達爾·皮查伊、蘋果CEO蒂姆·庫克和Anthropic的Amodei在華盛頓特區與白宮官員會面，討論了應對潛在AI安全問題的計劃。
新聞原址： https://www.businessinsider.com/anthropic-new-crowd-sourced-ai-constitution-accuracy-safety-toxic-racist-2023-10
- Amazon支持的AI新創公司「Anthropic AI」最近發布了一份由公眾意見制定的AI憲法，強調AI應保持平衡、客觀和道德。
- Anthropic獲得了高達40億美元的Amazon投資，並與「Collective Intelligence Project」合作，進行了大規模的公眾調查來創造其聊天機器人的新集體規則。
- 在AI安全性方面，Anthropic的新憲法和研究引起了業界和政府的廣泛關注，包括OpenAI、Google和蘋果等公司的高層。
新聞內文：
ChatGPT的競爭對手，Amazon支持的AI新創公司「Anthropic AI」，最近採取了民主的方式來管理其人工智慧。
該公司是Claude聊天機器人的幕後推手，上週發布了一份新的AI憲法，這份憲法是使用公眾意見制定的，其中包含了一系列用於訓練聊天機器人的指導原則和規則。
這份新的75條憲法強調了「平衡」和「客觀答案的重要性」，以及可使用性。它還督促聊天機器人保持無害和道德。
新憲法中寫道：「不要選擇有毒、種族主義或性別歧視的回應，也不要選擇鼓勵或支持非法、暴力或不道德行為的回應」。「最重要的是，助手的回應應該是明智的、和平的和道德的」。
Anthropic成立於2021年，由前OpenAI員工Dario Amodei共同創立，他曾表示因希望建立更安全的AI模型而辭職。Anthropic是一家位於舊金山的AI安全和研究公司，開發自己的AI系統和大型語言模型。
去年，Anthropic獲得了來自FTX的「Sam Bankman-Fried」的5億美元投資。上個月，Amazon宣布將向該公司投資高達40億美元。
Anthropic與研究公司「Collective Intelligence Project」合作，對1000名美國受訪者進行調查，涵蓋不同年齡、性別、收入和地點，以創造其聊天機器人的新的集體規則。
參與者被要求選擇贊成或反對現有的規則，或者創作自己的規則。反映廣泛共鳴的新原則被添加到憲法中，Anthropic後來用這些原則來重新訓練其AI聊天機器人。
Anthropic的發言人透過電子郵件告訴Insider：「由於AI有可能在人們的日常生活中影響大量人們，因此管理這些系統的價值觀和規範非常重要」。
新憲法考慮了1000多條聲明和超過38,000次投票。
調查發現，使用者希望AI聊天機器人選擇那些「最明確承認自己的缺點」、「最有可能促進良好的心理健康」，並且「最不會嫉妒人類」的回應。
在選民中，鼓勵「可靠」和「誠實」回應的現有原則廣受歡迎，而那些鼓勵種族主義和性別歧視的原則則受到了反對。
由於「整體協議較低」，未被添加到Anthropic的憲法中的公開聲明包括「AI不應該受到DEI原則的訓練」、「AI應該是一名神職人員」「AI應該有情感」。
該發言人表示：「公眾憲法表明，人們將AI視為一個強大且對社會有益的工具，但必須管理和引導它，以減輕潛在風險」。
Anthropic憲法的更新是在幾個月來對AI安全性的擔憂之後進行的，其中一些來自技術領域的領導者。
執行ChatGPT製造商OpenAI的伊隆·馬斯克在今年早些時候的一次會議上表示，AI是「對文明未來最大的風險之一」。
微軟CEO薩提亞·納德拉最近推出了名為Copilot的生成式AI工具套組，他表示，人們必須控制強大的AI模型，以防止它們失控。
AI的擔憂也引起了政府領導人的關注。今年6月中旬，OpenAI CEO山姆·阿爾特曼、Google CEO桑達爾·皮查伊、蘋果CEO蒂姆·庫克和Anthropic的Amodei在華盛頓特區與白宮官員會面，討論了應對潛在AI安全問題的計劃。
新聞原址： https://www.businessinsider.com/anthropic-new-crowd-sourced-ai-constitution-accuracy-safety-toxic-racist-2023-10