Blog
Meta的開源LLM將使AI更安全，還是會讓它落入錯誤的手中招致更大的風險？
Meta的開源LLM將使AI更安全，還是會讓它落入錯誤的手中招致更大的風險？
July 26, 2023
AI的競爭正變得激烈，Meta與Microsoft達成協議，而它在庫比蒂諾的競爭對手則在苦苦研究"Apple GPT"。另外，Twitter的X品牌也可能消失。
AI的繁榮期已經到來。無論我們稱這個時期為“炒作周期”的高峰，還是只是曲線進入垂直增長的時刻，這只能事後才會趨於明朗，但是該領域的大新聞節奏已經從每週變為幾乎每天。讓我們來看看AI的最大玩家——Meta，Microsoft，Apple和OpenAI——都在做什麼。
Apple
Apple總是喜歡保密，不要期待從庫比蒂諾聽到許多研發突破的資訊。即使是已經投入生產的AI工作也都保密到家，而不是大聲宣告，該公司在上個月的全球開發者大會（WWDC）上談到了“機器學習”和“轉換器”，但是顯然避免說“AI”。
但這並不意味著他們不像其他人一樣在玩同一款遊戲。根據Bloomberg (£)：
iPhone製造商已經建立了自己的框架來創建大型語言模型——這是像ChatGPT和Google的Bard這樣的新產品的核心——根據了解這些努力的人的說法。有了這個基礎，被稱為“Ajax”的基礎，Apple還創建了一個聊天機器人服務，一些工程師稱之為“Apple GPT”。
近幾個月來，AI推動已經成為Apple的一項重要努力，有幾個團隊在該項目上進行合作，這些人說，他們被要求不能確認任何市場上的傳聞，因為這件事是私下進行的。工作包括試圖解決與該技術相關的潛在隱私問題。
一方面：他們當然必須這麼做。或許記憶已經模糊，畢竟他們在AI發展已經落後了這麼久，但Apple在2011年推出Siri時引領了語音助手業。但是在幾年內——當然是在2014年Echo智能揚聲器上市時——它就落後了，現在已經幾乎被降為笑話的地位。修復Siri是一項艱鉅的工作，但這是LLM工作的前沿完全適合的。所以，公司正在努力於AI並不奇怪。
另一方面：建立一個基礎模型非常困難，且昂貴——甚至可能不必要。Apple以前也曾在開源根源之上建立（例如，它的所有操作系統最終都基於開源的Darwin內核），並且已經從第三方許可技術（最顯著的是現在，Arm，仍然提供其晶片的核心設計）。而且，有很多機會采用這兩種方法...
Meta和Microsoft
Meta的Llama基礎模型已經成為了一個整個研究社區的意外基礎。這個GPT的競爭者被釋放出來供一小部分研究者下載，
他們已經簽署了保密協議並承諾不會更廣泛地分享......然後它立即洩露出來。Samizdat副本已經在網路上四處分享著，也有一整套系統用於在不公開發布被盗LLM的情況下進行合作。整件事都違反了Meta的條款，但該公司似乎並不在意成為計算革命的中心。
現在，這已經成為官方承認的了。Meta已經釋出了Llama 2，其服務條款使整個生態系統合法化。以下是來自Meta的公告：
我們現在已經準備好開源下一版本的Llama 2，並將其免費提供給研究和商業使用。我們還提供包括了預訓練模型和對話細微調整版本的模型權重和原始代碼。
該公司已經與Microsoft合作以擴大訪問權限：
從今天開始，Llama 2已經可以在Azure AI模型目錄中使用，讓使用Microsoft Azure的開發人員可以使用它，並利用他們的雲原生工具進行內容過濾和安全功能。它還經過優化，可以在Windows上本地運行，讓開發人員在將生成AI體驗帶給不同平台的客戶時提供無縫的工作流程。
該模型是免費的，而不是自由的，雖然。Meta的商業條款要求擁有超過7億月活躍用戶的任何公司獲得許可——基本上，今天的新聞通訊中討論的每一家其他公司和很少的其他公司。此外，它還阻止任何人使用Llama 2來改進其他LLM。換句話說，它可能是免費的，但它並非開源。
OpenAI
但是它仍然比競爭對手更開放。允許用戶，研究者和（較小的）競爭對手下載完整的模型並研究它如何運作，顯然對於任何想要在你已經創造的基礎上進一步建立的人都有幫助，但是它也有助於與潛在合作夥伴建立信任。看看採取相反做法的陷阱，看看OpenAI。來自Ars Technica：
在一篇名為“How is ChatGPT’s behavior changing over time?”的研究中，Lingjiao Chen, Matei Zaharia, and James Zou懷疑了OpenAI的大型語言模型（LLMs），特別是GPT-3.5和GPT-4的一致性表現。他們使用API訪問，測試了這些模型在2023年3月和6月的版本，包括解決數學問題，回答敏感問題，代碼生成和視覺推理等任務。最值得注意的是，GPT-4識別質數的能力從3月的97.6%的準確率下降到6月的只有2.4%。奇怪的是，GPT-3.5在同一時期表現改善。
這些結果引發了一種普遍的恐懼，即改進GPT的安全性的努力正在使其變得愚蠢。OpenAI確實會定期釋放對GPT的調整，並且首席執行官Sam Altman談論AI安全的頻率給出，這些調整主要是以安全為中心的。因此，如果系統變得越來越糟而不是越來越好，也許是因為這種權衡。
但是該論文本身並不成立。再次來自Ars Technica：
AI研究員Simon Willison也對論文的結論提出挑戰。“我並不認為它非常有說服力，”他告訴Ars。“他們的批評有相當大一部分涉及到是否將代碼輸出封包在Markdown反引號中或者不封包”...到目前為止，Willison認為LLM的新奇性消退，使GPT-4的能力變化得更加明顯。畢竟，GPT-4在發布後引發了一波AGI恐慌，並曾被測試看看是否能夠接管世界。現在這種技術變得更加平凡，它的缺點似乎更加明顯。
但是這些指控攻擊了OpenAI封閉模型的核心。該公司定期推出對GPT的變化，沒有多少解釋，用戶無法理解為什麼或者每個新模型有何不同。檢查任何LLM都是一個“黑盒”問題，幾乎無法深入了解它的思考方式——但是當你只能通過API與第三方主機上的版本進行互動時，這些問題就變得更糟。
最後一次來自Ars Technica：
Willison同意。“老實說，缺乏發布說明和透明度可能是這裡最大的故事，”他告訴Ars。“我們怎麼能在每幾個月就以完全未被記錄和神秘的方式改變的平台上建立可靠的軟體呢？”
新的X標誌象徵其變革的意義
所以Twitter有了一個新名字：這是我們到目前為止所知道的一切。
Elon Musk揭示了Twitter的新標誌X，這是一個冒險的受WeChat啟發的重新定位，將會“以音樂，影片，資訊，付款/銀行為中心”。
Dan Milmo在是否重新定位可以讓Twitter反轉並使其成為一個“萬能應用”上表現得非常好。
第一個小問題：警察錯誤地阻止工人在其舊金山總部更改Twitter的標誌。
第二個小問題：Meta似乎已經擁有‘X’的權利。這可能使Twitter的重新定位變得複雜，Business Insider報導。
為什麼Musk如此迷戀X？Andrew Lawrence報導。
每個TikTok都值得一千個字：作為對Twitter和Threads的回應，這個影片分享平台現在提供創建長篇純文本貼文的選項。
新聞原址： https://www.theguardian.com/technology/2023/jul/25/techscape-meta-open-source-large-language-models-llm-ai-twitter-x-apple
AI的繁榮期已經到來。無論我們稱這個時期為“炒作周期”的高峰，還是只是曲線進入垂直增長的時刻，這只能事後才會趨於明朗，但是該領域的大新聞節奏已經從每週變為幾乎每天。讓我們來看看AI的最大玩家——Meta，Microsoft，Apple和OpenAI——都在做什麼。
Apple
Apple總是喜歡保密，不要期待從庫比蒂諾聽到許多研發突破的資訊。即使是已經投入生產的AI工作也都保密到家，而不是大聲宣告，該公司在上個月的全球開發者大會（WWDC）上談到了“機器學習”和“轉換器”，但是顯然避免說“AI”。
但這並不意味著他們不像其他人一樣在玩同一款遊戲。根據Bloomberg (£)：
iPhone製造商已經建立了自己的框架來創建大型語言模型——這是像ChatGPT和Google的Bard這樣的新產品的核心——根據了解這些努力的人的說法。有了這個基礎，被稱為“Ajax”的基礎，Apple還創建了一個聊天機器人服務，一些工程師稱之為“Apple GPT”。
近幾個月來，AI推動已經成為Apple的一項重要努力，有幾個團隊在該項目上進行合作，這些人說，他們被要求不能確認任何市場上的傳聞，因為這件事是私下進行的。工作包括試圖解決與該技術相關的潛在隱私問題。
一方面：他們當然必須這麼做。或許記憶已經模糊，畢竟他們在AI發展已經落後了這麼久，但Apple在2011年推出Siri時引領了語音助手業。但是在幾年內——當然是在2014年Echo智能揚聲器上市時——它就落後了，現在已經幾乎被降為笑話的地位。修復Siri是一項艱鉅的工作，但這是LLM工作的前沿完全適合的。所以，公司正在努力於AI並不奇怪。
另一方面：建立一個基礎模型非常困難，且昂貴——甚至可能不必要。Apple以前也曾在開源根源之上建立（例如，它的所有操作系統最終都基於開源的Darwin內核），並且已經從第三方許可技術（最顯著的是現在，Arm，仍然提供其晶片的核心設計）。而且，有很多機會采用這兩種方法...
Meta和Microsoft
Meta的Llama基礎模型已經成為了一個整個研究社區的意外基礎。這個GPT的競爭者被釋放出來供一小部分研究者下載，
他們已經簽署了保密協議並承諾不會更廣泛地分享......然後它立即洩露出來。Samizdat副本已經在網路上四處分享著，也有一整套系統用於在不公開發布被盗LLM的情況下進行合作。整件事都違反了Meta的條款，但該公司似乎並不在意成為計算革命的中心。
現在，這已經成為官方承認的了。Meta已經釋出了Llama 2，其服務條款使整個生態系統合法化。以下是來自Meta的公告：
我們現在已經準備好開源下一版本的Llama 2，並將其免費提供給研究和商業使用。我們還提供包括了預訓練模型和對話細微調整版本的模型權重和原始代碼。
該公司已經與Microsoft合作以擴大訪問權限：
從今天開始，Llama 2已經可以在Azure AI模型目錄中使用，讓使用Microsoft Azure的開發人員可以使用它，並利用他們的雲原生工具進行內容過濾和安全功能。它還經過優化，可以在Windows上本地運行，讓開發人員在將生成AI體驗帶給不同平台的客戶時提供無縫的工作流程。
該模型是免費的，而不是自由的，雖然。Meta的商業條款要求擁有超過7億月活躍用戶的任何公司獲得許可——基本上，今天的新聞通訊中討論的每一家其他公司和很少的其他公司。此外，它還阻止任何人使用Llama 2來改進其他LLM。換句話說，它可能是免費的，但它並非開源。
OpenAI
但是它仍然比競爭對手更開放。允許用戶，研究者和（較小的）競爭對手下載完整的模型並研究它如何運作，顯然對於任何想要在你已經創造的基礎上進一步建立的人都有幫助，但是它也有助於與潛在合作夥伴建立信任。看看採取相反做法的陷阱，看看OpenAI。來自Ars Technica：
在一篇名為“How is ChatGPT’s behavior changing over time?”的研究中，Lingjiao Chen, Matei Zaharia, and James Zou懷疑了OpenAI的大型語言模型（LLMs），特別是GPT-3.5和GPT-4的一致性表現。他們使用API訪問，測試了這些模型在2023年3月和6月的版本，包括解決數學問題，回答敏感問題，代碼生成和視覺推理等任務。最值得注意的是，GPT-4識別質數的能力從3月的97.6%的準確率下降到6月的只有2.4%。奇怪的是，GPT-3.5在同一時期表現改善。
這些結果引發了一種普遍的恐懼，即改進GPT的安全性的努力正在使其變得愚蠢。OpenAI確實會定期釋放對GPT的調整，並且首席執行官Sam Altman談論AI安全的頻率給出，這些調整主要是以安全為中心的。因此，如果系統變得越來越糟而不是越來越好，也許是因為這種權衡。
但是該論文本身並不成立。再次來自Ars Technica：
AI研究員Simon Willison也對論文的結論提出挑戰。“我並不認為它非常有說服力，”他告訴Ars。“他們的批評有相當大一部分涉及到是否將代碼輸出封包在Markdown反引號中或者不封包”...到目前為止，Willison認為LLM的新奇性消退，使GPT-4的能力變化得更加明顯。畢竟，GPT-4在發布後引發了一波AGI恐慌，並曾被測試看看是否能夠接管世界。現在這種技術變得更加平凡，它的缺點似乎更加明顯。
但是這些指控攻擊了OpenAI封閉模型的核心。該公司定期推出對GPT的變化，沒有多少解釋，用戶無法理解為什麼或者每個新模型有何不同。檢查任何LLM都是一個“黑盒”問題，幾乎無法深入了解它的思考方式——但是當你只能通過API與第三方主機上的版本進行互動時，這些問題就變得更糟。
最後一次來自Ars Technica：
Willison同意。“老實說，缺乏發布說明和透明度可能是這裡最大的故事，”他告訴Ars。“我們怎麼能在每幾個月就以完全未被記錄和神秘的方式改變的平台上建立可靠的軟體呢？”
新的X標誌象徵其變革的意義
所以Twitter有了一個新名字：這是我們到目前為止所知道的一切。
Elon Musk揭示了Twitter的新標誌X，這是一個冒險的受WeChat啟發的重新定位，將會“以音樂，影片，資訊，付款/銀行為中心”。
Dan Milmo在是否重新定位可以讓Twitter反轉並使其成為一個“萬能應用”上表現得非常好。
第一個小問題：警察錯誤地阻止工人在其舊金山總部更改Twitter的標誌。
第二個小問題：Meta似乎已經擁有‘X’的權利。這可能使Twitter的重新定位變得複雜，Business Insider報導。
為什麼Musk如此迷戀X？Andrew Lawrence報導。
每個TikTok都值得一千個字：作為對Twitter和Threads的回應，這個影片分享平台現在提供創建長篇純文本貼文的選項。
新聞原址： https://www.theguardian.com/technology/2023/jul/25/techscape-meta-open-source-large-language-models-llm-ai-twitter-x-apple