Blog

Meta的AI大躍進:Llama語言模型引領生成式AI戰局,開源策略成雙刃劍

Blog Image
Meta的AI大躍進:Llama語言模型引領生成式AI戰局,開源策略成雙刃劍

October 17, 2023

重點摘要:
  1. Meta的年度Connect大會上,人工智慧(AI)成為主要焦點,而非元宇宙。Joseph Spisak,該公司的生成式AI產品開發總監,甚至將其形容為一個AI大會。
  2. Meta推出了名為Llama的大型語言模型,被視為OpenAI的GPT和Google的PaLM 2的競爭對手。Llama也被用作Meta的數位助手。
  3. 雖然Meta的開源策略可能限制其直接獲益,但該公司已經與超過200家企業達成協議,這些企業正在開發生成式AI應用程式。高盛估計,Meta的生成式AI業務在2023年可能會實現2億美元的營收。

新聞內文:
上個月,在Meta的年度Connect大會上,聚集了虛擬現實愛好者在一起,聆聽了馬克·扎克伯格對元宇宙的數十億美元的賭注,這項技術被認為將決定該公司的未來。

但在今年的活動中,虛擬現實開發者們被許多討論小組的討論淹沒了,這些討論越來越少著重在「關於未來」,反而越來越多關於現在:人工智慧。

「不要告訴馬克,但現在感覺更像是人工智慧,而不是混合現實」Joseph Spisak在Connect大會上發表演講時開玩笑說。他在兩個月前加入了該公司,擔任生成式人工智慧產品開發總監。「這有點像一個人工智慧大會,這正好是我擅長的」。

在關於Meta的最新Quest 3虛擬現實頭盔和擴增實境開發者軟體的小組討論之間,還有幾個專門討論了Llama的小組討論,Llama是Meta的大型語言模型(LLM),自從OpenAI的ChatGPT聊天機器人在去年11月爆紅以來,它已經變得越來越受歡迎,激發了領先的科技公司爭相推出競爭性產品。

扎克伯格曾表示,Llama是該公司在大會上展示的最新數位助手的動力來源。

儘管扎克伯格仍然認為新興元宇宙的增長對其公司的成功至關重要,但AI已經成為他正在努力贏得的市場。Meta認為,Llama及其生成式AI軟體系列是GPT的開源替代品,GPT是由Microsoft支持的OpenAI的LLM,以及Google的PaLM 2,它為該搜尋公司的Bard AI技術提供動力。


行業專家將Llama在生成式AI中的定位與Linux相比,後者是PC操作系統市場上Microsoft Windows的開源競爭對手。正如Linux軟體進入了全球企業伺服器並成為現代網路的關鍵部分一樣,Meta認為Llama有望成為支持下一代AI應用程式的潛在數位腳手架。

Nvidia President and CEO Jensen Huang speaks at the COMPUTEX forum in Taiwan, May 28, 2023.
Sopa Images | Lightrocket | Getty Images

在華爾街,Llama很難估值,對許多投資者來說也難以理解。由於AI研究人員供不應求,建立和運行模型所需的基礎設施需要巨大的成本,Meta正在大力投資於建立Llama、在7月份推出的Llama 2和相關生成式AI軟體。

在7月份的公告之後,扎克伯格在2013年聘用的AI研究人員Yann LeCun在Twitter上寫道「這將改變LLM市場的格局」。

但是,開源意味著Meta將軟體免費提供給開發人員,這與傳統的軟體許可證和訂閱模型大相徑庭,也與將Facebook打造成網路龍頭的高盈利數位廣告業務大相逕庭。

在宣布Llama 2時,Meta表示新版本將具有商業許可證,允許公司將其集成到其產品中。該公司表示,它不關注直接盈利Llama 2,但從Microsoft和Amazon等雲端計算公司那裡賺取了一筆未透露的金額,這些公司提供Llama 2作為其自身生成式AI企業服務的一部分。

扎克伯格在公司的第二季度財報電話會議上表示,他不指望Llama 2能在短期內產生「大量的收入,但長期來看,希望可以成為一個東西」。

吸引頂級人才
Meta希望以其他方式受益於Llama。

扎克伯格在7月份告訴分析師,由第三方開發人員對Llama進行的改進可能會產生「效率增益」,使Meta更便宜地運行其AI軟體。Meta表示,預計2023年的資本支出將在270億至300億美元的範圍內,低於去年的320億美元。財務長Susan Li表示,這個數字在2024年可能會增長,部分原因是由數據中心和AI相關投資驅動。

影響力也帶來了自己的優勢。如果世界領先的AI研究人員使用Llama,Meta可能會更容易招聘到了解公司開發方法的熟練技術人員。Facebook曾經使用開源項目,比如其PyTorch機器學習應用程式框架,作為一個招聘工具,吸引那些想要參與尖端軟體項目的技術人員。

當他在2018年至2023年間在Meta工作時,Spisak曾在監督PyTorch和其他開源AI項目時提供了幫助。他在短暫在Google工作後於7月回到了Meta。

Meta還押注第三方開發人員將穩步改進Llama 2和相關的AI軟體,以使其運行更加高效,這是將研究和開發外包給一群志願者的一種方式。

法律科技新創公司Ironclad的首席架構師Cai GoGwilt表示,開源社區曾經在Llama的第一版本上工作,以“使其運行更快並適用於手機”。GoGwilt表示,他的公司正在等待看看熱情洋溢的開發人員將如何加強Llama 2。

GoGwilt表示「我們不立即使用它的一部分原因是,對我們來說更大的興趣是開源社區將如何使用它」。

Meta首次亮相的原始Llama LLM於2月推出,提供了幾種不同變體,範圍從70億個參數到650億個參數,這些參數基本上是影響模型大小和處理的數據量的變數。一般來說,更多的參數意味著更強大的模型,但代價是運行和培訓AI軟體的成本。

像OpenAI的GPT和其他LLM一樣,Llama是一個基於變壓器神經網絡的示例,這是由Google研究團隊開發的AI軟體,已成為生成式AI的基礎,根據簡單文本提示生成智能回應和聰明圖像。

為了幫助訓練像Llama這樣的巨大AI模型的計算密集型過程,Meta一直在使用自己的Research SuperCluster超級計算機,該計算機構建有16000個Nvidia A100 GPU,這是AI行業的“工作馬”。

雖然最初孵化在Meta的基礎AI研究團隊(FAIR)內,但它現在已經轉移到了由曾在蘋果工作了16年以上的Ahmad Al-Dahle領導的公司的生成式AI組織內。扎克伯格在二月底宣布了這個團隊。

Meta表示,它花了六個月時間培訓Llama 2,從1月開始,到7月結束,使用了“公開可用的在線數據”,該數據不包含任何Facebook用戶信息。目前還不清楚Meta是否計劃將用戶數據納入即將推出的Llama 3。

在追求效益的同時,扎克伯格對Nvidia的興趣濃厚,該公司通過其AI芯片獲得了數十億美元的季度利潤。Meta是其最大的客戶之一。Nvidia的高級AI科學家Jim Fan在X上的一篇文章中說,訓練Llama 2可能花費Meta約2000萬美元,遠高於估計的240萬美元,這是訓練其前身所需的費用。

Llama 2的主流採用可能會影響Nvidia確保其圖形處理單元(GPU)與Meta認可的軟體配合得很好,降低公司的AI培訓和計算成本。

與此同時,Meta擁有自己的內部AI芯片項目,這為其提供了替代Nvidia處理器的潛在選擇。

企業新創公司「Log10」的執行長Arjun Bansal,曾在VMware和Intel擔任高級職位,說:「這給了他們一些價格談判的空間」。他說:「Nvidia想要很多錢,而他們可以說,『嘿,我們有自己的東西』。」

當Nathan Lambert回憶起AI新創公司Hugging Face的同事們在Meta首次亮相備受期待的Llama 2時所散發出的能量時,他的團隊加班工作,以確保公司的基礎設施準備好應對希望測試Llama 2的編碼人員湧入。

除了雲端計算引擎「Microsoft Azure」和「Amazon Web Services」之外,「Hugging Face」是Meta選定的Llama 2的發布合作夥伴之一,但也可以說是最重要的。開發人員、AI研究人員和成千上萬家公司使用Hugging Face的平台來分享代碼、數據集和模型,使其成為行業內最大的社區之一。

儘管有許多開源的LLM可用,但Lambert表示,Llama 2是目前最受歡迎的。

Lambert說「這是大多數人在使用的模型,也是大多數新創公司在使用的模型」,他在10月4日宣布離開Hugging Face,但沒有透露他將去哪裡。

與所有祖克伯的事情一樣,這個項目並不是沒有爭議的。行業內一些人認為Meta的使用Llama 2的許可協議具有限制性,與協作開發和創新的精神相抵觸。

例如,如果第三方開發人員將軟體整合到在7月份推出之前的某個月具有「超過7億月使用者」的任何產品或服務中,則必須從Meta獲得使用Llama 2的批准。批評家說,這一條款是阻止Snap或TikTok等競爭對手使用Llama 2開展自己的服務的一種方式。

Thomvest Ventures的風險合伙人兼AI新創公司Cohere的投資者Umesh Padval表示:「這相當限制性」。他說:「看起來Meta希望在其業務中獲得開源的所有好處,同時阻止競爭」。

Lambert表示,Meta可以對開源社群做出幫助,發布有關用於訓練Llama 2的具體底層數據庫的更多細節,以便開發人員更好地理解訓練過程。開源支持者和隱私專家一直在呼籲更多透明,以了解用於訓練LLM的數據的類型,但迄今為止,公司提供的細節很少。

一位Meta發言人在一份聲明中說:「我們相信開放創新,我們不希望對其他人如何使用我們的模型施加不必要的限制」。他們說:「然而,我們希望人們能夠負責地使用它。這是一個制定的商業許可證,平衡了對模型的開放使用與負責和保護措施,以幫助解決潛在的濫用問題」。

儘管有一些批評者,但Meta的模型在早期得到了大量的使用。公司在Connect大會上透露,通過Hugging Face已經有「超過3000萬次下載了基於Llama的模型,其中有1000萬次是在過去30天內完成的」。

Nvidia的Fan在他的X文章中指出,Llama 2的新商業許可證可能會吸引大型企業開發人員,他們可能認為開源許可證標準太過寬鬆。

「大公司的AI研究人員曾因許可問題而對Llama-1感到謹慎,但現在我認為許多人將會加入並貢獻他們的實力,」Fan寫道。

根據最近的TC Cowen對680家雲計算公司進行的調查,截至今天,投資AI的企業更傾向於使用商業化的LLM。該調查發現,32%的受訪者已經使用或計劃使用像OpenAI的GPT-4軟件這樣的
商業化封裝的LLM,而28%的受訪者則專注於像Llama和Falcon這樣的開源LLM,這些LLM是在阿拉伯聯合酋長國開發的。只有12%的受訪者計劃使用內部的LLM。

Meta的聲譽挑戰
在美國政府賬務辦公室,Taka Ariga研究了像LLM這樣的尖端技術如何幫助該機構通過其創新實驗室更好地進行審計和調查。

年底前,Ariga的團隊計劃完成其首個實驗,研究LLM如何潛在地用於總結有關特定主題的眾多GAO報告和材料,然後將這些文件與其他可能相關的其他機構的文件結合起來。

Ariga提到:“普通大眾或國會議員可能會說,'政府賬務辦公室在核安全領域做了什麼?'”他說,談到LLM項目。“當然,我們做了很多工作,但那種一個報告一個報告的方式,你無法進行那種主題性的搜索。”

GAO目前正在使用AWS的Bedrock生成式AI服務,以幫助該機構實驗各種熱門的LLM,包括初創公司Cohere和Anthropic提供的專有模型。

雖然AWS最近表示Bedrock將很快支持Llama 2,但Ariga表示,由於Meta在華盛頓的聲譽不佳,GAO首先正在測試Anthropic的Claude LLM,並且可能不會使用Llama 2。

多年來,由於一系列問題,包括數據隱私醜聞、反壟斷調查和Facebook審查保守派聲音的指控,Meta招致了立法者的不滿,Ariga指出,把Zuckerberg比作Tesla的CEO和X的擁有者Elon Musk。

Ariga表示:“在政治技術方面,馬克·祖克伯格就像伊隆一樣,是一個有爭議的人物。”

“我們知道,盡管AI給社會帶來了巨大的進步,但也伴隨著風險,”Meta的發言人說。“Meta致力於負責任地建設,我們提供了許多資源,比如我們的負責任使用指南,以幫助那些使用Llama 2的人。”

即使在不關心聲譽問題的潛在客戶中,Meta仍然需要證明它擁有更優越的LLM技術。

AI初創公司aiXplain的產品經理Nur Hamdan表示,OpenAI的GPT-4在理解長時間的、延伸對話上比Llama 2更好。這意味著GPT-4可能會以更貼近生活的方式生成對話,Hamadan說。

比較GPT-4、Llama 2和其他LLM的測試已經變得常規化。在這樣的一個測試中,研究人員發現GPT-4能夠比Llama 2生成更好的軟件代碼。Meta隨後推出了一個專門用於創建代碼的Llama 2版本。

Sam Altman, CEO of OpenAI, at an event in Seoul, South Korea, on June 9, 2023.
Bloomberg | Bloomberg | Getty Images

在當今的競爭中,Meta正在與Amazon、Google以及像OpenAI和Cohere這樣的資金充足的初創公司競爭。他們每個都致力於成為下一代應用程序的基石。Meta認為開源是一個關鍵優勢,與其他公司不同,其他公司正在出售技術並將其與其他服務捆綁在一起。

曾在VMware和Intel擔任高級職位的基礎設施技術高管Guido Appenzeller表示:“像Google或Microsoft這樣的公司,他們可能都有一些沖突,”他說。“Facebook不是這樣,這是他們前進並實現技術民主化的方式,提供了對開源的廣泛訪問。我認為這是一個非常強大的東西。”

微軟的

一位發言人在一封電子郵件聲明中表示,該公司將為客戶提供選擇,讓他們選擇自己喜歡的模型,無論是“專有的、開源的,還是兩者兼而有之”。

微軟表示:“每個基礎模型都有獨特的優勢,我們希望能夠讓客戶輕松選擇、微調和負責地部署這些工具,以最大程度地實現這些工具的效益。”

Google的一位發言人表示,該公司在對開源項目的“長期貢獻”方面擁有豐富的歷史,並且是“遠遠超越其他AI生態系統的最大支持者”。

Amazon的代表未回應評論請求。

專家表示,Llama對技術行業的影響可能與Google於2014年發布的開源數據中心基礎設施軟件Kubernetes相媲美。通過提供Kubernetes,Google大大影響了Docker等曾經熱門的初創公司的商業模型,這些公司在2018年被Red Hat收購。

Meta正在使用Llama 2部署類似Kubernetes的策略,但預計市場規模將更大。

Thomvest的Padval表示:“我是Facebook的粉絲,我理解馬克所做的事情,”他說。“他們正在重塑這家公司。”

然而,開源並不總是勝出的,Padval承認“在這種情況下,我不知道它將如何演變。”

新聞原址: https://www.cnbc.com/2023/10/16/metas-open-source-approach-to-ai-puzzles-wall-street-techies-love-it.html