Blog
雲端供應商紛紛推出企業級生成式人工智慧模型
雲端供應商紛紛推出企業級生成式人工智慧模型
April 25, 2024
重點摘要：
- 企業級通用生成式人工智慧模型成為市場熱門，雲端供應商競相推出專為企業客戶打造的新模型。
- Snowflake推出「Arctic LLM」，被定位為「企業級」的生成式人工智慧模型，針對企業工作負載進行優化，並可免費使用於研究和商業用途。
- Snowflake CEO表示，Arctic LLM是公司在生成式人工智慧領域的重要一步，強調模型在編程和SQL生成等任務上的優越性。
新聞內文：
企業級通用生成式人工智慧模型成為市場新寵，雲端供應商紛紛加入這場競爭，提供專為深掏腰包的企業客戶打造的全新模型。以Snowflake為例，這家雲端計算公司今天推出了「Arctic LLM」，一款被描述為「企業級」的生成式人工智慧模型。Arctic LLM遵循Apache 2.0授權，針對「企業工作負載」進行了優化，包括生成數據庫代碼，Snowflake表示，該模型可供研究和商業用途免費使用。
Snowflake CEO Sridhar Ramaswamy 在新聞簡報會上表示：「我認為這將是讓我們（Snowflake）及我們的客戶建立企業級產品，並實現人工智慧的承諾和價值的基礎。你應該把這視為我們在生成式人工智慧領域邁岀的第一步，但是重要的一步，而且還有更多將會到來」。
企業模型
我的同事Devin Coldewey最近寫了一篇文章，探討了生成式人工智慧模型的激增現象沒有止境。我建議您閱讀他的文章，但要點是：模型是廠商為了推動其研發而產生興奮的一種容易方式，它們也是產品生態系統的入口（例如模型托管、微調等）。
Arctic LLM也不例外。Snowflake的旗艦模型Arctic系列的一員，Arctic LLM（耗時約三個月，使用了1,000個GPU和200萬美元進行訓練）跟隨著Databricks的DBRX，這也是一款被市場定位為面向企業領域優化的生成式人工智慧模型。
Snowflake在新聞稿中直接將Arctic LLM與「DBRX」進行了對比，稱Arctic LLM在編程（Snowflake沒有具體說明使用的編程語言）和SQL生成等兩個任務上優於DBRX。該公司還表示，Arctic LLM在這些任務上比Meta的Llama 2 70B（但不及更新的Llama 3 70B）和Mistral的Mixtral-8x7B更出色。
Snowflake還聲稱，Arctic LLM在流行的通用語言理解基準MMLU上實現了「領先的性能」。不過，要指出的是，儘管MMLU壟斷了評估生成式模型推理邏輯問題的能力，但它包括一些可以透過死記硬背解決的測試，因此這一點需要持保留意見。
「Snowflake AI」部門負責人Baris Gultekin在接受TechCrunch採訪時表示：「Arctic LLM解決了企業領域的特定需求，與通用AI應用（如創作詩歌）不同，專注於企業面向的挑戰，例如開發SQL協同工具和高質量的聊天機器人」。
Arctic LLM與DBRX和Google目前性能最佳的生成式模型Gemini 1.5 Pro一樣，採用了專家混合（MoE）架構。MoE架構基本上將數據處理任務分解為子任務，然後將它們委託給較小的、專門化的「專家」模型。因此，雖然Arctic LLM包含4800億個參數，但每次僅活化170億個，足以驅動128個獨立的專家模型。（參數基本上定義了AI模型在問題上的技能，比如分析和生成文本）。
Snowflake聲稱，這種高效的設計使其能夠以「大約八分之一的成本」在公開網絡數據集（包括RefinedWeb、C4、RedPajama和StarCoder）上訓練 Arctic LLM。
遍佈各地
Snowflake在推出Arctic LLM同時提供了編程模板和培訓來源列表等資源，以指導使用者完成模型的啟動和調優，以適應特定用例。但考慮到對大多數開發人員來說，這可能是昂貴且複雜的事業（調優或運行Arctic LLM需要約八個 GPU），Snowflake也承諾將Arctic LLM提供給一系列主機，包括Hugging Face、Microsoft Azure、Together AI的模型託管服務和企業生成式AI平台 Lamini。
然而，這裡有一個問題：Arctic LLM將首先在Cortex上提供，這是Snowflake 用於構建AI和機器學習驅動應用程式和服務的平台。公司預計將其推廣為運行 Arctic LLM的首選方式，具有「安全性」、「治理」和可擴展性。
Ramaswamy說：「我們的夢想是，在一年內，我們的客戶可以使用API，這樣業務使用者就可以直接與數據交流」。「我們本可以輕易地說，『哦，我們只需等待一些開源模型，然後我們就可以使用它』。但相反，我們正在進行一個基礎性的投資，因為我們認為這將為我們的客戶帶來更多價值」。
因此，我想知道：除了Snowflake客戶之外，Arctic LLM還針對誰呢？
在充斥著「開放」生成式模型的市場中，這款模型在顯眼之處並不突出。雖然它的架構可能比其他選擇帶來效率收益，但我並不認為這將足以讓企業放棄其他眾所周知且受到良好支持的商業友好型生成式模型（例如 GPT-4）。
還有一個需要考慮的方面是Arctic LLM的相對小的上下文。
在生成式人工智慧中，上下文窗口指的是模型在生成輸出（例如更多文本）之前考慮的輸入數據（例如文本）。上下文窗口較小的模型容易忘記甚至是非常近期對話的內容，而上下文較大的模型通常可以避免這種問題。
Arctic LLM的上下文範圍介於8000到24,000個單詞之間，這取決於微調方法，遠低於Anthropic的Claude 3 Opus和Google的Gemini 1.5 Pro等模型。
雖然Snowflake在營銷中沒有提到這一點，但Arctic LLM幾乎肯定遭受與其他生成式人工智慧模型相同的限制和缺陷，即「幻覺」（即對請求的自信回答錯誤）。這是因為Arctic LLM，以及存在的每個其他生成式人工智慧模型，都是一個統計機率機器。它根據大量範例猜測哪些數據最合理地放在哪裡（例如在句子「我去市場」中「市場」前的詞「去」）。它不可避免地會猜錯。這就是「幻覺」。
正如Devin在他的文章中所述，除非有下一個重大的技術突破，否則在生成式人工智慧領域，我們只能期待增量改進。但這並不會阻止像Snowflake這樣的供應商將它們吹捧為偉大的成就，並把它們推向市場。
新聞原址： https://techcrunch.com/2024/04/24/snowflake-releases-a-flagship-generative-ai-model-of-its-own/