Blog

Linux基金會推出開放企業AI平台,Cloudera、Intel、IBM等龍頭企業加入

Blog Image
Linux基金會推出開放企業AI平台,Cloudera、Intel、IBM等龍頭企業加入

April 17, 2024

重點摘要:

  1. Linux基金會宣布推出開放企業AI平台(OPEA),目的在推動開源、多提供商和可組合的生成式AI系統發展,由LF AI和Data組織負責管理。
  2. OPEA成員包括Cloudera、Intel、IBM旗下的Red Hat等企業,目標是鋪平道路以硬化、可擴展的生成式AI系統,並利用最佳開源創新。
  3. OPEA將提供評估標準,包括性能、功能、可信度和企業就緒性,並與開源社群合作,提供測試和評分,以支持企業生成式AI的發展。



新聞內文:

Linux基金會宣布推出開放企業AI平台(OPEA),目的在推動開源、多提供商和可組合(即模塊化)的生成式AI系統的發展。OPEA將由Linux基金會旗下的LF AI和Data組織負責,該組織專注於AI和數據相關平台項目。LF AI和Data的執行董事Ibrahim Haddad在新聞稿中表示,OPEA的目標是為「硬化」、「可擴展」的生成式AI系統鋪平道路,並「利用來自生態系統各方的最佳開源創新」。

OPEA的成員包括Cloudera、Intel、IBM旗下的Red Hat、Hugging Face、Domino Data Lab、MariaDB和VMware等企業龍頭。除了支持AI工具鏈和編譯器的「優化」支持外,Haddad還暗示了一些可能的合作方向,例如用於搜尋增強生成(RAG)的「異構」管道。

在企業生成式AI應用中,RAG越來越受到歡迎。RAG的優勢在於模型的知識庫可以擴展到原始訓練數據之外的訊息,這些訊息可能是專有的公司數據、公共數據庫或兩者的組合。RAG模型在生成響應或執行任務之前會引用這些外部訊息,從而超越了傳統生成式AI模型僅受訓練數據限制的局限性。

RAG的優勢在於模型的知識庫可以擴展到原始訓練數據之外的訊息,這些訊息可能是專有的公司數據、公共數據庫或兩者的組合。

Intel在其新聞稿中提供了更多細節:

企業在應對檢索增強生成(RAG)時面臨著自行處理的挑戰,因為目前缺乏跨組件的事實標準,這些標準允許企業選擇並部署開放且可互操作的RAG解決方案,並幫助他們迅速進入市場。OPEA目的在透過與行業合作標準化套組,包括框架、架構藍圖和參考解決方案,來解決這些問題。

評估也將是OPEA解決的重要部分之一。

在其GitHub儲存庫中,OPEA提出了對生成式AI系統進行評分的標準,涉及四個方面:性能、功能、可信度和「企業級」就緒性。OPEA所定義的性能與真實世界用例的「黑盒」基準相關。功能評估系統的互操作性、部署選擇和使用便捷性。可信度評估AI模型保證「健壯性」和品質的能力。企業就緒性則專注於使系統能夠運行且沒有主要問題所需的要求。

Intel的開源戰略主管Rachel Roumeliotis表示,OPEA將與開源社群合作,根據這些標準提供測試,並根據要求對生成式AI部署進行評估和評分。

目前,OPEA的其他努力尚不確定。但Haddad提出了以Meta不斷擴展的「Llama」系列和Databricks的「DBRX」為基礎的開放模型開發的潛力。為此,Intel在OPEA儲存庫中已經為其Xeon 6和Gaudi 2硬體優化的生成式AI聊天機器人、文檔摘要和代碼生成器貢獻了參考實現。

現在,OPEA的成員顯然非常投入,致力於為企業生成式AI建立工具。 

Cloudera最近啟動了合作夥伴關係,打造了一個被宣傳為「AI生態系統」的雲端。Domino提供了一套應用程式,用於構建和審核面向企業的生成式AI。「VMware」,專注於企業AI基礎設施方面,於去年8月推出了新的「私有AI」計算產品。

問題是這些供應商是否真的會共同努力在OPEA下建立跨相容的AI工具。

這樣做顯然有好處。客戶將根據自己的需求、資源和預算樂意借助多個供應商。但歷史已經表明,變得傾向於供應商鎖定是非常容易的。讓我們希望這不是最終結果。

新聞原址: https://techcrunch.com/2024/04/16/intel-and-others-commit-to-building-open-generative-ai-tools-for-the-enterprise/