Blog
Giga ML領跑企業LLM採用，提供私密性和定制解決方案
Giga ML領跑企業LLM採用，提供私密性和定制解決方案
December 29, 2023
重點摘要：
新聞內文：
根據最近對約1,000家企業機構的調查，有67.2%的企業表示，他們認為在2024年初之前採用大型語言模型（LLMs，如ChatGPT等）是其首要任務。
然而，一些障礙正在阻礙LLMs的實施。該調查指出，缺乏定制和靈活性，以及保護公司知識和智慧財產權的能力不足，是許多企業未能將LLMs投入生產的主要原因。
這讓Varun Vummadi和Esha Manideep Dinne思考：企業採用LLMs的解決方案可能是什麼？為尋求解答，他們創立了Giga ML，這是一家開發平台的新創公司，該平台允許企業在內部部署LLMs，從而降低成本並保護隱私。
Vummadi在電子郵件採訪中告訴TechCrunch：「數據隱私和定制LLMs是企業在採用LLMs解決問題時面臨的一些最大挑戰。Giga ML解決了這些挑戰」。
Giga ML提供自己的一系列LLMs，稱為「X1系列」，用於生成代碼和回答常見客戶問題（例如「我的訂單何時能到達？」）。該新創公司聲稱，這些模型建立在Meta的Llama 2之上，在某些基準測試上優於流行的LLMs，尤其是MT-Bench對話測試集。但很難說X1在品質上的比較；本報記者嘗試了Giga ML的在線演示，但遇到了技術問題。（無論我輸入什麼提示，應用程式都會超時。）
即使Giga ML的模型在某些方面確實更優越，它是否真的能在開源、離線LLMs的大海中引起轟動？
在與Vummadi的談話中，我感覺到Giga ML並不是試圖創造出市場上表現最好的LLMs，而是在架構工具，讓企業能夠在本地微調LLMs，而不必依賴於第三方資源和平台。
Vummadi說：「Giga ML的使命是幫助企業在自己的內部基礎設施或虛擬私有雲上安全有效地部署LLMs」。「Giga ML透過一個易於使用的API簡化了訓練、微調和運行LLMs的過程，消除了任何相關麻煩」。
Vummadi強調，在離線運行模型的隱私優勢，這對一些企業來說可能是有說服力的。
Predibase，一個低代碼AI開發平台，發現不到四分之一的企業願意使用商業LLMs，因為他們擔心與供應商共享敏感或專有數據。該調查中近77%的受訪者表示，他們不使用或不計劃在生產中使用商業LLMs，超出原型階段。原因包括隱私、成本和缺乏定制等問題。
Vummadi說：「C級IT經理們發現Giga ML的產品有價值，因為安全的內部部署LLMs、為特定用例量身定制的模型和快速推理，確保了數據合規性和最大效率」。
Giga ML已經從Nexus Venture Partners、Y Combinator、Liquid 2 Ventures、8vdx和其他幾家公司籌集了約374萬美元的風險投資資金，計劃在短期內擴大其兩人團隊並加強產品研發。部分資金也將用於支持Giga ML的客戶群，Vummadi表示，目前包括未透露姓名的金融和醫療領域的「企業」公司。
新聞原址： https://techcrunch.com/2023/12/28/giga-ml-wants-to-help-companies-deploy-llms-offline/
- 約67.2%的企業計劃在2024年初之前採用大型語言模型（LLMs），但面臨數據隱私、定制能力和智慧財產權保護等障礙。
- 新創公司Giga ML開發了一個平台，允許企業在內部部署LLMs，解決數據隱私和定制的挑戰，提供更具成本效益和隱私保護的選擇。
- Giga ML提供的「X1系列」LLMs在某些基準測試上表現優於其他模型，並專注於為企業提供內部微調和運行LLMs的工具，而非創建市場上表現最好的模型。
新聞內文：
根據最近對約1,000家企業機構的調查，有67.2%的企業表示，他們認為在2024年初之前採用大型語言模型（LLMs，如ChatGPT等）是其首要任務。
然而，一些障礙正在阻礙LLMs的實施。該調查指出，缺乏定制和靈活性，以及保護公司知識和智慧財產權的能力不足，是許多企業未能將LLMs投入生產的主要原因。
這讓Varun Vummadi和Esha Manideep Dinne思考：企業採用LLMs的解決方案可能是什麼？為尋求解答，他們創立了Giga ML，這是一家開發平台的新創公司，該平台允許企業在內部部署LLMs，從而降低成本並保護隱私。
Vummadi在電子郵件採訪中告訴TechCrunch：「數據隱私和定制LLMs是企業在採用LLMs解決問題時面臨的一些最大挑戰。Giga ML解決了這些挑戰」。
Giga ML提供自己的一系列LLMs，稱為「X1系列」，用於生成代碼和回答常見客戶問題（例如「我的訂單何時能到達？」）。該新創公司聲稱，這些模型建立在Meta的Llama 2之上，在某些基準測試上優於流行的LLMs，尤其是MT-Bench對話測試集。但很難說X1在品質上的比較；本報記者嘗試了Giga ML的在線演示，但遇到了技術問題。（無論我輸入什麼提示，應用程式都會超時。）
即使Giga ML的模型在某些方面確實更優越，它是否真的能在開源、離線LLMs的大海中引起轟動？
在與Vummadi的談話中，我感覺到Giga ML並不是試圖創造出市場上表現最好的LLMs，而是在架構工具，讓企業能夠在本地微調LLMs，而不必依賴於第三方資源和平台。
Vummadi說：「Giga ML的使命是幫助企業在自己的內部基礎設施或虛擬私有雲上安全有效地部署LLMs」。「Giga ML透過一個易於使用的API簡化了訓練、微調和運行LLMs的過程，消除了任何相關麻煩」。
Vummadi強調，在離線運行模型的隱私優勢，這對一些企業來說可能是有說服力的。
Predibase，一個低代碼AI開發平台，發現不到四分之一的企業願意使用商業LLMs，因為他們擔心與供應商共享敏感或專有數據。該調查中近77%的受訪者表示，他們不使用或不計劃在生產中使用商業LLMs，超出原型階段。原因包括隱私、成本和缺乏定制等問題。
Vummadi說：「C級IT經理們發現Giga ML的產品有價值，因為安全的內部部署LLMs、為特定用例量身定制的模型和快速推理，確保了數據合規性和最大效率」。
Giga ML已經從Nexus Venture Partners、Y Combinator、Liquid 2 Ventures、8vdx和其他幾家公司籌集了約374萬美元的風險投資資金，計劃在短期內擴大其兩人團隊並加強產品研發。部分資金也將用於支持Giga ML的客戶群，Vummadi表示，目前包括未透露姓名的金融和醫療領域的「企業」公司。
新聞原址： https://techcrunch.com/2023/12/28/giga-ml-wants-to-help-companies-deploy-llms-offline/