Blog
如何充分利用大型語言模型(LLM)AI而不破產
如何充分利用大型語言模型(LLM)AI而不破產
August 6, 2023
生成式AI持續佔據新聞版面。在剛開始時，我們都被新奇所吸引著。然而現在我們完全不只是玩玩而已－我們正在看到它對商業的真實影響。每個人都全力投入。
MSFT、AWS和Google已經全面展開“AI軍備競賽”以追求主宰地位。企業們急於轉變，擔心被拋在後頭或錯失巨大機遇。由大型語言模型（LLMs）推動的新公司每分鐘都在出現，由VC推動以尋找他們的下一個賭注。
但是每個新技術都帶來挑戰。模型的真實性、偏見和訓練成本是當下的話題。身份和安全，雖然與模型的濫用有關，而不是技術本身的問題，也開始成為頭條新聞。
運行模型的成本對創新的重大威脅
生成式AI也重新引發了開源與封閉源代碼的辯論。雖然兩者在企業中都有一席之地，但開源提供了較低的部署和生產運行成本。它們也提供了很好的可訪問性和選擇。然而，我們現在看到大量的開源模型，但在部署它們的技術方面卻沒有足夠的進展。
撇開這些不談，還有一個問題需要更多的關注：在生產中運行這些大型模型的成本（推理成本）對創新構成了重大威脅。生成模型非常大、複雜並且計算密集，使它們比其他機器學習模型更昂貴。
想像你創建了一個家居裝飾應用程式，可以幫助客戶以不同的設計風格想像他們的房間。通過一些微調，Stable Diffusion模型可以相對輕鬆地做到這一點。你選擇了一個每1000張圖像收費1.50美元的服務，這可能聽起來不多，但如果應用程式走紅呢？假設你每天有100萬活躍用戶，每人製作十張圖像。你的推理成本現在每年為540萬美元。
LLM成本：推理永遠存在
現在，如果你是一家部署生成模型或LLM作為應用程式主幹的公司，你的整個定價結構、增長計劃和商業模型必須考慮這些成本。到你的AI應用程式推出時，訓練或多或少成為沉沒成本，但推理卻永遠存在。
有許多公司正在運行這些模型的例子，長期維持這些成本對它們來說將變得越來越困難。
但是，雖然專有模型在短時間內取得了長足的進展，它們並不是唯一的選擇。開源模型也在靈活性、性能和成本節省方面展示了很大的潛力，並且可能是許多新興公司未來的可行選擇。
混合世界：開源和專有模型都重要
毫無疑問，我們在短時間內從零到60，只在過去幾個月，我們就看到了OpenAI和Microsoft推出了GPT-4、Bing Chat和無窮的插件。Google也加入了
Bard的推出。在太空方面的進展令人印象深刻。
然而，與普遍的看法相反，我不認為生成AI是一個“贏者通吃”的遊戲。事實上，這些模型，儘管創新，只是勉強觸及了可能性的表面。最有趣的創新還沒有到來，將是開源的。就像我們在軟體世界所看到的，我們已經到達了公司采取混合方法的地步，合理使用專有和開源模型。
已經有證據表明開源在生成AI的擴散中將發揮重要作用。有Meta的新LLaMA 2，最新和最強大的。然後有LLaMA，一個功能強大但小巧的模型，可以以較小的金額（約80,000美元）重新訓練，並以大約600美元進行指導調整。你可以在任何地方運行這個模型，甚至在Macbook Pro、智慧手機或Raspberry Pi上。
與此同時，Cerebras推出了一個模型家族，Databricks推出了Dolly，一個類似ChatGPT風格的開源模型，也靈活且便宜。
模型、成本和開源的力量
我們開始看到開源模型蓬勃發展的原因是因為它們的靈活性；你基本上可以用合適的工具在任何硬件上運行它們。你不會得到專有模型的那種程度和控制靈活性。
而這一切僅僅在短時間內發生，這只是個開始。
我們從開源軟體社區中吸取了很多教訓。如果我們使AI模型公開可訪問，我們可以更好地促進創新。我們可以培育全球開發人員、研究人員和創新者的社區，共同貢獻、改進和定制模型，造福大眾。
如果我們能夠實現這一點，開發人員將有選擇運行符合他們特定需求的模型的選擇－無論是開源還是現成的或定制的。在這個世界裡，可能性真的是無窮無盡的。
新聞原址： How to leverage large language models without breaking the bank (venturebeat.com)
MSFT、AWS和Google已經全面展開“AI軍備競賽”以追求主宰地位。企業們急於轉變，擔心被拋在後頭或錯失巨大機遇。由大型語言模型（LLMs）推動的新公司每分鐘都在出現，由VC推動以尋找他們的下一個賭注。
但是每個新技術都帶來挑戰。模型的真實性、偏見和訓練成本是當下的話題。身份和安全，雖然與模型的濫用有關，而不是技術本身的問題，也開始成為頭條新聞。
運行模型的成本對創新的重大威脅
生成式AI也重新引發了開源與封閉源代碼的辯論。雖然兩者在企業中都有一席之地，但開源提供了較低的部署和生產運行成本。它們也提供了很好的可訪問性和選擇。然而，我們現在看到大量的開源模型，但在部署它們的技術方面卻沒有足夠的進展。
撇開這些不談，還有一個問題需要更多的關注：在生產中運行這些大型模型的成本（推理成本）對創新構成了重大威脅。生成模型非常大、複雜並且計算密集，使它們比其他機器學習模型更昂貴。
想像你創建了一個家居裝飾應用程式，可以幫助客戶以不同的設計風格想像他們的房間。通過一些微調，Stable Diffusion模型可以相對輕鬆地做到這一點。你選擇了一個每1000張圖像收費1.50美元的服務，這可能聽起來不多，但如果應用程式走紅呢？假設你每天有100萬活躍用戶，每人製作十張圖像。你的推理成本現在每年為540萬美元。
LLM成本：推理永遠存在
現在，如果你是一家部署生成模型或LLM作為應用程式主幹的公司，你的整個定價結構、增長計劃和商業模型必須考慮這些成本。到你的AI應用程式推出時，訓練或多或少成為沉沒成本，但推理卻永遠存在。
有許多公司正在運行這些模型的例子，長期維持這些成本對它們來說將變得越來越困難。
但是，雖然專有模型在短時間內取得了長足的進展，它們並不是唯一的選擇。開源模型也在靈活性、性能和成本節省方面展示了很大的潛力，並且可能是許多新興公司未來的可行選擇。
混合世界：開源和專有模型都重要
毫無疑問，我們在短時間內從零到60，只在過去幾個月，我們就看到了OpenAI和Microsoft推出了GPT-4、Bing Chat和無窮的插件。Google也加入了
Bard的推出。在太空方面的進展令人印象深刻。
然而，與普遍的看法相反，我不認為生成AI是一個“贏者通吃”的遊戲。事實上，這些模型，儘管創新，只是勉強觸及了可能性的表面。最有趣的創新還沒有到來，將是開源的。就像我們在軟體世界所看到的，我們已經到達了公司采取混合方法的地步，合理使用專有和開源模型。
已經有證據表明開源在生成AI的擴散中將發揮重要作用。有Meta的新LLaMA 2，最新和最強大的。然後有LLaMA，一個功能強大但小巧的模型，可以以較小的金額（約80,000美元）重新訓練，並以大約600美元進行指導調整。你可以在任何地方運行這個模型，甚至在Macbook Pro、智慧手機或Raspberry Pi上。
與此同時，Cerebras推出了一個模型家族，Databricks推出了Dolly，一個類似ChatGPT風格的開源模型，也靈活且便宜。
模型、成本和開源的力量
我們開始看到開源模型蓬勃發展的原因是因為它們的靈活性；你基本上可以用合適的工具在任何硬件上運行它們。你不會得到專有模型的那種程度和控制靈活性。
而這一切僅僅在短時間內發生，這只是個開始。
我們從開源軟體社區中吸取了很多教訓。如果我們使AI模型公開可訪問，我們可以更好地促進創新。我們可以培育全球開發人員、研究人員和創新者的社區，共同貢獻、改進和定制模型，造福大眾。
如果我們能夠實現這一點，開發人員將有選擇運行符合他們特定需求的模型的選擇－無論是開源還是現成的或定制的。在這個世界裡，可能性真的是無窮無盡的。
新聞原址： How to leverage large language models without breaking the bank (venturebeat.com)