Blog
企業領袖如何運用大型語言模型開創五大新契機
企業領袖如何運用大型語言模型開創五大新契機
August 20, 2023
你應該不太可能錯過有關生成式AI的熱門話題，特別是像ChatGPT這樣的大型語言模型（LLMs）。近幾個月來，這些話題在社交媒體、新聞甚至日常對話中都非常熱門，而我們才剛剛開始了解生成式AI的潛力。
一般來說，生成式AI是指一類機器學習（ML）技術，可以創造與人類創造內容相似的圖像、音樂和文本。另一方面，LLMs是擁有數十億參數的神經網路，已在大量文本數據上進行訓練，使它們能夠理解、處理和生成人類般的語言。
這些技術共同提供了多樣化的應用範圍，具有重塑多元產業並提高人機互動品質的潛力。通過探索這些應用，企業主和企業決策者可以獲得寶貴的靈感，推動加速增長，並通過快速原型設計實現切實改善的結果。生成式AI的附加優勢是，大多數這些應用需要的專業知識最少，不需要進一步的模型訓練。
快速聲明：人們往往傾向於將生成式AI僅與ChatGPT聯繫在一起，但還有許多其他提供商的模型可用，例如Google的T5、Meta的Llama、TII的Falcon和Anthropic的Claude。雖然本文討論的大多數應用已使用OpenAI的ChatGPT，但您可以隨時調整並切換底層LLM以符合您的特定計算預算、延遲（您需要模型生成完成的速度——較小的模型允許更快的加載並減少推理延遲）和下游任務。
1. 將LLMs連接到外部數據
LLMs在開箱即用的許多任務上展示了令人印象深刻的能力，例如翻譯和摘要，無需初始定制。它們在這些通用任務上表現出色的原因是，底層基礎模型已在大型但通用的數據集上進行訓練。然而，這種能力可能不會無縫地擴展到特定領域的任務，例如，回答有關您公司年報的問題。這就是檢索增強生成（RAG）的作用所在。
RAG是一個用於構建利用外部數據源的LLM驅動系統的框架。RAG使LLM能夠訪問在預訓練期間未看到的數據，但是為了正確提供相關和準確的回應而必需的數據。RAG使像ChatGPT這樣的語言模型能夠通過結合其自然語言處理（NLP）能力和外部知識，減輕生成不准確資訊或“幻覺”的情況，從而更好地回答特定領域的問題。它通過以下方式實現：
從外部知識源（例如大型文檔集合、數據庫或互聯網）中檢索相關資訊。相關性是基於用戶問題的語義相似性（例如使用餘弦相似性來衡量）。
將檢索到的資訊增加到原始問題中的提示（以提供回答問題的有用上下文），並將其傳遞給LLM，以便它可以產生更有見地、與上下文相關並準確的回應。
這種方法使LLMs在各個領域和應用中更加多樣化和有用，包括問答、內容創造和與實時數據訪問的互動對話。Podurama，一個播客應用程式，利用了類似的技術來構建其AI驅動的推薦聊天機器人。這些機器人根據用戶查詢巧妙地建議相關節目，從播客文字稿中汲取見解以完善其推薦。
這種方法在危機管理中也很有價值。PagerDuty，一個SaaS事件響應平台，使用LLMs使用基本數據（例如標題、嚴重性或其他因素）生成事件摘要，並將其與內部Slack數據增強，其中應答者討論細節並分享故障排除更新以完善摘要的質量。
雖然RAG可能看起來很複雜，但LangChain庫為開發人員提供了實現RAG並構建複雜問答系統所需的工具。（在許多情況下，您只需要一行代碼即可開始）。LangChain是一個強大的庫，可以通過提供外部數據源的訪問或連接到其他應用程式的現有API來增強和提高LLM的運行時性能。
與開源LLMs（例如Llama 2或BLOOM）結合使用時，RAG成為處理機密文件的非常有效的架構。特別有趣的是，LangChain擁有超過120個集成（在撰寫時），可與結構化數據（SQL）、非結構化內容（PDF）、代碼片段甚至YouTube視頻無縫功能。
2. 將LLMs連接到外部應用程式
與使用外部數據源一樣，LLMs可以建立與特定任務訂製的外部應用程式的連接。當模型偶爾因過時的資訊而產生不準確時，這尤其有價值。例如，當詢問英國現任首相時，ChatGPT可能會繼續提到鮑里斯·約翰遜，即使他在2022年底卸任。這個限制是因為模型的知識在其預訓練期間是固定的，並且不包括像里希·蘇納克（Rishi Sunak）的任命這樣的後訓練事件。
為了解決這些挑戰，可以通過代理人增強LLMs，將它們與外部世界集成。這些代理人有助於減輕LLMs固有的缺乏網路訪問，使它們能夠與天氣API（用於實時天氣數據）或SerpAPI（用於網路搜索）等工具互動。一個值得注意的例子是Expedia的聊天機器人，它指導用戶發現和預訂酒店，回應有關住宿的查詢，並提供個性化旅行建議。
另一個引人注目的應用涉及使用特定屬性（例如情感、侵略性和語言）實時自動標記推文。從市場營銷和廣告的角度來看，連接到電子商務工具的代理人可以幫助LLM根據用戶興趣和內容推薦產品或套餐。
3. 鏈接LLMs
LLMs通常用於大多數應用的孤立。然而，最近LLM鏈接在複雜應用中已經引起了關注。它涉及將多個LLMs連接在一起以執行更複雜的任務。每個LLM都專門用於特定方面，它們協同合作以生成全面和精緻的輸出。
這種方法已應用於語言翻譯，其中LLMs被連續用於將文本從一種語言轉換為另一種語言。像微軟這樣的公司已經提出了LLM鏈接用於低資源語言的翻譯服務，使罕見詞的翻譯更精確和具有語境意識。
這種方法在其他領域也可以提供一些有價值的用例。對於面向消費者的公司，LLM鏈接可以創造一個動態的客戶支持體驗，可以提高客戶互動、服務質量和運營效率。
例如，第一個LLM可以對客戶查詢進行分類和分類，並將其傳遞給 gespecialiseerde LLMs以獲得更精確的回應。在製造業，可以使用LLM鏈接來優化端到端供應鏈流程，通過鏈接專門的LLMs進行需求預測、庫存管理、供應商選擇和風險評估。
4. 使用LLMs提取實體
在LLMs出現之前，實體提取依賴於勞動密集型的ML方法，涉及數據收集、標記和複雜的模型訓練。這個過程很麻煩，也很耗資源。然而，有了LLMs，這個範式已經改變。現在，實體提取簡化為一個簡單的提示，用戶可以毫不費力地查詢模型以從文本中提取實體。更有趣的是，當從非結構化文本（例如PDF）中提取實體時，您甚至可以在提示中定義架構和感興趣的屬性。
潛在的例子包括金融機構，它們可以利用LLMs從新聞文章中提取關鍵的金融實體，例如公司名稱、股票代碼和財務數字，實現及時和精確的市場分析。同樣，它可以被廣告/營銷機構用於管理其數字資產，通過使用LLM驅動的實體提取來分類廣告劇本、演員、地點和日期，促進有效的內容索引和資產重用。
5. 使用ReAct提示增強LLMs的透明度
雖然從LLMs接收直接回應無疑是有價值的，但黑盒子方法的不透明性經常在用戶中引起疑慮。此外，當面對複雜查詢的不准確回應時，確定失敗的確切步驟變得具有挑戰性。系統地分解過程可能會大大協助調試過程。這正是理由和行動（ReAct）框架發揮作用的地方，為這些挑戰提供了解決方案。
ReAct強調逐步推理，使LLM像人類一樣生成解決方案。目標是使模型像人類一樣思考任務，並使用語言解釋其推理。人們可以輕鬆地將這種方法操作化，因為生成ReAct提示是一個直接的任務，涉及人類註釋者用自然語言表達他們的想法，並與他們執行的相應操作一起。只需少量這樣的實例，模型就可以很好地推廣到新任務。
受到這個框架的啟發，許多教育技術公司正在試驗工具，為學生提供個性化的課程和作業幫助，並為教師提供AI驅動的教學計劃。為此，可汗學院（Khan Academy）開發了Khanmigo，一個聊天機器人，旨在指導學生解決數學問題和編碼練習。Khanmigo不僅僅是根據要求提供答案，而是通過引導學生了解推理過程來鼓勵深思熟慮的問題解決。這種方法不僅有助於防止抄襲，而且還使學生能夠獨立掌握概念。
結論
雖然有關AI是否能夠取代人類在其角色中的潛力，或者最終實現技術奇異點（由AI教父杰弗里·辛頓預測）的辯論可能仍在進行中，但有一件事是肯定的：LLMs無疑將在各個領域的各種任務中發揮關鍵作用。它們有能力提高效率、促進創造力和完善決策過程，同時簡化複雜任務。
對於各種技術角色的專業人士，例如數據科學家、軟體開發人員和產品所有者，LLMs可以提供有價值的工具來簡化工作流程、收集見解並開發創新解決方案。隨著技術的進一步發展和應用的不斷擴展，LLMs的潛力將不斷增長，成為未來數位化世界的基石。
新聞原址： https://venturebeat.com/ai/5-ways-enterprise-leaders-can-use-large-language-models-to-unlock-new-possibilities/
一般來說，生成式AI是指一類機器學習（ML）技術，可以創造與人類創造內容相似的圖像、音樂和文本。另一方面，LLMs是擁有數十億參數的神經網路，已在大量文本數據上進行訓練，使它們能夠理解、處理和生成人類般的語言。
這些技術共同提供了多樣化的應用範圍，具有重塑多元產業並提高人機互動品質的潛力。通過探索這些應用，企業主和企業決策者可以獲得寶貴的靈感，推動加速增長，並通過快速原型設計實現切實改善的結果。生成式AI的附加優勢是，大多數這些應用需要的專業知識最少，不需要進一步的模型訓練。
快速聲明：人們往往傾向於將生成式AI僅與ChatGPT聯繫在一起，但還有許多其他提供商的模型可用，例如Google的T5、Meta的Llama、TII的Falcon和Anthropic的Claude。雖然本文討論的大多數應用已使用OpenAI的ChatGPT，但您可以隨時調整並切換底層LLM以符合您的特定計算預算、延遲（您需要模型生成完成的速度——較小的模型允許更快的加載並減少推理延遲）和下游任務。
1. 將LLMs連接到外部數據
LLMs在開箱即用的許多任務上展示了令人印象深刻的能力，例如翻譯和摘要，無需初始定制。它們在這些通用任務上表現出色的原因是，底層基礎模型已在大型但通用的數據集上進行訓練。然而，這種能力可能不會無縫地擴展到特定領域的任務，例如，回答有關您公司年報的問題。這就是檢索增強生成（RAG）的作用所在。
RAG是一個用於構建利用外部數據源的LLM驅動系統的框架。RAG使LLM能夠訪問在預訓練期間未看到的數據，但是為了正確提供相關和準確的回應而必需的數據。RAG使像ChatGPT這樣的語言模型能夠通過結合其自然語言處理（NLP）能力和外部知識，減輕生成不准確資訊或“幻覺”的情況，從而更好地回答特定領域的問題。它通過以下方式實現：
從外部知識源（例如大型文檔集合、數據庫或互聯網）中檢索相關資訊。相關性是基於用戶問題的語義相似性（例如使用餘弦相似性來衡量）。
將檢索到的資訊增加到原始問題中的提示（以提供回答問題的有用上下文），並將其傳遞給LLM，以便它可以產生更有見地、與上下文相關並準確的回應。
這種方法使LLMs在各個領域和應用中更加多樣化和有用，包括問答、內容創造和與實時數據訪問的互動對話。Podurama，一個播客應用程式，利用了類似的技術來構建其AI驅動的推薦聊天機器人。這些機器人根據用戶查詢巧妙地建議相關節目，從播客文字稿中汲取見解以完善其推薦。
這種方法在危機管理中也很有價值。PagerDuty，一個SaaS事件響應平台，使用LLMs使用基本數據（例如標題、嚴重性或其他因素）生成事件摘要，並將其與內部Slack數據增強，其中應答者討論細節並分享故障排除更新以完善摘要的質量。
雖然RAG可能看起來很複雜，但LangChain庫為開發人員提供了實現RAG並構建複雜問答系統所需的工具。（在許多情況下，您只需要一行代碼即可開始）。LangChain是一個強大的庫，可以通過提供外部數據源的訪問或連接到其他應用程式的現有API來增強和提高LLM的運行時性能。
與開源LLMs（例如Llama 2或BLOOM）結合使用時，RAG成為處理機密文件的非常有效的架構。特別有趣的是，LangChain擁有超過120個集成（在撰寫時），可與結構化數據（SQL）、非結構化內容（PDF）、代碼片段甚至YouTube視頻無縫功能。
2. 將LLMs連接到外部應用程式
與使用外部數據源一樣，LLMs可以建立與特定任務訂製的外部應用程式的連接。當模型偶爾因過時的資訊而產生不準確時，這尤其有價值。例如，當詢問英國現任首相時，ChatGPT可能會繼續提到鮑里斯·約翰遜，即使他在2022年底卸任。這個限制是因為模型的知識在其預訓練期間是固定的，並且不包括像里希·蘇納克（Rishi Sunak）的任命這樣的後訓練事件。
為了解決這些挑戰，可以通過代理人增強LLMs，將它們與外部世界集成。這些代理人有助於減輕LLMs固有的缺乏網路訪問，使它們能夠與天氣API（用於實時天氣數據）或SerpAPI（用於網路搜索）等工具互動。一個值得注意的例子是Expedia的聊天機器人，它指導用戶發現和預訂酒店，回應有關住宿的查詢，並提供個性化旅行建議。
另一個引人注目的應用涉及使用特定屬性（例如情感、侵略性和語言）實時自動標記推文。從市場營銷和廣告的角度來看，連接到電子商務工具的代理人可以幫助LLM根據用戶興趣和內容推薦產品或套餐。
3. 鏈接LLMs
LLMs通常用於大多數應用的孤立。然而，最近LLM鏈接在複雜應用中已經引起了關注。它涉及將多個LLMs連接在一起以執行更複雜的任務。每個LLM都專門用於特定方面，它們協同合作以生成全面和精緻的輸出。
這種方法已應用於語言翻譯，其中LLMs被連續用於將文本從一種語言轉換為另一種語言。像微軟這樣的公司已經提出了LLM鏈接用於低資源語言的翻譯服務，使罕見詞的翻譯更精確和具有語境意識。
這種方法在其他領域也可以提供一些有價值的用例。對於面向消費者的公司，LLM鏈接可以創造一個動態的客戶支持體驗，可以提高客戶互動、服務質量和運營效率。
例如，第一個LLM可以對客戶查詢進行分類和分類，並將其傳遞給 gespecialiseerde LLMs以獲得更精確的回應。在製造業，可以使用LLM鏈接來優化端到端供應鏈流程，通過鏈接專門的LLMs進行需求預測、庫存管理、供應商選擇和風險評估。
4. 使用LLMs提取實體
在LLMs出現之前，實體提取依賴於勞動密集型的ML方法，涉及數據收集、標記和複雜的模型訓練。這個過程很麻煩，也很耗資源。然而，有了LLMs，這個範式已經改變。現在，實體提取簡化為一個簡單的提示，用戶可以毫不費力地查詢模型以從文本中提取實體。更有趣的是，當從非結構化文本（例如PDF）中提取實體時，您甚至可以在提示中定義架構和感興趣的屬性。
潛在的例子包括金融機構，它們可以利用LLMs從新聞文章中提取關鍵的金融實體，例如公司名稱、股票代碼和財務數字，實現及時和精確的市場分析。同樣，它可以被廣告/營銷機構用於管理其數字資產，通過使用LLM驅動的實體提取來分類廣告劇本、演員、地點和日期，促進有效的內容索引和資產重用。
5. 使用ReAct提示增強LLMs的透明度
雖然從LLMs接收直接回應無疑是有價值的，但黑盒子方法的不透明性經常在用戶中引起疑慮。此外，當面對複雜查詢的不准確回應時，確定失敗的確切步驟變得具有挑戰性。系統地分解過程可能會大大協助調試過程。這正是理由和行動（ReAct）框架發揮作用的地方，為這些挑戰提供了解決方案。
ReAct強調逐步推理，使LLM像人類一樣生成解決方案。目標是使模型像人類一樣思考任務，並使用語言解釋其推理。人們可以輕鬆地將這種方法操作化，因為生成ReAct提示是一個直接的任務，涉及人類註釋者用自然語言表達他們的想法，並與他們執行的相應操作一起。只需少量這樣的實例，模型就可以很好地推廣到新任務。
受到這個框架的啟發，許多教育技術公司正在試驗工具，為學生提供個性化的課程和作業幫助，並為教師提供AI驅動的教學計劃。為此，可汗學院（Khan Academy）開發了Khanmigo，一個聊天機器人，旨在指導學生解決數學問題和編碼練習。Khanmigo不僅僅是根據要求提供答案，而是通過引導學生了解推理過程來鼓勵深思熟慮的問題解決。這種方法不僅有助於防止抄襲，而且還使學生能夠獨立掌握概念。
結論
雖然有關AI是否能夠取代人類在其角色中的潛力，或者最終實現技術奇異點（由AI教父杰弗里·辛頓預測）的辯論可能仍在進行中，但有一件事是肯定的：LLMs無疑將在各個領域的各種任務中發揮關鍵作用。它們有能力提高效率、促進創造力和完善決策過程，同時簡化複雜任務。
對於各種技術角色的專業人士，例如數據科學家、軟體開發人員和產品所有者，LLMs可以提供有價值的工具來簡化工作流程、收集見解並開發創新解決方案。隨著技術的進一步發展和應用的不斷擴展，LLMs的潛力將不斷增長，成為未來數位化世界的基石。
新聞原址： https://venturebeat.com/ai/5-ways-enterprise-leaders-can-use-large-language-models-to-unlock-new-possibilities/