Blog
Arthur推出開源工具，協助公司找到最適合工作的大型語言模型(LLM)
Arthur推出開源工具，協助公司找到最適合工作的大型語言模型(LLM)
August 18, 2023
Arthur的CEO兼聯合創始人Adam Wenchel表示，公司對生成式人工智慧和LLM方面非常感興趣，因此他們一直在努力創建產品。
他說，今天，儘管自ChatGPT發布不到一年的時間，但各家公司還沒有一個有組織的方式來衡量並且比較，其中一個工具與另一個工具的有效性，而這就是他們創建Arthur Bench的原因。
Wenchel表示：“Arthur Bench解決了我們每個客戶都會遇到的一個關鍵問題，那就是”在所有模型的選擇中”，哪一個最適合應嗽用在您的特定場景。”
它附帶了一套工具，您可以用來有系統地測試性能，但真正的價值在於它允許您測試和衡量，您的特定應用程式的用戶，可能使用的提示類型，以及如何針對不同的LLM作執行。
Wenchel說：“您可以測試100個不同的提示，然後看看兩個不同的LLM（例如Anthropic與OpenAI）在使用者可能使用的提示類型上的表現。”更重要的是，您可以大規模範圍的作到這件事，並且更容易決定哪個模型最適合您的特定用例。
Arthur Bench作為一個開源工具發布。還將會有一個SaaS版本，提供給不想處理開源版本的複雜性的客戶使用，或者有更大的測試需求，並願意為此付費的客戶使用。而目前，Wenchel說他們正在專注於開源項目。
這個新工具緊隨Arthur Shield在五月份的發布之後，這是一種LLM防火牆，旨在檢測模型中的幻覺，同時保護免受有毒資訊和私人數據洩漏的侵害。
新聞原址： https://techcrunch.com/2023/08/17/arthur-releases-open-source-tool-to-help-companies-find-the-best-llm-for-a-job/