Blog
Nvidia推出「Chat with RTX」工具，讓用戶在PC上離線運行AI聊天機器人
Nvidia推出「Chat with RTX」工具，讓用戶在PC上離線運行AI聊天機器人
February 15, 2024
重點摘要：
- 「Chat with RTX」工具介紹：Nvidia推出了名為「Chat with RTX」的工具，允許GeForce RTX系列顯卡的用戶在Windows PC上離線運行由人工智慧驅動的聊天機器人。
- 應用範圍和功能：使用者可以根據OpenAI的ChatGPT類型定制GenAI模型，透過連接文件、檔案和筆記，並對其進行查詢，以便快速獲得相關訊息，例如查詢當地餐廳。
- 限制和潛在挑戰：「Chat with RTX」無法記住上下文，並且回答的相關性可能受多種因素影響，包括問題措辭、模型性能和微調數據集的大小。儘管如此，使AI模型在當地運行的應用程式是一個不斷增長的趨勢。
新聞內文：
Nvidia一向熱衷於激勵人們購買其最新的GPU，現在推出了一個工具，讓「GeForce RTX 30」系列和「40」系列顯卡的擁有者可以在Windows PC上離線運行一個由人工智慧驅動的聊天機器人。這個工具名為「Chat with RTX」，允許使用者根據OpenAI的ChatGPT類型定制一個GenAI模型，透過將其連接到文件、檔案和筆記，然後對其進行查詢。
Nvidia在一篇部落格文章中寫道：「使用者不必再搜尋筆記或保存的內容，只需簡單地輸入查詢」。「例如，一個人可以問，『我伴侶在拉斯維加斯推薦的那家餐廳是什麼？』然後Chat with RTX將會掃描使用者指定的當地文件，並提供符合上下文的答案」。
Chat with RTX默認使用AI新創公司Mistral的開源模型，但支持其他基於文本的模型，包括Meta的Llama 2。Nvidia警告說，下載所有必要的文件將占用大量的儲存空間根據所選模型，預估需要50GB到100GB不等。
目前，Chat with RTX支援文本、PDF、.doc、.docx和.xml格式。將應用程式指向包含任何支援文件的文件夾將會將這些文件加載到模型的微調數據庫中。此外，Chat with RTX還可以接受YouTube播放列表的URL，以加載播放列表中影片的文字轉錄，從而使所選模型可以查詢其內容。
現在，值得注意的是，Nvidia在一份使用指南中列出了一些限制，這也是該公司的一大優點。
Chat with RTX無法記住上下文，這意味著應用程式在回答後續問題時不會考慮任何先前的問題。例如，如果您問「北美普通的鳥是什麼？」然後接著問「它的顏色是什麼？」，Chat with RTX將不知道您正在談論鳥類相關話題。
Nvidia還承認，應用程式的回答的相關性可能受到一系列因素的影響，有些因素比其他因素更容易控制，包括問題的措辭、所選模型的性能和微調數據集的大小。要求提供幾份文件中包含的事實可能會產生更好的結果，而要求對文件或一組文件進行摘要可能不太理想。Nvidia表示，隨著數據庫的增加，回應品質通常會提高。對於將Chat with RTX指向更多與特定主題相關的內容也是如此。
因此，Chat with RTX更像是一種玩具，而不是用於生產的工具。儘管如此，讓AI模型在當地運行變得更加容易的應用程式，這是一種不斷增長的趨勢。
在最近的一份報告中，世界經濟論壇預測了可以在離線運行GenAI模型的價格實惠的設備將會「戲劇性」增長，包括個人電腦、智慧手機、網路連線設備和其他網路設備。世界經濟論壇表示，原因在於明顯的好處：離線模型本質上更加私密（它們處理的數據永遠不會離開運行它們的設備），而且比雲端託管模型具有更低的延遲和更具成本效益。
當然，使運行和訓練模型的工具民主化也為惡意行為者敞開了大門。簡單的Google搜索就會發現許多模型是在網路的不誠實角落進行了毒性內容的微調。但是，像Chat with RTX這樣的應用程式的支持者認為，其好處大於壞處。我們還需要觀望未來的發展。
新聞內文： https://techcrunch.com/2024/02/13/nvidias-new-tool-lets-you-run-genai-models-on-a-pc/