Blog
Hugging Face團隊H4推動AI開源革命，釋放ChatGPT風格模型構建秘笈
Hugging Face團隊H4推動AI開源革命，釋放ChatGPT風格模型構建秘笈
November 9, 2023
重點摘要：
新聞內文：
AI新創公司「Hugging Face」提供各種數據科學主機和開發工具，包括類似GitHub的AI代碼儲存庫、模型和數據集，以及Web儀表板來演示基於AI的應用程式。
但最令人印象深刻且功能強大的工具之一，來自一個在今年初成立的兩人團隊。
該團隊稱為「H4」，H4縮寫為「幫助、坦誠、無害和親切」，旨在開發工具和「配方」，以使AI社群能夠構造類似ChatGPT的AI聊天機器人。實際上，據Hugging Face的機器學習工程師之一Lewis Tunstall稱，正是ChatGPT的推出促使了H4的成立。
Tunstall在電子郵件訪談中告訴TechCrunch：「當OpenAI於2022年底推出ChatGPT時，我們開始思考使用開源數據庫和模型複製其功能可能需要什麼」。「H4的主要研究重點是關於對齊，廣泛而言，這涉及教授LLMs如何根據來自人類（甚至其他AI）的反饋來行為」。
H4背後有越來越多的開源大型語言模型，包括「Zephyr-7B-α」，這是法國AI新創公司「Mistral」最近釋放的Mistral 7B模型經過微調後的「以對話為中心」的版本。H4還分支了來自阿布達比技術創新研究所的「Falcon-40B」模型，修改該模型以更友好地回應自然語言的請求。
為了訓練其模型，H4（就像Hugging Face的其他研究團隊一樣）依賴於超過1,000個Nvidia A100 GPU的專用集群。Tunstall和H4的另一位成員Ed Beeching都遠端工作在歐洲，但他們得到了Hugging Face的幾個內部團隊的支持，其中包括模型測試和評估團隊。
Beeching通過電子郵件告訴TechCrunch：「H4的小規模是一個有意為之的選擇，因為它使我們能夠更靈活地適應不斷變化的研究環境」。「我們還與LMSYS和LlamaIndex等組織進行了多項外部合作，我們與這些組織合作共同發布」。
最近，H4一直在研究不同的對齊技術，並建立工具來測試社區和行業提出的技術的實際效果。該團隊本月發布了一本手冊，其中包含他們用來構建Zephyr的所有源代碼和數據集，隨著這些模型的發布，H4計劃將未來AI模型的代碼添加到手冊中。
我問H4是否受到Hugging Face高層的壓力，要將他們的工作商業化。畢竟，該公司已經從一系列知名的投資者那裡籌集了數億美元，其中包括Salesforce、IBM、AMD、Google、Amazon、Intel和Nvidia等。據報導，Hugging Face上一輪的融資將其估值為45億美元，據報導是該公司年收入的100多倍。
Tunstall表示，H4不會直接將其工具商業化。但他承認，這些工具確實有助於Hugging Face的專家加速計劃，該計劃是Hugging Face針對企業提供的，提供了來自Hugging Face團隊的指導，以構建定制的AI解決方案。
在被問及是否認為H4與其他開源AI倡議項目（如EleutherAI和LAION）競爭時，Beeching表示，這不是H4的目標。相反地他表示，它意圖是透過公開釋放與H4的聊天模型相關的培訓代碼和數據集來「賦能」開放的AI社區。
Beeching表示：「我們的工作不可能沒有社區的許多貢獻」。
新聞原址： https://techcrunch.com/2023/11/08/hugging-face-has-a-two-person-team-developing-chatgpt-like-ai-models/?guccounter=1
- AI新創公司Hugging Face的小團隊「H4」開發了工具和「配方」，幫助AI社群構造類似ChatGPT的聊天機器人。
- H4利用開源大型語言模型，包括「Zephyr-7B-α」和「Falcon-40B」，並發布了一本包含構建這些模型的所有源代碼和數據集的手冊。
- H4團隊不打算直接商業化其工具，而是透過公開釋放培訓代碼和數據集來支持開放的AI社區。
新聞內文：
AI新創公司「Hugging Face」提供各種數據科學主機和開發工具，包括類似GitHub的AI代碼儲存庫、模型和數據集，以及Web儀表板來演示基於AI的應用程式。
但最令人印象深刻且功能強大的工具之一，來自一個在今年初成立的兩人團隊。
該團隊稱為「H4」，H4縮寫為「幫助、坦誠、無害和親切」，旨在開發工具和「配方」，以使AI社群能夠構造類似ChatGPT的AI聊天機器人。實際上，據Hugging Face的機器學習工程師之一Lewis Tunstall稱，正是ChatGPT的推出促使了H4的成立。
Tunstall在電子郵件訪談中告訴TechCrunch：「當OpenAI於2022年底推出ChatGPT時，我們開始思考使用開源數據庫和模型複製其功能可能需要什麼」。「H4的主要研究重點是關於對齊，廣泛而言，這涉及教授LLMs如何根據來自人類（甚至其他AI）的反饋來行為」。
H4背後有越來越多的開源大型語言模型，包括「Zephyr-7B-α」，這是法國AI新創公司「Mistral」最近釋放的Mistral 7B模型經過微調後的「以對話為中心」的版本。H4還分支了來自阿布達比技術創新研究所的「Falcon-40B」模型，修改該模型以更友好地回應自然語言的請求。
為了訓練其模型，H4（就像Hugging Face的其他研究團隊一樣）依賴於超過1,000個Nvidia A100 GPU的專用集群。Tunstall和H4的另一位成員Ed Beeching都遠端工作在歐洲，但他們得到了Hugging Face的幾個內部團隊的支持，其中包括模型測試和評估團隊。
Beeching通過電子郵件告訴TechCrunch：「H4的小規模是一個有意為之的選擇，因為它使我們能夠更靈活地適應不斷變化的研究環境」。「我們還與LMSYS和LlamaIndex等組織進行了多項外部合作，我們與這些組織合作共同發布」。
最近，H4一直在研究不同的對齊技術，並建立工具來測試社區和行業提出的技術的實際效果。該團隊本月發布了一本手冊，其中包含他們用來構建Zephyr的所有源代碼和數據集，隨著這些模型的發布，H4計劃將未來AI模型的代碼添加到手冊中。
我問H4是否受到Hugging Face高層的壓力，要將他們的工作商業化。畢竟，該公司已經從一系列知名的投資者那裡籌集了數億美元，其中包括Salesforce、IBM、AMD、Google、Amazon、Intel和Nvidia等。據報導，Hugging Face上一輪的融資將其估值為45億美元，據報導是該公司年收入的100多倍。
Tunstall表示，H4不會直接將其工具商業化。但他承認，這些工具確實有助於Hugging Face的專家加速計劃，該計劃是Hugging Face針對企業提供的，提供了來自Hugging Face團隊的指導，以構建定制的AI解決方案。
在被問及是否認為H4與其他開源AI倡議項目（如EleutherAI和LAION）競爭時，Beeching表示，這不是H4的目標。相反地他表示，它意圖是透過公開釋放與H4的聊天模型相關的培訓代碼和數據集來「賦能」開放的AI社區。
Beeching表示：「我們的工作不可能沒有社區的許多貢獻」。
新聞原址： https://techcrunch.com/2023/11/08/hugging-face-has-a-two-person-team-developing-chatgpt-like-ai-models/?guccounter=1