Blog
微軟推出小型AI模型Phi-2和Orca 2，挑戰OpenAI的大型模型優勢
微軟推出小型AI模型Phi-2和Orca 2，挑戰OpenAI的大型模型優勢
December 14, 2023
重點摘要：
新聞內文：
微軟正在展示其自家的小型人工智慧模型，該公司稱這些模型可能與ChatGPT一樣出色。
換句話說，這是微軟對OpenAI的後備計劃。
提醒一下：微軟今年向OpenAI投資了100億美元，以利用ChatGPT的受歡迎程度。它還將這家初創公司的技術整合到了自己的產品中，如「Bing」，並基於OpenAI的技術開發了一款「日常人工智慧伴侶」。
但在OpenAI董事會去年11月出人意料地解僱然後重新任命CEO Sam Altman之後，這家科技龍頭似乎急於展現它擁有自己的強大技術。正如《商業內幕》的Ashley Stewart所寫，微軟的高層主管最近已經在與OpenAI保持距離。
微軟的小型語言模型
週三，微軟宣布推出「Phi-2」，這是該公司研究子公司的人工智慧模型的新版本。該公司的研究人員說，這個模型雖小但功能強大。
它是一個小型的大型語言模型，訓練時間為14天，包含27億參數。可以將參數理解為模型內部用於確定像ChatGPT這樣的問答響應的變數或係數。
作為參考，OpenAI的舊模型GPT-3擁有1750億參數。Meta的Llama 2包含一系列不同大小的模型，最小的模型從70億參數開始，最大的模型為700億參數。
這是相當顯著的大小差異，因此微軟尚未試圖暗示Phi-2能成為GPT的殺手。據傳，OpenAI的GPT-4擁有超過1萬億參數。
但由於Phi-2對密集計算能力的需求較小，運行成本比大得多的模型要低，因此在某些方面似乎超越了它的前輩們。
微軟的研究人員Mohan Javaheripi和Sébastien Bubeck在部落格中寫道：「在複雜的基準測試中，Phi-2與大25倍的模型相匹配或表現更好，這要歸功於模型縮放和訓練數據整理方面的新創新」。
特別是，與Meta的70億和130億參數模型相比，Phi-2在常識推理、語言理解以及數學和編碼方面勝出。
根據微軟的分析，它還擊敗了法國新創公司「Mistral」的70億參數模型，並在這些基準上輕鬆超越了Google上週宣布的三個新模型之一「Gemini Nano」。
然後是「Orca 2」，在OpenAI執行長Altman被解僱後的三天，微軟於11月20日宣布的另一款人工智慧模型。
微軟表示，Orca 2的目標是讓小型人工智慧模型「實現增強推理能力，這通常只在更大的語言模型中找到」。根據微軟的說法，性能水平與大5至10倍的模型相似或更好。
該公司承認像GPT-4這樣的「前沿」人工智慧模型已經「展現了驚人的推理能力」。它們可以回答複雜問題，而無需進行多步處理。
但其研究人員表示，像Orca 2這樣的小型模型也可以執行這些複雜任務，只是採取了不同的方法。他們在部落格中說：「雖然像GPT-4這樣的極其強大的模型可以直接回答複雜任務，但小型模型可能會從將任務分解為步驟中受益」。
數據漂流者（Data Drifters），一個由編碼者和愛好者組成的社群，發布了自己的分析，表明Orca 2接近GPT-4的推理能力。
綜合Orca 2和Phi-2，微軟還沒有打造出自己的GPT-4內部版本。但它們可能表明，對於微軟來說，人工智慧不僅僅是OpenAI的開始和結束。
新聞原址： https://www.businessinsider.com/microsoft-shows-off-smaller-ai-models-after-openai-chaos-2023-12
- 微軟展示其自家的小型AI模型「Phi-2」，雖然規模比OpenAI的GPT-3小，但在某些測試中表現匹敵或超越更大模型。
- 微軟的Phi-2模型包含27億參數，相較於GPT-3的1750億參數，展現出小型模型也能在複雜任務上有效運作的潛力。
- 微軟另一款AI模型「Orca 2」旨在實現與更大模型相似或更佳的推理能力，證明小型模型在分解複雜任務方面的有效性。
新聞內文：
微軟正在展示其自家的小型人工智慧模型，該公司稱這些模型可能與ChatGPT一樣出色。
換句話說，這是微軟對OpenAI的後備計劃。
提醒一下：微軟今年向OpenAI投資了100億美元，以利用ChatGPT的受歡迎程度。它還將這家初創公司的技術整合到了自己的產品中，如「Bing」，並基於OpenAI的技術開發了一款「日常人工智慧伴侶」。
但在OpenAI董事會去年11月出人意料地解僱然後重新任命CEO Sam Altman之後，這家科技龍頭似乎急於展現它擁有自己的強大技術。正如《商業內幕》的Ashley Stewart所寫，微軟的高層主管最近已經在與OpenAI保持距離。
微軟的小型語言模型
週三，微軟宣布推出「Phi-2」，這是該公司研究子公司的人工智慧模型的新版本。該公司的研究人員說，這個模型雖小但功能強大。
它是一個小型的大型語言模型，訓練時間為14天，包含27億參數。可以將參數理解為模型內部用於確定像ChatGPT這樣的問答響應的變數或係數。
作為參考，OpenAI的舊模型GPT-3擁有1750億參數。Meta的Llama 2包含一系列不同大小的模型，最小的模型從70億參數開始，最大的模型為700億參數。
這是相當顯著的大小差異，因此微軟尚未試圖暗示Phi-2能成為GPT的殺手。據傳，OpenAI的GPT-4擁有超過1萬億參數。
但由於Phi-2對密集計算能力的需求較小，運行成本比大得多的模型要低，因此在某些方面似乎超越了它的前輩們。
微軟的研究人員Mohan Javaheripi和Sébastien Bubeck在部落格中寫道：「在複雜的基準測試中，Phi-2與大25倍的模型相匹配或表現更好，這要歸功於模型縮放和訓練數據整理方面的新創新」。
特別是，與Meta的70億和130億參數模型相比，Phi-2在常識推理、語言理解以及數學和編碼方面勝出。
根據微軟的分析，它還擊敗了法國新創公司「Mistral」的70億參數模型，並在這些基準上輕鬆超越了Google上週宣布的三個新模型之一「Gemini Nano」。
然後是「Orca 2」，在OpenAI執行長Altman被解僱後的三天，微軟於11月20日宣布的另一款人工智慧模型。
微軟表示，Orca 2的目標是讓小型人工智慧模型「實現增強推理能力，這通常只在更大的語言模型中找到」。根據微軟的說法，性能水平與大5至10倍的模型相似或更好。
該公司承認像GPT-4這樣的「前沿」人工智慧模型已經「展現了驚人的推理能力」。它們可以回答複雜問題，而無需進行多步處理。
但其研究人員表示，像Orca 2這樣的小型模型也可以執行這些複雜任務，只是採取了不同的方法。他們在部落格中說：「雖然像GPT-4這樣的極其強大的模型可以直接回答複雜任務，但小型模型可能會從將任務分解為步驟中受益」。
數據漂流者（Data Drifters），一個由編碼者和愛好者組成的社群，發布了自己的分析，表明Orca 2接近GPT-4的推理能力。
綜合Orca 2和Phi-2，微軟還沒有打造出自己的GPT-4內部版本。但它們可能表明，對於微軟來說，人工智慧不僅僅是OpenAI的開始和結束。
新聞原址： https://www.businessinsider.com/microsoft-shows-off-smaller-ai-models-after-openai-chaos-2023-12