Blog
亞馬遜正急於通過訂製的AWS晶片，來迎頭趕上微軟和谷歌在生成式AI領域的競爭。
亞馬遜正急於通過訂製的AWS晶片，來迎頭趕上微軟和谷歌在生成式AI領域的競爭。
August 14, 2023
位於德州奧斯汀一棟無標記的辦公大樓內，有兩個小房間容納了少數亞馬遜員工，他們正在設計兩種用於訓練和加速生成式AI的微型晶片。這些訂製晶片，名為Inferentia和Trainium，為AWS客戶提供了一個替代方案，讓他們能夠在Nvidia的GPU上訓練他們的大型語言模型，這些GPU已經變得越來越難且昂貴地獲得。
亞馬遜網絡服務（Amazon Web Services）的首席執行官Adam Selipsky在6月的一次CNBC訪談中表示：“全世界都想要更多用於生成式AI的晶片，無論是GPU還是我們正在設計的亞馬遜自家的晶片。我認為我們比地球上任何人都更有能力提供我們的客戶集體想要的容量。”
然而，其他人已經行動更快，投資更多，以捕捉生成式AI繁榮帶來的業務。當OpenAI於11月推出ChatGPT時，微軟因托管這個病毒般的聊天機器人並 reportedly 投資130億美元於OpenAI而引起了廣泛關注。微軟迅速將生成式AI模型添加到自己的產品中，並於2月將其整合到Bing中。
同月，谷歌推出了自己的大型語言模型Bard，隨後投資了3億美元於OpenAI的競爭對手Anthropic。
直到4月，亞馬遜才宣布推出自己的大型語言模型家族Titan，以及一個名為Bedrock的服務，以幫助開發人員使用生成式AI增強軟件。
Gartner的副總裁分析師Chirag Dekate表示：“亞馬遜不習慣於追趕市場。亞馬遜習慣於創造市場。我認為他們很久以來第一次發現自己處於劣勢，他們正在努力迎頭趕上。”
Meta也最近推出了自己的LLM，Llama 2。這個開源的ChatGPT競爭對手現在可以在微軟的Azure公共雲端上進行測試。
晶片作為“真正的差異化”
長期來看，Dekate表示，亞馬遜的訂製矽可能會在生成式AI方面給它帶來優勢。
他說：“我認為真正的差異化是他們所帶來的技術能力。因為猜什麼？微軟沒有Trainium或Inferentia。”
AWS在2013年悄悄開始生產訂製的矽，名為Nitro的專門硬體。它現在是AWS的最高銷量晶片。亞馬遜告訴CNBC，每台AWS服務器中至少有一個，總計超過2000萬個正在使用。
2015年，亞馬遜收購了以色列晶片初創公司Annapurna Labs。然後在2018年，亞馬遜推出了基於Arm的服務器晶片Graviton，與像AMD和Intel這樣的巨頭的x86 CPU競爭。
Bernstein Research的高級分析師Stacy Rasgon表示：“整體服務器銷售的高單位數到可能10%是Arm，其中很大一部分將是亞馬遜。所以在CPU方面，他們做得相當好。”
同年，亞馬遜推出了其專注於AI的晶片。這是在谷歌宣布其第一個張量處理單元（TPU）兩年後。微軟尚未宣布它一直在與AMD合作開發的Athena AI晶片。
CNBC參觀了位於德州奧斯汀的亞馬遜晶片實驗室，Trainium和Inferentia在那裡開發和測試。產品副總裁Matt Wood解釋了這兩個晶片的用途。
Wood說：“機器學習分為這兩個不同的階段。所以你訓練機器學習模型，然後你對這些訓練過的模型進行推理。Trainium相對於在AWS上訓練機器學習模型的任何其他方式提供了大約50%的價格性能提升。”
Trainium於2021年首次上市，緊隨其後的是2019年推出的Inferentia，現在已經是第二代。
Inferentia允許客戶“提供非常非常低成本、高吞吐量、低延遲的機器學習推理，這是當你在生成式AI模型中輸入提示時進行所有預測的地方，那就是所有這些都被處理以給你回應的地方，”Wood說。
然而，目前，Nvidia的GPU在訓練模型方面仍然是王者。7月，AWS推出了由Nvidia H100驅動的新AI加速硬體。
Rasgon說：“Nvidia晶片有一個在過去15年左右圍繞它們建立起來的龐大軟件生態系，沒有人擁有。” “目前AI的大贏家是Nvidia。”
利用雲端霸主地位
然而，AWS的雲端霸主地位是亞馬遜的一個重要區別因素。
Dekate說：“亞馬遜不需要贏得標題。亞馬遜已經擁有一個非常強大的雲端安裝基礎。他們需要做的就是弄清楚如何使他們的現有客戶能夠使用生成式AI擴展到價值創造動作。”
在選擇亞馬遜、谷歌和微軟之間的生成式AI時，有數百萬的AWS客戶可能會被吸引到亞馬遜，因為他們已經熟悉它，在那裡運行其他應用程序並存儲他們的數據。
AWS的技術副總裁Mai-Lan Tomsen Bukovec解釋說：“這是速度的問題。這些公司能夠多快地開發這些生成式AI應用程序，取決於他們首先在AWS中擁有的數據，並使用我們提供的計算和機器學習工具。”
根據技術行業研究公司Gartner的數據，AWS是全球最大的雲端計算提供商，2022年市場份額為40%。儘管營業收入已連續三個季度同比下降，但AWS仍占亞馬遜整體77億美元營業利潤的70%。AWS的營業利潤率歷史上一直遠高於谷歌雲端。
AWS還擁有一個不斷增長的開發人員工具組合，專注於生成式AI。
AWS的數據庫、分析和機器學習副總裁Swami Sivasubramanian說：“讓我們倒轉時鐘，甚至在ChatGPT之前。不是在那之後，突然我們匆忙想出了一個計劃，因為你不能在那麼短的時間內設計一個晶片，更不用說你不能在2到3個月內建立一個Bedrock服務。”
Bedrock使AWS客戶能夠訪問由Anthropic、Stability AI、AI21 Labs和亞馬遜自家的Titan製造的大型語言模型。
Sivasubramanian說：“我們不相信一個模型將統治世界，我們希望我們的客戶擁有來自多個提供商的最先進模型，因為他們將為合適的工作選擇合適的工具。”
亞馬遜最新的AI產品之一是AWS HealthScribe，這是一項在7月推出的服務，旨在幫助醫生使用生成式AI草擬患者就診摘要。亞馬遜還有SageMaker，一個提供算法、模型等的機器學習中心。
另一個重要工具是編碼伴侶CodeWhisperer，亞馬遜表示它使開發人員平均完成任務的速度提高了57%。去年，微軟也報告了其編碼伴侶GitHub Copilot帶來的生產力提升。
6月，AWS宣布了一個價值1億美元的生成式AI創新“中心”。
AWS首席執行官Selipsky說：“我們有很多客戶說，‘我想做生成式AI，’但他們不一定知道這對他們自己的業務意味著什麼。所以我們將帶來解決方案架構師和工程師和策略師和數據科學家，與他們一對一合作。”
目前，亞馬遜只是加快了其推進生成式AI的步伐，告訴CNBC“超過100,000”客戶今天正在AWS上使用機器學習。儘管這只是AWS數百萬客戶的一小部分，但分析師說這可能會改變。
Dekate說：“我們沒有看到企業說，‘哦，等一下，微軟在生成式AI方面如此領先，讓我們出去，讓我們改變我們的基礎設施策略，將所有東西遷移到微軟。’如果你已經是亞馬遜的客戶，那麼你很可能會廣泛探索亞馬遜生態系統。”
新聞原址： https://www.cnbc.com/2023/08/12/amazon-is-racing-to-catch-up-in-generative-ai-with-custom-aws-chips.html
亞馬遜網絡服務（Amazon Web Services）的首席執行官Adam Selipsky在6月的一次CNBC訪談中表示：“全世界都想要更多用於生成式AI的晶片，無論是GPU還是我們正在設計的亞馬遜自家的晶片。我認為我們比地球上任何人都更有能力提供我們的客戶集體想要的容量。”
然而，其他人已經行動更快，投資更多，以捕捉生成式AI繁榮帶來的業務。當OpenAI於11月推出ChatGPT時，微軟因托管這個病毒般的聊天機器人並 reportedly 投資130億美元於OpenAI而引起了廣泛關注。微軟迅速將生成式AI模型添加到自己的產品中，並於2月將其整合到Bing中。
同月，谷歌推出了自己的大型語言模型Bard，隨後投資了3億美元於OpenAI的競爭對手Anthropic。
直到4月，亞馬遜才宣布推出自己的大型語言模型家族Titan，以及一個名為Bedrock的服務，以幫助開發人員使用生成式AI增強軟件。
Gartner的副總裁分析師Chirag Dekate表示：“亞馬遜不習慣於追趕市場。亞馬遜習慣於創造市場。我認為他們很久以來第一次發現自己處於劣勢，他們正在努力迎頭趕上。”
Meta也最近推出了自己的LLM，Llama 2。這個開源的ChatGPT競爭對手現在可以在微軟的Azure公共雲端上進行測試。
晶片作為“真正的差異化”
長期來看，Dekate表示，亞馬遜的訂製矽可能會在生成式AI方面給它帶來優勢。
他說：“我認為真正的差異化是他們所帶來的技術能力。因為猜什麼？微軟沒有Trainium或Inferentia。”
AWS在2013年悄悄開始生產訂製的矽，名為Nitro的專門硬體。它現在是AWS的最高銷量晶片。亞馬遜告訴CNBC，每台AWS服務器中至少有一個，總計超過2000萬個正在使用。
2015年，亞馬遜收購了以色列晶片初創公司Annapurna Labs。然後在2018年，亞馬遜推出了基於Arm的服務器晶片Graviton，與像AMD和Intel這樣的巨頭的x86 CPU競爭。
Bernstein Research的高級分析師Stacy Rasgon表示：“整體服務器銷售的高單位數到可能10%是Arm，其中很大一部分將是亞馬遜。所以在CPU方面，他們做得相當好。”
同年，亞馬遜推出了其專注於AI的晶片。這是在谷歌宣布其第一個張量處理單元（TPU）兩年後。微軟尚未宣布它一直在與AMD合作開發的Athena AI晶片。
CNBC參觀了位於德州奧斯汀的亞馬遜晶片實驗室，Trainium和Inferentia在那裡開發和測試。產品副總裁Matt Wood解釋了這兩個晶片的用途。
Wood說：“機器學習分為這兩個不同的階段。所以你訓練機器學習模型，然後你對這些訓練過的模型進行推理。Trainium相對於在AWS上訓練機器學習模型的任何其他方式提供了大約50%的價格性能提升。”
Trainium於2021年首次上市，緊隨其後的是2019年推出的Inferentia，現在已經是第二代。
Inferentia允許客戶“提供非常非常低成本、高吞吐量、低延遲的機器學習推理，這是當你在生成式AI模型中輸入提示時進行所有預測的地方，那就是所有這些都被處理以給你回應的地方，”Wood說。
然而，目前，Nvidia的GPU在訓練模型方面仍然是王者。7月，AWS推出了由Nvidia H100驅動的新AI加速硬體。
Rasgon說：“Nvidia晶片有一個在過去15年左右圍繞它們建立起來的龐大軟件生態系，沒有人擁有。” “目前AI的大贏家是Nvidia。”
利用雲端霸主地位
然而，AWS的雲端霸主地位是亞馬遜的一個重要區別因素。
Dekate說：“亞馬遜不需要贏得標題。亞馬遜已經擁有一個非常強大的雲端安裝基礎。他們需要做的就是弄清楚如何使他們的現有客戶能夠使用生成式AI擴展到價值創造動作。”
在選擇亞馬遜、谷歌和微軟之間的生成式AI時，有數百萬的AWS客戶可能會被吸引到亞馬遜，因為他們已經熟悉它，在那裡運行其他應用程序並存儲他們的數據。
AWS的技術副總裁Mai-Lan Tomsen Bukovec解釋說：“這是速度的問題。這些公司能夠多快地開發這些生成式AI應用程序，取決於他們首先在AWS中擁有的數據，並使用我們提供的計算和機器學習工具。”
根據技術行業研究公司Gartner的數據，AWS是全球最大的雲端計算提供商，2022年市場份額為40%。儘管營業收入已連續三個季度同比下降，但AWS仍占亞馬遜整體77億美元營業利潤的70%。AWS的營業利潤率歷史上一直遠高於谷歌雲端。
AWS還擁有一個不斷增長的開發人員工具組合，專注於生成式AI。
AWS的數據庫、分析和機器學習副總裁Swami Sivasubramanian說：“讓我們倒轉時鐘，甚至在ChatGPT之前。不是在那之後，突然我們匆忙想出了一個計劃，因為你不能在那麼短的時間內設計一個晶片，更不用說你不能在2到3個月內建立一個Bedrock服務。”
Bedrock使AWS客戶能夠訪問由Anthropic、Stability AI、AI21 Labs和亞馬遜自家的Titan製造的大型語言模型。
Sivasubramanian說：“我們不相信一個模型將統治世界，我們希望我們的客戶擁有來自多個提供商的最先進模型，因為他們將為合適的工作選擇合適的工具。”
亞馬遜最新的AI產品之一是AWS HealthScribe，這是一項在7月推出的服務，旨在幫助醫生使用生成式AI草擬患者就診摘要。亞馬遜還有SageMaker，一個提供算法、模型等的機器學習中心。
另一個重要工具是編碼伴侶CodeWhisperer，亞馬遜表示它使開發人員平均完成任務的速度提高了57%。去年，微軟也報告了其編碼伴侶GitHub Copilot帶來的生產力提升。
6月，AWS宣布了一個價值1億美元的生成式AI創新“中心”。
AWS首席執行官Selipsky說：“我們有很多客戶說，‘我想做生成式AI，’但他們不一定知道這對他們自己的業務意味著什麼。所以我們將帶來解決方案架構師和工程師和策略師和數據科學家，與他們一對一合作。”
目前，亞馬遜只是加快了其推進生成式AI的步伐，告訴CNBC“超過100,000”客戶今天正在AWS上使用機器學習。儘管這只是AWS數百萬客戶的一小部分，但分析師說這可能會改變。
Dekate說：“我們沒有看到企業說，‘哦，等一下，微軟在生成式AI方面如此領先，讓我們出去，讓我們改變我們的基礎設施策略，將所有東西遷移到微軟。’如果你已經是亞馬遜的客戶，那麼你很可能會廣泛探索亞馬遜生態系統。”
新聞原址： https://www.cnbc.com/2023/08/12/amazon-is-racing-to-catch-up-in-generative-ai-with-custom-aws-chips.html