Blog
AWS推出靈活GPU預購方案，助力AI作業效率提升
AWS推出靈活GPU預購方案，助力AI作業效率提升
November 2, 2023
重點摘要：
新聞內文：
越來越多的公司正在運行大型語言模型，這些模型需要訪問GPU。其中最受歡迎的是來自Nvidia的GPU，這使得它們變得昂貴且經常供不應求。當您只需要在單個作業中使用這些昂貴資源時，從雲端供應商那裡長期租用未必合理。
為了解決這個問題，AWS今天推出了「Amazon Elastic Compute Cloud」（EC2）「Capacity Blocks for ML」，使客戶可以購買對這些GPU的使用權，通常用於運行某種AI相關的作業，例如訓練機器學習模型或使用現有模型運行實驗。
Channy Yun在一篇宣布新功能的部落格文章中寫道：「這是一種創新的新方法，可以在未來的某個日期預留所需數量的GPU實例，僅需所需時間的數量」。
該產品為客戶提供了使用Nvidia H100 Tensor Core GPU實例的機會，可以選擇1至64個實例的群集，每個實例有8個GPU。他們可以提前一天為期最多14天的時間預約，最多提前八個星期。而時間結束後，實例將自動關閉。
新產品讓使用者可以註冊所需數量的實例，用於一段明確的時間，就像預約酒店房間一樣。從客戶的角度來看，他們將清楚地知道作業運行的時間有多長，將使用多少GPU以及前期成本是多少，從而確保成本。
對於Amazon來說，他們可以在幾乎像拍賣的環境中使用這些熱門資源，確保他們有收入。依據公司的說法，根據供應和需求的變化，這些資源的訪使用價格將有真正動態度變化。
當使用者註冊該服務時，它會顯示時間段和資源的總成本。使用者可以在同意購買之前根據其資源需求和預算進行調整。
新功能從今天開始在AWS US East（俄亥俄州）地區正式提供。
新聞原址： https://techcrunch.com/2023/11/01/new-aws-service-lets-customers-rent-nvidia-gpus-for-quick-ai-projects/
- AWS推出「Amazon Elastic Compute Cloud (EC2) Capacity Blocks for ML」，讓客戶可以預購GPU使用權，適用於執行AI相關作業，如訓練機器學習模型或運行實驗。
- 客戶可以選擇1至64個Nvidia H100 Tensor Core GPU實例的群集，並可提前預約最多14天的使用時間，時間結束後實例將自動關閉。
- 此新功能提供了一種靈活且成本效益的方式來使用GPU資源，同時讓Amazon能夠在類似拍賣的環境中銷售這些熱門資源，確保收入。
新聞內文：
越來越多的公司正在運行大型語言模型，這些模型需要訪問GPU。其中最受歡迎的是來自Nvidia的GPU，這使得它們變得昂貴且經常供不應求。當您只需要在單個作業中使用這些昂貴資源時，從雲端供應商那裡長期租用未必合理。
為了解決這個問題，AWS今天推出了「Amazon Elastic Compute Cloud」（EC2）「Capacity Blocks for ML」，使客戶可以購買對這些GPU的使用權，通常用於運行某種AI相關的作業，例如訓練機器學習模型或使用現有模型運行實驗。
Channy Yun在一篇宣布新功能的部落格文章中寫道：「這是一種創新的新方法，可以在未來的某個日期預留所需數量的GPU實例，僅需所需時間的數量」。
該產品為客戶提供了使用Nvidia H100 Tensor Core GPU實例的機會，可以選擇1至64個實例的群集，每個實例有8個GPU。他們可以提前一天為期最多14天的時間預約，最多提前八個星期。而時間結束後，實例將自動關閉。
新產品讓使用者可以註冊所需數量的實例，用於一段明確的時間，就像預約酒店房間一樣。從客戶的角度來看，他們將清楚地知道作業運行的時間有多長，將使用多少GPU以及前期成本是多少，從而確保成本。
對於Amazon來說，他們可以在幾乎像拍賣的環境中使用這些熱門資源，確保他們有收入。依據公司的說法，根據供應和需求的變化，這些資源的訪使用價格將有真正動態度變化。
當使用者註冊該服務時，它會顯示時間段和資源的總成本。使用者可以在同意購買之前根據其資源需求和預算進行調整。
新功能從今天開始在AWS US East（俄亥俄州）地區正式提供。
新聞原址： https://techcrunch.com/2023/11/01/new-aws-service-lets-customers-rent-nvidia-gpus-for-quick-ai-projects/