Blog
Google推出Gemini Pro API：多模態AI技術在Vertex AI上公開預覽，擴展雲端人工智慧服務
Google推出Gemini Pro API：多模態AI技術在Vertex AI上公開預覽，擴展雲端人工智慧服務
December 14, 2023
重點摘要：
新聞內文：
Google最近在其Bard聊天機器人體驗和Pixel 8 Pro中引入了Gemini模型家族後，現在為使用Vertex AI的Google Cloud客戶推出了「Gemini」。
「Gemini Pro」，一個Gemini模型更強大版本Gemini Ultra的基本版，目前正處於私人預覽階段，僅供特定客戶群使用，現已在Vertex AI上公開預覽，可透過新的Gemini Pro API使用。這個API目前「在一定限制內」免費使用（稍後將詳述），支援包括歐洲在內的38種語言和地區，以及聊天功能和過濾等特性。
Google Cloud的執行長Thomas Kurian在週二的新聞發布會上說：「Gemini是一個最先進的天然多模態模型，具有精密的推理和高級編碼技能」。現在，開發者將能夠建立自己的應用程式以對其進行使用。
Gemini Pro API
預設情況下，Vertex AI中的Gemini Pro API接受文本作為輸入並生成文本作為輸出，類似於Anthropic、AI21和Cohere等公司的生成文本模型API。另一個端點Gemini Pro Vision，也在今天預覽中發布，可以處理文本和圖像（包括照片和影片），並輸出類似於OpenAI的GPT-4視覺模型的文本。
圖像處理解決了Gemini在上週三首次亮相後面臨的主要批評之一，即使Gemini Pro模型技術上是「多模態的」（即訓練於包括文本、圖像、影片和語音在內的多種數據），但支持Bard的Gemini Pro模型也不能接受圖像。關於Gemini的圖像分析性能和技能的問題仍然存在，特別是考慮到誤導性的產品演示。但現在，至少使用者將能夠親自嘗試模型及其圖像理解。
在Vertex AI中，開發者可以使用與其他Vertex主機模型（如Google的PaLM 2）相同的微調工具來定制Gemini Pro以適應特定背景和用例。Gemini Pro也可以連接到外部API來執行特定動作或「接地」以提高模型回應的準確性和相關性，無論是通過來自應用程式或數據庫的第三方數據，或是透過來自網路和Google搜索的數據。
引文檢查（現有Vertex AI功能的另一個功能，現在支持Gemini Pro）作為額外的事實檢查措施，透過突出Gemini Pro用於得出回應的訊息來源。
Kurian花了相當多的時間強調Gemini Pro的控制、審查和治理選項，似乎是對暗示Gemini Pro不是最強模型的報導的回應。這些保證能否說服開發者？也許可以。但如果不能，Google則以折扣吸引人。
Gemini Pro在Vertex AI上的輸入將花費每個字符0.00025美元，而輸出將花費每個字符0.00005美元。（Vertex客戶每千個字符付費，並且在Gemini Pro Vision等模型的情況下，每張圖像付費。）這比Gemini Pro的前身降低了4倍和2倍。而且在有限的時間內（直到明年初）Gemini Pro對Vertex AI客戶免費試用。
Kurian坦率地說：「我們的目標是以有吸引力的價格吸引開發者」。
加強Vertex
Google正在為Vertex AI帶來其他新功能，希望阻止開發者轉向像Bedrock這樣的競爭平台。
其中幾個與Gemini Pro有關。不久，Vertex客戶將能夠利用Gemini Pro來驅動定制的對話式語音和聊天代理，提供Google描述的「支持高級推理的動態互動……」。Gemini Pro還將成為驅動Vertex AI中搜索摘要、推薦和回答生成功能的選項，根據來自不同模態（例如PDF、圖像）的不同來源（例如OneDrive、Salesforce）的文件來滿足查詢。
Kurian表示，他預計Gemini Pro驅動的對話和搜索功能將在2024年「非常早期」到來。
在Vertex的其他地方，現在有了自動SxS（Auto Side by Side）。作為AWS最近在Bedrock上宣布的Model Evaluation的回應，Auto SxS允許開發者以「按需」、「自動化」的方式評估模型；Google聲稱Auto SxS比手動評估的模型更快、更經濟高效（儘管在進行獨立測試之前還無法得出結論）。
Google還在Vertex中添加了來自第三方的模型，包括Mistral和Meta，並引入了「一步一步」的蒸餾，這是一種從更大的模型創造更小、專業化和低延遲模型的技術。此外，Google正在擴展其賠償保險政策，以包括來自PaLM 2和Imagen模型的輸出，這意味著該公司將在涉及這些模型輸出的IP爭議訴訟中為符合條件的客戶提供法律辯護。
生成式AI模型有傾向於重複訓練數據，這對企業客戶來說是一個明顯的擔憂。如果有一天發現像Google這樣的供應商在訓練模型之前沒有先獲得合適的許可證就使用了受版權保護的數據，那麼該供應商的客戶可能會因將侵權作品納入其項目而受到追究。
一些供應商聲稱公平使用作為辯護。但是意識到企業對GenAI產品的戒心，越來越多的供應商正在擴展他們圍繞GenAI產品的賠償保險政策。
Google暫時不會擴展其Vertex AI賠償保險政策以涵蓋使用Gemini Pro API的客戶。但該公司表示，一旦Gemini Pro API正式上線，它將這樣做。
新聞原址： https://techcrunch.com/2023/12/13/google-brings-gemini-pro-to-vertex-ai/
- Google推出了「Gemini Pro」，這是其Gemini模型家族中更強大版本的基本版，現已在Vertex AI上公開預覽，並透過新的Gemini Pro API提供服務。此API支援包括聊天功能和過濾等特性，並在歐洲等38種語言和地區可用。
- Gemini Pro API能處理文本和圖像輸入，類似於其他生成文本模型API。此外，開發者可使用Vertex AI中的微調工具自定義Gemini Pro以適應特定背景和用例，並連接到外部API以提高模型回應的準確性和相關性。
- Google提供了一個慷慨的免費試用配額，並計劃在明年初推出付費版本。此外，Google還強調Gemini Pro的控制、審查和治理選項，並為Vertex AI引入了其他新功能，以吸引開發者。
新聞內文：
Google最近在其Bard聊天機器人體驗和Pixel 8 Pro中引入了Gemini模型家族後，現在為使用Vertex AI的Google Cloud客戶推出了「Gemini」。
「Gemini Pro」，一個Gemini模型更強大版本Gemini Ultra的基本版，目前正處於私人預覽階段，僅供特定客戶群使用，現已在Vertex AI上公開預覽，可透過新的Gemini Pro API使用。這個API目前「在一定限制內」免費使用（稍後將詳述），支援包括歐洲在內的38種語言和地區，以及聊天功能和過濾等特性。
Google Cloud的執行長Thomas Kurian在週二的新聞發布會上說：「Gemini是一個最先進的天然多模態模型，具有精密的推理和高級編碼技能」。現在，開發者將能夠建立自己的應用程式以對其進行使用。
Gemini Pro API
預設情況下，Vertex AI中的Gemini Pro API接受文本作為輸入並生成文本作為輸出，類似於Anthropic、AI21和Cohere等公司的生成文本模型API。另一個端點Gemini Pro Vision，也在今天預覽中發布，可以處理文本和圖像（包括照片和影片），並輸出類似於OpenAI的GPT-4視覺模型的文本。
圖像處理解決了Gemini在上週三首次亮相後面臨的主要批評之一，即使Gemini Pro模型技術上是「多模態的」（即訓練於包括文本、圖像、影片和語音在內的多種數據），但支持Bard的Gemini Pro模型也不能接受圖像。關於Gemini的圖像分析性能和技能的問題仍然存在，特別是考慮到誤導性的產品演示。但現在，至少使用者將能夠親自嘗試模型及其圖像理解。
在Vertex AI中，開發者可以使用與其他Vertex主機模型（如Google的PaLM 2）相同的微調工具來定制Gemini Pro以適應特定背景和用例。Gemini Pro也可以連接到外部API來執行特定動作或「接地」以提高模型回應的準確性和相關性，無論是通過來自應用程式或數據庫的第三方數據，或是透過來自網路和Google搜索的數據。
引文檢查（現有Vertex AI功能的另一個功能，現在支持Gemini Pro）作為額外的事實檢查措施，透過突出Gemini Pro用於得出回應的訊息來源。
Kurian花了相當多的時間強調Gemini Pro的控制、審查和治理選項，似乎是對暗示Gemini Pro不是最強模型的報導的回應。這些保證能否說服開發者？也許可以。但如果不能，Google則以折扣吸引人。
Gemini Pro在Vertex AI上的輸入將花費每個字符0.00025美元，而輸出將花費每個字符0.00005美元。（Vertex客戶每千個字符付費，並且在Gemini Pro Vision等模型的情況下，每張圖像付費。）這比Gemini Pro的前身降低了4倍和2倍。而且在有限的時間內（直到明年初）Gemini Pro對Vertex AI客戶免費試用。
Kurian坦率地說：「我們的目標是以有吸引力的價格吸引開發者」。
加強Vertex
Google正在為Vertex AI帶來其他新功能，希望阻止開發者轉向像Bedrock這樣的競爭平台。
其中幾個與Gemini Pro有關。不久，Vertex客戶將能夠利用Gemini Pro來驅動定制的對話式語音和聊天代理，提供Google描述的「支持高級推理的動態互動……」。Gemini Pro還將成為驅動Vertex AI中搜索摘要、推薦和回答生成功能的選項，根據來自不同模態（例如PDF、圖像）的不同來源（例如OneDrive、Salesforce）的文件來滿足查詢。
Kurian表示，他預計Gemini Pro驅動的對話和搜索功能將在2024年「非常早期」到來。
在Vertex的其他地方，現在有了自動SxS（Auto Side by Side）。作為AWS最近在Bedrock上宣布的Model Evaluation的回應，Auto SxS允許開發者以「按需」、「自動化」的方式評估模型；Google聲稱Auto SxS比手動評估的模型更快、更經濟高效（儘管在進行獨立測試之前還無法得出結論）。
Google還在Vertex中添加了來自第三方的模型，包括Mistral和Meta，並引入了「一步一步」的蒸餾，這是一種從更大的模型創造更小、專業化和低延遲模型的技術。此外，Google正在擴展其賠償保險政策，以包括來自PaLM 2和Imagen模型的輸出，這意味著該公司將在涉及這些模型輸出的IP爭議訴訟中為符合條件的客戶提供法律辯護。
生成式AI模型有傾向於重複訓練數據，這對企業客戶來說是一個明顯的擔憂。如果有一天發現像Google這樣的供應商在訓練模型之前沒有先獲得合適的許可證就使用了受版權保護的數據，那麼該供應商的客戶可能會因將侵權作品納入其項目而受到追究。
一些供應商聲稱公平使用作為辯護。但是意識到企業對GenAI產品的戒心，越來越多的供應商正在擴展他們圍繞GenAI產品的賠償保險政策。
Google暫時不會擴展其Vertex AI賠償保險政策以涵蓋使用Gemini Pro API的客戶。但該公司表示，一旦Gemini Pro API正式上線，它將這樣做。
新聞原址： https://techcrunch.com/2023/12/13/google-brings-gemini-pro-to-vertex-ai/