Blog
Adobe宣布開發AI模型，將革新影片創作流程
Adobe宣布開發AI模型，將革新影片創作流程
April 16, 2024
重點摘要：
- Adobe正在開發一個AI模型來生成影片，作為對生成式AI影片工具的回應，並將在今年晚些時候進入Premiere Pro。
- 這個模型將帶來三個新功能：物件添加、物件移除和生成擴展，以提高影片編輯的靈活性和效率。
- Adobe將引入「Content Credentials」以識別AI生成的媒體，並透過與第三方供應商合作來集成其他影片生成模型。
新聞內文：
Adobe表示正在建立一個AI模型來生成影片。但除了這個模型存在的事實之外，Adobe並沒有透露這個模型將在何時推出，或者有關它的太多細節。作為對OpenAI的「Sora」、Google的「Imagen 2」以及越來越多新興的生成式AI影片工具的一種回應，Adobe的模型（作為公司不斷擴大的Firefly系列生成式AI產品的一部分）將在今年晚些時候進入Premiere Pro，Adobe的旗艦影片編輯套組。
與當今許多生成式AI影片工具一樣，Adobe的模型可以從零開始生成影片（無論是提示還是參考圖像），並在Premiere Pro中推出三個新功能：「物件添加、物件移除和生成擴展」。
這些功能相當自明。
物件添加讓使用者可以選擇影片片段的一部分（比如上部的三分之一，或左下角），並輸入一個提示，在該部分內插入物件。在與TechCrunch的簡報中，一位Adobe發言人展示了一個由Adobe的模型生成的真實手提箱內裝滿鑽石的靜止影像。
物件移除可以從影片中移除物件，例如鏡頭背景中的燈桿麥克風或咖啡杯。
為了應對這類生成式AI工具，如深度偽造技術所引起的恐懼，Adobe表示將在Premiere中引入「Content Credentials」：元數據以識別AI生成的媒體。
Content Credentials是Adobe透過其Content Authenticity Initiative支持的媒體來源標準，在Photoshop中已經存在，也是Adobe圖像生成「Firefly」模型的一部分。在Premiere中，它們將不僅指示哪些內容是由AI生成的，還會指示使用了哪個AI模型來生成它。
我問過Adobe有關訓練該模型使用的數據（圖像、影片等），但該公司不肯透露，也不會說明如何（或是否）對數據集的貢獻者進行補償。
上週，《彭博》援引知情人士的話報導說，Adobe正在向其庫存媒體平台Adobe Stock上的攝影師和藝術家支付高達120美元的費用，以提交短影音片段來訓練其影片生成模型。報導稱，支付金額範圍從每分鐘2.62美元到每分鐘7.25美元不等，視提交內容的品質而定，更高品質的素材對應較高的價格。
這將與Adobe目前與其使用來訓練其圖像生成模型的Adobe Stock藝術家和攝影師的安排大相徑庭。該公司向這些貢獻者支付年度獎金，而不是一次性費用，該獎金根據其庫存中的內容量和使用方式而定。雖然這是一個不透明的公式，並且不保證每年都會有。
如果《彭博》的報導屬實，這顯示出一種與生成式AI影片競爭對手截然不同的做法，例如據稱OpenAI已經從公開網路數據中（包括YouTube的影片）中提取數據來訓練其模型。YouTube的執行長Neal Mohan最近表示，使用YouTube影片來訓練OpenAI的文本到影片生成器將違反該平台的服務條款，這突顯了OpenAI及其他公司合理使用論點的法律上的脆弱性。
有些公司，包括OpenAI，因涉嫌違反知識產權法而被起訴，原因是他們在受版權保護的內容上訓練他們的AI，而未向所有權人提供信用或報酬。Adobe似乎打算避免這種結果，就像其時而出現的生成式AI競爭對手「Shutterstock」和「Getty Images」一樣（它們也有授權模型訓練數據的安排），並透過其知識產權保護政策，將自己定位為可核實的企業客戶的「安全選擇」。
至於付款問題，Adobe並未透露顧客使用即將推出的Premiere中的影片生成功能將花費多少錢；推測價格仍在制定中。但該公司確實透露，付款方案將遵循其早期Firefly模型確立的生成式積分系統。
對於付費訂閱Adobe Creative Cloud的客戶，生成式積分每個月重新啟動，根據計劃的不同，分配範圍從每月25到1000個不等。更複雜的工作量（例如更高分辨率的生成圖像或多圖生成）需要更多的積分，這是一般規則。
我心中的一個重大問題是，Adobe的AI驅動的影片功能是否值得支付任何成本？
到目前為止，Firefly圖像生成模型被普遍嘲笑為與Midjourney、OpenAI的DALL-E 3和其他競爭工具相比令人失望和存在缺陷。對影片模型的發布時間缺乏明確的時間表並沒有給人太多信心，認為它將避免同樣的命運。Adobe拒絕向我們展示物件添加、物件刪除和生成擴展的即時示範，而是堅持要求播放預先錄製的精彩片段。
或許為了避免風險，Adobe表示正在與第三方供應商討論將他們的影片生成模型集成到Premiere中，以提供諸如生成擴展等工具。
其中一家供應商是「OpenAI」。
Adobe表示正在與OpenAI合作，探索將Sora引入Premiere工作流程的方法。（考慮到這家AI新創公司最近向好萊塢發出的邀請，OpenAI的技術主官Mira Murati今年將出席戛納電影節，這種合作是合情合理的）。其他早期合作伙伴包括「Pika」，一家正在開發AI工具來生成和編輯影片的新創公司，以及「Runway」，這是最早一批推出生成式影片模型的供應商之一。
一位Adobe發言人表示，該公司將來會樂意與其他公司合作。
現在，我們清楚地說，這些集成目前更像是一種思想實驗，而不是一個可用的產品。Adobe一再強調，它們還處於「早期預覽」和「研究階段」，而不是客戶可以期望很快就能使用到的產品。
整體來說，這恰恰反映了Adobe的生成式影片發布會的整體氛圍。
Adobe顯然試圖透過這些公告表明，它正在思考生成式影片，即使目前僅限於初步意義上。但如果不這樣做，將會是愚蠢的。被生成式AI競爭中措手不及，將可能錯失一個有價值的潛在新收入來源，假設最終Adobe的經濟模型能夠發揮作用。（畢竟，AI模型的培訓、運行和提供都是昂貴的）。
但它展示的內容（概念）實際上並不是很引人入勝。隨著Sora的問世和更多創新的推出，公司有很多需要證明的地方。
新聞原址： https://techcrunch.com/2024/04/15/adobes-working-on-generative-video-too/