Blog
Adobe推出Firefly Image3：挑戰AI生成的新高度
Adobe推出Firefly Image3：挑戰AI生成的新高度
April 24, 2024
重點摘要：
- Adobe發布第三代模型Firefly圖像3，針對其在創意領域中的聲譽進行改善，這款開源模型引起了科技界的關注。
- Firefly圖像3在表現和功能上有所提升，能夠更好地理解更複雜的提示和場景，並具有改進的照明和文本生成功能。
- 圖像3的一些改進可以歸因於更大、更多樣化的訓練數據庫，而Adobe也推出了一個計劃，向Adobe Stock貢獻者支付訓練數據庫，但也存在數據洗白的擔憂。
新聞內文：
Adobe 推出全新的第三代模型「Firefly 圖像3」，希望改善其在創意領域中的聲譽。Firefly系列中的圖像生成模型一直被批評為不如「Midjourney」、OpenAI 的「DALL-E 3」等競爭對手，存在失真的肢體和風景、錯過提示細節等問題。然而，Adobe在本週舉辦的Max London大會上推出了這款第三代模型Firefly 圖像3，試圖改善這一局面。這款模型現在已經在Photoshop（測試版）和Adobe的Firefly網頁應用程式中推出，相較於前兩代模型（圖像1和圖像2），它能夠更好地理解更長、更複雜的提示和場景，並具有改進的照明和文本生成功能。Adobe表示，這款模型應能更準確地呈現文字排版、圖示、點陣圖像和線條藝術，並且在描繪密集人群以及具有「豐富特徵」和「多種情緒表達」的人物方面「顯著」提升。
值得一提的是，在我簡短的非科學測試中，圖像3確實顯示出了一定的進步。
我自己無法嘗試圖像3。但Adobe的公關部門發送了一些模型的輸出和提示，我成功運行了同樣的提示，並透過網路使用圖像2獲得了可比較的樣本（請注意，圖像3的輸出可能是精心挑選的）。
請注意這個圖像3中的人像照片與下面的圖像2中的比較。
在我的眼中，圖像3的輸出看起來更加詳細和栩栩如生，具有陰影和對比度，而這些在圖像2的樣本中基本上是缺失的。
以下是一組圖像，展示了 圖3對場景的理解能力：
注意，與圖像3的輸出相比，圖像2的樣本在細節水平和整體表現上相對基礎。在圖像3樣本的襯衫（腰部附近）存在一些問題，但姿勢比圖像2中的主題更加複雜（圖像2的服裝也有些問題）。
無疑，圖像3的一些改進可以追溯到更大、更多樣化的訓練數據庫。
像圖像2和圖像1一樣，圖像3是在「Adobe Stock」上上傳的圖像、Adobe 的免版稅媒體庫，以及版權已到期的授權和公共領域內容上進行訓練的。 Adobe Stock不斷增長，因此可用的訓練數據庫也在增加。
為了避免訴訟，並將自己定位為與訓練圖像不加選擇地訓練的生成AI供應商（例如OpenAI、Midjourney）的更「道德」選擇，Adobe推出了一個計劃，向 Adobe Stock貢獻者支付訓練數據庫。（值得注意的是，該計劃的條款相當模糊）。一些人認為，Adobe還將Firefly模型訓練為AI生成的圖像，這是一種數據洗白的形式。
最近彭博報道揭示了Adobe Stock中的AI生成圖像不被排除在Firefly圖像生成模型的訓練數據之外，這是一個令人不安的前景，因為這些圖像可能包含重複使用的受版權保護的材料。Adobe 辯稱，AI生成的圖像僅佔其訓練數據的一小部分，並且經過審查以確保不包含商標、可識別的角色或藝術家姓名的引用。
當然，多樣化、更「道」來源的訓練數據以及內容篩選器和其他保護措施並不能保證完全無缺的體驗。例如，用圖像2生成人們比中指的使用者。圖像3的真正考驗將在社群得到它的使用後才會到來。
新的AI功能
圖像3在Photoshop中推出了幾個新功能，超越了增強的文本到圖像功能。
圖像3中的新「風格引擎」，以及新的自動風格化切換，使模型能夠生成更多顏色、背景和主題姿勢。它們可以用於參考圖像，該選項允許使用者對他們未來生成的內容的顏色或色調進行條件限制。
三個新的生成工具（生成背景、生成相似和增強細節）利用圖像3對圖像進行精確編輯。（自我描述的）生成背景將背景替換為與現有圖像融合的生成背景，而生成相似則提供所選照片部分的變化。至於增強細節，它「微調」圖像以提高銳度和清晰度。
如果這些功能聽起來眼熟，那是因為它們在Firefly web app上至少已經有一個月的beta測試了（Midjourney 遠比這更長）。這標誌著它們在Photoshop上的首次亮相，它目前處於beta階段。
談到web app，Adobe也不忽視這條通往其AI工具的替代途徑。
隨著圖像3的發布，Firefly web app將推出結構參考和風格參考，這是Adobe 提供的新方法，可以「推進創意控制」。（它們在三月份就已經宣布了，但現在開始普遍提供）。透過結構參考，使用者可以生成與參考圖像的「結構」匹配的新圖像。例如，「賽車的正面視圖」。風格參考基本上是風格轉移的另一種名稱，保留了圖像的內容（例如，非洲野生動物園中的大象），同時模仿了目標圖像（例如，鉛筆素描）的風格。
以下是結構參考的示例：
我向Adobe詢問，隨著所有的升級，Firefly圖像生成的價格是否會發生變化。目前，最便宜的Firefly高級方案是每月$4.99，比競爭對手Midjourney（每月$10）和OpenAI（將DALL-E 3設置在每月$20的ChatGPT Plus訂閱後面）更具競爭力。
Adobe表示，目前的收費方案將暫時保持不變，以及其生成積分系統。它還表示，其豁免政策將繼續保持不變，該政策指出Adobe將支付與Firefly生成的作品相關的版權索賠，對於浮水印AI生成的內容的處理方法也不會改變。內容憑證（用於識別AI生成的媒體的元數據）將繼續自動附加到Web和Photoshop中所有Firefly圖像生成中，無論是從頭開始生成還是使用生成功能進行部分編輯。
新聞原址： https://techcrunch.com/2024/04/23/adobe-claims-its-new-image-generation-model-is-its-best-yet/