Blog
VFX藝術家展示好萊塢可運用AI進行創作，而非剝削
VFX藝術家展示好萊塢可運用AI進行創作，而非剝削
August 27, 2023
文章重點：
本文：
儘管好萊塢陷入與AI有關的持續勞工糾紛之中，但這項技術早在很久以前就已經滲透到了電影和電視領域。在洛杉磯舉行的SIGGRAPH大會上，算法和生成工具在無數的演講和宣布中展示出來。我們可能尚不清楚GPT-4和Stable Diffusion等技術在哪個位置，但製作的創意方面已準備好擁抱它們，前提是這能以一種增強而非取代藝術家的方式進行。
SIGGRAPH不是一個關於電影和電視製作的會議，而是一個關於計算機圖形和視覺效果的大會（已經有50年了！），近年來，這兩個領域的主題自然而然地有越來越多的重疊之處。
今年，大會的焦點是罷工問題，很少有演講涉及此事；然而，在派對和社交活動中，這幾乎是任何人提到的第一件事。即便如此，SIGGRAPH大會實際上是一個將技術和創意人才匯聚在一起的會議，我的感覺是「這很糟糕，但在此同時，我們可以繼續改進我們的工藝」。
關於製作中使用AI的擔憂，不是說毫無根據，但確實有點誤導性。像圖像和文本生成的生成式AI已經取得了巨大的進步，引發了人們的擔心，認為它們將取代作家和藝術家。當然，影視公司高級主管已經提出了有害且不現實的希望，希望使用AI工具部分取代作家和演員。但AI在電影和電視中已經存在了很長一段時間，發揮著重要且以藝術家為導向的作用。
我在許多專題討論會、技術論文報告和訪談中都看到了這一點。當然，關於VFX中的AI歷史可能很有趣，但在當前，以下是一些以各種形式呈現的AI如何在效果和製作工作的尖端展示出來。
Pixar的藝術家們利用機器學習和模擬技術
一個早期的例子出現在Pixar的一對關於他們最新電影《元素》中使用的動畫技術的演講中。該電影中的角色比其他電影更抽象，而創造一個由火、水或氣體組成的人物絕非易事。想像將這些物質的分形複雜性編織成一個可以清晰行動和表達自己的身體，同時仍然看起來「真實」。
正如一位又一位的動畫師和特效協調者解釋的那樣，程序生成是這一過程的核心，模擬和參數化構成了數十個角色的火焰、波浪或蒸氣。手工雕刻和動畫化每一絲火焰或飄過角色身上的每一朵雲從未是一個選擇，這將是極其繁瑣、勞動密集且更多是技術而非創意的工作。
但正如演講中明確表示的那樣，儘管它們在創建所需效果方面大量依賴模擬和複雜的材質着色器，藝術團隊和過程與工程方面深度交織在一起。（他們還與ETH Zurich的研究人員合作過。）
其中一個例子是主要角色Ember的整體外觀，她是由火焰製成的。單純地模擬火焰、調整顏色或調整許多旋鈕以影響結果是不夠的。最終，火焰需要反映藝術家想要的外觀，而不僅僅是火焰在現實生活中的呈現方式。為此，他們採用了「體積神經風格轉移」或NST；風格轉移是一種機器學習技術，大多數人可能已經體驗過，比如將一張自拍照改成愛德華·蒙克的風格之類的作品。
在這種情況下，團隊將「火焰模擬」的原始體素，或生成的火焰，通過一個訓練有素的風格轉移網絡，該網絡根據藝術家對角色火焰外觀的表達進行了訓練：更加樣式化，不那麼模擬。所得到的體素具有模擬的自然、不可預測的外觀，同時也具有藝術家選擇的明顯特點。
當然，動畫師對於他們只是使用AI生成了電影的想法很敏感，這並不是事實。
Pixar的Paul Kanyuk在演講中強調道「如果有人告訴你Pixar使用AI製作了《元素》，那是錯誤的。我們使用體積神經風格轉移來塑造她的輪廓邊緣」。
（要明確，NST是一種我們會將其歸類為AI範疇的機器學習技術，但Kanyuk的觀點是，它被用作實現藝術成果的工具，並不是僅僅「用AI創作的」。）
隨後，動畫和設計團隊的其他成員解釋了他們如何使用程序生成、生成或風格轉移工具來進行諸如重新上色風景以適應藝術家的調色板或情感板，或者使用從「主要」手繪建築物變異而來的獨特建築物填充城市區塊。明顯的主題是AI和AI相關工具的目的是為藝術家服務，加快繁瑣的手動流程，並更好地匹配所需的外觀。
AI加速對話
Wonder Dynamics是幾個重要演講和介紹中引用的另一個例子，在製作中使用了機器學習過程，完全在藝術家的控制下。先進的場景和物體識別模型分析常規鏡頭畫面，並立即將人類演員替換為3D模型，這個過程曾經需要幾個星期甚至幾個月。
但正如幾個月前他們告訴我的那樣，他們自動化的任務不是創意性的任務。這是一項勞動密集的單調（有時是輪廓）勞動，幾乎沒有創意的決策。共同創始人Nikola Todorovic當時說：「這並不會破壞他們正在做的事情；它自動化了80-90%的客觀VFX工作，將主觀工作留給他們」。我在SIGGRAPH上和他和他的合作伙伴、演員Tye Sheridan碰面，他們喜歡成為焦點：顯然，這個行業正在朝著他們多年前開始的方向發展。（順便說一下，9月份在TechCrunch Disrupt的AI舞台上可以看到Sheridan。）
盡管如此，作家和演員罷工的警告在VFX社區中絕不會被忽視。他們反映了這些警告，事實上，他們的擔憂相似，但不至於如此危急。對於演員來說，他的肖像或表演（或對於作家來說，他的想像力和聲音）是他的全部，將它被完全擁有和自動化的威脅是可怕的。
對於製作過程中的其他藝術家來說，自動化的威脅也是真實存在的，並且更多是人類問題，而不是技術問題。我與許多人交談過，他們都認為無知的領導者做出的糟糕決策才是真正的問題。
Bertrand說「AI看起來是如此聰明，以至於你可能將你的決策過程推遲到機器上」。「當人類將他們的責任推卸給機器時，就會變得可怕」。
如果AI能夠用於增強或簡化創作過程，例如減少在重複性任務上花費的時間，或者使創作者能夠通過更小的團隊或預算與更充裕的同行匹配，那麼它可能會是具有轉變性的。但如果創意過程被次要於AI，這是一些高級主管似乎渴望探索的路徑，則儘管技術已經普遍存在於好萊塢，罷工將只是剛剛開始。
新聞原址： https://techcrunch.com/2023/08/25/vfx-artists-show-that-hollywood-can-use-ai-to-create-not-exploit/
- 1. AI在視覺效果製作中的應用：
- 文章強調了在視覺效果（VFX）和電影製作中，AI技術的應用和發展。提到了在SIGGRAPH這樣的技術和創意會議上，演算法和生成工具在無數的演講和公告中亮相，並探討了AI如何已經在電影和電視中發揮重要作用，執行著重要且充滿藝術性的任務。
- 2. AI與藝術家的合作：
- 文章突顯了AI技術如何與藝術家合作，並提供了幾個例子。舉例來說，Pixar的動畫師如何運用機器學習和模擬技術來實現角色特效，並且強調AI是一種工具，用於實現藝術目標，而不是取代藝術家。同樣地，AI在幫助加速對話和提供創意反饋方面也發揮著重要作用，從而幫助優化製作過程。
- 3. AI帶來的挑戰和問題：
- 文章探討了AI在製作中可能引發的一些問題和擔憂。它提到，AI在創意過程中可能導致藝術家把決策過程交給機器，這可能產生負面後果。此外，該文章也觸及到了作家和演員可能面臨的威脅，包括他們的作品可能被完全擁有和自動化，從而對他們的生計構成威脅。文章同時指出，解決這些問題需要行業內的深思熟慮和明智的領導。
本文：
儘管好萊塢陷入與AI有關的持續勞工糾紛之中，但這項技術早在很久以前就已經滲透到了電影和電視領域。在洛杉磯舉行的SIGGRAPH大會上，算法和生成工具在無數的演講和宣布中展示出來。我們可能尚不清楚GPT-4和Stable Diffusion等技術在哪個位置，但製作的創意方面已準備好擁抱它們，前提是這能以一種增強而非取代藝術家的方式進行。
SIGGRAPH不是一個關於電影和電視製作的會議，而是一個關於計算機圖形和視覺效果的大會（已經有50年了！），近年來，這兩個領域的主題自然而然地有越來越多的重疊之處。
今年，大會的焦點是罷工問題，很少有演講涉及此事；然而，在派對和社交活動中，這幾乎是任何人提到的第一件事。即便如此，SIGGRAPH大會實際上是一個將技術和創意人才匯聚在一起的會議，我的感覺是「這很糟糕，但在此同時，我們可以繼續改進我們的工藝」。
關於製作中使用AI的擔憂，不是說毫無根據，但確實有點誤導性。像圖像和文本生成的生成式AI已經取得了巨大的進步，引發了人們的擔心，認為它們將取代作家和藝術家。當然，影視公司高級主管已經提出了有害且不現實的希望，希望使用AI工具部分取代作家和演員。但AI在電影和電視中已經存在了很長一段時間，發揮著重要且以藝術家為導向的作用。
我在許多專題討論會、技術論文報告和訪談中都看到了這一點。當然，關於VFX中的AI歷史可能很有趣，但在當前，以下是一些以各種形式呈現的AI如何在效果和製作工作的尖端展示出來。
Pixar的藝術家們利用機器學習和模擬技術
一個早期的例子出現在Pixar的一對關於他們最新電影《元素》中使用的動畫技術的演講中。該電影中的角色比其他電影更抽象，而創造一個由火、水或氣體組成的人物絕非易事。想像將這些物質的分形複雜性編織成一個可以清晰行動和表達自己的身體，同時仍然看起來「真實」。
正如一位又一位的動畫師和特效協調者解釋的那樣，程序生成是這一過程的核心，模擬和參數化構成了數十個角色的火焰、波浪或蒸氣。手工雕刻和動畫化每一絲火焰或飄過角色身上的每一朵雲從未是一個選擇，這將是極其繁瑣、勞動密集且更多是技術而非創意的工作。
但正如演講中明確表示的那樣，儘管它們在創建所需效果方面大量依賴模擬和複雜的材質着色器，藝術團隊和過程與工程方面深度交織在一起。（他們還與ETH Zurich的研究人員合作過。）
其中一個例子是主要角色Ember的整體外觀，她是由火焰製成的。單純地模擬火焰、調整顏色或調整許多旋鈕以影響結果是不夠的。最終，火焰需要反映藝術家想要的外觀，而不僅僅是火焰在現實生活中的呈現方式。為此，他們採用了「體積神經風格轉移」或NST；風格轉移是一種機器學習技術，大多數人可能已經體驗過，比如將一張自拍照改成愛德華·蒙克的風格之類的作品。
在這種情況下，團隊將「火焰模擬」的原始體素，或生成的火焰，通過一個訓練有素的風格轉移網絡，該網絡根據藝術家對角色火焰外觀的表達進行了訓練：更加樣式化，不那麼模擬。所得到的體素具有模擬的自然、不可預測的外觀，同時也具有藝術家選擇的明顯特點。
當然，動畫師對於他們只是使用AI生成了電影的想法很敏感，這並不是事實。
Pixar的Paul Kanyuk在演講中強調道「如果有人告訴你Pixar使用AI製作了《元素》，那是錯誤的。我們使用體積神經風格轉移來塑造她的輪廓邊緣」。
（要明確，NST是一種我們會將其歸類為AI範疇的機器學習技術，但Kanyuk的觀點是，它被用作實現藝術成果的工具，並不是僅僅「用AI創作的」。）
隨後，動畫和設計團隊的其他成員解釋了他們如何使用程序生成、生成或風格轉移工具來進行諸如重新上色風景以適應藝術家的調色板或情感板，或者使用從「主要」手繪建築物變異而來的獨特建築物填充城市區塊。明顯的主題是AI和AI相關工具的目的是為藝術家服務，加快繁瑣的手動流程，並更好地匹配所需的外觀。
AI加速對話
我從DNEG的高級AI研究員Martine Bertrand那裡聽到了類似的說法，這家VFX和後期製作公司最近製作了優秀且視覺效果驚人的動畫《Nimona》。他解釋說，許多現有的效果和製作流程非常費時，特別是外觀開發和環境設計。（DNEG也做了一個名為“Where Proceduralism Meets Performance”的演講，涉及了這些主題。）
Bertrand告訴我「人們沒有意識到在創作過程中浪費了大量的時間」。與導演合作尋找適合鏡頭的外觀可能需要每次就好幾個禮拜，這期間若有不良的交流通常會導致那幾周的工作被取消。他繼續說「這令人難以置信地令人沮喪」，而AI是一個加速這一過程以及其他遠未達到最終產品的過程的絕佳方法，這些過程僅僅是探索性和常規的。
藝術家使用AI來增加他們的努力，他說「使創作者和導演之間能夠對話」。外星叢林，但像這樣？還是像那樣？神秘的洞穴，像這樣？還是像那樣？對於像《Nimona》這樣以創作者為導向、視覺複雜的故事來說，快速反饋尤其重要。浪費一個星期的時間渲染一個導演一個星期後拒絕的外觀是一個嚴重的製作延遲。
實際上，在早期的創意工作（如預視）方面實現了新的合作和互動水平，正如Sokrispy的CEO Sam Wickert在一次演講中解釋的那樣。他的公司負責對HBO的《The Last of Us》開始時的爆發場景進行預視，一個複雜的汽車「oner」，有無數的臨時演員、攝影機運動和效果。
雖然在這個更加真實的場景中使用的AI有限，但很容易看出，改進的語音合成、程序化環境生成和其他工具可以並且確實有助於這個越來越多技術導向的過程。
Bertrand告訴我「人們沒有意識到在創作過程中浪費了大量的時間」。與導演合作尋找適合鏡頭的外觀可能需要每次就好幾個禮拜，這期間若有不良的交流通常會導致那幾周的工作被取消。他繼續說「這令人難以置信地令人沮喪」，而AI是一個加速這一過程以及其他遠未達到最終產品的過程的絕佳方法，這些過程僅僅是探索性和常規的。
藝術家使用AI來增加他們的努力，他說「使創作者和導演之間能夠對話」。外星叢林，但像這樣？還是像那樣？神秘的洞穴，像這樣？還是像那樣？對於像《Nimona》這樣以創作者為導向、視覺複雜的故事來說，快速反饋尤其重要。浪費一個星期的時間渲染一個導演一個星期後拒絕的外觀是一個嚴重的製作延遲。
實際上，在早期的創意工作（如預視）方面實現了新的合作和互動水平，正如Sokrispy的CEO Sam Wickert在一次演講中解釋的那樣。他的公司負責對HBO的《The Last of Us》開始時的爆發場景進行預視，一個複雜的汽車「oner」，有無數的臨時演員、攝影機運動和效果。
雖然在這個更加真實的場景中使用的AI有限，但很容易看出，改進的語音合成、程序化環境生成和其他工具可以並且確實有助於這個越來越多技術導向的過程。
Wonder Dynamics是幾個重要演講和介紹中引用的另一個例子，在製作中使用了機器學習過程，完全在藝術家的控制下。先進的場景和物體識別模型分析常規鏡頭畫面，並立即將人類演員替換為3D模型，這個過程曾經需要幾個星期甚至幾個月。
但正如幾個月前他們告訴我的那樣，他們自動化的任務不是創意性的任務。這是一項勞動密集的單調（有時是輪廓）勞動，幾乎沒有創意的決策。共同創始人Nikola Todorovic當時說：「這並不會破壞他們正在做的事情；它自動化了80-90%的客觀VFX工作，將主觀工作留給他們」。我在SIGGRAPH上和他和他的合作伙伴、演員Tye Sheridan碰面，他們喜歡成為焦點：顯然，這個行業正在朝著他們多年前開始的方向發展。（順便說一下，9月份在TechCrunch Disrupt的AI舞台上可以看到Sheridan。）
盡管如此，作家和演員罷工的警告在VFX社區中絕不會被忽視。他們反映了這些警告，事實上，他們的擔憂相似，但不至於如此危急。對於演員來說，他的肖像或表演（或對於作家來說，他的想像力和聲音）是他的全部，將它被完全擁有和自動化的威脅是可怕的。
對於製作過程中的其他藝術家來說，自動化的威脅也是真實存在的，並且更多是人類問題，而不是技術問題。我與許多人交談過，他們都認為無知的領導者做出的糟糕決策才是真正的問題。
Bertrand說「AI看起來是如此聰明，以至於你可能將你的決策過程推遲到機器上」。「當人類將他們的責任推卸給機器時，就會變得可怕」。
如果AI能夠用於增強或簡化創作過程，例如減少在重複性任務上花費的時間，或者使創作者能夠通過更小的團隊或預算與更充裕的同行匹配，那麼它可能會是具有轉變性的。但如果創意過程被次要於AI，這是一些高級主管似乎渴望探索的路徑，則儘管技術已經普遍存在於好萊塢，罷工將只是剛剛開始。
新聞原址： https://techcrunch.com/2023/08/25/vfx-artists-show-that-hollywood-can-use-ai-to-create-not-exploit/