Blog
OpenAI分類器工具面臨品質與哲學挑戰：AI生成圖像的未來在哪裡？
OpenAI分類器工具面臨品質與哲學挑戰：AI生成圖像的未來在哪裡？
October 20, 2023
重點摘要：
新聞內文：
這是OpenAI研究人員Sandhini Agarwal在本週接受TechCrunch的電話採訪時說的。她表示，僅管分類器工具的準確性「非常好」（至少在她的估計中如此），但它還未達到OpenAI的品質標準。
Agarwal說「這有一個問題，即『發布一個有些不可靠的工具』，因為它做出的決定可能會對照片產生重大影響，比如一個作品是否被認為是由一位藝術家繪製的，或者是不真實和誤導的」。
OpenAI對該工具的目標準似乎非常高。OpenAI技術主官Mira Murati本週在華爾街日報的Tech Live大會上表示，該分類器在確定未經修改的照片是否使用DALL-E 3生成方面「99%」可靠。也許目標是100%；但Agarwal不願透露。
與TechCrunch分享的OpenAI部落格草稿揭露了一個有趣的細節：「『分類器』在圖像經歷常見類型的修改，例如裁剪、調整大小、JPEG壓縮或在生成的圖像的小部分上重疊文本或切割真實圖像時，仍保持超過95%的準確性」。
OpenAI的猶豫可能與其先前的公共分類器工具有關，該工具旨在檢測AI生成的文本，不僅包括OpenAI的模型生成的文本，還包括第三方供應商發布的文本生成模型。由於該工具的「低準確率」而受到廣泛批評，OpenAI撤回了AI生成的文本檢測器。
Agarwal暗示OpenAI還在思考一個哲學問題，即「到底什麼是AI生成的圖像」。顯然，由DALL-E 3從頭生成的藝術作品是符合資格的。但「經過DALL-E 3多次編輯、與其他圖像結合，然後經過幾次後處理濾鏡的圖像呢？」這塊則不有點模糊。
Agarwal說「在那時候，該圖像應該被視為由AI生成的東西嗎？」。「目前，我們正在嘗試解決這個問題，我們真的希望聽到藝術家和那些受到這樣的『分類器』工具嚴重影響的使用者的反饋」。
許多組織（不僅僅是OpenAI）正在探索用於生成媒體的浮水印和檢測技術，因為「AI deepfake」將越來越多。
DeepMind最近提出了一個規範「SynthID」，用於標記AI生成的圖像，這種標記對人眼來說是不可感知的，但可被專用檢測器發現。法國新創公司「Imatag」於2020年推出了一個浮水印工具，公司聲稱該工具不受翻拍、裁剪、編輯或壓縮圖像的影響，類似於SynthID。另一家公司「Steg.AI」則利用AI模型應用可以在縮放和其他編輯中生存的浮水印。
問題在於，該行業尚未團結在一個單一的浮水印或檢測標準周圍。即使它這樣做，也不能保證浮水印及檢測器不會被擊敗。
我問Agarwal「OpenAI的圖像分類器是否會支援檢測由其他非OpenAI生成工具創作的圖像？」。她不敢做承諾，但確實表示，根據圖像分類器工具目前的接受情況，OpenAI會考慮探索這一方向。
Agarwal說：「目前『分類器』是DALL-E 3專用的其中一個原因是，從技術上講，這是一個更容易解決的問題」。「『通用檢測器』不是我們現在正在做的事情，但根據『分類器工具』的發展方向，我不是說我們永遠都不會做」。
新聞原址： https://techcrunch.com/2023/10/19/openai-debates-when-to-release-its-ai-generated-image-detector/
- OpenAI的新分類器工具在確定未經修改的照片是否由DALL-E 3生成方面達到了99%的可靠性，但仍未達到公司的品質標準。
- OpenAI正在面對哲學和技術問題，包括如何定義「AI生成的圖像」以及該工具的可靠性和準確性。
- 許多組織正在開發用於生成媒體的浮水印和檢測技術，但該行業尚未達成單一的標準，OpenAI也在考慮是否將其分類器工具擴展到非OpenAI生成的圖像。
新聞內文：
這是OpenAI研究人員Sandhini Agarwal在本週接受TechCrunch的電話採訪時說的。她表示，僅管分類器工具的準確性「非常好」（至少在她的估計中如此），但它還未達到OpenAI的品質標準。
Agarwal說「這有一個問題，即『發布一個有些不可靠的工具』，因為它做出的決定可能會對照片產生重大影響，比如一個作品是否被認為是由一位藝術家繪製的，或者是不真實和誤導的」。
OpenAI對該工具的目標準似乎非常高。OpenAI技術主官Mira Murati本週在華爾街日報的Tech Live大會上表示，該分類器在確定未經修改的照片是否使用DALL-E 3生成方面「99%」可靠。也許目標是100%；但Agarwal不願透露。
與TechCrunch分享的OpenAI部落格草稿揭露了一個有趣的細節：「『分類器』在圖像經歷常見類型的修改，例如裁剪、調整大小、JPEG壓縮或在生成的圖像的小部分上重疊文本或切割真實圖像時，仍保持超過95%的準確性」。
OpenAI的猶豫可能與其先前的公共分類器工具有關，該工具旨在檢測AI生成的文本，不僅包括OpenAI的模型生成的文本，還包括第三方供應商發布的文本生成模型。由於該工具的「低準確率」而受到廣泛批評，OpenAI撤回了AI生成的文本檢測器。
Agarwal暗示OpenAI還在思考一個哲學問題，即「到底什麼是AI生成的圖像」。顯然，由DALL-E 3從頭生成的藝術作品是符合資格的。但「經過DALL-E 3多次編輯、與其他圖像結合，然後經過幾次後處理濾鏡的圖像呢？」這塊則不有點模糊。
Agarwal說「在那時候，該圖像應該被視為由AI生成的東西嗎？」。「目前，我們正在嘗試解決這個問題，我們真的希望聽到藝術家和那些受到這樣的『分類器』工具嚴重影響的使用者的反饋」。
許多組織（不僅僅是OpenAI）正在探索用於生成媒體的浮水印和檢測技術，因為「AI deepfake」將越來越多。
DeepMind最近提出了一個規範「SynthID」，用於標記AI生成的圖像，這種標記對人眼來說是不可感知的，但可被專用檢測器發現。法國新創公司「Imatag」於2020年推出了一個浮水印工具，公司聲稱該工具不受翻拍、裁剪、編輯或壓縮圖像的影響，類似於SynthID。另一家公司「Steg.AI」則利用AI模型應用可以在縮放和其他編輯中生存的浮水印。
問題在於，該行業尚未團結在一個單一的浮水印或檢測標準周圍。即使它這樣做，也不能保證浮水印及檢測器不會被擊敗。
我問Agarwal「OpenAI的圖像分類器是否會支援檢測由其他非OpenAI生成工具創作的圖像？」。她不敢做承諾，但確實表示，根據圖像分類器工具目前的接受情況，OpenAI會考慮探索這一方向。
Agarwal說：「目前『分類器』是DALL-E 3專用的其中一個原因是，從技術上講，這是一個更容易解決的問題」。「『通用檢測器』不是我們現在正在做的事情，但根據『分類器工具』的發展方向，我不是說我們永遠都不會做」。
新聞原址： https://techcrunch.com/2023/10/19/openai-debates-when-to-release-its-ai-generated-image-detector/