Blog
X平台內容審查失敗，深度偽造泰勒絲圖片散播引發關注，專家呼籲改革內容審查方式
X平台內容審查失敗，深度偽造泰勒絲圖片散播引發關注，專家呼籲改革內容審查方式
January 31, 2024
重點摘要：
- 伊隆馬斯克旗下社交平台X遭遇深度偽造色情圖片散布，影響泰勒絲的形象，其中一張圖片觀看次數超過4500萬，引起廣泛關注。
- X平台缺乏快速識別濫用內容的基礎設施，而且內容審查失敗導致泰勒絲的事件成為國際新聞焦點。
- 研究員建議社交媒體平台需要全面改變內容審查方式，包括提供更多透明度給個別使用者，以及更快速、個性化的反應，以應對濫用內容。
新聞內文：
你知道當你同時激怒了白宮、《時代》年度人物以及流行文化最狂熱的粉絲群時，事情出問題了。這就是上週發生在伊隆馬斯克旗下的社交平台X身上的事情，當AI生成的深度偽造色情圖片傳播開來，泰勒絲（Taylor Swift）的形象遭到損害。最廣泛傳播的非自願性、露骨深度偽造圖片之一被觀看超過4500萬次，獲得數十萬個讚好。這還不包括所有在單獨的貼文中重新分享這些圖片的帳戶，一旦圖片廣泛流傳，基本上就不可能刪除。
X 缺乏快速識別濫用內容的基礎設施。即使在Twitter時代，這個問題也很難解決，但自從馬斯克清理了X的大部分員工，包括大多數的信任和安全團隊以來，情況變得更糟。所以，泰勒絲強大而熱情的粉絲群自己動手，湧入搜索結果，尋找「泰勒絲AI」和「泰勒絲深度偽造」等查詢讓使用者更難找到濫用的圖片。當白宮新聞秘書呼籲國會採取行動時，X簡單地封鎖了「泰勒絲」這個關鍵字幾天。當使用者搜尋這位音樂家的名字時，他們會看到一條錯誤提示。
這次內容審查失敗成為國家新聞，因為泰勒絲就是泰勒絲。但如果社交平台無法保護世界上最著名的女性之一，那麼他們還能保護誰呢？
英國諾桑比亞大學數字公民中心的研究員卡羅萊娜·艾爾博士告訴TechCrunch：「如果你像泰勒絲一樣遭受了類似的事件，正如許多人所經歷的，你可能不會得到相同的支持，這意味著你將無法獲得這些非常重要的關懷社區」。「而大多數使用者在這些情況下不得不求助於這些關懷社區，這實際上顯示了內容審查的失敗」。
封鎖搜索詞「泰勒絲」就像在破裂的管道上貼一塊膠帶。有很多明顯的解決方法，就像TikTok使用者搜尋「seggs」而不是「sex」一樣。搜索封鎖只是X可以實施的措施之一，讓他們看起來正在採取行動，但它不能阻止人們只是搜尋「t swift」而不是「泰勒絲」。Copia Institute和Techdirt創辦人邁克·馬斯尼克將這一努力稱為「信任與安全的大錘版」。
艾爾表示：「當涉及到讓女性、非二次元人和酷兒人群對自己的身體擁有代理權時，平台做得很差，所以他們複製了線下濫用和父權制度的系統」。「如果你的內容審查系統無法在危機時做出反應，或者如果您的內容審查系統無法對使用者報告有問題的情況做出反應，我們就有問題」。
那麼，X 應該如何防止泰勒絲事件發生呢？
作為她的研究的一部分，艾爾提出社交平台需要全面改變他們處理內容審查的方式。最近，她與全球受審查和虐待影響的45名網路使用者進行了一系列圓桌討論，以向平台提出關於如何進行改革的建議。
其中一項建議是社交媒體平台應該對個別使用者更加透明，告知他們有關他們的帳戶或對其他帳戶的舉報的決定。
艾爾表示：「您無法使用案例記錄，即使平台確實可以查閱那些資料。他們只是不想公開」。「我認為在虐待方面，人們需要更加個性化、情境化和快速的反應，其中包括，如果不是面對面的幫助，至少是直接的交流」。
X本週宣布，將聘請100名內容審查員，在德克薩斯州奧斯汀的新「信任與安全」中心工作。但在馬斯克的管理下，該平台未能為受虐待的使用者設立保護的強有力先例。此外，由於這位大亨在兌現承諾方面長期以來一直表現不佳，難以真誠對待馬斯克。當他首次購買X時，馬斯克宣稱他將在做出重大決策之前成立一個內容審查委員會。但這並未發生。
對於AI生成的深度偽造，責任不僅在社交平台上。還在創造面向消費者的生成式AI產品的公司身上。
根據404 Media的調查，對於斯威夫特的濫用描述來自一個致力於創作非自願的深度偽造的Telegram群組。該群組的使用者經常使用Microsoft Designer，該軟體借助Open AI的DALL-E 3根據輸入的提示生成圖片。根據微軟後來解決的漏洞，使用者可以透過編寫提示，如「泰勒『歌手』斯威夫特」或「珍妮弗『演員』安妮斯頓」，生成名人的圖像。
微軟的一位軟體工程主管謝恩·瓊斯在去年12月給華盛頓州檢察總長寫信，稱他發現了DALL-E 3的漏洞，這使得可能「繞過一些旨在防止模型創作和分發有害圖像的防護設施」。
瓊斯通報了微軟和OpenAI這些漏洞，但兩週後，他並未得到這些問題正在得到解決的跡象。因此，他在LinkedIn上發表了一封公開信，敦促OpenAI暫停提供DALL-E 3。瓊斯通報了他的信給微軟，但隨後被要求刪除。
瓊斯在致州檢察總長的信中寫道：「我們需要追究公司對其產品安全性以及向公眾披露已知風險的責任」。「擔心的員工，就像我自己一樣，不應該被威嚇以保持沉默」。
隨著世界上最有影響力的公司大力投資於人工智慧，平台需要積極採取措施來規範濫用內容 - 但即使在製作名人深度偽造影片不那麼容易的時代，違規行為仍然很容易逃避審查。
艾爾表示：「這真的讓你看到平台是不可靠的」。「邊緣化社群必須更多地信任他們的追隨者和其他使用者，而不是在線上安全負責的人們」。
新聞原址： https://techcrunch.com/2024/01/30/the-taylor-swift-deepfake-debacle-was-frustratingly-preventable/