Blog
史丹佛報告揭露AI圖像生成數據庫含兒童性虐待圖像，引發網路安全警報
史丹佛報告揭露AI圖像生成數據庫含兒童性虐待圖像，引發網路安全警報
December 23, 2023
重點摘要：
新聞內文：
根據史丹佛大學網路政策中心的一份新報告，用於訓練AI圖像生成器的數據庫包含成千上萬張懷疑是兒童性虐待的圖像。
該中心的調查發現，被用來訓練包括Stable Diffusion 1.5在內的多個AI圖像生成器的LAION-5B數據庫，包含了3200多張懷疑是兒童虐待的圖像。
報告中指出，這些圖像中有1000多張被證實是兒童性虐待素材，並警告這些圖像出現在數據集中可能使基於此數據的生成性AI工具被用來創造新的兒童虐待內容。
LAION-5B是一個從開放網路上抓取的約五十億圖像的大型公共存檔。
它已被多家AI公司使用，這些公司需要大量數據來訓練可以在幾秒內生成新圖像的生成性AI模型。
專家們長期以來一直警告說，AI圖像生成器可能會釋放大量超逼真的AI生成的兒童性虐待圖像，而網路監控基金會（IWF）則警告這些圖像已在暗網上廣泛流傳。
與此同時，英國的網路安全組織已就學校兒童使用AI圖像生成器創造同學不雅內容的事件呼籲「緊急採取行動」。
根據Graphika的數據，利用類似技術通過創造假裸體圖像來「脫光」女性照片的AI應用也越來越受歡迎。
Stable Diffusion是使用LAION數據庫的最知名模型。該工具由英國公司Stability AI開發，自2022年推出以來已成為最廣泛使用和最受歡迎的圖像生成器之一。
德國非營利組織LAION的發言人告訴彭博社，該團隊正在暫時從網路上移除其數據集，同時清除其中的非法內容。
與此同時，Stability AI的發言人告訴《商業內幕》，該公司已引入過濾器以防止使用者利用Stable Diffusion創造非法內容，並且Stability AI的模型「只在LAION-5B的過濾子集上進行了訓練」。
該公司去年推出了「Stable Diffusion 2.0」，該版本也是在LAION-5B數據的子集上進行訓練的，但對性明顯內容的控制更嚴格。然而，能夠生成明顯內容的1.5版本仍然在開放網路上可用。
發言人表示，Stable Diffusion 1.5是由AI影片新創公司「RunwayML」發布的，而不是Stability AI。不過，Runway告訴彭博社，這是兩家公司的合作。
LAION-400M是5B數據庫的前一版本，史丹佛研究人員指出，它曾被發現包含
「色情圖像、種族歧視詞語和有害的社會刻板印象」，Google用它來訓練其Imagen文字到圖像生成器的早期版本。Google此後已停止使用LAION數據集。
《商業內幕》嘗試聯繫LAION以獲得進一步評論，但未立即收到回覆。
新聞原址： https://www.businessinsider.com/ai-image-generators-trained-on-child-sexual-abuse-pictures-study-2023-12
- 史丹佛大學網路政策中心的報告揭露，用於訓練AI圖像生成器的LAION-5B數據庫包含超過3200張懷疑是兒童性虐待的圖像，其中1000多張被確認為兒童性虐待素材。
- 這些包含非法內容的數據庫被多家AI公司使用來訓練生成性AI模型，專家警告這可能導致AI工具被用來創造新的兒童虐待內容。英國網路安全組織已就學校兒童利用AI圖像生成器創造不雅內容發出警告。
- Stability AI表示，其Stable Diffusion 1.5模型（由RunwayML發布）能生成明顯內容，但公司已在新版本中引入嚴格的內容控制。LAION團隊已暫時下架其數據庫以清除非法內容。
新聞內文：
根據史丹佛大學網路政策中心的一份新報告，用於訓練AI圖像生成器的數據庫包含成千上萬張懷疑是兒童性虐待的圖像。
該中心的調查發現，被用來訓練包括Stable Diffusion 1.5在內的多個AI圖像生成器的LAION-5B數據庫，包含了3200多張懷疑是兒童虐待的圖像。
報告中指出，這些圖像中有1000多張被證實是兒童性虐待素材，並警告這些圖像出現在數據集中可能使基於此數據的生成性AI工具被用來創造新的兒童虐待內容。
LAION-5B是一個從開放網路上抓取的約五十億圖像的大型公共存檔。
它已被多家AI公司使用，這些公司需要大量數據來訓練可以在幾秒內生成新圖像的生成性AI模型。
專家們長期以來一直警告說，AI圖像生成器可能會釋放大量超逼真的AI生成的兒童性虐待圖像，而網路監控基金會（IWF）則警告這些圖像已在暗網上廣泛流傳。
與此同時，英國的網路安全組織已就學校兒童使用AI圖像生成器創造同學不雅內容的事件呼籲「緊急採取行動」。
根據Graphika的數據，利用類似技術通過創造假裸體圖像來「脫光」女性照片的AI應用也越來越受歡迎。
Stable Diffusion是使用LAION數據庫的最知名模型。該工具由英國公司Stability AI開發，自2022年推出以來已成為最廣泛使用和最受歡迎的圖像生成器之一。
德國非營利組織LAION的發言人告訴彭博社，該團隊正在暫時從網路上移除其數據集，同時清除其中的非法內容。
與此同時，Stability AI的發言人告訴《商業內幕》，該公司已引入過濾器以防止使用者利用Stable Diffusion創造非法內容，並且Stability AI的模型「只在LAION-5B的過濾子集上進行了訓練」。
該公司去年推出了「Stable Diffusion 2.0」，該版本也是在LAION-5B數據的子集上進行訓練的，但對性明顯內容的控制更嚴格。然而，能夠生成明顯內容的1.5版本仍然在開放網路上可用。
發言人表示，Stable Diffusion 1.5是由AI影片新創公司「RunwayML」發布的，而不是Stability AI。不過，Runway告訴彭博社，這是兩家公司的合作。
LAION-400M是5B數據庫的前一版本，史丹佛研究人員指出，它曾被發現包含
「色情圖像、種族歧視詞語和有害的社會刻板印象」，Google用它來訓練其Imagen文字到圖像生成器的早期版本。Google此後已停止使用LAION數據集。
《商業內幕》嘗試聯繫LAION以獲得進一步評論，但未立即收到回覆。
新聞原址： https://www.businessinsider.com/ai-image-generators-trained-on-child-sexual-abuse-pictures-study-2023-12