Blog
AI時代的驗證：確保安全、可信、道德
AI時代的驗證：確保安全、可信、道德
October 23, 2023
重點摘要：
新聞內文：
在過去的一年中，AI已經席捲全球。一些人不禁思考：AI是否即將「奴役人類」，這是最新的技術潮流，還是更為微妙的東西？
這個問題很複雜。一方面，ChatGPT能夠通過律師考試。這既令人印象深刻，也對律師來說有點不祥。不過，一些軟體功能方面的問題已經浮出水面，比如「一名律師在法庭上使用ChatGPT時，機器人編造了他們的論點的一些元素」。
AI無疑會在能力上繼續取得進展，但仍然存在重大問題。我們如何知道我們可以信任AI？我們如何確保它的輸出不僅正確，而且沒有偏見？AI模型的訓練數據來源是什麼？我們如何確保它沒有被操縱？
對於任何AI模型來說，「篡改」都會造成高風險，尤其是那些即將用於安全、運輸、國防和其他涉及人類生命的領域。
AI驗證：確保安全AI的必要規定
儘管全球各國的國家機構都承認AI將成為我們流程和系統的一個組成部分，但這並不意味著「採用」應該毫不謹慎。
我們需要回答的兩個最重要的問題是：
有許多不同的方法可以驗證AI，包括硬體檢查、系統檢查、持續驗證及范艾克輻射分析等。
硬體檢查是對用於AI的計算元素的物理檢查，用於識別用於AI的晶片的存在。相比之下，系統檢查機制使用軟體來分析模型，確定它能夠控制什麼，並標記任何應該限制的功能。
該機制的工作原理是識別和分離系統的隔離區，有意為之地隱藏以保護IP和機密的部分。軟體則檢查周圍的透明零件，以檢測並標記系統中使用的任何AI處理，而無需揭示任何敏感訊息或IP。
更深入的驗證方法
持續驗證機制在初始檢查之後發生，確保一旦部署模型，就不會更改或篡改。一些反篡改技術，如「加密散列」和「代碼混淆」，是在模型本身內完成的。
「加密散列」允許檢查員檢測系統的基本狀態是否發生了變化，而無需揭露底層數據或代碼。「代碼混淆」方法仍在早期開發階段，它會在機器級別上混淆系統代碼，以使外部力量無法解讀。
「范艾克輻射分析」觀察系統運行時發出的輻射模式。由於複雜的系統運行了多個並行過程，輻射通常雜亂無章，很難提取特定代碼。然而，范艾克技術可以檢測到主要變化（例如新的AI），而無需解讀系統部署者希望保持私密的任何敏感訊息。
培訓數據：避免GIGO（垃圾進，垃圾出）
最重要的是，餵入AI模型的數據需要在源頭進行驗證。例如，如果一個對立軍隊試圖摧毀你的戰機機群，當他們可以操縱用於訓練你的戰機訊號處理AI模型的訓練數據呢？每個AI模型都是根據數據進行訓練的，它告訴模型應該如何解釋、分析和對新輸入採取行動。儘管在培訓過程中有大量的技術細節，但它歸結為幫助AI「理解」人類的方式。這個過程相似，陷阱也是如此。
理想情況下，我們希望我們的培訓數據集能夠代表模型在訓練和部署後將要接受的真實數據。例如，我們可以創造一個包含過去高績效員工的數據庫，並使用這些特徵來訓練一個AI模型，該模型可以通過查看其簡歷來預測潛在員工候選人的品質。
事實上，Amazon就是這樣做的。但結果如何？客觀地說，該模型在執行其訓練任務方面取得了巨大的成功。不過壞消息是，數據使該模型出現性別歧視。數據庫中大多數高績效員工都是男性，這可能導致您得出兩個結論：「男性的表現比女性好」；或者「只是更多的男性被聘用」，而這偏於數據。AI模型無法智慧地考慮到後者，因此不得不假定前者，並給予候選人的性別更高的權重。
「可驗證性」和「透明性」是創建安全、準確、道德AI的關鍵。最終使用者應該知道AI模型是在正確的數據上訓練的。利用零知識密碼學來證明數據沒有被操縱，確保AI從一開始就是在準確、不可篡改的數據集上訓練的。
展望未來
企業領袖必須理解，至少在高層次上，存在哪些驗證方法，以及它們在檢測AI的使用、模型變化和原始培訓數據中的偏見方面的效力如何。識別解決方案是第一步。構建這些工具的平台為任何不滿的員工、工業或軍事間諜，或可能導致強大AI模型出現危險問題的簡單人為錯誤提供了一個關鍵的屏障。
儘管驗證不能解決AI基礎系統的每個問題，但它可以在很大程度上確保AI模型能夠按照預期工作，並且可以立即檢測到其意外變化或被篡改的能力。AI正在越來越多地融入我們的日常生活中，我們必須確保我們可以信任它。
新聞原址： https://venturebeat.com/ai/how-to-police-the-ai-data-feed/
- AI的應用和風險：討論AI在過去一年中的普及和應用，以及潛在風險。
- AI驗證的必要性：強調確保AI的安全性和可靠性的必要性，提出不同的驗證方法。
- 未來展望：指出企業應理解AI驗證方法以確保可信的AI模型。
新聞內文：
在過去的一年中，AI已經席捲全球。一些人不禁思考：AI是否即將「奴役人類」，這是最新的技術潮流，還是更為微妙的東西？
這個問題很複雜。一方面，ChatGPT能夠通過律師考試。這既令人印象深刻，也對律師來說有點不祥。不過，一些軟體功能方面的問題已經浮出水面，比如「一名律師在法庭上使用ChatGPT時，機器人編造了他們的論點的一些元素」。
AI無疑會在能力上繼續取得進展，但仍然存在重大問題。我們如何知道我們可以信任AI？我們如何確保它的輸出不僅正確，而且沒有偏見？AI模型的訓練數據來源是什麼？我們如何確保它沒有被操縱？
對於任何AI模型來說，「篡改」都會造成高風險，尤其是那些即將用於安全、運輸、國防和其他涉及人類生命的領域。
AI驗證：確保安全AI的必要規定
儘管全球各國的國家機構都承認AI將成為我們流程和系統的一個組成部分，但這並不意味著「採用」應該毫不謹慎。
我們需要回答的兩個最重要的問題是：
- 特定系統是否使用了AI模型？
- 如果使用了AI模型，它可以執行或影響哪些功能？
- 如果我們知道模型已經被訓練到其設計的目的，並且我們確切知道它被部署在哪裡，那我們已經消除了AI被誤用的許多風險。
有許多不同的方法可以驗證AI，包括硬體檢查、系統檢查、持續驗證及范艾克輻射分析等。
硬體檢查是對用於AI的計算元素的物理檢查，用於識別用於AI的晶片的存在。相比之下，系統檢查機制使用軟體來分析模型，確定它能夠控制什麼，並標記任何應該限制的功能。
該機制的工作原理是識別和分離系統的隔離區，有意為之地隱藏以保護IP和機密的部分。軟體則檢查周圍的透明零件，以檢測並標記系統中使用的任何AI處理，而無需揭示任何敏感訊息或IP。
更深入的驗證方法
持續驗證機制在初始檢查之後發生，確保一旦部署模型，就不會更改或篡改。一些反篡改技術，如「加密散列」和「代碼混淆」，是在模型本身內完成的。
「加密散列」允許檢查員檢測系統的基本狀態是否發生了變化，而無需揭露底層數據或代碼。「代碼混淆」方法仍在早期開發階段，它會在機器級別上混淆系統代碼，以使外部力量無法解讀。
「范艾克輻射分析」觀察系統運行時發出的輻射模式。由於複雜的系統運行了多個並行過程，輻射通常雜亂無章，很難提取特定代碼。然而，范艾克技術可以檢測到主要變化（例如新的AI），而無需解讀系統部署者希望保持私密的任何敏感訊息。
培訓數據：避免GIGO（垃圾進，垃圾出）
最重要的是，餵入AI模型的數據需要在源頭進行驗證。例如，如果一個對立軍隊試圖摧毀你的戰機機群，當他們可以操縱用於訓練你的戰機訊號處理AI模型的訓練數據呢？每個AI模型都是根據數據進行訓練的，它告訴模型應該如何解釋、分析和對新輸入採取行動。儘管在培訓過程中有大量的技術細節，但它歸結為幫助AI「理解」人類的方式。這個過程相似，陷阱也是如此。
理想情況下，我們希望我們的培訓數據集能夠代表模型在訓練和部署後將要接受的真實數據。例如，我們可以創造一個包含過去高績效員工的數據庫，並使用這些特徵來訓練一個AI模型，該模型可以通過查看其簡歷來預測潛在員工候選人的品質。
事實上，Amazon就是這樣做的。但結果如何？客觀地說，該模型在執行其訓練任務方面取得了巨大的成功。不過壞消息是，數據使該模型出現性別歧視。數據庫中大多數高績效員工都是男性，這可能導致您得出兩個結論：「男性的表現比女性好」；或者「只是更多的男性被聘用」，而這偏於數據。AI模型無法智慧地考慮到後者，因此不得不假定前者，並給予候選人的性別更高的權重。
「可驗證性」和「透明性」是創建安全、準確、道德AI的關鍵。最終使用者應該知道AI模型是在正確的數據上訓練的。利用零知識密碼學來證明數據沒有被操縱，確保AI從一開始就是在準確、不可篡改的數據集上訓練的。
展望未來
企業領袖必須理解，至少在高層次上，存在哪些驗證方法，以及它們在檢測AI的使用、模型變化和原始培訓數據中的偏見方面的效力如何。識別解決方案是第一步。構建這些工具的平台為任何不滿的員工、工業或軍事間諜，或可能導致強大AI模型出現危險問題的簡單人為錯誤提供了一個關鍵的屏障。
儘管驗證不能解決AI基礎系統的每個問題，但它可以在很大程度上確保AI模型能夠按照預期工作，並且可以立即檢測到其意外變化或被篡改的能力。AI正在越來越多地融入我們的日常生活中，我們必須確保我們可以信任它。
新聞原址： https://venturebeat.com/ai/how-to-police-the-ai-data-feed/