Blog
面對AI治理挑戰，業界轉向A/B測試以確保技術的公正與安全
面對AI治理挑戰，業界轉向A/B測試以確保技術的公正與安全
January 8, 2024
重點摘要：
新聞內文：
消費者面向業務中使用人工智慧（AI）的趨勢正在上升，同時對於如何長期管理這項技術的擔憂也在增加。隨著拜登政府最近的行政命令要求對先進AI系統的開發和使用制定新的衡量標準，對於更好地管理AI的壓力只會增加。
今天的AI提供商和監管機構高度關注可解釋性作為AI治理的支柱，使受AI系統影響的人能夠更好地理解並挑戰這些系統的結果，包括偏見。
這些複雜的模型可能使追蹤決策的位置變得不可能，但這樣做甚至可能沒有意義。我們必須問自己的問題是：當我們可以確保這些技術在帶來益處的同時限制損害時，我們應該剝奪世界這些只是部分可解釋的技術嗎？
即使是尋求監控AI的美國立法者也迅速理解了可解釋性周圍的挑戰，揭示了對這種複雜技術的AI治理需要不同的方法。更多地關注結果，而不僅僅是可解釋性。
處理新技術不確定性並不新鮮
醫學科學界長期以來已經意識到在開發新療法時要避免危害，首先必須識別可能的危害是什麼。為了評估這種危害的風險並減少不確定性，發展了隨機對照試驗。
在隨機對照試驗中，參與者被分配到治療組和對照組。治療組接受醫療干預，對照組則不接受，並觀察兩個隊伍的結果。
通過比較兩個人口學特徵相似的隊伍，可以確定因果關係。意味著觀察到的影響是特定治療的結果。
傳統上，醫學研究者依賴於穩定的測試設計來確定療法的長期安全性和有效性。但在AI的世界中，由於系統不斷學習，每次重新訓練和部署算法時都可能出現新的益處和風險。
傳統的隨機對照研究可能不適合評估AI風險。但類似的框架可能有用，如 A/B 測試，可以持續衡量AI系統的結果。
如何透過A/B測試來確定AI安全性
在過去的15年中，A/B測試在產品開發中被廣泛使用，其中用戶群被不同地對待以衡量某些產品或體驗特徵的影響。這可以包括「識別哪些按鈕在網頁或移動應用上更容易點擊」，以及「何時發送行銷電子郵件」。
Bing的前實驗負責Ronny Kohavi引入了線上持續實驗的概念。在這個測試框架中，Bing使用者被隨機並持續分配到當前網站版本（對照組）或新版本（治療組）。
這些群組被不斷監控，然後根據總體影響評估幾個指標。隨機分配使用者可確保觀察到的治療組和對照組之間的結果差異是由於干預治療，而不是其他原因。如一天中的時間、用戶的人口學差異或網站上的其他治療。
這種框架使像Bing這樣的技術公司（後來是Uber、Airbnb和許多其他公司）能夠對其產品和使用者體驗進行換代改進，並了解這些改變對關鍵業務指標的益處。重要的是，他們建立了大規模進行此操作的基礎設施，這些企業現在可能同時管理成千上萬的實驗。
結果是，許多公司現在有一個系統來迭代地測試技術對比控制或基準的改變：一個可以適應的不僅僅是業務益處，如點擊率、銷售和收入，而且還能因果地識別不平等影響和歧視等危害。
有效衡量AI安全性的樣貌
例如，一家大型銀行可能擔心他們的個人貸款產品新定價算法對女性的待遇不公平。雖然該模型並未明確使用受保護的屬性，如性別，但該業務擔心在訓練數據時可能已經使用了性別的代理指標，因此設置了一個實驗。
處理組的客戶將使用這種新算法進行定價。對於對照組的客戶，貸款決策是使用過去20年來使用的基準模型進行的。
假設像性別這樣的人口學屬性是已知的、在治療組和對照組之間平等分配且數量充足，則可以衡量男性和女性之間的差異影響（如果有的話），從而回答AI系統對女性的待遇是否公平。
AI對人類受試者的暴露也可以在新產品特性的受控推出中更緩慢地發生，其中特性逐漸釋放給使用者群的更大比例。
或者，治療可以首先限制在較小、風險較低的人群中。例如，微軟使用紅隊測試，其中一組員工以對抗性方式與AI系統互動，以測試其最嚴重的危害，然後再將其釋放給一般人群。
衡量AI安全性確保了問責制
在許多情況下，「可解釋性」可能主觀且理解不足，而根據不同人群的輸出評估AI系統提供了一個量化且經過測試的框架，用於確定AI算法是否真正有害。
關鍵的是，它確立了AI系統的問責制，其中AI提供商可以對系統的正確運作和與倫理原則的一致性負責。在越來越複雜的環境中，使用者正在被許多AI系統處理，使用對照組進行持續測量可以確定哪種AI治療導致了危害，並對該治療進行問責。
儘管可解釋性仍是AI提供商和跨行業監管機構的重點關注點，但首先在醫療保健中使用的技術，後來在技術中被採用以處理不確定性，可以幫助實現一個普遍目標，確保AI如預期工作並且最重要的是，是安全的。
新聞原址： https://venturebeat.com/ai/how-important-is-explainability-applying-critical-trial-principles-to-ai-safety-testing/
- 在面對拜登政府要求對AI系統制定新標準的背景下，AI提供商和監管機構正關注AI的可解釋性，以幫助人們更好地理解並挑戰AI系統的結果，特別是在偏見等問題上。
- 傳統的隨機對照試驗方法，雖然在醫學研究中有效，但可能不適用於評估不斷學習和變化的AI系統風險。因此，類似的框架，如A/B測試，可用於持續衡量AI系統的結果和安全性。
- A/B測試已被廣泛應用於產品開發，可用於衡量AI系統對不同人群的影響，確定因果關係，並確保AI如預期工作並且安全。
新聞內文：
消費者面向業務中使用人工智慧（AI）的趨勢正在上升，同時對於如何長期管理這項技術的擔憂也在增加。隨著拜登政府最近的行政命令要求對先進AI系統的開發和使用制定新的衡量標準，對於更好地管理AI的壓力只會增加。
今天的AI提供商和監管機構高度關注可解釋性作為AI治理的支柱，使受AI系統影響的人能夠更好地理解並挑戰這些系統的結果，包括偏見。
這些複雜的模型可能使追蹤決策的位置變得不可能，但這樣做甚至可能沒有意義。我們必須問自己的問題是：當我們可以確保這些技術在帶來益處的同時限制損害時，我們應該剝奪世界這些只是部分可解釋的技術嗎？
即使是尋求監控AI的美國立法者也迅速理解了可解釋性周圍的挑戰，揭示了對這種複雜技術的AI治理需要不同的方法。更多地關注結果，而不僅僅是可解釋性。
處理新技術不確定性並不新鮮
醫學科學界長期以來已經意識到在開發新療法時要避免危害，首先必須識別可能的危害是什麼。為了評估這種危害的風險並減少不確定性，發展了隨機對照試驗。
在隨機對照試驗中，參與者被分配到治療組和對照組。治療組接受醫療干預，對照組則不接受，並觀察兩個隊伍的結果。
通過比較兩個人口學特徵相似的隊伍，可以確定因果關係。意味著觀察到的影響是特定治療的結果。
傳統上，醫學研究者依賴於穩定的測試設計來確定療法的長期安全性和有效性。但在AI的世界中，由於系統不斷學習，每次重新訓練和部署算法時都可能出現新的益處和風險。
傳統的隨機對照研究可能不適合評估AI風險。但類似的框架可能有用，如 A/B 測試，可以持續衡量AI系統的結果。
如何透過A/B測試來確定AI安全性
在過去的15年中，A/B測試在產品開發中被廣泛使用，其中用戶群被不同地對待以衡量某些產品或體驗特徵的影響。這可以包括「識別哪些按鈕在網頁或移動應用上更容易點擊」，以及「何時發送行銷電子郵件」。
Bing的前實驗負責Ronny Kohavi引入了線上持續實驗的概念。在這個測試框架中，Bing使用者被隨機並持續分配到當前網站版本（對照組）或新版本（治療組）。
這些群組被不斷監控，然後根據總體影響評估幾個指標。隨機分配使用者可確保觀察到的治療組和對照組之間的結果差異是由於干預治療，而不是其他原因。如一天中的時間、用戶的人口學差異或網站上的其他治療。
這種框架使像Bing這樣的技術公司（後來是Uber、Airbnb和許多其他公司）能夠對其產品和使用者體驗進行換代改進，並了解這些改變對關鍵業務指標的益處。重要的是，他們建立了大規模進行此操作的基礎設施，這些企業現在可能同時管理成千上萬的實驗。
結果是，許多公司現在有一個系統來迭代地測試技術對比控制或基準的改變：一個可以適應的不僅僅是業務益處，如點擊率、銷售和收入，而且還能因果地識別不平等影響和歧視等危害。
有效衡量AI安全性的樣貌
例如，一家大型銀行可能擔心他們的個人貸款產品新定價算法對女性的待遇不公平。雖然該模型並未明確使用受保護的屬性，如性別，但該業務擔心在訓練數據時可能已經使用了性別的代理指標，因此設置了一個實驗。
處理組的客戶將使用這種新算法進行定價。對於對照組的客戶，貸款決策是使用過去20年來使用的基準模型進行的。
假設像性別這樣的人口學屬性是已知的、在治療組和對照組之間平等分配且數量充足，則可以衡量男性和女性之間的差異影響（如果有的話），從而回答AI系統對女性的待遇是否公平。
AI對人類受試者的暴露也可以在新產品特性的受控推出中更緩慢地發生，其中特性逐漸釋放給使用者群的更大比例。
或者，治療可以首先限制在較小、風險較低的人群中。例如，微軟使用紅隊測試，其中一組員工以對抗性方式與AI系統互動，以測試其最嚴重的危害，然後再將其釋放給一般人群。
衡量AI安全性確保了問責制
在許多情況下，「可解釋性」可能主觀且理解不足，而根據不同人群的輸出評估AI系統提供了一個量化且經過測試的框架，用於確定AI算法是否真正有害。
關鍵的是，它確立了AI系統的問責制，其中AI提供商可以對系統的正確運作和與倫理原則的一致性負責。在越來越複雜的環境中，使用者正在被許多AI系統處理，使用對照組進行持續測量可以確定哪種AI治療導致了危害，並對該治療進行問責。
儘管可解釋性仍是AI提供商和跨行業監管機構的重點關注點，但首先在醫療保健中使用的技術，後來在技術中被採用以處理不確定性，可以幫助實現一個普遍目標，確保AI如預期工作並且最重要的是，是安全的。
新聞原址： https://venturebeat.com/ai/how-important-is-explainability-applying-critical-trial-principles-to-ai-safety-testing/