Blog
Vera完成270萬美元融資：為生成式AI模型設立安全門檻
Vera完成270萬美元融資：為生成式AI模型設立安全門檻
October 6, 2023
重點摘要：
新聞內文：
Liz O'Sullivan的使命是用她自己的話來說，使AI「更安全一點」。
作為國家AI諮詢委員會的成員，該委員會草擬了關於「如何促進AI採用並規範其風險」的建議，O'Sullivan在AI新創企業的商業方面花了12年的時間，用在監督數據標註、營運和客戶成功。 2019年，她在監視技術監督專案（Surveillance Technology Oversight Project）找到了一份工作，發起了保護紐約市民自由的運動，並共同創立了「Arthur AI」，一家與公民社會和學術界合作的新創企業，以揭示AI的「黑盒子」。
現在，O'Sullivan正在為她的下一個行動做準備，這是一家名為「Vera」的新創企業，該企業正在建立一個工具包，允許公司為生成式AI建立「可接受的使用政策」，並在開源和自定義模型之間強制執行這些政策。
Vera今天完成了一輪270萬美元的融資，由Differential Venture Partners領導投資，Essence VC、Everywhere VC、Betaworks、Greycroft和ATP Ventures參與投資。 O'Sullivan表示，新的資金將用於擴大Vera的五人團隊、研發工作和擴展企業內部部署。
O'Sullivan在電子郵件訪談中對TechCrunch表示：「Vera之所以成立，是因為我們首先親眼見證了AI解決實際問題的能力，正如我們看到它可以對公司、公眾和世界造成損害的方式一樣」。「我們需要負責任地引導這項技術進入世界，由於公司正在競爭制定他們的生成AI戰略，因此我們進入了一個重要的時代，必須超越AI原則，進入實踐。 Vera是一個實際可以幫助的團隊」。
O'Sullivan於2021年與Justin Norman共同創立了Vera，Norman曾是思科的研究科學家，是Cloudera AI研究實驗室的數據科學家，並擔任「Yelp」的數據科學副總裁。去年九月，Norman被任命為美國海軍科學和技術委員會的成員，該委員會為美國海軍與科學、技術、職能相關的事項和政策提供建議和諮詢。
Vera的平台試圖識別模型輸入中的風險，例如，對於文本生成模型的提示，如「為軟體工程師角色編寫求職信」，並阻止、遮蔽或以其他方式轉換可能包含個人身份資訊、安全憑證、知識產權和提示注入攻擊等內容的請求。（提示注入攻擊基本上是用於「欺騙」模型，以繞過安全篩檢的精心措辭的惡意提示。）
根據O'Sullivan的說法，Vera還對模型在回應提示時能夠「說」的內容施加了約束，使公司更能控制生產中模型的行為。
Vera是如何實現這一目標的呢？通過使用O'Sullivan描述的「專有語言和視覺模」，這些模型位於使用者和內部或第三方模型（例如OpenAI的GPT-4）之間，並檢測有問題的內容。O'Sullivan聲稱，Vera可以阻止「不適當」的提示或以任何形式（文本、代碼、圖像或影片）對模型的回應。O'Sullivan表示：「我們的深度技術方法超越了被動的文檔和檢查表形式，以解決這些風險發生的直接點」。「我們的解決方案，可以防止包含犯罪素材或鼓勵使用者自殘的風險回應」。
當然，公司在採用生成式AI模型時確實遇到了挑戰，主要是與合規性相關的挑戰。他們擔心他們的機密數據最終會流向將模型訓練在使用者數據上的開發人員裡；最近幾個月，包括蘋果、沃爾瑪和威訊在內的大公司已禁止員工使用OpenAI的「ChatGPT」等工具。
很顯然地，具有冒犯性的模型對於公眾形象來說是不好的。沒有品牌希望驅動他們的客戶服務聊天機器人的文本生成模型散發種族偏見或給出自我毀滅性的建議。
但這位記者想知道，Vera的方法是否如O'Sullivan所言這般的可靠。
沒有模型是完美的，甚至連Vera的模型也不是，一次又一次地證明了內容審查模型容易受到各種偏見的影響。一些用於檢測文本中有害內容的AI模型將一些非裔美國人使用的非正式語法（即一些黑人美國人使用的非正式語法）中的短語視為不成比例的「有害詞」。此外，某些計算機視覺算法已被發現將黑人持有的溫度計標記為「槍支」，同時將淺膚色試驗者持有的溫度計標記為「電子設備」。
公平地說，O'Sullivan並未聲稱Vera的模型是百分之百可靠的，只是它們可以抑制生成式AI模型的最壞行為。對於這一點可能有一定的道理（至少取決於模型），以及Vera已經對自己的模型進行了多次更新和優化。
O'Sullivan表示：「今天的AI炒作周期掩蓋了那些影響當今人類的非常嚴重、非常現實的風險」。「在AI過度承諾的地方，我們看到真實的人因無法預測、有害、有毒且可能涉及犯罪的模型行為而受傷害。AI是一種強大的工具，像任何強大的工具一樣，應該受到積極的控制，以使其帶來的好處超越這些風險，這就是Vera存在的原因」。
除了可能存在的Vera的不足之外，該公司在模型審查技術的新興市場中已有競爭對手。
與Vera類似，Nvidia的「NeMo Guardrails」和Salesforce的「Einstein Trust Layer」試圖阻止文本生成模型保留或重複敏感數據，例如客戶訂單和電話號碼。微軟提供了一項AI服務，用於審查文本和圖像內容，包括來自模型的內容。此外，新創企業HiddenLayer、DynamoFL和Protect AI也正在創造工具，以保護生成式AI模型免受提示工程攻擊。
據我所知，Vera的價值主張在於它一次性解決了各種生成式AI威脅的問題，或者至少承諾這樣做。假設技術如所宣稱的那樣運作，這對於尋求一站式內容審查和AI模型攻擊防禦的公司來說肯定具有吸引力。
事實上，O'Sullivan表示，Vera已經有一些客戶。等候名單將開放。
O'Sullivan表示：「全球各地的CTO、CISO和CIO都努力在AI增強的生產力和這些模型帶來的風險之間取得理想的平衡」。「Vera通過可轉移的政策執行解鎖了生成式AI能力，這不僅適用於今天的模型，還適用於未來的模型，而不會像選擇一種模型或一種一刀切的方法一樣產生供應商鎖定」。
新聞原址： https://techcrunch.com/2023/10/05/vera-wants-to-use-ai-to-cull-generative-ais-worst-behavior/
- Liz O'Sullivan共同創立了名為「Vera」的新創企業，專門為生成式AI模型建立「可接受的使用政策」，並強制執行這些政策。
- Vera完成了一輪270萬美元的融資，資金將用於擴大團隊、研發工作和企業內部部署。
- Vera的平台能識別模型輸入中的風險，如個人身份資訊和安全憑證，並能阻止或轉換這些風險內容。
新聞內文：
Liz O'Sullivan的使命是用她自己的話來說，使AI「更安全一點」。
作為國家AI諮詢委員會的成員，該委員會草擬了關於「如何促進AI採用並規範其風險」的建議，O'Sullivan在AI新創企業的商業方面花了12年的時間，用在監督數據標註、營運和客戶成功。 2019年，她在監視技術監督專案（Surveillance Technology Oversight Project）找到了一份工作，發起了保護紐約市民自由的運動，並共同創立了「Arthur AI」，一家與公民社會和學術界合作的新創企業，以揭示AI的「黑盒子」。
現在，O'Sullivan正在為她的下一個行動做準備，這是一家名為「Vera」的新創企業，該企業正在建立一個工具包，允許公司為生成式AI建立「可接受的使用政策」，並在開源和自定義模型之間強制執行這些政策。
Vera今天完成了一輪270萬美元的融資，由Differential Venture Partners領導投資，Essence VC、Everywhere VC、Betaworks、Greycroft和ATP Ventures參與投資。 O'Sullivan表示，新的資金將用於擴大Vera的五人團隊、研發工作和擴展企業內部部署。
O'Sullivan在電子郵件訪談中對TechCrunch表示：「Vera之所以成立，是因為我們首先親眼見證了AI解決實際問題的能力，正如我們看到它可以對公司、公眾和世界造成損害的方式一樣」。「我們需要負責任地引導這項技術進入世界，由於公司正在競爭制定他們的生成AI戰略，因此我們進入了一個重要的時代，必須超越AI原則，進入實踐。 Vera是一個實際可以幫助的團隊」。
O'Sullivan於2021年與Justin Norman共同創立了Vera，Norman曾是思科的研究科學家，是Cloudera AI研究實驗室的數據科學家，並擔任「Yelp」的數據科學副總裁。去年九月，Norman被任命為美國海軍科學和技術委員會的成員，該委員會為美國海軍與科學、技術、職能相關的事項和政策提供建議和諮詢。
Vera的平台試圖識別模型輸入中的風險，例如，對於文本生成模型的提示，如「為軟體工程師角色編寫求職信」，並阻止、遮蔽或以其他方式轉換可能包含個人身份資訊、安全憑證、知識產權和提示注入攻擊等內容的請求。（提示注入攻擊基本上是用於「欺騙」模型，以繞過安全篩檢的精心措辭的惡意提示。）
根據O'Sullivan的說法，Vera還對模型在回應提示時能夠「說」的內容施加了約束，使公司更能控制生產中模型的行為。
Vera是如何實現這一目標的呢？通過使用O'Sullivan描述的「專有語言和視覺模」，這些模型位於使用者和內部或第三方模型（例如OpenAI的GPT-4）之間，並檢測有問題的內容。O'Sullivan聲稱，Vera可以阻止「不適當」的提示或以任何形式（文本、代碼、圖像或影片）對模型的回應。O'Sullivan表示：「我們的深度技術方法超越了被動的文檔和檢查表形式，以解決這些風險發生的直接點」。「我們的解決方案，可以防止包含犯罪素材或鼓勵使用者自殘的風險回應」。
當然，公司在採用生成式AI模型時確實遇到了挑戰，主要是與合規性相關的挑戰。他們擔心他們的機密數據最終會流向將模型訓練在使用者數據上的開發人員裡；最近幾個月，包括蘋果、沃爾瑪和威訊在內的大公司已禁止員工使用OpenAI的「ChatGPT」等工具。
很顯然地，具有冒犯性的模型對於公眾形象來說是不好的。沒有品牌希望驅動他們的客戶服務聊天機器人的文本生成模型散發種族偏見或給出自我毀滅性的建議。
但這位記者想知道，Vera的方法是否如O'Sullivan所言這般的可靠。
沒有模型是完美的，甚至連Vera的模型也不是，一次又一次地證明了內容審查模型容易受到各種偏見的影響。一些用於檢測文本中有害內容的AI模型將一些非裔美國人使用的非正式語法（即一些黑人美國人使用的非正式語法）中的短語視為不成比例的「有害詞」。此外，某些計算機視覺算法已被發現將黑人持有的溫度計標記為「槍支」，同時將淺膚色試驗者持有的溫度計標記為「電子設備」。
公平地說，O'Sullivan並未聲稱Vera的模型是百分之百可靠的，只是它們可以抑制生成式AI模型的最壞行為。對於這一點可能有一定的道理（至少取決於模型），以及Vera已經對自己的模型進行了多次更新和優化。
O'Sullivan表示：「今天的AI炒作周期掩蓋了那些影響當今人類的非常嚴重、非常現實的風險」。「在AI過度承諾的地方，我們看到真實的人因無法預測、有害、有毒且可能涉及犯罪的模型行為而受傷害。AI是一種強大的工具，像任何強大的工具一樣，應該受到積極的控制，以使其帶來的好處超越這些風險，這就是Vera存在的原因」。
除了可能存在的Vera的不足之外，該公司在模型審查技術的新興市場中已有競爭對手。
與Vera類似，Nvidia的「NeMo Guardrails」和Salesforce的「Einstein Trust Layer」試圖阻止文本生成模型保留或重複敏感數據，例如客戶訂單和電話號碼。微軟提供了一項AI服務，用於審查文本和圖像內容，包括來自模型的內容。此外，新創企業HiddenLayer、DynamoFL和Protect AI也正在創造工具，以保護生成式AI模型免受提示工程攻擊。
據我所知，Vera的價值主張在於它一次性解決了各種生成式AI威脅的問題，或者至少承諾這樣做。假設技術如所宣稱的那樣運作，這對於尋求一站式內容審查和AI模型攻擊防禦的公司來說肯定具有吸引力。
事實上，O'Sullivan表示，Vera已經有一些客戶。等候名單將開放。
O'Sullivan表示：「全球各地的CTO、CISO和CIO都努力在AI增強的生產力和這些模型帶來的風險之間取得理想的平衡」。「Vera通過可轉移的政策執行解鎖了生成式AI能力，這不僅適用於今天的模型，還適用於未來的模型，而不會像選擇一種模型或一種一刀切的方法一樣產生供應商鎖定」。
新聞原址： https://techcrunch.com/2023/10/05/vera-wants-to-use-ai-to-cull-generative-ais-worst-behavior/