Blog
生成式人工智慧：網路安全領域的雙面刀
生成式人工智慧：網路安全領域的雙面刀
August 28, 2023
重點摘要：
這篇文章深入探討了生成式AI和大型語言模型（LLM）在網路安全方面的潛在影響。它指出，雖然這些工具有助於提高安全團隊的效率和準確性，但它們也為攻擊者提供了新的、更高效的攻擊手段。因此，組織需要在使用這些先進工具時謹慎行事，並實施適當的保護措施。
新聞內文：
關於生成式AI和大型語言模型（LLM）對安全方面的潛在影響已經引起了廣泛關注。一方面，積極性地影響難以忽視。這些新工具可能可幫助編寫和掃描代碼、補充人手不足的團隊、分析威脅並執行各種功能，以使安全團隊的實施政策能更加準確、高效和有效。隨著時間的推移，這些工具也可能能接管當今安全分析師所厭惡的單調和重複的任務，從而讓他們從事更具吸引力和影響力的工作，且這些工作需要人類的關注和決策。
另一方面，生成式AI和LLM仍處於相對初級的階段，這意味著組織仍在努力負責使用它們。除此之外，安全專業人員並不是唯一認識到生成式AI潛力的人。對安全專業人員有益的事情，通常對攻擊者來說也是有益的，而當今的對手正在使用生成式AI來探索並實現自己不當目的的方法。當我們認為某事物正在幫助我們時，但它卻開始傷害我們時會發生什麼？我們是否最終會達到一個極限，而其中技術作為威脅的潛力卻超越了作為資源的潛力？
隨著技術變得更加先進和普遍，理解生成式AI的能力以及如何負責任地使用它將至關重要。
使用生成式AI和LLM
可以說，像ChatGPT這樣的生成式AI模型可能徹底改變我們對待編程和代碼的方式。確實，它們目前還不能完全從頭創造代碼。但是，如果您對一個應用程序或程序有一個想法，那麼生成式AI可能會幫助您執行它。您可以將這種代碼視為初稿，它可能不是完美的，但它是一個有用的雛形。編輯現有代碼比從頭生成要容易得多（更不用說更快了）。將這些基本任務交給一個能幹的AI意味著工程師和開發人員可以自由參與更適合他們經驗和專業知識的任務。
話雖如此，無論該內容來源來自開放的網路還是它們所訓練的特定數據集，生成式AI和LLM會根據現有內容創造生成。這意味著它們擅長在以前的基礎上進行迭代，這對攻擊者來說可能是一種好處。例如，像AI可以使用相同的一組詞創造內容的迭代一樣，它可以創造與已存在的某些內容相似但不同的結果以逃避檢測機制。使用這種技術，不良行為者將生成獨特有效的攻擊，目的在逃避建立在已知攻擊特徵上的安全防禦機制上。
攻擊者已經在利用AI來開發webshell變體，這是一種用於在受損服務器上保持持久性的惡意代碼。攻擊者可以將現有的webshell輸入到生成式AI工具中，並要求它創造惡意代碼的迭代。然後，這些變體可以在受損的服務器上使用，通常與遠端代碼執行漏洞（RCE）一起使用，以逃避檢測。
LLM和AI導致更多的零日漏洞和複雜的利用
充足資金的攻擊者也擅長閱讀和掃描源代碼，以識別漏洞，但這個過程需要大量的時間和高水準技能。LLM和生成式AI工具可以幫助這些攻擊者，甚至是那些技能較低的攻擊者，通過分析常用開源項目的源代碼或反向工程商業軟體來發現並執行複雜的利用。
在大多數情況下，攻擊者擁有用於自動化此過程的工具或外掛程式。他們還更有可能使用開源LLM，因為這些工具沒有相同的保護機制，以防止這種惡意行為，且通常可以免費使用。其結果將是增加零日駭客和其他危險使用的數量，類似於MOVEit和Log4Shell漏洞，這些漏洞使攻擊者能夠從輕易在攻擊組織中轉移數據。
更糟糕的是，普通組織在其代碼庫中可能已經有成千上萬個原本存在未解決的漏洞。隨著程序員在不掃描漏洞的情況下引入由AI生成的代碼，由於編碼不良，這個數字將會上升。那麼自然的，國家級駭客和其他高級組織將準備好利用，而生成式AI工具將使他們更容易做到這一點。
謹慎前進
對於這個問題，沒有簡單的解決方案，但組織可以採取一些步驟，確保他們以安全和負責任的方式使用這些新工具。其中一種方法就是校正原本存在的漏洞：通過使用AI工具在他們的代碼庫中掃描潛在漏洞，組織可以確定他們的代碼中的潛在攻擊並在攻擊者發動攻擊前修復這些漏洞。對於計劃使用生成式AI工具和LLMs來協助生成代碼的組織來說，這一點非常重要。如果AI從現有儲存庫中提取開源代碼，則必須核實它是否帶有已知的安全漏洞。
今天的安全專業人員對於使用和擴散生成式AI和LLM的擔憂是非常現實的，這是一群技術領導者最近呼籲"暫停AI"中所強調的。雖然這些工具有可能使工程師和開發人員的生產力明顯提升，但現今的組織在讓AI瓦解之前，必須以慎重的方式來使用這些工具，並實施必要的保護措施。
Peter Klimek是Imperva首席技術主管處的技術總監。
新聞原址： https://venturebeat.com/security/why-generative-ai-is-a-double-edged-sword-for-the-cybersecurity-sector/
這篇文章深入探討了生成式AI和大型語言模型（LLM）在網路安全方面的潛在影響。它指出，雖然這些工具有助於提高安全團隊的效率和準確性，但它們也為攻擊者提供了新的、更高效的攻擊手段。因此，組織需要在使用這些先進工具時謹慎行事，並實施適當的保護措施。
- 1. 生成式AI的雙面性：
- 生成式AI和大型語言模型（LLM）在安全方面有其正面影響，如代碼生成、威脅分析和提高工作效率。然而，這些工具也為攻擊者提供了新的手段，包括更高效的攻擊和逃避檢測。
- 2. 攻擊者的創新手法：
- 不良行為者已經開始利用生成式AI來開發更高效和難以檢測的攻擊手段，如webshell變體和零日漏洞。這些工具使得即使技能較低的攻擊者也能進行高度複雜的攻擊。
- 3. 責任與防禦的重要性：
- 組織需要更負責任地使用生成式AI和LLM，並實施必要的保護措施。這包括在代碼庫中掃描潛在漏洞，以及在使用這些工具之前進行全面的風險評估。
新聞內文：
關於生成式AI和大型語言模型（LLM）對安全方面的潛在影響已經引起了廣泛關注。一方面，積極性地影響難以忽視。這些新工具可能可幫助編寫和掃描代碼、補充人手不足的團隊、分析威脅並執行各種功能，以使安全團隊的實施政策能更加準確、高效和有效。隨著時間的推移，這些工具也可能能接管當今安全分析師所厭惡的單調和重複的任務，從而讓他們從事更具吸引力和影響力的工作，且這些工作需要人類的關注和決策。
另一方面，生成式AI和LLM仍處於相對初級的階段，這意味著組織仍在努力負責使用它們。除此之外，安全專業人員並不是唯一認識到生成式AI潛力的人。對安全專業人員有益的事情，通常對攻擊者來說也是有益的，而當今的對手正在使用生成式AI來探索並實現自己不當目的的方法。當我們認為某事物正在幫助我們時，但它卻開始傷害我們時會發生什麼？我們是否最終會達到一個極限，而其中技術作為威脅的潛力卻超越了作為資源的潛力？
隨著技術變得更加先進和普遍，理解生成式AI的能力以及如何負責任地使用它將至關重要。
使用生成式AI和LLM
可以說，像ChatGPT這樣的生成式AI模型可能徹底改變我們對待編程和代碼的方式。確實，它們目前還不能完全從頭創造代碼。但是，如果您對一個應用程序或程序有一個想法，那麼生成式AI可能會幫助您執行它。您可以將這種代碼視為初稿，它可能不是完美的，但它是一個有用的雛形。編輯現有代碼比從頭生成要容易得多（更不用說更快了）。將這些基本任務交給一個能幹的AI意味著工程師和開發人員可以自由參與更適合他們經驗和專業知識的任務。
話雖如此，無論該內容來源來自開放的網路還是它們所訓練的特定數據集，生成式AI和LLM會根據現有內容創造生成。這意味著它們擅長在以前的基礎上進行迭代，這對攻擊者來說可能是一種好處。例如，像AI可以使用相同的一組詞創造內容的迭代一樣，它可以創造與已存在的某些內容相似但不同的結果以逃避檢測機制。使用這種技術，不良行為者將生成獨特有效的攻擊，目的在逃避建立在已知攻擊特徵上的安全防禦機制上。
攻擊者已經在利用AI來開發webshell變體，這是一種用於在受損服務器上保持持久性的惡意代碼。攻擊者可以將現有的webshell輸入到生成式AI工具中，並要求它創造惡意代碼的迭代。然後，這些變體可以在受損的服務器上使用，通常與遠端代碼執行漏洞（RCE）一起使用，以逃避檢測。
LLM和AI導致更多的零日漏洞和複雜的利用
充足資金的攻擊者也擅長閱讀和掃描源代碼，以識別漏洞，但這個過程需要大量的時間和高水準技能。LLM和生成式AI工具可以幫助這些攻擊者，甚至是那些技能較低的攻擊者，通過分析常用開源項目的源代碼或反向工程商業軟體來發現並執行複雜的利用。
在大多數情況下，攻擊者擁有用於自動化此過程的工具或外掛程式。他們還更有可能使用開源LLM，因為這些工具沒有相同的保護機制，以防止這種惡意行為，且通常可以免費使用。其結果將是增加零日駭客和其他危險使用的數量，類似於MOVEit和Log4Shell漏洞，這些漏洞使攻擊者能夠從輕易在攻擊組織中轉移數據。
更糟糕的是，普通組織在其代碼庫中可能已經有成千上萬個原本存在未解決的漏洞。隨著程序員在不掃描漏洞的情況下引入由AI生成的代碼，由於編碼不良，這個數字將會上升。那麼自然的，國家級駭客和其他高級組織將準備好利用，而生成式AI工具將使他們更容易做到這一點。
謹慎前進
對於這個問題，沒有簡單的解決方案，但組織可以採取一些步驟，確保他們以安全和負責任的方式使用這些新工具。其中一種方法就是校正原本存在的漏洞：通過使用AI工具在他們的代碼庫中掃描潛在漏洞，組織可以確定他們的代碼中的潛在攻擊並在攻擊者發動攻擊前修復這些漏洞。對於計劃使用生成式AI工具和LLMs來協助生成代碼的組織來說，這一點非常重要。如果AI從現有儲存庫中提取開源代碼，則必須核實它是否帶有已知的安全漏洞。
今天的安全專業人員對於使用和擴散生成式AI和LLM的擔憂是非常現實的，這是一群技術領導者最近呼籲"暫停AI"中所強調的。雖然這些工具有可能使工程師和開發人員的生產力明顯提升，但現今的組織在讓AI瓦解之前，必須以慎重的方式來使用這些工具，並實施必要的保護措施。
Peter Klimek是Imperva首席技術主管處的技術總監。
新聞原址： https://venturebeat.com/security/why-generative-ai-is-a-double-edged-sword-for-the-cybersecurity-sector/