Blog
克服「災難性遺忘」：AI持續學習的一大進步
克服「災難性遺忘」：AI持續學習的一大進步
July 29, 2023
研究人員正在調查機器學習中一個重大的障礙，被稱為「災難性遺忘」，這是一種現象，AI系統在學習新任務時會忘記先前任務的資訊。
該研究顯示，就像人類一樣，AI在面對多樣化的任務時記憶資訊的能力更好，而不是那些具有相似特徵的任務。該研究的洞察可能有助於改善AI系統的持續學習，提升他們模仿人類學習過程和提高效能的能力。
關鍵事實：
「災難性遺忘」是AI系統中的一個挑戰，他們在學習新任務時會忘記先前任務的資訊。
人工神經網路在面對各種任務時，記憶資訊的能力更好，而不是分享相似屬性的任務。
該研究的洞察可能彌合機器學習和人類學習之間的差距，可能造就更先進的AI系統。
資料來源：俄亥俄州立大學
不管對於機器和人類來說，記憶可能都難以保持。
為了幫助理解為什麼人工智慧在他們自己的認知過程中產生記憶漏洞，俄亥俄州立大學的電氣工程師已經分析了一個被稱為「連續學習」的過程，以及對他們整體表現的影響。
連續學習是一種電腦被訓練以連續學習一系列任務的過程，並使用從舊任務累積的知識來更好地學習新任務。
然而，科學家們仍需要克服的一個主要障礙，是學習如何規避機器學習時同時記憶喪失的過程，這種過程在AI代理中被稱為「災難性遺忘」。
俄亥俄州立大學的電腦科學和工程教授、俄亥俄傑出學者Ness Shroff說，隨著人工神經網路在一個新任務後又一個新任務上受到訓練，他們往往會失去從那些先前任務中獲得的資訊，這個問題可能會成為問題，因為社會越來越依賴AI系統。
「當自動駕駛應用或其他機器人系統被教導新事物時，他們不忘記他們已經學過的課程對我們的安全和他們的安全都是重要的，」Shroff說。「我們的研究深入探討了這些人工神經網路持續學習的複雜性，我們洞察到、並開始彌合機器和人類學習方法的差異。」
研究人員發現，就像人們可能難以記住對於相似情境的對立事實，但輕易記住本質上不同的情境一樣，人工神經網路在面對多樣化的任務時，記憶資訊的能力更好，而不是具有相似特徵的任務，Shroff說。
該團隊，包括俄亥俄州立大學的博士後研究員Sen Lin和Peizhong Ju，以及教授Yingbin Liang和Shroff，將在本月於夏威夷檀香山的第40屆機器學習國際會議上發表他們的研究。這是機器學習的一個旗艦會議。
雖然要教導自主系統展示這種動態、終身學習的能力可能具有挑戰性，但擁有這樣的能力將使科學家能夠更快地擴大機器學習算法，並且能夠輕鬆地調整他們來處理不斷變化的環境，以及意料之外的情況。基本上，這些系統的目標是使他們有一天能模仿人類的學習能力。
傳統的機器學習算法一次性訓練所有資料，但該團隊的研究發現，像任務相似性、負相關和正相關，甚至算法被教導一個任務的順序等因素，都在人工網路保留某些知識的時間長短上有所影響。
例如，為了優化算法的記憶，Shroff說，不同的任務應該在連續學習過程的早期被教導。這種方法擴大了網路對新資訊的容量，並提高了其隨後學習更多相似任務的能力。
他們的工作尤其重要，因為理解機器和人腦之間的相似性可能為對AI的深入理解鋪平道路，Shroff說。
「我們的工作預示著一個新時代的來臨，智慧機器可以像他們的人類對手一樣學習和適應，」他說。
新聞原址： Overcoming 'Catastrophic Forgetting': A Leap in AI Continuous Learning - Neuroscience News
不管對於機器和人類來說，記憶可能都難以保持。
為了幫助理解為什麼人工智慧在他們自己的認知過程中產生記憶漏洞，俄亥俄州立大學的電氣工程師已經分析了一個被稱為「連續學習」的過程，以及對他們整體表現的影響。
連續學習是一種電腦被訓練以連續學習一系列任務的過程，並使用從舊任務累積的知識來更好地學習新任務。
然而，科學家們仍需要克服的一個主要障礙，是學習如何規避機器學習時同時記憶喪失的過程，這種過程在AI代理中被稱為「災難性遺忘」。
俄亥俄州立大學的電腦科學和工程教授、俄亥俄傑出學者Ness Shroff說，隨著人工神經網路在一個新任務後又一個新任務上受到訓練，他們往往會失去從那些先前任務中獲得的資訊，這個問題可能會成為問題，因為社會越來越依賴AI系統。
「當自動駕駛應用或其他機器人系統被教導新事物時，他們不忘記他們已經學過的課程對我們的安全和他們的安全都是重要的，」Shroff說。「我們的研究深入探討了這些人工神經網路持續學習的複雜性，我們洞察到、並開始彌合機器和人類學習方法的差異。」
研究人員發現，就像人們可能難以記住對於相似情境的對立事實，但輕易記住本質上不同的情境一樣，人工神經網路在面對多樣化的任務時，記憶資訊的能力更好，而不是具有相似特徵的任務，Shroff說。
該團隊，包括俄亥俄州立大學的博士後研究員Sen Lin和Peizhong Ju，以及教授Yingbin Liang和Shroff，將在本月於夏威夷檀香山的第40屆機器學習國際會議上發表他們的研究。這是機器學習的一個旗艦會議。
雖然要教導自主系統展示這種動態、終身學習的能力可能具有挑戰性，但擁有這樣的能力將使科學家能夠更快地擴大機器學習算法，並且能夠輕鬆地調整他們來處理不斷變化的環境，以及意料之外的情況。基本上，這些系統的目標是使他們有一天能模仿人類的學習能力。
傳統的機器學習算法一次性訓練所有資料，但該團隊的研究發現，像任務相似性、負相關和正相關，甚至算法被教導一個任務的順序等因素，都在人工網路保留某些知識的時間長短上有所影響。
例如，為了優化算法的記憶，Shroff說，不同的任務應該在連續學習過程的早期被教導。這種方法擴大了網路對新資訊的容量，並提高了其隨後學習更多相似任務的能力。
他們的工作尤其重要，因為理解機器和人腦之間的相似性可能為對AI的深入理解鋪平道路，Shroff說。
「我們的工作預示著一個新時代的來臨，智慧機器可以像他們的人類對手一樣學習和適應，」他說。
新聞原址： Overcoming 'Catastrophic Forgetting': A Leap in AI Continuous Learning - Neuroscience News