Blog
生成式AI：軟體工程創新的新一波淘金潮
生成式AI：軟體工程創新的新一波淘金潮
August 7, 2023
E=mc^2 是愛因斯坦的簡單方程式，它改變了人類的歷史進程，使核能和核武器成為可能。生成性人工智慧（Generative AI）的繁榮有某些相似之處。這不僅僅是我們時代的iPhone或瀏覽器時刻；它遠遠超越了這些。
儘管生成性AI承諾帶來眾多利益，人們對此技術可能帶來的意外社會影響的擔憂聲音越來越大。有人擔心，隨著軟體工程變得日益普及，未來十年創造性工作可能最為炙手可熱。另外一些人則擔心可能需要重新培訓的工作流失。這是人類歷史上第一次白領工作可能被自動化，從而可能使昂貴的學位和多年的經驗變得毫無意義。
但是，政府應該通過施加法規來剎車，還是繼續改進這一技術，徹底改變我們對工作的看法呢？讓我們一探究竟：
生成性AI：新的加州淘金潮
本應在十年或二十年後才會出現的技術突破已經來臨。即使是ChatGPT的創造者可能也沒有預料到他們的創造如此迅速地取得了巨大的成功。
與過去十年的一些技術趨勢相比，這裡的關鍵區別是這裡的用例是真實的，企業已經分配了預算。這不是一個尋找問題的酷技術解決方案。這感覺像是一個新的技術超級周期的開始，可能會持續數十年甚至更久。
長期以來，數據一直被視為新的石油。擁有大量的獨家數據，企業可以建立競爭壁壘。為此，從描述性（例如，“告訴我發生了什麼”）到預測性（例如，“我應該做些什麼來提高營收？”）的大數據集中提取有意義的見解的技術在過去幾十年中不斷演變。
但現在，無論你是使用基於SQL的分析、電子表格還是R/Stata軟體來完成此分析，你在可能性方面都受到限制。但是，通過生成性AI，這些數據可以用來創建全新的報告、表格、代碼、圖像和視頻，所有這些都可以在幾秒鐘內完成。它如此強大，以至於風靡全球。
秘訣是什麼？
在基本層面上，讓我們看一下直線的簡單方程y=mx+c。
這是一個簡單的二維表示，其中m代表曲線的斜率，c代表固定數字，即直線與x軸相交的點。從最基本的術語上講，m和c分別代表AI模型的權重和偏差。
現在，讓我們慢慢展開這個簡單的方程，思考人類大腦如何具有協同工作以檢索知識和做出決策的神經元和突觸。表示人類大腦將需要一個多維空間（稱為向量），其中可以編碼和存儲無窮的知識以便快速檢索。
想像將文字管理變成數學問題：向量嵌入
想像如果每一個數據片段（圖像、文字、部落格等）都可以用數字表示。這是可能的。所有這些數據都可以用一個叫做向量的東西表示，它只是一組數字的集合。當你將所有這些單詞/句子/段落轉化為向量，但也捕捉到不同單詞之間的關係時，你得到的是一個叫做嵌入的東西。一旦你完成了這個，你基本上就可以將搜索和分類變成一個數學問題。
在這樣的多維空間中，當我們將文本表示為數學向量表示時，我們得到的是一個聚類，其中意思相似的單詞在同一個聚類中。例如，在上面的屏幕截圖中（取自Tensorflow嵌入投影儀），最接近“數據庫”一詞的單詞在同一區域內聚集在一起，這將使包括該詞的查詢的回應變得非常容易。嵌入可以用來創建文本分類器並增強語義搜索。
一旦你有了一個訓練有素的模型，你可以要求它在幾秒鐘內生成“一只穿著太空人服裝在太空中飛翔的貓”的圖像。為了使這個魔法發揮作用，大量的GPU和CPU集群不停運行數周或數月，以處理整個維基百科網站或整個公共網路的數據大小，將其轉化為數學方程，每次處理新數據時，模型的權重和偏差都會稍微改變。這樣的訓練有素的模型，無論大小，都已經讓員工更有生產力，有時甚至消除了聘用更多人的需要。
競爭優勢
你有看過「Ted Lasso」嗎？這部劇單槍匹馬地為AppleTV帶來了新的顧客。這證明了在數位串流業務的競爭戰中，你不需要製作100個普通的節目；你只需要一個出色的作品。在生成式人工智慧（AI）的世界中，OpenAI就是這樣做的，它不斷迭代和推出像GPT-1/2/3和DALL·E等創新產品，一無所失。其他資金更充足的公司可能更為謹慎，現在正在迎頭趕上。微軟CEO薩提亞·納德拉（Satya Nadella）曾著名地提問：“OpenAI只用了250人就建成了這個；我們為什麼還需要微軟研究部門呢？”
一旦你有了一個能夠提供高質量數據的訓練模型，它就會建立一個引領競爭優勢的飛輪。更多的用戶被吸引到產品，並在使用產品的過程中分享數據，這些數據可以用來改進模型。
一旦上述的數據 -> 訓練 -> 微調 -> 訓練的飛輪啟動，它就可以成為企業持續競爭區隔的一個因素。在過去的幾年中，供應商們無論大小，都瘋狂地專注於建立越來越大的模型以提高性能。當你可以訓練一個具有5000億參數的大型通用模型來回答任何行業的任何主題的問題時，為什麼要停留在一個千億參數的模型呢？
最近人們已經意識到，模型的大小所能達到的生產力增益可能已經達到極限。對於特定領域的用例，你可能更適合使用訓練在高度特定數據上的較小模型。其中一個例子是BloombergGPT，一個僅Bloomberg可以訪問的、在財經數據上訓練的私人模型。這是一個500億參數的語言模型，訓練在他們擁有和可以收集的大量財經文章、新聞和其他文字數據上。
獨立評估模型的結果證明，並沒有一個靈丹妙藥，但企業最好的模型將是特定於用例的。它可能大或小；可能是開源或封閉源。在由史丹福大學使用來自openAI、Cohere、Anthropic等的模型完成的全面評估中，發現較小的模型可能比其更大的對應物表現更好。這影響了公司開始使用生成式AI的選擇，決策者必須考慮多個因素：
- 操作基礎模型的複雜性：訓練一個模型永遠不會是“完成”的。這是一個持續的過程，在每次模型經過所謂的微調過程時，模型的權重和偏見都會更新。
- 訓練和推理成本：今天有幾個可供選擇的選項，每個選項的成本都可能因所需的微調而有所不同：
除了訓練成本，重要的是要意識到每次調用模型的API都會增加成本。對於像發送電子郵件爆炸這樣的簡單事情，如果每封電子郵件都使用模型進行定制，它可以使成本增加多達10倍，從而對企業的毛利率產生負面影響。
- 對錯誤信息的信心：擁有LLM信心的人有潛力在生活中取得成功而不費吹灰之力！由於這些輸出是概率性的而不是確定性的，一旦提出問題，模型可能會虛構答案並顯得非常自信。這被稱為幻覺，這是LLM在企業中採用的主要障礙。
- 團隊和技能：在過去的幾年中，與眾多數據和AI領袖交談後，很明顯需要團隊重組來管理公司今天所處理的大量數據。雖然在很大程度上取決於用例，但最有效的結構似乎是一個管理數據的中央團隊，這既有助於分析，也有助於機器學習分析。這種結構不僅適用於預測型AI，也適用於生成型AI。
- 安全和數據隱私：員工分享關鍵代碼片段或專有信息給LLM是非常容易的，一旦共享，供應商就可以並且將使用數據來更新他們的模型。這意味著數據可能會離開企業的安全牆，除了公司的秘密外，這些數據可能還包括PII/PHI數據，這可能會引起監管行動。
- 預測型AI與生成型AI的考慮因素：團隊傳統上一直在努力使機器學習工作。Gartner估計，在數據科學家進行實驗後，只有50％的預測模型用於生產用例。然而，生成式AI根據用例提供了許多優勢。價值實現的時間極低。在今天，不需要訓練或微調，不同的垂直功能都可以獲得價值。現在你可以在幾秒鐘內生成基本網路應用的代碼（包括後端和前端）。這過去至少需要專家開發人員花費幾天或幾個小時的時間。
未來的機遇
回溯到2008年，許多人對於雲端技術持懷疑態度。真的有必要將應用程式和資料從私有或公共數據中心轉移到雲端，從而失去對它們的細緻控制嗎？但多雲和DevOps技術的發展，使得企業不僅感到舒適，更加速其轉向雲端的步伐。
當代的生成式AI可能可以與2008年的雲端技術相提並論。這意味著還有許多具創新性的大公司尚未成立。對於創業者來說，這是一個巨大的機會，因為整個技術堆棧目前正處於建立過程中。
以下是一些尚待解決的問題：
- AI安全：如何解決惡意行為者操縱模型權重或在每段程式碼中寫入後門的問題。這些攻擊手法非常專業，即使是專家也可能很容易忽略。
- LLMOps：將生成式AI整合到日常工作流程中對大、小組織來說仍是一項複雜的挑戰。不論是串接開源還是專有的LLM，都存在複雜性。當事情出問題時，如何調度、實驗、觀察和持續整合也變得重要。將需要一類LLMOps工具來解決這些新興的痛點。
- AI助手和Copilot：助手可以看作是你的個人廚師、行政助理和網站建設者。將其視為在LLM之上增加一層智慧的調度層。這些系統可以讓AI走出其框架。對於特定目標，助手會將其分解成可實現的任務，然後協調以達到該目標。
- 合規性和AI防護：法規即將到來。全球的立法者將很快制定有意義的防護措施來規範這項破壞性的新技術。在使用生成式AI時，從培訓到推理到提示，都需要新的方式來保護敏感信息。
- LLM的能力已經相當出色，軟體開發人員可以使用程式碼共同駕駛自動生成60-70%的代碼。這個數字在未來只會增加。然而，需要記住的是，這些模型只能生成已完成事物的衍生產品。AI永遠無法取代人腦的創意和美感，它能想出前所未有的點子。因此，那些知道如何在周末建立出色技術的程式碼詩人，將發現與AI合作是一種樂趣，並絕不會對他們的職業生涯構成威脅。
結語
對於有遠見的創業者來說，企業的生成式AI是一個絕佳的機會，可以建立明天的FAANG公司。目前這還只是首局。大企業、中小企業和初創公司都在弄清楚如何從這項創新的新技術中受益。就像加州淘金熱一樣，如果感知的進入壁壘太高，通過出售鎬和鏟也可能建立成功的公司。
新聞原址： https://venturebeat.com/ai/generative-ai-a-new-gold-rush-for-software-engineering-innovation/
儘管生成性AI承諾帶來眾多利益，人們對此技術可能帶來的意外社會影響的擔憂聲音越來越大。有人擔心，隨著軟體工程變得日益普及，未來十年創造性工作可能最為炙手可熱。另外一些人則擔心可能需要重新培訓的工作流失。這是人類歷史上第一次白領工作可能被自動化，從而可能使昂貴的學位和多年的經驗變得毫無意義。
但是，政府應該通過施加法規來剎車，還是繼續改進這一技術，徹底改變我們對工作的看法呢？讓我們一探究竟：
生成性AI：新的加州淘金潮
本應在十年或二十年後才會出現的技術突破已經來臨。即使是ChatGPT的創造者可能也沒有預料到他們的創造如此迅速地取得了巨大的成功。
與過去十年的一些技術趨勢相比，這裡的關鍵區別是這裡的用例是真實的，企業已經分配了預算。這不是一個尋找問題的酷技術解決方案。這感覺像是一個新的技術超級周期的開始，可能會持續數十年甚至更久。
長期以來，數據一直被視為新的石油。擁有大量的獨家數據，企業可以建立競爭壁壘。為此，從描述性（例如，“告訴我發生了什麼”）到預測性（例如，“我應該做些什麼來提高營收？”）的大數據集中提取有意義的見解的技術在過去幾十年中不斷演變。
但現在，無論你是使用基於SQL的分析、電子表格還是R/Stata軟體來完成此分析，你在可能性方面都受到限制。但是，通過生成性AI，這些數據可以用來創建全新的報告、表格、代碼、圖像和視頻，所有這些都可以在幾秒鐘內完成。它如此強大，以至於風靡全球。
秘訣是什麼？
在基本層面上，讓我們看一下直線的簡單方程y=mx+c。
這是一個簡單的二維表示，其中m代表曲線的斜率，c代表固定數字，即直線與x軸相交的點。從最基本的術語上講，m和c分別代表AI模型的權重和偏差。
現在，讓我們慢慢展開這個簡單的方程，思考人類大腦如何具有協同工作以檢索知識和做出決策的神經元和突觸。表示人類大腦將需要一個多維空間（稱為向量），其中可以編碼和存儲無窮的知識以便快速檢索。
想像將文字管理變成數學問題：向量嵌入
想像如果每一個數據片段（圖像、文字、部落格等）都可以用數字表示。這是可能的。所有這些數據都可以用一個叫做向量的東西表示，它只是一組數字的集合。當你將所有這些單詞/句子/段落轉化為向量，但也捕捉到不同單詞之間的關係時，你得到的是一個叫做嵌入的東西。一旦你完成了這個，你基本上就可以將搜索和分類變成一個數學問題。
在這樣的多維空間中，當我們將文本表示為數學向量表示時，我們得到的是一個聚類，其中意思相似的單詞在同一個聚類中。例如，在上面的屏幕截圖中（取自Tensorflow嵌入投影儀），最接近“數據庫”一詞的單詞在同一區域內聚集在一起，這將使包括該詞的查詢的回應變得非常容易。嵌入可以用來創建文本分類器並增強語義搜索。
一旦你有了一個訓練有素的模型，你可以要求它在幾秒鐘內生成“一只穿著太空人服裝在太空中飛翔的貓”的圖像。為了使這個魔法發揮作用，大量的GPU和CPU集群不停運行數周或數月，以處理整個維基百科網站或整個公共網路的數據大小，將其轉化為數學方程，每次處理新數據時，模型的權重和偏差都會稍微改變。這樣的訓練有素的模型，無論大小，都已經讓員工更有生產力，有時甚至消除了聘用更多人的需要。
競爭優勢
你有看過「Ted Lasso」嗎？這部劇單槍匹馬地為AppleTV帶來了新的顧客。這證明了在數位串流業務的競爭戰中，你不需要製作100個普通的節目；你只需要一個出色的作品。在生成式人工智慧（AI）的世界中，OpenAI就是這樣做的，它不斷迭代和推出像GPT-1/2/3和DALL·E等創新產品，一無所失。其他資金更充足的公司可能更為謹慎，現在正在迎頭趕上。微軟CEO薩提亞·納德拉（Satya Nadella）曾著名地提問：“OpenAI只用了250人就建成了這個；我們為什麼還需要微軟研究部門呢？”
一旦你有了一個能夠提供高質量數據的訓練模型，它就會建立一個引領競爭優勢的飛輪。更多的用戶被吸引到產品，並在使用產品的過程中分享數據，這些數據可以用來改進模型。
一旦上述的數據 -> 訓練 -> 微調 -> 訓練的飛輪啟動，它就可以成為企業持續競爭區隔的一個因素。在過去的幾年中，供應商們無論大小，都瘋狂地專注於建立越來越大的模型以提高性能。當你可以訓練一個具有5000億參數的大型通用模型來回答任何行業的任何主題的問題時，為什麼要停留在一個千億參數的模型呢？
最近人們已經意識到，模型的大小所能達到的生產力增益可能已經達到極限。對於特定領域的用例，你可能更適合使用訓練在高度特定數據上的較小模型。其中一個例子是BloombergGPT，一個僅Bloomberg可以訪問的、在財經數據上訓練的私人模型。這是一個500億參數的語言模型，訓練在他們擁有和可以收集的大量財經文章、新聞和其他文字數據上。
獨立評估模型的結果證明，並沒有一個靈丹妙藥，但企業最好的模型將是特定於用例的。它可能大或小；可能是開源或封閉源。在由史丹福大學使用來自openAI、Cohere、Anthropic等的模型完成的全面評估中，發現較小的模型可能比其更大的對應物表現更好。這影響了公司開始使用生成式AI的選擇，決策者必須考慮多個因素：
- 操作基礎模型的複雜性：訓練一個模型永遠不會是“完成”的。這是一個持續的過程，在每次模型經過所謂的微調過程時，模型的權重和偏見都會更新。
- 訓練和推理成本：今天有幾個可供選擇的選項，每個選項的成本都可能因所需的微調而有所不同：
- 1. 從頭開始訓練自己的模型。這相當昂貴，因為訓練大型語言模型（LLM）可能耗資高達1000萬美元。
- 2. 使用大型供應商的公共模型。這裡的API使用成本可能很快就會累積起來。
- 3. 微調較小的專有或開源模型。這具有不斷更新模型的成本。
除了訓練成本，重要的是要意識到每次調用模型的API都會增加成本。對於像發送電子郵件爆炸這樣的簡單事情，如果每封電子郵件都使用模型進行定制，它可以使成本增加多達10倍，從而對企業的毛利率產生負面影響。
- 對錯誤信息的信心：擁有LLM信心的人有潛力在生活中取得成功而不費吹灰之力！由於這些輸出是概率性的而不是確定性的，一旦提出問題，模型可能會虛構答案並顯得非常自信。這被稱為幻覺，這是LLM在企業中採用的主要障礙。
- 團隊和技能：在過去的幾年中，與眾多數據和AI領袖交談後，很明顯需要團隊重組來管理公司今天所處理的大量數據。雖然在很大程度上取決於用例，但最有效的結構似乎是一個管理數據的中央團隊，這既有助於分析，也有助於機器學習分析。這種結構不僅適用於預測型AI，也適用於生成型AI。
- 安全和數據隱私：員工分享關鍵代碼片段或專有信息給LLM是非常容易的，一旦共享，供應商就可以並且將使用數據來更新他們的模型。這意味著數據可能會離開企業的安全牆，除了公司的秘密外，這些數據可能還包括PII/PHI數據，這可能會引起監管行動。
- 預測型AI與生成型AI的考慮因素：團隊傳統上一直在努力使機器學習工作。Gartner估計，在數據科學家進行實驗後，只有50％的預測模型用於生產用例。然而，生成式AI根據用例提供了許多優勢。價值實現的時間極低。在今天，不需要訓練或微調，不同的垂直功能都可以獲得價值。現在你可以在幾秒鐘內生成基本網路應用的代碼（包括後端和前端）。這過去至少需要專家開發人員花費幾天或幾個小時的時間。
未來的機遇
回溯到2008年，許多人對於雲端技術持懷疑態度。真的有必要將應用程式和資料從私有或公共數據中心轉移到雲端，從而失去對它們的細緻控制嗎？但多雲和DevOps技術的發展，使得企業不僅感到舒適，更加速其轉向雲端的步伐。
當代的生成式AI可能可以與2008年的雲端技術相提並論。這意味著還有許多具創新性的大公司尚未成立。對於創業者來說，這是一個巨大的機會，因為整個技術堆棧目前正處於建立過程中。
以下是一些尚待解決的問題：
- AI安全：如何解決惡意行為者操縱模型權重或在每段程式碼中寫入後門的問題。這些攻擊手法非常專業，即使是專家也可能很容易忽略。
- LLMOps：將生成式AI整合到日常工作流程中對大、小組織來說仍是一項複雜的挑戰。不論是串接開源還是專有的LLM，都存在複雜性。當事情出問題時，如何調度、實驗、觀察和持續整合也變得重要。將需要一類LLMOps工具來解決這些新興的痛點。
- AI助手和Copilot：助手可以看作是你的個人廚師、行政助理和網站建設者。將其視為在LLM之上增加一層智慧的調度層。這些系統可以讓AI走出其框架。對於特定目標，助手會將其分解成可實現的任務，然後協調以達到該目標。
- 合規性和AI防護：法規即將到來。全球的立法者將很快制定有意義的防護措施來規範這項破壞性的新技術。在使用生成式AI時，從培訓到推理到提示，都需要新的方式來保護敏感信息。
- LLM的能力已經相當出色，軟體開發人員可以使用程式碼共同駕駛自動生成60-70%的代碼。這個數字在未來只會增加。然而，需要記住的是，這些模型只能生成已完成事物的衍生產品。AI永遠無法取代人腦的創意和美感，它能想出前所未有的點子。因此，那些知道如何在周末建立出色技術的程式碼詩人，將發現與AI合作是一種樂趣，並絕不會對他們的職業生涯構成威脅。
結語
對於有遠見的創業者來說，企業的生成式AI是一個絕佳的機會，可以建立明天的FAANG公司。目前這還只是首局。大企業、中小企業和初創公司都在弄清楚如何從這項創新的新技術中受益。就像加州淘金熱一樣，如果感知的進入壁壘太高，通過出售鎬和鏟也可能建立成功的公司。
新聞原址： https://venturebeat.com/ai/generative-ai-a-new-gold-rush-for-software-engineering-innovation/