摘要預覽
歡迎來到 Transformer 的世界:一篇論文如何震撼 AI 界
嘿,大家!最近 AI 的話題是不是鋪天蓋地?那些能寫文章、編程式碼、翻譯語言,甚至創作藝術的模型,真的讓人目不暇給。而這場革命,很大程度上可以追溯到一篇發表於 2017 年、名為「Attention Is All You Need」的論文。它提出了一種全新的神經網路架構——Transformer,老實說,它徹底為 AI 在處理語言方面的潛力打開了新大門。 在 Transformer 出現之前,處理序列任務(像是機器翻譯)的主流模型是遞迴神經網路(RNN),包括它們的進化版 LSTM 和 GRU。你可以想像 RNN 就像在讀書,一次讀一個字,努力記住前面所有的內容來理解現在這個字。這種循序漸進的方式雖然直觀,但有個巨大的缺點:速度慢。你無法一次讀完整本書;你必須一個字一個字地讀,這讓模型的訓練過程變得異常緩慢,也限制了它們能處理的複雜度。 這篇論文的作者們,來自 Google Brain、Google Research 和多倫多大學的一支夢幻團隊(Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin),提出了一個激進的想法:如果我們能完全擺脫遞迴呢?如果我們能建立一個模型,讓它能同時觀察一個句子中的所有詞語,並找出哪些詞語對理解每個單獨的詞語最重要呢?這就是「注意力機制」的用武之地,而 Transformer 的整個架構就是圍繞著它建立起來的。 想像一下你在翻譯一個句子。注意力機制讓模型不必僅僅依賴前一個詞,而是能夠直接關注來源句子中任何與它正在翻譯的詞相關的詞。這就像為特定任務標記出文本中最關鍵的部分。Transformer 把這個概念推向極致,使用了一種叫做「自注意力」(self-attention)的注意力形式,讓模型在處理一個詞時,能夠權衡同一句子中所有其他詞的重要性。這使得它能更有效地捕捉長距離的依賴關係——比如理解段落末尾的代名詞如何與開頭的名詞相關聯——這比 RNN 要強大得多。 結果是什麼?Transformer 不僅能更好地進行平行化處理(意味著它能在現代硬體如 GPU 上訓練得快得多),還在機器翻譯任務上取得了當時最先進的成果,顯著超越了之前的紀錄。我們談論的是,僅僅幾天的訓練就能達到頂級的英德和英法翻譯分數,這在以前是需要更長時間或大量模型集成才能達到的成就。 這不僅僅是翻譯。論文還展示了 Transformer 如何推廣到其他任務,如英語成分句法分析(English constituency parsing),證明了它的強大和靈活性。這是一篇奠基性的論文,為 BERT、GPT 等眾多塑造我們今日世界的模型打下了基礎。所以,繫好安全帶,我們要深入探討這個架構的獨特之處,從它的核心組件到那些讓它如此出色的巧妙技巧。
老兵的困境:RNN 為何拖慢了我們的腳步
在我們對 Transformer 感到興奮之前,非常重要的一點是理解為什麼它會如此重要。多年來,序列建模(像是翻譯語言、總結文本,或預測句子中的下一個詞)的王者一直是遞迴神經網路(RNN),像是 LSTM 和 GRU。它們表現不錯,但有一個根本性的限制:它們是逐個處理資訊的。 想像一個句子:「The quick brown fox jumps over the lazy dog.」(那隻敏捷的棕色狐狸跳過懶惰的狗。)RNN 會這樣處理它: 1. 讀取「The」,更新其內部記憶(隱藏狀態)。 2. 讀取「quick」,根據「The」和「quick」更新記憶。 3. 讀取「brown」,根據先前狀態和「brown」更新記憶。 4. ...以此類推,直到「dog」。 每一步都依賴於前一步的輸出。這就像一個連鎖反應,如果你想知道「jumps」的意思,RNN 必須成功處理並記住「The quick brown fox」的所有資訊。這種序列依賴性是核心問題。它使得平行化——同時處理輸入的多個部分——變得非常困難,甚至不可能。為什麼?因為你無法計算「jumps」的狀態,直到你計算了「fox」的狀態,而你又無法做到那一點,除非你先完成了「brown」,依此類推。 這是訓練中的一個主要瓶頸。深度學習模型的訓練需要大量的計算,而循序漸進地進行需要耗費天文數字的時間。如果你有一個龐大的資料集和一個複雜的模型,你可能要等上幾天、幾週甚至幾個月才能完成一次訓練。 此外,隨著序列變長,RNN 記住最開頭資訊的挑戰也越來越大。資訊可能會在過程中被稀釋或丟失——這就是所謂的「梯度消失」問題。雖然 LSTM 和 GRU 被設計來緩解這個問題,但它們並沒有完全消除它。 現在,像卷積神經網路(CNN)這樣的架構,在圖像識別領域已經展示了平行處理的威力。一些嘗試將 CNN 結構應用於序列的努力(如 ByteNet 或 ConvS2S)也確實比 RNN 允許更多的平行化。然而,它們通常有自己的問題。為了捕捉句子中距離較遠的詞語之間的依賴關係,這些卷積模型需要使用非常深的層堆疊或非常大的濾鏡(kernels)。這意味著「路徑長度」——資訊從序列的一個部分傳播到另一個部分所需的步驟數——仍然可能很長,阻礙了長距離依賴關係的學習。 所以,Transformer 出現之前的狀況基本上是一個權衡:RNN 擅長捕捉序列依賴,但對平行化和速度來說卻很糟糕。基於 CNN 的方法提供了更多的平行化,但在不變得計算複雜或需要深度堆疊的情況下,卻難以處理非常長距離的依賴關係。
Transformer 登場:基於注意力的新希望
「Attention Is All You Need」的作者們審視了這個局面,並問道:我們能否兼顧兩者?我們能否有一個模型,能夠捕捉序列中任意距離的依賴關係(正如注意力所承諾的),同時又能高度平行化?他們的答案是肯定的,關鍵在於完全拋棄遞迴和卷積,完全依賴於「注意力機制」。
到底什麼是注意力?
在深入 Transformer 的架構之前,讓我們來理解一下注意力。簡單來說,注意力機制允許模型在處理特定資訊時,能夠聚焦於輸入的特定部分。想想你看書時:當你遇到一個像「它」這樣的詞時,你的大腦會自動回溯,找出「它」指的是什麼。注意力機制試圖模仿這種行為。 在神經網路的語境下,注意力通常涉及三個組件: 查詢 (Queries, Q): 代表你目前關注的資訊片段(例如,你正在嘗試翻譯的詞)。 鍵 (Keys, K): 代表你可能想要關注的輸入序列中的可用資訊。 值 (Values, V): 代表與每個鍵相關的實際內容或表示。 注意力機制計算每個鍵與查詢的匹配程度。這個匹配分數(通常使用點積計算)然後用來創建權重。這些權重決定了每個對應值應該被組合多少來產生最終輸出。本質上,這是一種根據當前上下文(查詢)動態加權輸入不同部分重要性的方法。
自注意力:舞台上的明星
Transformer 的革命性之處在於「自注意力」(self-attention)。與傳統注意力不同,傳統注意力可能是讓你關注另一個序列(例如,在解碼目標序列時關注來源序列),自注意力則是在計算序列的表示時,將單一序列的不同位置關聯起來。簡而言之,對於句子中的每個詞,自注意力允許模型觀察同一個句子中的所有其他詞,並決定哪些詞對理解該特定詞最相關。 讓我們回到「The quick brown fox jumps over the lazy dog.」。當 Transformer 處理「jumps」這個詞時,自注意力讓它可以同時考慮「The」、「quick」、「brown」、「fox」、「over」、「the」、「lazy」和「dog」。它能夠學到,例如,「fox」與「jumps」高度相關,因為狐狸是會跳躍的動物。它也能學到「over」是相關的,因為它描述了相對於「dog」的跳躍方式。 這種能夠直接模擬序列中任意兩個詞之間關係的能力,無論它們的距離如何,都非常強大。它繞過了 RNN 的序列瓶頸和 CNN 的層路徑限制。
Transformer 架構:將一切整合在一起
Transformer 不僅僅是一個單一的自注意力層;它是一個精心設計的架構,建立在這些注意力機制之上。它主要包含兩個部分:一個編碼器 (Encoder) 和一個解碼器 (Decoder)。 編碼器 (Encoder): 它的職責是處理輸入序列(例如,英文句子),並生成一個豐富的、考慮上下文的表示。這就像深入閱讀和理解來源句子。 解碼器 (Decoder): 它的職責是接收編碼器的表示,並一次生成一個元素來產生輸出序列(例如,法文翻譯)。 編碼器和解碼器都由相同圖層堆疊而成。原始論文為兩者都使用了 N=6 層。 編碼器層內部: 每個編碼器層有兩個主要的子層: 1. 多頭自注意力 (Multi-Head Self-Attention): 這是魔法發生的地方。它允許編碼器中的每個位置關注編碼器前一層的所有位置。 2. 位置感知前饋網路 (Position-wise Feed-Forward Network): 一個簡單的、全連接的前饋網路,獨立應用於每個位置。 至關重要的是,每個子層的輸出都會經過「殘差連接」(將子層的輸入加到其輸出)然後是「層歸一化」(layer normalization)。這些技術對於穩定訓練和允許網路更深層至關重要。 解碼器層內部: 每個解碼器層有三個主要的子層: 1. 遮罩多頭自注意力 (Masked Multi-Head Self-Attention): 與編碼器的自注意力類似,但有一個關鍵區別:它是「遮罩」(masked)的。這個遮罩阻止了某個位置關注後續位置。為什麼?因為在生成翻譯時,你只能使用你已經生成的詞語,而不是目標句子中之後的詞語(這被稱為「自迴歸」屬性)。 2. 多頭編碼器-解碼器注意力 (Multi-Head Encoder-Decoder Attention): 這是解碼器與編碼器輸出互動的地方。查詢來自前一個解碼器層,而鍵和值來自編碼器堆疊的輸出。這允許解碼器中的每個位置關注輸入序列的所有位置,找出來源句子的哪些部分對於生成當前目標詞最相關。 3. 位置感知前饋網路 (Position-wise Feed-Forward Network): 與編碼器中的一樣。 同樣地,殘差連接和層歸一化被用於每個子層。 這個架構,完全依賴於這些注意力機制和前饋網路,是核心的創新。它完全消除了 RNN 中固有的序列處理需求。
