首頁 / AI 基礎 / Attention 是什麼？

Attention 是什麼？注意力機制如何讓 AI 更聰明

AI 基礎 2025-12-22 飛飛

快速回答：Attention 是什麼？

Attention（注意力機制）是一種讓 AI 模型在處理資料時，能「專注」在最重要部分的技術。它是 Transformer 架構的核心，也是 ChatGPT、Claude 等所有現代 大型語言模型 能夠理解上下文的關鍵原因。簡單來說，Attention 讓 AI 不再「平均看每個字」，而是像人類一樣，自動把注意力集中在最相關的資訊上。

Attention 的正式定義

Attention 機制最早由 Bahdanau 等人在 2014 年提出，用於改善機器翻譯的效果。2017 年 Google 在論文《Attention Is All You Need》中提出了完全基於 Attention 的 Transformer 架構，徹底改變了 AI 的發展方向。

正式定義：Attention 是一種計算機制，它為輸入序列中的每個元素計算一組權重，表示該元素在當前任務中應該「關注」其他元素的程度。透過這些權重，模型能動態地聚焦在最相關的資訊上。

白話解釋：Attention 就像什麼？

想像你在一個吵雜的派對上。周圍有幾十個人在同時講話，但你能從所有聲音中，自動「鎖定」跟你對話的那個人的聲音，同時忽略其他噪音。這就是 Attention——你的大腦在做「注意力分配」。

AI 的 Attention 也是同樣的道理。當模型在處理一段文字時，它不是對每個字都平均分配注意力，而是會自動判斷：「現在這個字，跟前面哪些字最有關？」然後把更多的注意力放在那些相關的字上。

例子：「小明把蘋果放在桌上，然後他去洗手了。」
當模型看到「他」這個字時，Attention 機制會讓模型更加關注「小明」這個詞，而不是「蘋果」或「桌上」——因為「他」指的是「小明」。

Self-Attention 的運作原理

Self-Attention（自注意力）是 Transformer 中使用的 Attention 變體，讓序列中的每個元素都能關注同一序列中的其他元素。它的核心是三個向量：

Query、Key、Value（Q、K、V）

每個輸入的 Token 會被轉換成三個不同的向量：

  • Query（查詢）：「我在找什麼資訊？」——代表當前 Token 的需求
  • Key（鍵）：「我有什麼資訊可以提供？」——代表每個 Token 的特徵標籤
  • Value（值）：「我實際的資訊內容是什麼？」——代表 Token 的實際資訊

計算流程

  1. 計算注意力分數：用 Query 和每個 Key 做內積（Dot Product），得到一組分數，表示「這個 Token 跟其他 Token 有多相關」
  2. 縮放：將分數除以 √d（d 是向量維度），避免數值過大導致 Softmax 結果極端化
  3. Softmax 正規化：把分數轉換成機率分佈，所有權重加起來等於 1
  4. 加權求和：用正規化後的權重，對所有 Value 做加權平均，得到最終輸出
公式：Attention(Q, K, V) = Softmax(QKT / √d) × V

Multi-Head Attention

如果只用一組 Q、K、V，模型只能從一個角度去理解「相關性」。Multi-Head Attention 的做法是：同時執行多組獨立的 Attention 運算（每組稱為一個「Head / 頭」），讓每個頭學習關注不同的面向。

  • Head 1 可能學會關注文法結構（主詞和動詞的關係）
  • Head 2 可能學會關注語意關聯（同義詞或相關概念）
  • Head 3 可能學會關注位置關係（前後文的距離）

最後，所有 Head 的輸出會被拼接（Concatenate）在一起，再通過一個線性層合併成最終結果。

概念作用比喻
Query表示當前 Token 在找什麼你在圖書館問的問題
Key表示每個 Token 能提供什麼每本書的索引標籤
Value表示 Token 的實際資訊書裡的實際內容
Attention Score衡量相關性問題和索引的匹配程度
Multi-Head從多個角度關注同時派多人去找不同類型的書

為什麼 Attention 這麼重要？

解決了長距離依賴問題

在 Attention 出現之前，RNN（循環神經網路）處理長序列時，前面的資訊會逐漸「消失」（梯度消失問題）。Attention 讓每個 Token 都能直接關注序列中的任何位置，不論距離多遠。

實現了並行化計算

RNN 必須逐步處理序列（一個接一個），無法並行。Attention 讓所有 Token 同時計算注意力分數，大幅加速訓練。這也是為什麼 Transformer 能擴展到數千億參數的關鍵。

成為現代 AI 的基礎

2026 年幾乎所有先進的 AI 系統都建立在 Attention 之上：GPT 系列、Claude、Gemini、BERT、Vision Transformer（ViT）、Whisper（語音）、AlphaFold（蛋白質結構）。

Cross-Attention vs Self-Attention

Attention 機制有兩種主要變體：

類型Q 來自K/V 來自用途
Self-Attention同一序列同一序列理解文本內部關係（GPT、BERT）
Cross-Attention一個序列另一個序列連結不同來源（翻譯、圖文配對）

Self-Attention：序列中的每個元素關注同一序列的其他元素。像是讀一篇文章時，判斷每個字和文章中其他字的關係。

Cross-Attention：一個序列的元素去關注另一個序列。像是翻譯時，中文句子的每個字去關注對應的英文句子，決定翻譯成什麼。

Attention 的視覺化

Attention 的一個優點是可以被視覺化——你可以「看到」模型在關注什麼。Attention 權重通常用熱力圖（Heatmap）表示：

  • 橫軸和縱軸是序列中的 Token
  • 顏色深淺表示注意力權重的高低
  • 顏色越深 = 注意力越高 = 兩個 Token 越相關

這種視覺化有助於理解模型的決策過程，也是少數能讓深度學習模型變得可解釋的技術之一。

注意：雖然 Attention 權重可以視覺化，但研究顯示它們不一定能準確反映模型的「推理過程」。Attention 權重更接近「模型在看哪裡」，而非「模型為什麼這樣決定」。不應過度依賴 Attention 視覺化來解釋 AI 的行為。

常見誤解

「Attention 就是 Transformer」

Attention 是 Transformer 的核心組件之一，但 Transformer 還包括 Positional Encoding、Feed-Forward Network、Layer Normalization 等其他部分。Attention 早在 Transformer 出現之前就存在了。

「Attention 讓 AI 真的在 '注意' 什麼」

Attention 只是一個數學運算（加權求和），跟人類的「注意力」是完全不同的認知過程。模型沒有意識，也不會真正「專注」在什麼上面。

「Attention 權重 = 模型的解釋」

Attention 權重可以顯示模型「看了哪裡」，但不代表那就是模型做出判斷的原因。研究顯示，隨機替換 Attention 權重有時不影響模型輸出。

「Attention 只用在 NLP」

Attention 已經被廣泛應用在電腦視覺（Vision Transformer）、語音（Whisper）、蛋白質結構預測（AlphaFold）、甚至機器人控制等領域。

常見問題 FAQ

Attention 和 Transformer 是什麼關係？

Attention 是 Transformer 架構的核心機制。2017 年 Google 的論文標題就是《Attention Is All You Need》，意思是只靠 Attention 就能取代以往的 RNN 和 CNN，完成序列處理任務。但 Transformer 除了 Attention 之外，還包括 Positional Encoding、Feed-Forward Layer 等組件。

Self-Attention 是怎麼計算的？

每個 Token 會被轉換成三個向量：Query（我在找什麼）、Key（我有什麼）、Value（我的資訊）。用 Query 和所有 Key 做內積算出注意力分數，除以 √d 做縮放，經過 Softmax 正規化後，加權合併所有 Value，得到最終輸出。公式：Attention(Q, K, V) = Softmax(QKT / √d) × V。

Multi-Head Attention 是什麼意思？

Multi-Head Attention 是同時執行多組獨立的 Attention 運算（稱為「頭」），每個頭學習關注不同的面向。例如一個頭關注文法關係，另一個頭關注語意關聯。最後把所有頭的結果拼接合併，讓模型從多個角度理解輸入。

Attention 有什麼缺點？

標準 Self-Attention 的計算複雜度是 O(n²)，其中 n 是序列長度。輸入越長，運算量和記憶體需求呈平方增長。這也是 Context Window 有上限的原因之一。2026 年已有多種改進方案（Flash Attention、Sparse Attention）來緩解這個問題。

什麼是 Sparse Attention？

Sparse Attention 讓每個 Token 只關注部分其他 Token（而非全部），將複雜度從 O(n²) 降低到接近 O(n)。常見方法包括 Local Attention（只看附近的 Token）、Sliding Window Attention、和 Flash Attention（優化記憶體存取模式）。

Attention 只用在文字處理嗎？

不是。Attention 已經廣泛應用在電腦視覺（Vision Transformer / ViT）、語音辨識（Whisper）、蛋白質結構預測（AlphaFold）、影片理解、音樂生成等多模態領域。2026 年幾乎所有先進 AI 系統都使用 Attention 機制。

標籤： Attention Self-Attention Transformer Neural Network