快速回答：Transformer 是什麼？
Transformer 是一種深度學習架構，由 Google 團隊在 2017 年提出。它的核心突破是「自注意力機制」（Self-Attention）：讓模型同時看整段輸入中的所有字，而不是像傳統 RNN 一樣逐字讀取。這個架構直接催生了 GPT、BERT、Claude 等改變世界的 LLM，可以說 2022 年以來的整個 AI 革命都建立在 Transformer 之上。
Transformer 的正式定義
Transformer 是一種基於自注意力機制的序列到序列（Sequence-to-Sequence）深度學習模型，由 Ashish Vaswani 等人在 2017 年的論文《Attention Is All You Need》中首次提出。它完全捨棄了 CNN 和 RNN 的結構，僅依靠注意力機制來捕捉輸入序列中任意位置之間的依賴關係。
論文標題「Attention Is All You Need」（你需要的只是注意力）本身就是對這個架構的最佳定義——不需要卷積，不需要遞迴，只要注意力機制就夠了。
白話解釋：Transformer 就像什麼？
想像你在讀一篇文章：
- 傳統 RNN 的讀法：像用手指指著每個字，從第一個字一路讀到最後一個字。如果文章很長，讀到後面就忘了前面寫什麼。
- Transformer 的讀法：像一目十行——同時看整頁的所有字，而且對每個字都能注意到它和其他所有字的關係。讀「他吃了一顆蘋果」時，Transformer 可以同時知道「他」是動作者、「蘋果」是被吃的東西，不需要一個字一個字讀過去才理解。
核心原理：Self-Attention（自注意力機制）
Self-Attention 是 Transformer 的心臟。它讓模型在處理每個字時，能同時考慮輸入中所有其他字的資訊。
運作步驟
- 每個輸入的 Token 被轉換成三組向量：Query（查詢）、Key（鍵）、Value（值）
- 用 Query 和所有 Key 做「點積」運算，算出這個字對其他所有字的「關注程度」（Attention Score）
- 將 Attention Score 做 Softmax 正規化，變成加權比例
- 用加權比例對所有 Value 做加權平均，得到這個字的最終表示
舉例：處理「The cat sat on the mat」時，對「sat」這個字，Self-Attention 可能會高度關注「cat」（誰坐的）和「mat」（坐在哪），而較少關注「the」。
Multi-Head Attention（多頭注意力）
Transformer 不只做一次 Self-Attention，而是同時做好幾次（通常 8 或 16 個「頭」），每個頭關注不同類型的關係。有的頭可能關注語法關係，有的關注語意關係，有的關注位置關係。最後把所有頭的結果合併起來。
架構解析：Encoder-Decoder
原始 Transformer 由兩大部分組成：
Encoder（編碼器）
- 負責「理解」輸入
- 使用雙向 Self-Attention，每個字能同時關注前面和後面的字
- 由多層（通常 6-12 層）堆疊而成，每層包含 Multi-Head Attention + Feed-Forward Network + Layer Normalization
Decoder（解碼器）
- 負責「生成」輸出
- 使用遮罩（Masked）Self-Attention，每個字只能關注它前面的字（因為後面的字還沒生成）
- 還有一層 Cross-Attention，關注 Encoder 的輸出
Positional Encoding（位置編碼）
因為 Transformer 同時處理所有字，它不像 RNN 那樣天生知道字的順序。所以需要額外加入位置資訊（Positional Encoding），讓模型知道每個字在句子中的位置。
Transformer vs CNN vs RNN
| 特性 | RNN / LSTM | CNN | Transformer |
|---|---|---|---|
| 處理方式 | 逐步處理序列 | 局部滑窗掃描 | 同時處理全部輸入 |
| 並行化 | 差（必須依序） | 中（層內可並行） | 優（全面並行） |
| 長距離依賴 | 差（容易遺忘） | 差（受限於窗口大小） | 優（全局注意力） |
| 訓練速度 | 慢 | 中 | 快 |
| 擅長領域 | 早期 NLP、時間序列 | 圖片、視覺任務 | NLP、多模態、幾乎所有任務 |
| 代表模型 | LSTM、GRU | ResNet、VGG | GPT、BERT、Claude、ViT |
為什麼 Transformer 改變了 AI？
Transformer 之所以革命性，是因為它解決了之前 AI 的三大瓶頸：
- 速度瓶頸：RNN 必須逐字處理，無法並行。Transformer 同時處理所有字，充分利用 GPU 的並行運算能力，訓練速度快了數十倍。
- 記憶瓶頸：RNN 處理長文本時會「遺忘」前面的內容。Transformer 的 Self-Attention 讓每個字都能直接關注任何位置的字，不受距離限制。
- 規模瓶頸：速度提升讓研究者可以用更多資料訓練更大的模型。GPT-3 有 1,750 億參數，這在 RNN 時代根本不可能實現。
結果就是：Transformer → 更大的模型 → 更多的資料 → LLM → ChatGPT/Claude → AI 革命。
主要 Transformer 變體
| 變體 | 結構 | 代表模型 | 擅長任務 |
|---|---|---|---|
| Encoder-only | 只用 Encoder | BERT、RoBERTa | 文本分類、語意理解、NER |
| Decoder-only | 只用 Decoder | GPT、Claude、Llama | 文本生成、對話、程式碼 |
| Encoder-Decoder | 兩者都用 | T5、BART | 翻譯、摘要、問答 |
| Vision Transformer | Encoder + 圖片分塊 | ViT、DINOv2 | 圖片分類、物件偵測 |
2026 年的主流 LLM（GPT、Claude、Gemini、Llama）幾乎都採用 Decoder-only 架構，因為它在文字生成任務上表現最好，且更容易擴展到大規模。
2026 年 Transformer 的演進
超長 Context Window
從最初的 512 Token 到 2026 年的數百萬 Token。Google Gemini 支援 200 萬 Token 的 Context Window，讓 Transformer 一次可以處理整本書的內容。
稀疏注意力（Sparse Attention）
原始 Self-Attention 的計算量隨序列長度平方成長（O(n²)），限制了處理超長文本的能力。稀疏注意力只計算最相關的部分，大幅降低計算成本。
多模態 Transformer
Transformer 已不限於文字。2026 年的多模態模型可以同時處理文字、圖片、音訊和影片，全部基於同一個 Transformer 架構。
混合架構
結合 CNN 的局部特徵提取能力和 Transformer 的全局注意力，出現了 CNN-Transformer 混合架構，在特定視覺任務上表現更好。
高效推論
透過 KV Cache、Flash Attention、量化（Quantization）等技術，讓 Transformer 模型可以在手機和邊緣裝置上高效運行。
常見誤解
「Transformer 是 OpenAI 發明的」
不是。Transformer 是 Google Brain 和 Google Research 的團隊在 2017 年發明的。OpenAI 是在 Transformer 基礎上建立了 GPT 系列模型。
「Transformer 只能處理文字」
2020 年 Vision Transformer（ViT）證明 Transformer 也能處理圖片，2026 年的多模態模型更是同時處理文字、圖片、音訊和影片。
「Transformer 能理解語言」
Transformer 透過統計模式學習字與字之間的關係，能做出看似理解的回應，但它不具有真正的語言理解或意識。
「更多層的 Transformer 一定更好」
不一定。過深的模型可能出現訓練不穩定、過擬合等問題。2026 年的趨勢是在相同效能下用更少的參數和更高效的架構。
常見問題 FAQ
Transformer 和 RNN 有什麼不同？
RNN 逐字處理序列，速度慢且容易遺忘前面的內容。Transformer 用 Self-Attention 同時看整段輸入，可大規模並行化且能捕捉長距離依賴關係。Transformer 在幾乎所有 NLP 任務上都已取代 RNN。
Self-Attention 是什麼？
Self-Attention 是一種讓模型在處理每個字時，同時考慮輸入中所有其他字的機制。透過 Query、Key、Value 三組向量計算每個字對其他字的關注程度，讓模型能捕捉任意距離的依賴關係。
GPT 和 BERT 有什麼不同？
GPT 只使用 Transformer 的 Decoder，從左到右生成文字，適合生成任務。BERT 只使用 Encoder，雙向理解上下文，適合分類和理解任務。兩者都基於 Transformer，但用了不同的部分。
ChatGPT 用的是 Transformer 嗎？
是。ChatGPT 基於 GPT 架構，而 GPT 就是 Generative Pre-trained Transformer 的縮寫。Claude、Gemini 等主流 LLM 也都基於 Transformer 架構。
為什麼 Transformer 這麼重要？
因為它解決了 RNN 的速度和記憶瓶頸，實現大規模並行訓練，讓研究者可以訓練更大的模型、處理更多資料，直接催生了 GPT、BERT、Claude 等革命性的 AI 系統。可以說 2022 年以來的 AI 革命，都建立在 Transformer 之上。
Transformer 只能處理文字嗎？
不是。Vision Transformer（ViT）已將 Transformer 應用於圖片辨識，2026 年的多模態模型更是同時處理文字、圖片、音訊和影片。Transformer 已成為跨模態的通用架構。
Encoder 和 Decoder 差在哪？
Encoder 負責理解輸入（雙向注意力），Decoder 負責生成輸出（單向注意力，從左到右）。原始 Transformer 兩者都用，但後來 GPT 只用 Decoder、BERT 只用 Encoder。
學 Transformer 需要什麼基礎？
理解概念不需要深厚數學基礎。但要讀懂論文或自己實作，需要線性代數（矩陣運算）、機率統計和 Python 深度學習框架（PyTorch/TensorFlow）的基礎。