快速回答
Diffusion Model(擴散模型)是 Stable Diffusion、Midjourney、DALL-E 3 背後的核心技術。它的原理出奇地簡單:先把圖片加上雜訊直到變成一團混亂,然後學會反向去噪——從雜訊中「還原」出圖片。
白話解釋
想像你有一張完美的畫:
- 加噪(Forward Process):每一步都往畫上灑一些沙子,經過 1000 步後,畫完全被沙子蓋住了
- 去噪(Reverse Process):AI 學會每一步移除多少沙子、從哪裡移除。經過 1000 步,從沙堆中還原出畫
- 生成新圖:既然 AI 學會了「從雜訊還原圖片」,那給它一堆純雜訊,它就能「還原」出一張從未存在的新圖!
Diffusion Model vs GAN
| 特性 | Diffusion Model | GAN |
|---|---|---|
| 原理 | 加噪→去噪 | 生成器 vs 判別器對抗 |
| 生成品質 | 更高、更多細節 | 高但有時有瑕疵 |
| 訓練穩定性 | 穩定 | 不穩定(模式崩塌) |
| 多樣性 | 高 | 較低(Mode Collapse) |
| 速度 | 較慢(多步去噪) | 快(一次生成) |
| 主流程度(2026) | 主流 | 逐漸退居 |
Latent Diffusion:讓普通人也能用
在原始像素空間做擴散需要巨大的運算量。Stable Diffusion 的突破在於 Latent Diffusion——先用 VAE 把圖片壓縮到低維度的「潛空間」,在潛空間做擴散,最後再解碼回圖片。運算量降低 10-100 倍,普通 GPU 就能跑。
文字控制圖片生成
Diffusion Model 結合 NLP 技術,實現文字→圖片:
- 你輸入「一隻橘色的貓坐在月球上」
- CLIP 模型把文字轉成語意向量
- Diffusion Model 在去噪過程中,用語意向量「引導」生成方向
- 結果:一張符合你描述的全新圖片
應用領域
- AI 繪圖:Stable Diffusion、Midjourney、DALL-E
- 影片生成:OpenAI Sora、Runway Gen-3
- 圖片編輯:局部修改、風格轉換、超解析度
- 3D 生成:從文字或圖片生成 3D 模型
- 科學研究:蛋白質結構預測、藥物分子設計
安全提醒:Diffusion Model 可以生成以假亂真的 Deepfake 照片和影片。版權問題也持續爭議——模型用藝術家的作品訓練,生成的圖片風格可能侵犯原創者權益。使用 AI 生圖時,請注意法律和倫理邊界。
常見問題 FAQ
Diffusion Model 和 GAN 有什麼不同?
GAN 用對抗方式生成,Diffusion Model 用加噪→去噪。Diffusion 品質更高、更穩定,但速度較慢。
Stable Diffusion 和 Midjourney 都用 Diffusion Model 嗎?
是的。Stable Diffusion 開源可本地運行,Midjourney 是商業服務。
只能生成圖片嗎?
不只。影片(Sora)、音訊、3D 模型、蛋白質結構都可以。
為什麼速度比較慢?
需要多步去噪(20-50 步)。新技術如 Consistency Models 已可 1-4 步生成。
Latent Diffusion 是什麼?
在壓縮的潛空間做擴散而非原始像素,大幅降低運算量。Stable Diffusion 就是 Latent Diffusion。
有什麼安全風險?
Deepfake 生成、版權侵犯、NSFW 內容、社交工程攻擊。