Diffusion Model 是什麼?擴散模型原理與應用白話解析

快速回答

Diffusion Model(擴散模型)是 Stable DiffusionMidjourney、DALL-E 3 背後的核心技術。它的原理出奇地簡單:先把圖片加上雜訊直到變成一團混亂,然後學會反向去噪——從雜訊中「還原」出圖片。

白話解釋

想像你有一張完美的畫:

  1. 加噪(Forward Process):每一步都往畫上灑一些沙子,經過 1000 步後,畫完全被沙子蓋住了
  2. 去噪(Reverse Process):AI 學會每一步移除多少沙子、從哪裡移除。經過 1000 步,從沙堆中還原出畫
  3. 生成新圖:既然 AI 學會了「從雜訊還原圖片」,那給它一堆純雜訊,它就能「還原」出一張從未存在的新圖!

Diffusion Model vs GAN

特性Diffusion ModelGAN
原理加噪→去噪生成器 vs 判別器對抗
生成品質更高、更多細節高但有時有瑕疵
訓練穩定性穩定不穩定(模式崩塌)
多樣性較低(Mode Collapse)
速度較慢(多步去噪)快(一次生成)
主流程度(2026)主流逐漸退居

Latent Diffusion:讓普通人也能用

在原始像素空間做擴散需要巨大的運算量。Stable Diffusion 的突破在於 Latent Diffusion——先用 VAE 把圖片壓縮到低維度的「潛空間」,在潛空間做擴散,最後再解碼回圖片。運算量降低 10-100 倍,普通 GPU 就能跑。

文字控制圖片生成

Diffusion Model 結合 NLP 技術,實現文字→圖片:

  1. 你輸入「一隻橘色的貓坐在月球上」
  2. CLIP 模型把文字轉成語意向量
  3. Diffusion Model 在去噪過程中,用語意向量「引導」生成方向
  4. 結果:一張符合你描述的全新圖片

應用領域

  • AI 繪圖Stable DiffusionMidjourney、DALL-E
  • 影片生成:OpenAI Sora、Runway Gen-3
  • 圖片編輯:局部修改、風格轉換、超解析度
  • 3D 生成:從文字或圖片生成 3D 模型
  • 科學研究:蛋白質結構預測、藥物分子設計
安全提醒:Diffusion Model 可以生成以假亂真的 Deepfake 照片和影片。版權問題也持續爭議——模型用藝術家的作品訓練,生成的圖片風格可能侵犯原創者權益。使用 AI 生圖時,請注意法律和倫理邊界。

常見問題 FAQ

Diffusion Model 和 GAN 有什麼不同?

GAN 用對抗方式生成,Diffusion Model 用加噪→去噪。Diffusion 品質更高、更穩定,但速度較慢。

Stable Diffusion 和 Midjourney 都用 Diffusion Model 嗎?

是的。Stable Diffusion 開源可本地運行,Midjourney 是商業服務。

只能生成圖片嗎?

不只。影片(Sora)、音訊、3D 模型、蛋白質結構都可以。

為什麼速度比較慢?

需要多步去噪(20-50 步)。新技術如 Consistency Models 已可 1-4 步生成。

Latent Diffusion 是什麼?

在壓縮的潛空間做擴散而非原始像素,大幅降低運算量。Stable Diffusion 就是 Latent Diffusion。

有什麼安全風險?

Deepfake 生成、版權侵犯、NSFW 內容、社交工程攻擊。