AI Gateway 解決什麼問題

當企業開始使用 AI API（OpenAI、Anthropic、Google），很快會遇到幾個問題：

多個團隊各自管理自己的 API Key，沒有集中的使用量追蹤。某個工程師不小心在程式碼裡寫了迴圈呼叫 API，月底帳單暴增。沒有辦法知道哪些部門在用 AI 處理什麼類型的資料。想切換 AI 供應商時，每個應用都要改。

AI Gateway 就是在你的應用程式和 AI API 之間加一個中間層，統一管理所有 AI 相關的 API 呼叫。

核心功能包含：API Key 集中管理（應用程式不需要直接持有 AI 供應商的 API Key）、使用量追蹤和費用拆帳、速率限制（Rate Limiting）、內容過濾（阻擋敏感資料傳送到外部 API）、供應商切換（同一個介面可以切換不同的 AI 模型）、日誌記錄和稽核。

三個主流選項

Cloudflare AI Gateway

類型：Cloudflare 平台上的託管服務。

優勢：設定簡單，在 Cloudflare Dashboard 上開啟就可以用。不需要修改應用程式碼——只要把 API 請求的目標從 api.openai.com 改成你的 Cloudflare Gateway endpoint。免費方案的請求數量沒有硬限制。內建快取功能，相同的請求可以回傳快取結果，省下 API 費用。即時的使用量分析面板。

限制：內容過濾功能較基礎。自訂規則的彈性有限。日誌保留時間依方案而定。

價格：包含在 Cloudflare 的方案中，Workers AI 的免費方案就可以使用基本功能。

適合：已經在用 Cloudflare 的團隊、快速開始的企業。

Portkey

類型：專門的 AI Gateway SaaS 平台。

優勢：功能最豐富的專用 AI Gateway。支援 30+ 個 AI 供應商。自動重試和 Fallback（當主要供應商 API 失敗時自動切換到備用）。Prompt 版本管理和 A/B 測試。詳細的成本分析和預算告警。Guardrails 整合（可以在 Gateway 層做內容過濾）。

限制：SaaS 服務，你的 AI 請求會經過 Portkey 的伺服器。較複雜的功能需要時間學習。

價格：免費版 10K 請求/月，Growth $49/月起。

適合：需要多供應商管理、精細成本控制的企業。

LiteLLM Proxy

類型：開源，可自架。

優勢：可以部署在自己的伺服器上，所有流量都在你的控制之下。OpenAI 相容的 API 格式，應用程式用 OpenAI SDK 就可以透過 LiteLLM 存取任何 AI 供應商。支援 100+ 個 AI 模型。虛擬 Key 功能——你可以建立內部的虛擬 API Key，設定每個 Key 的預算上限和可用模型。Python 套件，整合進現有的 Python 應用很方便。

限制：需要自己管理基礎設施。UI Dashboard 是選配（需要額外部署）。社群支援為主，沒有企業級的 SLA。

價格：開源免費。Enterprise 版有額外功能和支援。

適合：對資料隱私有嚴格要求的企業、想完全控制基礎設施的團隊。

實作架構

典型的 AI Gateway 部署架構：

使用者 → 你的應用程式 → AI Gateway → AI API（OpenAI / Anthropic / Google）

Gateway 在中間做的事：

收到請求後，先檢查 API Key 是否有效、是否超出速率限制。對請求內容做過濾（例如阻擋包含信用卡號的請求）。記錄請求的 metadata（時間、使用者、模型、Token 數量）。將請求轉送到對應的 AI 供應商 API。收到回應後，記錄使用量和費用。將回應轉送回你的應用程式。

如果使用 LiteLLM Proxy 自架，基本的設定檔 config.yaml 大致如下：

model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: os.environ/OPENAI_API_KEY
  - model_name: claude-sonnet
    litellm_params:
      model: anthropic/claude-sonnet-4-20250514
      api_key: os.environ/ANTHROPIC_API_KEY

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

應用程式端只需要改 base_url，其他程式碼都不需要動：

from openai import OpenAI

client = OpenAI(
    base_url="http://your-gateway:4000",
    api_key="your-internal-key"
)

安全設計

API Key 管理

AI Gateway 的核心安全價值之一是 API Key 的隔離。應用程式不需要知道真正的 OpenAI 或 Anthropic API Key，只需要知道 Gateway 發出的內部 Key。

好處：API Key 只存在 Gateway 的設定中，不會散布到多個應用程式的環境變數裡。Key 洩露的影響範圍可控——內部 Key 有預算上限和權限限制，即使洩露也不會導致無限制的 API 使用。Key 輪換時只需要在 Gateway 更新，不需要更新所有應用程式。

內容過濾

在 Gateway 層做內容過濾，可以在請求送出到外部之前阻擋敏感資訊：

PII 偵測。掃描請求內容中的身分證號、電話號碼、信用卡號，符合模式的請求直接拒絕。

機密標記。根據企業的資料分類政策，攔截包含特定關鍵字或標記的請求。

Prompt 模式比對。偵測可能的 Prompt Injection 攻擊模式，在送到 AI 模型之前就阻擋。

稽核日誌

Gateway 記錄的每一筆請求都是稽核資料：誰在什麼時間、用哪個模型、處理了什麼類型的內容、花了多少 Token。

這些日誌在以下情境特別有用：安全事件調查（某個 Key 是否被濫用）、成本分析和拆帳（各部門的 AI 使用費用）、合規稽核（證明 AI 的使用符合公司政策和法規要求）。

日誌本身也需要安全保護——因為日誌可能包含使用者的請求內容，應該限制存取權限並設定保留期限。

安全與限制

AI Gateway 加在架構中等於多了一個需要維護和保護的系統。如果 Gateway 本身被入侵，所有 AI API 的存取都會暴露。

Gateway 增加了一層網路延遲（通常 5-20ms）。對於延遲敏感的應用，需要評估這個代價是否可接受。

內容過濾在 Gateway 層只能做基於規則的簡單過濾。複雜的語意層級過濾（例如判斷對話是否在嘗試繞過安全限制）仍然需要 AI 模型層面的防護。

知識檢測

讀完文章後，測試一下你對這個主題的理解。

常見問題

小團隊需要 AI Gateway 嗎？

如果只有 1-2 個應用使用 AI API，直接管理 API Key 就夠了。當你開始有 3 個以上的應用、或需要追蹤不同專案的 AI 使用費用時，Gateway 開始有價值。Cloudflare AI Gateway 的免費方案是低成本的起步點。

AI Gateway 和 API Gateway（例如 Kong、Nginx）有什麼不同？

一般的 API Gateway 處理的是 HTTP 請求的路由、認證、速率限制。AI Gateway 在此基礎上增加了 AI 特有的功能：Token 計算、模型路由、Prompt 快取、內容過濾、多供應商切換。如果你已經有 API Gateway，可以在後面再加一層 AI Gateway，也可以選擇同時具備兩者功能的方案。

資料會不會經過第三方？

使用 Cloudflare 或 Portkey 的託管方案，你的 AI 請求會經過他們的伺服器。如果這是顧慮，選擇 LiteLLM Proxy 自架，所有流量都在你自己的基礎設施內。

可以用 AI Gateway 做模型 A/B 測試嗎？

可以。Portkey 內建 A/B 測試功能，可以設定流量比例（例如 80% 的請求送到 GPT-4o、20% 送到 Claude Sonnet）。LiteLLM 也支援 Router 功能做流量分配。Cloudflare 的這部分功能較基礎。

自架 AI Gateway 需要什麼規格的伺服器？

LiteLLM Proxy 本身很輕量，一台 1 vCPU / 2GB RAM 的 VPS 就可以運行。瓶頸通常不在 Gateway 本身，而在你的網路頻寬和 AI API 的速率限制。如果需要持久化日誌，額外配一個 PostgreSQL 或 Redis。

相關文章

  • AI 應用效能優化：回應速度、Token 成本、快取策略
  • AI 使用稽核：如何記錄和追蹤組織內的 AI 使用行為
  • 企業 AI 應用指南：各角色如何使用 AI 白話解析
  • AI 供應鏈安全：模型、套件、API 的信任鏈風險

參考資料

  • Cloudflare AI Gateway 官方文件
  • Portkey 官方文件
  • LiteLLM 官方文件