GLM-Image：首個開源工業級混合影像生成模型

大约 20 分鐘

GLM-Image：首個開源工業級混合影像生成模型

當 Z.ai（前身為智譜 AI）於 2026 年 1 月發布 GLM-Image 時，他們並非僅僅在擁擠的影像生成領域中新增一款模型，而是從根本上挑戰了長期主導該領域的架構假設。GLM-Image 結合了 90 億參數的自回歸語言模型與 70 億參數的擴散解碼器，打造出一個 160 億參數的混合系統，實現了令人矚目的成就：它是首個開源、工業級的離散自回歸影像生成模型，在特定能力上實際媲美專有巨頭，且免費供任何人使用與修改。

過去一週我深入測試了 GLM-Image，並與 DALL-E 3、Stable Diffusion 3、FLUX.1 以及 Google 的 Nano Banana Pro 進行比較。我的發現是，這款模型擁有獨特的個性——在文字呈現與知識密集型生成方面表現卓越，整體影像品質具競爭力，且在專有產品主導的領域中獨樹一幟地保持開源。無論你是開發創意應用的工程師、探索影像生成架構的研究者，或是尋找訂閱制服務替代方案的創作者，GLM-Image 都值得你關注。

GLM-Image 有何不同？

要理解 GLM-Image 的重要性，我們需要看看它的架構與自 Stable Diffusion 突破以來主導影像生成的純擴散模型有何不同。

混合架構：兩全其美

GLM-Image 採用混合自回歸 + 擴散解碼器架構，Z.ai 稱之為「用於密集知識與高保真影像生成的自回歸」。這不僅是行銷用語——該架構真實反映了一種不同的影像合成哲學。

自回歸生成器 是一個 90 億參數模型，初始化自 GLM-4-9B-0414，並擴充了專門用於視覺標記的詞彙。此部分不直接生成影像，而是先生成約 256 個語義標記的緊湊編碼，接著展開為 1,000 至 4,000 個標記，代表最終影像。這個兩階段流程讓模型能在決定像素細節前，先規劃與推理影像構成。

擴散解碼器 是一個獨立的 70 億參數組件，基於單流 DiT（Diffusion Transformer）架構，用於潛在空間影像解碼。此解碼器的特點是包含一個字形編碼器文字模組，專門設計來提升影像中文字的呈現準確度，解決擴散模型長期以來在文字清晰度與拼寫正確性上的弱點。

這兩個組件的協同作用透過 GRPO 漸進式強化學習進行解耦強化。自回歸模組提供低頻反饋，聚焦美學與語義對齊，提升指令遵循與藝術表現力；解碼器模組則提供高頻反饋，針對細節真實度與文字準確性，產生更逼真的紋理與精確文字。

為何混合架構重要

傳統潛在擴散模型如 Stable Diffusion、DALL-E 3 與 FLUX，透過從隨機噪聲開始的迭代去噪過程生成影像。此方法擅長產生視覺震撼的結果，但在精確文字呈現、複雜版面與知識密集場景中常常力有未逮，因為這些場景中準確性與美學同等重要。

GLM-Image 的混合方法透過語言模型先行理解文字、版面與語義關係，再由擴散解碼器負責視覺渲染，克服了上述限制。結果是模型能準確生成資訊圖表、技術圖解與文字密集的構圖，這是純擴散模型難以匹敵的。

性能基準：GLM-Image 表現如何？

數據只能說明部分情況，但對理解 GLM-Image 相較競爭對手的能力至關重要。Z.ai 公布了多項評測框架的詳細基準數據。

文字呈現性能

這是 GLM-Image 真正出色的領域。文字呈現歷來是 AI 影像生成最具挑戰性的部分，即使是強大模型也常拼錯字或產生難辨文字。GLM-Image 在此取得突破性表現：

模型	開源	CVTG-2K 英文	CVTG-2K 中文	單字準確率	NED	CLIPScore	平均
GLM-Image	✅	0.9116	0.9557	0.7877	0.966	0.952	0.979
Seedream 4.5	❌	0.8990	0.9483	0.8069	0.988	0.989	0.987
GPT Image 1	❌	0.8569	0.9478	0.7982	0.788	0.956	0.619
Qwen-Image	✅	0.8288	0.9116	0.8017	0.945	0.943	0.946
FLUX.1 Dev	✅	N/A	N/A	N/A	N/A	N/A	N/A
DALL-E 3	❌	N/A	N/A	N/A	N/A	N/A	N/A

額外 LongText-Bench 結果（最新評測）：

模型	英文	中文
GLM-Image	95.57%	97.88%
GPT Image 1 [高階]	95.60%	61.90%
Nano Banana 2.0	87.54%	73.72%

GLM-Image 在 CVTG-2K 得分最高（英文 0.9116，中文 0.9557），英文文字呈現明顯優於 GPT Image 1（0.8569）。LongText-Bench 中文文字呈現達 97.88% 的近乎完美準確度，其他開源模型無法匹敵。NED（正規化編輯距離）0.966 表示文字準確度極高。雖然 Seedream 4.5 在單字準確率略高，但它是封閉源碼模型，使 GLM-Image 成為最佳開源選擇。

一般文字轉影像性能

在一般文字轉影像基準中，GLM-Image 仍與頂尖專有模型競爭：

模型	開源	OneIG-Bench	TIIF-Bench	DPG-Bench 英文	DPG-Bench 中文	短提示	長提示
Seedream 4.5	❌	0.576	0.551	90.49	88.52	88.63	N/A
Nano Banana 2.0	❌	0.578	0.567	91.00	88.26	87.16	N/A
GPT Image 1	❌	0.533	0.474	89.15	88.29	85.15	N/A
DALL-E 3	❌	N/A	N/A	74.96	70.81	83.50	N/A
GLM-Image	✅	0.528	0.511	81.01	81.02	84.78	N/A
Qwen-Image	✅	0.539	0.548	86.14	86.83	88.32	N/A
FLUX.1 Dev	✅	0.434	N/A	71.09	71.78	83.52	N/A
SD3 Medium	✅	N/A	N/A	67.46	66.09	84.08	N/A

在整體影像品質上，GLM-Image 在 DPG-Bench 英文與中文分別得分 81.01 與 81.02，與 DALL-E 3（74.96、70.81）等專有模型競爭，且明顯優於開源選項如 FLUX.1 Dev（71.09）與 SD3 Medium（67.46）。

權衡：文字呈現與美學

基準數據顯示明顯權衡：GLM-Image 在文字呈現與知識密集生成上表現卓越，但在純美學品質上略遜於頂尖模型。如果你的主要目標是產生視覺震撼且文字較少的藝術作品，DALL-E 3、Midjourney 或 Nano Banana 2.0 仍是較佳選擇；但若需準確文字、複雜版面或知識密集構圖（資訊圖表、圖解、簡報），GLM-Image 可說是最佳開源方案。

硬體需求：運行 GLM-Image 需要什麼？

GLM-Image 的 160 億參數架構意味著其計算需求相當龐大。了解這些需求有助於設定本地部署的合理預期。

GPU 記憶體需求

由於混合架構，模型需要大量 GPU 記憶體：

解析度	批次大小	類型	峰值 VRAM	備註
2048×2048	1	T2I	約 45 GB	最高品質，最慢
1024×1024	1	T2I	約 38 GB	推薦起點
1024×1024	4	T2I	約 52 GB	較高吞吐量
512×512	1	T2I	約 34 GB	最快，品質較低
512×512	4	T2I	約 38 GB	平衡選項
1024×1024	1	I2I	約 38 GB	影像編輯

實務本地部署需求：

最低：單 GPU，40GB+ VRAM（A100 40GB、A6000 或雙 RTX 4090）
推薦：單 GPU，80GB+ VRAM 或多 GPU 配置
CPU 卸載：啟用 enable_model_cpu_offload=True 可在約 23GB VRAM 運行，但速度較慢

推理時間預期

基於單顆 H100 測試：

解析度	批次大小	全流程時間
2048×2048	1	約 252 秒（4 分鐘以上）
1024×1024	1	約 64 秒
1024×1024	4	約 108 秒
512×512	1	約 27 秒
512×512	4	約 39 秒

實際時間依硬體而異，A100 類 GPU 最快，消費級 RTX 4090 較慢但仍可用。

僅 CPU 推理

無 GPU 運行 GLM-Image 不實用。模型缺乏針對 CPU 推理優化的 GGUF 量化版本，且計算需求使生成速度極慢。若無合適 GPU，建議使用 API 服務或 HuggingFace Spaces 線上示範。

安裝與設定

由於 GLM-Image 剛發布且整合 transformers 與 diffusers，需從原始碼安裝。

前置條件

Python 3.10 或更新版本
支援 CUDA 的 GPU，40GB+ VRAM（或 23GB 搭配 CPU 卸載）
50GB 以上磁碟空間用於模型檔案
Git 用於克隆倉庫

步驟 1：安裝依賴

# 建立虛擬環境
python -m venv glm-image-env
source glm-image-env/bin/activate  # Linux/macOS
# 或：glm-image-env\Scripts\activate  # Windows

# 升級 pip
pip install --upgrade pip

# 安裝支援 CUDA 的 PyTorch（依 CUDA 版本調整）
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

# 從 GitHub 安裝 transformers 與 diffusers
pip install git+https://github.com/huggingface/transformers.git
pip install git+https://github.com/huggingface/diffusers.git

步驟 2：下載模型

模型可從 Hugging Face 與 ModelScope 取得：

from diffusers import GlmImagePipeline
import torch

# 管線會自動下載模型
pipe = GlmImagePipeline.from_pretrained(
    "zai-org/GLM-Image", 
    torch_dtype=torch.bfloat16, 
    device_map="cuda"
)

也可手動下載加速後續載入：

# 克隆模型檔案
git lfs install
git clone https://huggingface.co/zai-org/GLM-Image

方法一：Diffusers 管線（推薦）

使用 diffusers 管線是最簡單的 GLM-Image 使用方式。

文字轉影像生成

import torch
from diffusers.pipelines.glm_image import GlmImagePipeline

# 載入模型
pipe = GlmImagePipeline.from_pretrained(
    "zai-org/GLM-Image", 
    torch_dtype=torch.bfloat16, 
    device_map="cuda"
)

# 從文字提示生成影像
prompt = """一幅設計精美的現代美食雜誌風格甜點食譜插畫。
整體版面乾淨明亮，標題為「覆盆子慕斯蛋糕食譜指南」以粗體黑字呈現。
影像展示一張柔光近拍的淺粉色蛋糕，裝飾有新鮮覆盆子與薄荷葉。
底部區域包含四個步驟方框，內含高解析度照片展示製作過程。"""

image = pipe(
    prompt=prompt,
    height=32 * 32,  # 1024x1024
    width=36 * 32,   # 必須是 32 的倍數
    num_inference_steps=50,
    guidance_scale=1.5,
    generator=torch.Generator(device="cuda").manual_seed(42),
).images[0]

image.save("output_t2i.png")

影像轉影像生成

GLM-Image 也支援影像編輯、風格轉換與變換：

import torch
from diffusers.pipelines.glm_image import GlmImagePipeline
from PIL import Image

# 載入模型
pipe = GlmImagePipeline.from_pretrained(
    "zai-org/GLM-Image", 
    torch_dtype=torch.bfloat16, 
    device_map="cuda"
)

# 載入參考影像
image_path = "reference_image.jpg"
reference_image = Image.open(image_path).convert("RGB")

# 定義編輯提示
prompt = "將此肖像轉換為水彩畫風格，邊緣柔和且色調柔和"

# 生成編輯後影像
result = pipe(
    prompt=prompt,
    image=[reference_image],  # 可輸入多張影像
    height=33 * 32,  # 即使與輸入相同也必須設定
    width=32 * 32,   # 即使與輸入相同也必須設定
    num_inference_steps=50,
    guidance_scale=1.5,
    generator=torch.Generator(device="cuda").manual_seed(42),
).images[0]

result.save("output_i2i.png")

提升效果的小技巧

根據測試，以下技巧可提升輸出品質：

將欲呈現文字用引號括起：任何想在影像中呈現的文字都應用引號包住
使用 GLM-4.7 進行提示詞增強：官方建議先用 GLM-4.7 強化提示詞再生成
溫度設定：預設為 temperature=0.9，topp=0.75，降低溫度可提升穩定性
解析度必須是 32 的倍數：模型嚴格要求此限制
VRAM 不足時使用 CPU 卸載：enable_model_cpu_offload=True 可將 VRAM 降至約 23GB

方法二：SGLang 用於生產部署

對於需要更高吞吐量的生產環境，SGLang 提供優化的服務解決方案。

安裝

pip install "sglang[diffusion] @ git+https://github.com/sgl-project/sglang.git#subdirectory=python"
pip install git+https://github.com/huggingface/transformers.git
pip install git+https://github.com/huggingface/diffusers.git

啟動伺服器

sglang serve --model-path zai-org/GLM-Image

API 呼叫範例

文字轉影像（curl）：

curl http://localhost:30000/v1/images/generations \
  -H "Content-Type: application/json" \
  -d '{
    "model": "zai-org/GLM-Image",
    "prompt": "一個夜晚的賽博朋克城市天際線，霓虹燈牌同時顯示英文與中文",
    "n": 1,
    "response_format": "b64_json",
    "size": "1024x1024"
  }' | python3 -c "import sys, json, base64; open('output.png', 'wb').write(base64.b64decode(json.load(sys.stdin)['data'][0]['b64_json']))"

影像編輯（curl）：

curl -s -X POST "http://localhost:30000/v1/images/edits" \
  -F "model=zai-org/GLM-Image" \
  -F "[email protected]" \
  -F "prompt=將背景改為熱帶海灘" \
  -F "response_format=b64_json" | python3 -c "import sys, json, base64; open('edited.png', 'wb').write(base64.b64decode(json.load(sys.stdin)['data'][0]['b64_json']))"

實際應用案例

經過測試，我發現 GLM-Image 在以下幾個特定應用上表現尤為出色。

資訊圖表與資料視覺化

GLM-Image 擅長生成資訊密集且文字準確度要求高的圖形：

任務：「製作一張氣候變遷統計資訊圖表。
包含一個 1900-2020 年溫度上升的長條圖，
標籤為『全球溫度異常 (°C)』與『年份』。
加入一個能源來源的圓餅圖，標籤為『再生能源 35%』、
『天然氣 30%』、『煤炭 25%』、『核能 10%』。」

模型產生的圖表標籤拼寫正確，數據呈現準確，這是純擴散模型常犯錯的地方。

產品行銷素材

在電商與行銷領域，GLM-Image 能生成帶有可讀文字的產品展示：

任務：「一張無線耳機的生活風格照，擺放於極簡桌面。
文字覆蓋為『超越聲音界限』，採用現代字體。
包含產品規格文字：『40 小時電池續航』、『主動降噪』、
『藍牙 5.3』，字體為乾淨的無襯線字。」

教育內容

教師與內容創作者可生成帶有說明的插圖：

任務：「一張細胞有絲分裂階段的生物學圖解。
標籤包括『前期』、『中期』、『後期』、『末期』，
並附簡化插圖。頂部有標題『有絲分裂：細胞分裂過程』。」

帶文字的數位藝術

GLM-Image 能處理結合文字的藝術構圖：

任務：「一張復古風格電影海報設計。
標題文字為『最後的冒險』，採用戲劇性襯線字體。
背景為山脈與夕陽的邊境風景。
副標題文字為『2026 夏季上映』，字體較小且裝飾性強。」

與競品比較

了解 GLM-Image 與其他模型的差異，有助於選擇合適方案。

GLM-Image vs. DALL-E 3

DALL-E 3 仍是最易取得的商業選擇，具優秀的提示詞遵循能力。但 GLM-Image 在文字呈現基準（CVTG-2K 91.16% 對比無公開數據）與 DPG-Bench 分數（81.01 對 74.96）上勝出。若應用需準確文字，GLM-Image 是更佳選擇；DALL-E 3 則在純美學品質與 ChatGPT 介面易用性上佔優。

GLM-Image vs. Stable Diffusion 3

SD3 Medium 完全開源，但在 DPG-Bench（67.46 對 81.01）落後 GLM-Image。SD3 開源特性利於自訂與微調，但 GLM-Image 開箱即用品質更佳，尤其是文字密集影像。SD3 需更多提示詞工程以達相似效果。

GLM-Image vs. FLUX.1 Dev

FLUX.1 Dev 開源且產出高品質影像，但文字呈現與複雜構圖較弱。GLM-Image 混合架構在需準確文字或結構化版面場景中具優勢。FLUX.1 運行更快、更省資源，適合快速迭代且文字準確度要求不高的情況。

GLM-Image vs. Google Nano Banana Pro

Nano Banana Pro（Gemini 3 Pro Image）是 Google 最新專有模型，具優異美學表現（DPG-Bench 91.00 對 81.01），但封閉源碼且需 Google API。GLM-Image 免費開源，且在文字呈現（CVTG-2K 英文 0.9116 對 0.7788）勝過 Nano Banana Pro。

比較總結

模型	文字呈現	一般品質	開源	適用場景
GLM-Image	✅ 優秀	✅ 良好	✅ 是	文字密集、知識圖形
DALL-E 3	中等	✅ 優秀	❌ 否	一般創意作品
SD3 Medium	差	中等	✅ 是	自訂、微調
FLUX.1 Dev	差	✅ 良好	✅ 是	快速迭代、藝術
Nano Banana Pro	良好	✅ 優秀	❌ 否	高端商業用途

免費測試選項：安裝前先試用

與需本地安裝的模型不同，GLM-Image 提供多種測試選項，方便先行體驗。

HuggingFace Spaces（快速測試推薦）

有超過 23 個 Spaces 運行 GLM-Image，配置多樣：

最佳整體體驗：

multimodalart/GLM-Image - 全功能介面
akhaliq/GLM-Image - 簡潔介面

增強版本：

fantos/GLM-IMAGE-PRO - 專業功能與設定

這些 Spaces 無需安裝或 GPU，適合測試提示詞與評估輸出品質。

Fal.ai 平台

Fal.ai 提供託管 GLM-Image 推理與 API：

網址：https://fal.ai
特色：無伺服器推理、API 端點
價格：按使用付費，含免費額度
適用：無需基礎設施管理的生產應用

Z.ai API 平台

Z.ai 提供官方 GLM-Image API：

文件：https://docs.z.ai/guides/image/glm-image
聊天介面：https://chat.z.ai
適用：大規模應用整合

YouTube 教學

多位創作者發布了 GLM-Image 示範影片：

「GLM-Image Is HERE – Testing Z AI's New Image Gen & Edit Model」，作者 Bijan Bowen（2026 年 1 月）
- 連結：https://www.youtube.com/watch?v=JRXAd-4sB8c
- 涵蓋本地測試、多種提示詞、影像編輯

示範包括電影海報生成、肖像編輯、風格轉換與影像操作。

測試建議

選項	費用	需設定	適用場景
HuggingFace Spaces	免費	無	初步測試、示範
Fal.ai	按用量付費	無	生產 API
GLM-Image Online	免費額度	無	商業設計
Z.ai API	按用量付費	API 金鑰	企業整合
本地部署	免費（硬體成本）	GPU + 設定	完全控制、自訂

額外測試平台

GLM-Image Online (https://glmimage.online)

商業級 AI 設計工作室
雙語支援（中英文）
提供免費額度測試
適合專業設計與商業內容創作

建議先從 HuggingFace Spaces 評估模型能力，再視需求轉向 GLM-Image Online 進行專業設計，或使用 Fal.ai 進行生產 API 整合。

常見問題排解

根據經驗與社群反饋，以下是常見問題與解決方案。

CUDA 記憶體不足

問題：「CUDA out of memory」推理時出錯

解決方案：

啟用 CPU 卸載：

pipe = GlmImagePipeline.from_pretrained(
    "zai-org/GLM-Image",
    torch_dtype=torch.bfloat16,
    enable_model_cpu_offload=True  # VRAM 降至約 23GB
)

使用較低解析度（512×512 代替 1024×1024）
批次大小降至 1
每次運行間清理 GPU 快取：torch.cuda.empty_cache()

推理速度慢

問題：生成時間遠超預期

解決方案：

GLM-Image 架構本身較慢，1024×1024 約需 60-90 秒
使用較低解析度（512×512 約 27 秒）
確保無其他 GPU 程序佔用資源
生產環境可考慮使用 SGLang 進行優化部署

文字品質差

問題：生成影像中文字拼錯或難辨

解決方案：

將欲呈現文字用引號括起
使用較短且簡單的文字字串
提升解析度（較高解析度有助文字清晰）
嘗試官方倉庫的提示詞增強腳本

解析度錯誤

問題：「解析度必須是 32 的倍數」

解決方案：

始終使用 32 的倍數尺寸：512、768、1024、1280、1536、2048
模型嚴格執行此限制，無例外
檢查高度與寬度計算：例如 height=32 * 32 即 1024

安裝失敗

問題：pip 或 git 安裝出錯

解決方案：

建立全新虛擬環境
先安裝正確 CUDA 版本的 PyTorch

使用 git lfs 下載大檔案：

git lfs install
git clone https://huggingface.co/zai-org/GLM-Image

確認 Python 版本為 3.10 以上

限制與注意事項

GLM-Image 並非完美，了解其限制有助設定合理期待。

目前限制

推理速度：混合架構比純擴散模型慢，1024×1024 約需 60 秒（H100），消費級 GPU 更慢
硬體需求：40GB+ VRAM 限制本地部署於高階 GPU，CPU 卸載可用但慢
美學折衷：雖具競爭力，但純視覺藝術品質仍落後 Nano Banana Pro、DALL-E 3 等頂尖模型
優化尚在進行中：vLLM-Omni 與 SGLang AR 加速支持仍在整合中，未來可望提升性能
量化有限：與 LLM 不同，GLM-Image 缺乏廣泛可用的量化版本以利 CPU 推理或邊緣部署

何時考慮替代方案

快速迭代藝術內容：使用 DALL-E 3、Midjourney 或 FLUX.1
僅 CPU 部署：考慮量化 Stable Diffusion 變體
極致視覺品質：Nano Banana Pro 或專有 API 可能值得投資
即時應用：目前架構不適合實時使用

GLM-Image 的未來

GLM-Image 是開源影像生成的重要里程碑，未來有多項值得關注的發展。

預期改進

vLLM-Omni 整合：將大幅提升推理速度
SGLang AR 加速：團隊積極整合自回歸加速優化
量化版本開發：社群可能推出 GGUF 或 GPTQ 量化版本
微調變體：預期推出 LoRA 適配器與專用版本

更廣泛意義

GLM-Image 的混合架構指向未來語言模型與影像生成界線模糊的趨勢。相同原理——語義規劃後高保真合成——可應用於影片、3D 及其他多模態。

對開源社群而言，GLM-Image 證明工業級影像生成不必依賴專有模型。研究者、開發者與創作者如今能取得過去僅限昂貴訂閱或企業協議的能力。

結論：GLM-Image 值得使用嗎？

經過廣泛測試與比較，以下是我的評估。

優勢

✅ 最佳開源文字呈現：91.16% CVTG-2K 分數，僅次於封閉源碼 Seedream
✅ MIT 開源授權：完全免費，允許商業與個人使用
✅ 混合架構：結合語義理解與高保真生成
✅ 影像轉影像支援：編輯、風格轉換與變換一體化
✅ 持續開發：定期更新與社群互動

注意事項

⚠️ 硬體需求高：40GB+ VRAM 限制本地部署
⚠️ 速度較慢：1024×1024 約需 60 秒以上
⚠️ 仍在成熟中：優化與量化尚未完善

我的建議

GLM-Image 適合你如果：

需要生成影像中準確的文字
偏好開源方案而非專有 API
擁有合適 GPU 硬體
建構需知識密集影像生成的應用

若你：

追求極速生成（可用 FLUX.1 或 SD3）
缺乏 GPU 資源（可用 HuggingFace Spaces 或 API）
純粹追求視覺美學（可用 DALL-E 3 或 Nano Banana Pro）

對我而言，GLM-Image 已成為任何需文字或結構化版面專案的首選。準確度提升值得稍長的生成時間，且 MIT 授權帶來的彈性是專有方案無法比擬的。