如何在本地運行 Qwen3 — AI 愛好者的實用指南

上個月，當我第一次聽說阿里巴巴發布了 Qwen3 模型時，我立刻想要親自試用。瀏覽過那些令人印象深刻的基準測試結果和功能後，我面臨了和許多人一樣的問題：「我該直接使用雲端 API，還是嘗試在本地運行這個模型？」

雲端 API 雖然方便，但考慮到隱私問題、使用成本，以及純粹的挑戰性，我決定踏上在自己的硬體上運行 Qwen3 的旅程。經過數週的實驗、無數次的配置調整，以及幾次因 GPU 風扇聲而驚慌的時刻，我整理出這份全面的指南，分享我的學習心得。

無論你是想維護資料隱私、降低 API 成本、定制模型，還是單純想體驗在自己機器上運行尖端 AI 的成就感，這份指南都能幫助你。

Qwen3 究竟是什麼？

在開始安裝流程之前，讓我們先了解一下我們要使用的東西。Qwen3（發音為「chwen」）是 Qwen 團隊於 2025 年 4 月發布的第三代大型語言模型。它有多種規模，從輕量級的 0.6B 參數模型到龐大的 235B 參數巨獸。

Qwen3 特別有趣的是它採用了雙架構策略：

Dense 模型： 參數從 0.6B 到 32B 不等，推理時所有參數均被激活：

• Qwen3-0.6B、1.7B、4B（32K 上下文窗口）
• Qwen3-8B、14B、32B（128K 上下文窗口）

Mixture-of-Experts (MoE) 模型： 利用稀疏架構以提升計算效率：

• Qwen3-30B-A3B：總參數 30B，但推理時只激活約 3B
• Qwen3-235B-A22B：龐大 235B 參數，推理時激活約 22B

MoE 模型名稱中的「A」代表「Active」（激活）參數。這是一種巧妙的設計——想像不必聘請一個全能的專家（成本高昂！），而是擁有一支專家團隊，根據任務只調用最相關的專家。這使得這些模型在效率上遠超其參數數量所暗示的水平。

Qwen3 的一大亮點是其混合思考能力——它可以在內部進行逐步推理（思考模式），也能直接給出答案（非思考模式），在深度推理與速度之間取得良好平衡。

為什麼要在本地運行 Qwen3？

你可能會想，既然有雲端 API，為什麼還要在本地運行這些模型？以下是說服我的幾個理由：

1. 資料隱私： 所有資料都留在你的機器上，無需外傳。
2. 成本控制： 沒有意外帳單或令牌配額，只有前期硬體成本和電費。
3. 離線能力： 初次下載模型後無需網路連線。
4. 自訂化： 可自由微調模型以符合特定資料。
5. 學習體驗： 沒有什麼比在自己硬體上運行先進 AI 系統更令人滿足。
6. 低延遲： 消除網路往返，回應更快。

我特別重視隱私這一點。能夠在不擔心資料被傳送到外部伺服器的情況下，探索敏感資料分析，讓我感到非常自由。

硬體需求 — 你需要準備什麼

說實話，本地運行這些模型並不輕鬆，尤其是較大型的版本。你的硬體需求會根據你選擇的模型而大不相同。

以下是不同模型的需求概覽：

記憶體需求

• 小型模型（0.6B、1.7B）： 至少 8GB RAM，建議 16GB
• 中型模型（4B、8B）： 最少 16GB，建議 32GB
• 大型模型（14B、32B）： 最少 32GB，建議 64GB
• MoE 模型（30B-A3B、235B-A22B）： 64GB 以上，尤其是 235B 版本

GPU/顯示記憶體需求

這是關鍵瓶頸。GPU 記憶體（VRAM）通常是限制因素：

• Qwen3-0.6B： 可在 2GB+ VRAM GPU 上運行（甚至是舊款 GTX 1060）
• Qwen3-1.7B： 4GB+ VRAM（GTX 1070 或更好）
• Qwen3-4B： 8GB+ VRAM（RTX 3060 或更好）
• Qwen3-8B： 16GB+ VRAM（RTX 3090、4080 或 A4000）
• Qwen3-14B： 24GB+ VRAM（RTX 4090 或 A5000）
• Qwen3-32B： 40GB+ VRAM（A100 或多張消費級 GPU）
• Qwen3-30B-A3B： 雖然激活參數較少，仍需 24GB+ VRAM
• Qwen3-235B-A22B： 多張高階 GPU（例如 2 張以上 A100 80GB 或 4 張以上 A6000）

好消息是，量化技術能大幅降低這些需求。例如，使用 4-bit 量化（稍後會詳述），你可能能在 6GB GPU 上運行 Qwen3-8B，但會有一定性能折衷。

舉個真實例子，我最初嘗試在 RTX 3080（10GB VRAM）上運行 Qwen3-14B，很快就遇到「CUDA 記憶體不足」錯誤。後來使用 4-bit 量化成功運行，但回應速度明顯變慢。後來升級到 RTX 4090（24GB VRAM），搭配 8-bit 量化，14B 模型運行得非常順暢。

僅用 CPU 選項？

技術上你可以只用 CPU 運行較小的 Qwen3 模型（0.6B，可能還有 1.7B），但……別期待奇蹟。我嘗試在沒有 GPU 加速的 Core i7 上運行 Qwen3-0.6B，生成一段簡單文字就花了近 45 秒，完全無法即時對話！

儲存空間需求

別忘了硬碟空間！你需要：

• 小型模型： 每個模型 2-5GB
• 中型模型： 每個模型 8-16GB
• 大型模型： 每個模型 30-60GB
• MoE 模型： 60-120GB 或更多

我建議使用 SSD 而非 HDD，以大幅縮短模型載入時間。我的第一次嘗試用舊機械硬碟載入 Qwen3-8B，等了將近 10 分鐘！

軟體前置條件

在安裝之前，請確保你已具備：

1. Python 3.10+：較新版本與現代機器學習庫相容性更佳
2. CUDA Toolkit：若使用 NVIDIA GPU，版本需 11.8+
3. 相容作業系統：推薦 Linux（Ubuntu 22.04+ 非常適合），Windows 也支援
4. Git：用於下載程式碼庫
5. 虛擬環境工具：Conda 或 venv 來管理依賴

方法一：使用 Ollama 運行 Qwen3（簡易路徑）

嘗試過多種方法後，我發現 Ollama 是最適合初學者快速上手本地 Qwen3 的方案。它抽象了許多複雜性，並提供了友善的 CLI 介面。

步驟 1：安裝 Ollama

首先，從他們的官方網站下載並安裝 Ollama，或使用終端機：

curl -fsSL https://ollama.com/install.sh | sh

Windows 使用者可從官網下載安裝程式。

步驟 2：運行 Qwen3 模型

最簡單的開始方式是執行：

ollama run qwen3:4b

此命令會執行以下操作：

1. 若模型尚未下載，則自動下載
2. 載入模型至記憶體
3. 啟動互動式聊天會話

你可以將 4b 替換為其他支援的版本：0.6b、1.7b、8b、14b、32b 或 30b-a3b。

我第一次運行時下載模型花了約 15 分鐘，請耐心等待！好消息是後續執行會快很多，因為模型已快取。

步驟 3：聊天與實驗

啟動後，你可以直接在終端機與模型對話。以下是我與模型的示例對話：

> Tell me about mixture-of-experts architecture in LLMs.

Mixture-of-Experts (MoE) is an architectural approach used in Large Language Models (LLMs) that improves efficiency by selectively activating only parts of the network for any given input.

In traditional "dense" transformer models, all parameters are used for every token processed. This is computationally expensive as models grow larger. MoE models address this by incorporating specialized sub-networks called "experts," along with a routing mechanism that determines which experts to activate for specific inputs.

For example, in Qwen3's MoE models (like Qwen3-30B-A3B and Qwen3-235B-A22B), each MoE layer contains 128 expert feed-forward networks, but only 8 are activated per token. This sparse activation pattern means that while the total parameter count might be 235B, only about 22B are used during inference for any given token.

This approach offers several benefits:
1. Computational efficiency - only a fraction of parameters are computed during inference
2. Capacity scaling - the model can have enormous total capacity while maintaining reasonable computation costs
3. Specialization - different experts can focus on different types of knowledge or tasks

The key components in an MoE layer include:
- Expert networks: Specialized feed-forward networks
- Router: A mechanism that decides which experts should process each token
- Gating function: Determines how to weight and combine the outputs from selected experts

This architecture has enabled the development of increasingly larger models without proportional increases in computational requirements.

不錯吧？在我的 RTX 4090 上，回應約 15 秒生成。

步驟 4：使用 API（可選）

Ollama 也會啟動本地伺服器（通常位於 http://localhost:11434），其 API 格式與 OpenAI 相容。這意味著你可以用 curl 或 Python 客戶端程式化互動。

以下是簡單的 Python 範例：

import requests

response = requests.post('http://localhost:11434/api/generate', 
                       json={
                           'model': 'qwen3:4b',
                           'prompt': 'Write a short poem about neural networks.',
                           'stream': False
                       })
print(response.json()['response'])

這讓你能輕鬆在本地 Qwen3 模型上構建應用。

方法二：使用 vLLM 運行 Qwen3（性能路徑）

如果你追求更高性能，尤其是用於類生產環境的模型服務，vLLM 是理想選擇。它針對吞吐量和延遲進行優化，採用 PagedAttention 等技術最大化 GPU 利用率。

我發現 vLLM 在正確配置後比 Ollama 快得多，但初期設定較為繁瑣。

步驟 1：安裝 vLLM

建議使用虛擬環境：

python -m venv venv
source venv/bin/activate  # Windows: venv\Scripts\activate

pip install -U vllm

請確保事先安裝好相容的 CUDA 驅動。

步驟 2：啟動 Qwen3 模型服務

這裡開始有趣了。啟動 Qwen3-7B 模型：

vllm serve Qwen/Qwen3-7B \
    --enable-reasoning \
    --reasoning-parser deepseek_r1

對於較大模型，可能無法放入單張 GPU，可使用張量並行：

vllm serve Qwen/Qwen3-30B-A3B \
    --enable-reasoning \
    --reasoning-parser deepseek_r1 \
    --tensor-parallel-size 2

--enable-reasoning 參數啟用 Qwen3 的混合思考能力，--reasoning-parser deepseek_r1 確保 vLLM 正確解析模型的思考格式。

令我驚訝的是，--reasoning-parser 參數非常重要，缺少它時模型回應有時會被截斷或出現奇怪格式。

步驟 3：與 vLLM 伺服器互動

啟動後，vLLM 會提供一個 API 伺服器（預設為 http://localhost:8000），遵循 OpenAI API 規範。你可以用 curl 互動：

curl http://localhost:8000/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "Qwen/Qwen3-7B",
        "prompt": "Explain quantum computing in simple terms",
        "max_tokens": 150,
        "temperature": 0.7
    }'

或使用 Python OpenAI 客戶端：

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="not-needed")

response = client.completions.create(
  model="Qwen/Qwen3-7B",
  prompt="Write a Python function to calculate factorial recursively",
  max_tokens=150
)
print(response.choices[0].text)

vLLM 的性能考量

我觀察到一些有趣的性能特性：

• 批次大小很重要：增加批次大小（例如 --max-batch-size 8）能顯著提升多請求的吞吐量。
• 首次請求熱身：伺服器啟動後的第一個請求通常較慢，因為模型正在熱身。
• 高效記憶體管理：vLLM 的 PagedAttention 機制讓它在處理長上下文時比我試過的其他框架更有效率。

量化：讓大型模型適配消費級硬體

我第一次嘗試運行 Qwen3-32B 時，電腦基本上告訴我「不行」。這時量化技術派上用場。

量化是降低模型權重精度，以犧牲少量準確度換取大幅減少記憶體使用。常見選項有：

• FP16（16 位元）：預設，準確度最高但 VRAM 使用最多
• INT8（8 位元）：VRAM 使用減半，品質損失極小
• INT4（4 位元）：VRAM 使用減少約 75%，品質有明顯但通常可接受的影響

在 Ollama 中使用量化

Ollama 會自動應用部分量化，但你也可以用 Modelfile 指定自訂設定：

# 建立名為 Modelfile 的檔案
FROM qwen3:14b
PARAMETER num_gpu_layers 35
PARAMETER quantization_method q4_0

然後建立並運行自訂量化模型：

ollama create qwen3-14b-quantized -f Modelfile
ollama run qwen3-14b-quantized

在 vLLM 中使用量化

vLLM 支援多種量化方法，透過命令列參數指定：

vllm serve Qwen/Qwen3-14B \
    --enable-reasoning \
    --reasoning-parser deepseek_r1 \
    --quantization awq

可選擇 awq、gptq 和 squeezellm。我發現 AWQ 在 Qwen3 模型上提供了最佳的壓縮與品質平衡。

實際性能：我的基準測試

我在自己的設備（RTX 4090、32GB RAM、Ryzen 9 5900X）上做了非正式基準，讓你了解實際表現：

模型	量化方式	每秒生成 Token 數	載入時間	最大上下文	VRAM 使用量
Qwen3-0.6B	無（FP16）	42.3	6 秒	32K	1.9 GB
Qwen3-4B	無（FP16）	28.7	18 秒	32K	9.2 GB
Qwen3-4B	4-bit (Q4_0)	26.1	12 秒	32K	3.4 GB
Qwen3-14B	8-bit (AWQ)	15.2	45 秒	128K	11.3 GB
Qwen3-14B	4-bit (GPTQ)	12.8	38 秒	128K	7.1 GB

這些數據基於 vLLM，實際表現會因硬體和任務而異。

有趣的是，我發現對於某些創意寫作和程式碼生成任務，即使是 4-bit 量化模型表現也相當出色。但在複雜推理任務中，4-bit 量化的品質下降會更明顯。

進階功能：混合思考模式

Qwen3 最吸引人的功能之一是其混合思考能力，你可以在互動中控制它。

使用 Ollama，你可以在提示中加入特殊標籤：

/think I need to solve this step by step. What's the derivative of f(x) = x^3 * ln(x)?

這會觸發模型使用內部推理模式。

在 vLLM 中，--enable-reasoning 參數會在伺服器層級啟用此功能，但你仍可透過提示格式控制。

我發現思考模式對數學問題和邏輯推理特別有用，模型能先逐步說明思路，再給出答案。

常見問題排解

在使用 Qwen3 的過程中，我遇到並最終解決了幾個常見問題：

CUDA 記憶體不足錯誤

問題： 出現「CUDA out of memory」或「RuntimeError: CUDA error: out of memory」
解決方案： 嘗試：

1. 使用更激進的量化方法
2. 減少批次大小或上下文長度
3. 在執行間清理 CUDA 快取：torch.cuda.empty_cache()

我反覆遇到這問題，直到發現必須關閉其他佔用 GPU 的應用（是的，包括背景中開啟 WebGL 的 Chrome 分頁！）。

首次推理速度慢

問題： 第一次查詢比後續慢很多
解決方案： 這是正常現象！模型正在載入與優化，後續查詢會更快。

輸出格式怪異

問題： 輸出含有奇怪格式或被截斷
解決方案： vLLM 確保使用正確的 --reasoning-parser 參數；Ollama 則檢查提示格式。

安裝失敗

問題： 特別是 vLLM 的庫安裝錯誤
解決方案： 確認 CUDA 版本相容，使用 Python 3.10+。Linux 可能需要額外系統庫：

sudo apt-get install python3-dev

結論：本地運行 Qwen3 值得嗎？

經過數週在本地硬體上探索 Qwen3，我的答案是肯定的——但有些前提。

本地運行這些模型讓你擁有前所未有的控制權、隱私保障，以及在自己機器上運行尖端 AI 的成就感。Qwen 團隊在讓這些模型更易取得方面做了卓越工作，而 Ollama 和 vLLM 等工具也讓本地部署越來越親民。

不過，這確實需要不錯的硬體，尤其是如果你想在不大量量化的情況下運行大型模型。對多數用戶來說，最佳選擇可能是搭配適度量化，在消費級 GPU（如 RTX 3080 或更好）上運行 Qwen3-4B 或 Qwen3-8B。

如果你剛開始，我建議：

1. 先用 Ollama 以簡化流程
2. 從較小模型（0.6B、1.7B、4B）開始嘗試
3. 嘗試量化找到最佳平衡
4. 需要更高性能時再轉向 vLLM

本地 AI 部署的生態正快速演進，過去一年看似不可能的事，如今已能在消費級硬體上實現。隨著優化技術持續進步，我預期未來運行更大型模型會越來越容易。

你有嘗試過本地運行 Qwen3 或其他大型語言模型嗎？歡迎分享你的經驗和發現的技巧！

---

常見問題集：解答你對 Qwen3 本地部署的疑問

我能在 AMD GPU 上運行 Qwen3 嗎？

可以，但有限制。像 ROCm 這類庫支援 AMD GPU，但相容性和性能可能差異很大。我本人沒測試過，但社群反饋表示可行，但比 NVIDIA GPU 更具挑戰性。

所有 Qwen3 模型加起來需要多少硬碟空間？

如果你想本地運行所有版本（不常見），大約需要 250-300GB 硬碟空間。大多數用戶只需下載特定模型，通常佔用 5-60GB，視大小而定。

我能在本地微調 Qwen3 嗎？

可以，但比推理需要更多資源。對較小模型（最高 4B）而言，使用 LoRA 或 QLoRA 在消費級硬體上微調是可行的。較大模型則需更強大硬體。

Qwen3 模型與其他開源模型如 Llama 3 或 Mistral 比較如何？

根據我的測試，Qwen3 在多語言任務和推理能力上表現優異。它們與同規模的其他模型相當，各有在不同領域的優勢。

本地部署適合用於生產環境嗎？

可以，尤其是搭配 vLLM 的優化，但需仔細考慮可靠性、擴展性與監控。若用於嚴肅生產，建議實施完善的錯誤處理、監控，並可能在多台伺服器間做負載平衡。