OpenAI 的 GPT-OSS-120B 是一款突破性的開放權重大型語言模型，擁有約 1170 億參數（其中 51 億為活躍參數），設計用於提供強大的推理和代理能力，包括程式碼執行與結構化輸出。與需要多張 GPU 的龐大模型不同，GPT-OSS-120B 能夠在單張 Nvidia H100 GPU 上高效運行，使得本地部署對於追求隱私、低延遲和掌控權的組織與高階用戶更加可行。

本文綜合了截至 2025 年 8 月的最新知識與實務步驟，幫助您本地運行 GPT-OSS-120B，包括硬體需求、安裝選項、容器化部署與優化技巧。

---

為什麼要本地運行 GPT-OSS-120B？