メインコンテンツへスキップ

OpenAI GPT-OSS-120Bをローカルで実行する方法：詳細ガイド

BlogsGPT-OSS-120BLocal DeploymentOpenAIAI ModelsHardware RequirementsGPU InferenceNvidia H100vLLMNorthflankOptimizationEnterprise AIData Sovereignty約3分

OpenAI GPT-OSS-120Bをローカルで実行する方法：詳細ガイド

OpenAIのGPT-OSS-120Bは約1170億パラメータ（うち51億がアクティブ）を持つ画期的なオープンウェイトの大規模言語モデルで、コード実行や構造化出力を含む強力な推論能力とエージェント機能を備えています。複数GPUを必要とする巨大モデルとは異なり、GPT-OSS-120Bは単一のNvidia H100 GPUで効率的に動作可能であり、プライバシー、低遅延、制御を求める組織や上級ユーザーにとってローカル展開をより身近なものにしています。

本記事では、2025年8月時点の最新知見と実践的手順をまとめ、ハードウェア要件、インストールオプション、コンテナ化展開、最適化技術を含めてGPT-OSS-120Bをローカルで動かす方法を解説します。

なぜGPT-OSS-120Bをローカルで実行するのか？

  • 完全なデータ主権: データがローカル環境から一切出ないため、機密性の高い用途に不可欠。
  • コスト管理: クラウドAPIの継続的なコストやレート制限を回避。
  • 高性能: 最適化されたアーキテクチャにより、単一のデータセンター級GPUで高品質な推論を実現。
  • カスタマイズ性: モデルのファインチューニングや高度な自律エージェントの構築を完全に制御可能。

ハードウェアおよびソフトウェア要件

コンポーネント最低要件推奨要件
GPUNvidia H100 GPU (40GB以上)Nvidia H100（理想的には1台以上）
システムRAM32GB以上64GB以上でマルチタスクも快適
ストレージ200GB以上のNVMe SSD高速NVMeでモデルウェイトのキャッシュ用
CPU最新のマルチコア8コア以上推奨
OSLinux（推奨）ドライバとDockerサポートのためLinux推奨

モデルサイズが大きいため、40GB未満のVRAMを持つ一般消費者向けGPU（例：RTX 3090や4090）では、オフロードやモデル並列化なしにGPT-OSS-120Bをローカルで実行することは基本的に困難です。本モデルはH100クラスGPU向けに設計されています。

公式モデルの特徴

  • モデルサイズ: 1170億パラメータ、うちMixture-of-Experts（MoE）スパース性により51億パラメータがアクティブ。
  • 量子化: MoE層にネイティブなMXFP4精度でトレーニングされ、メモリと計算効率を最適化。
  • ソフトウェア互換性: Hugging Face Transformers、vLLM、OpenAI Harmony APIフォーマットに対応。
  • ライセンス: 寛容なApache 2.0ライセンスで、実験、カスタマイズ、商用プロジェクトに適合。

GPT-OSS-120Bをローカルで実行するステップバイステップガイド

1. NorthflankのクラウドGPUコンテナを使った展開

Northflankは、特にNvidia H100 GPUを利用できる場合に、GPU対応コンテナでGPT-OSS-120Bをセルフホストする信頼性の高い方法を提供します。

手順:

  • Northflankアカウントを作成し、対応リージョンでH100 GPUを選択してGPU対応プロジェクトを開始。
  • 外部Dockerイメージ vllm/vllm-openai:gptoss を使って新しいサービスを作成。
  • ランタイム環境変数 OPENAI_API_KEY に安全なランダム文字列（長さ128以上）を設定。
  • APIアクセス用にポート8000をHTTPプロトコルで公開。
  • 推論に最適な2台のNvidia H100 GPUを含むハードウェアプランを選択。
  • モデルダウンロードのキャッシュ用に200GB以上の永続ストレージボリュームを /root/.cache/huggingface にマウント。
  • サービスをデプロイし、最初はモデルを即時ロードせずにコンテナを起動するために sleep 1d コマンドを実行。

この構成はOpenAI互換のエンドポイントをサポートし、最適化されたGPU上での重いモデルロードを処理します。

2. エンタープライズクラスGPUマシンでのローカル実行

Nvidia H100 GPU搭載の物理サーバーやワークステーションをお持ちの場合、OpenAI公式コードベースとHugging Faceツールを使ってGPT-OSS-120Bを実行可能です。

  • 依存関係のインストール:
pip install torch transformers vllm accelerate
  • モデルウェイトのダウンロードまたはキャッシュ:
git lfs install
git clone https://huggingface.co/openai/gpt-oss-120b
  • vLLMやカスタムコードで推論を実行:
vllm serve openai/gpt-oss-120b

またはPythonで:

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained("openai/gpt-oss-120b")
model = AutoModelForCausalLM.from_pretrained("openai/gpt-oss-120b").cuda()

prompt = "Explain how to run GPT-OSS-120B locally"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

outputs = model.generate(**inputs, max_new_tokens=150)
print(tokenizer.decode(outputs, skip_special_tokens=True))
  • 必要に応じて torchrun や accelerate ユーティリティでマルチGPU並列処理を利用。

3. Azure AI Foundryを使った実行

Microsoft Azure AI Foundryは、管理されたエンタープライズGPUプラットフォーム上でGPT-OSS-120Bをサポートしています。

  • GPU対応エンドポイントをCLIツールやUIで簡単に立ち上げ可能。
  • 単一のエンタープライズGPUで低遅延かつ帯域幅最適化された展開を実現。
  • Windowsデバイスをサポートし、近くFoundry LocalでMacOS対応も予定。

オンプレミス利用と管理インフラを組み合わせたい組織に適したハイブリッドアプローチです。

最適化のベストプラクティス

  • Nvidia H100などのGPUで**AMP混合精度（FP16）**を使い、メモリ消費を削減しスループットを向上。
  • コンテナ利用時は永続ストレージボリュームでモデルをキャッシュし、再ダウンロードを回避。
  • 推論パラメータの**推論努力レベル（低・中・高）**を調整し、遅延と出力品質のバランスを最適化。
  • バッチ推論やAPI互換エンドポイントを活用し、複数同時リクエストを効率的に処理。
  • ドライバ（例：Nvidia CUDA 12.8以上）やライブラリを最新に保ち、互換性と性能を維持。

まとめ

OpenAI GPT-OSS-120Bをローカルで実行することは、主に単一のNvidia H100 GPUまたは同等のエンタープライズハードウェア上で現実的に可能であり、vLLM、Hugging Face Transformers、Northflankのような成熟したソフトウェアエコシステムによりサポートされています。これらのリソースを持つ組織や愛好家にとって、GPT-OSS-120Bはセルフホスト環境で比類なき推論能力と機能を提供します。

H100クラスGPUを持たない場合は、より小型のGPT-OSS-20Bが消費者向けGPUでのローカル実行に現実的な代替となるでしょう。

クラウド支援やハイブリッドワークフローには、Azure AI FoundryがGPT-OSS-120Bを簡単に展開できる優れた管理プラットフォームを提供します。

ローカル展開を補完するAPIやインフラソリューションに興味がある方は、LightNodeのようなスケーラブルなクラウドベースのオープンモデルインターフェースもご検討ください。

節約するVPSホスティング