본문으로 건너뛰기

OpenAI GPT-OSS-120B를 로컬에서 실행하는 방법: 상세 가이드

BlogsGPT-OSS-120BLocal DeploymentOpenAIAI ModelsHardware RequirementsGPU InferenceNvidia H100vLLMNorthflankOptimizationEnterprise AIData Sovereignty약 1 분

OpenAI GPT-OSS-120B를 로컬에서 실행하는 방법: 상세 가이드

OpenAI의 GPT-OSS-120B는 약 1170억 파라미터(활성 파라미터 51억)를 가진 획기적인 오픈 웨이트 대형 언어 모델로, 코드 실행과 구조화된 출력 등 강력한 추론 및 에이전트 기능을 제공합니다. 다중 GPU가 필요한 거대 모델과 달리, GPT-OSS-120B는 단일 Nvidia H100 GPU에서 효율적으로 실행할 수 있어, 프라이버시, 저지연, 제어를 원하는 조직과 고급 사용자에게 로컬 배포를 보다 쉽게 만듭니다.

이 글은 2025년 8월 기준 최신 지식과 실용적인 단계를 종합하여, 하드웨어 요구사항, 설치 옵션, 컨테이너화 배포, 최적화 기법 등을 포함해 GPT-OSS-120B를 로컬에서 실행하는 방법을 안내합니다.

왜 GPT-OSS-120B를 로컬에서 실행해야 할까?

  • 완전한 데이터 주권: 데이터가 로컬 환경을 벗어나지 않아 민감한 애플리케이션에 필수적입니다.
  • 비용 통제: 지속적인 클라우드 API 비용과 속도 제한을 피할 수 있습니다.
  • 고성능: 최적화된 아키텍처로 단일 데이터센터급 GPU에서 높은 추론 품질을 제공합니다.
  • 맞춤화: 모델을 미세 조정하거나 완전한 제어 하에 고급 자율 에이전트를 구축할 수 있습니다.

하드웨어 및 소프트웨어 요구사항

구성 요소최소 사양권장 사양
GPUNvidia H100 GPU (40GB 이상)Nvidia H100 (1개 이상 권장)
시스템 RAM32GB 이상원활한 멀티태스킹을 위한 64GB 이상
스토리지200GB 이상 NVMe SSD모델 가중치 캐싱을 위한 빠른 NVMe
CPU최신 멀티코어8코어 이상 권장
운영체제Linux (권장)드라이버 및 Docker 지원을 위한 Linux

모델 크기가 매우 크기 때문에, 40GB VRAM 미만의 소비자용 GPU(예: RTX 3090 또는 4090)는 상당한 오프로딩이나 모델 병렬화 없이는 GPT-OSS-120B를 로컬에서 실행하기 어렵습니다. 이 모델은 명확히 H100급 GPU를 위해 설계되었습니다.

공식 모델 특성

  • 모델 크기: 1170억 파라미터, Mixture-of-Experts(MoE) 희소성으로 활성 파라미터는 51억.
  • 양자화: MoE 레이어에 특화된 MXFP4 정밀도로 메모리 및 연산 효율성 향상.
  • 소프트웨어 호환성: Hugging Face Transformers, vLLM, OpenAI Harmony API 포맷과 호환.
  • 라이선스: 실험, 맞춤화, 상업 프로젝트에 적합한 관대한 Apache 2.0.

GPT-OSS-120B 로컬 실행 단계별 가이드

1. Northflank 클라우드 GPU 컨테이너로 배포하기

Northflank는 Nvidia H100 GPU 접근이 가능한 경우 GPU 지원 컨테이너에서 GPT-OSS-120B를 자체 호스팅할 수 있는 신뢰할 만한 방법을 제공합니다.

절차:

  • Northflank 계정을 만들고 GPU 지원 프로젝트를 시작하며, 지원되는 지역에서 H100 GPU를 선택합니다.
  • 외부 Docker 이미지 vllm/vllm-openai:gptoss를 사용해 새 서비스를 생성합니다.
  • 런타임 환경 변수 OPENAI_API_KEY를 길이 128 이상인 안전한 임의 문자열로 설정합니다.
  • API 접근을 위해 HTTP 프로토콜로 포트 8000을 노출합니다.
  • 최적 추론을 위해 2개의 Nvidia H100 GPU 하드웨어 플랜을 선택합니다.
  • 모델 다운로드 캐시를 위해 /root/.cache/huggingface에 ≥200GB 영구 스토리지 볼륨을 연결합니다.
  • 서비스를 배포하고, 초기에는 모델을 즉시 로드하지 않고 컨테이너를 띄우기 위해 sleep 1d 명령을 실행합니다.

이 설정은 OpenAI 호환 엔드포인트를 지원하며, 최적화된 GPU에서 무거운 모델 로딩을 처리합니다.

2. 엔터프라이즈급 GPU 머신에서 로컬 실행

Nvidia H100 GPU가 장착된 물리 서버나 워크스테이션이 있다면, 공식 OpenAI 코드베이스와 Hugging Face 도구를 사용해 GPT-OSS-120B를 실행할 수 있습니다.

  • 필수 패키지 설치:
pip install torch transformers vllm accelerate
  • 모델 가중치 다운로드 또는 캐시:
git lfs install
git clone https://huggingface.co/openai/gpt-oss-120b
  • vLLM 또는 커스텀 코드로 추론 실행:
vllm serve openai/gpt-oss-120b

또는 Python에서:

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained("openai/gpt-oss-120b")
model = AutoModelForCausalLM.from_pretrained("openai/gpt-oss-120b").cuda()

prompt = "Explain how to run GPT-OSS-120B locally"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

outputs = model.generate(**inputs, max_new_tokens=150)
print(tokenizer.decode(outputs, skip_special_tokens=True))
  • 필요 시 torchrun 또는 accelerate 유틸리티로 다중 GPU 병렬 처리 가능.

3. Azure AI Foundry를 통한 실행

Microsoft Azure AI Foundry는 관리형 엔터프라이즈 GPU 플랫폼에서 GPT-OSS-120B를 지원합니다.

  • GPU 기반 엔드포인트를 생성하는 CLI 도구와 UI 제공.
  • 단일 엔터프라이즈 GPU에서 저지연, 대역폭 최적화 배포 가능.
  • Windows 장치를 지원하며 곧 Foundry Local을 통한 MacOS 지원 예정.

로컬 온프레미스 사용과 관리형 인프라가 필요한 조직에 적합한 하이브리드 접근법입니다.

최적화 모범 사례

  • Nvidia H100 같은 GPU에서 AMP 혼합 정밀도(FP16) 사용으로 메모리 사용량 감소 및 처리량 증가.
  • 컨테이너 사용 시 영구 스토리지 볼륨으로 모델 캐시하여 반복 다운로드 방지.
  • 추론 파라미터 중 조정 가능한 추론 노력(낮음, 중간, 높음)으로 지연 시간과 출력 품질 균형 조절.
  • 배치 추론 및 API 호환 엔드포인트 활용으로 다중 동시 요청 효율적 처리.
  • 드라이버(예: Nvidia CUDA 12.8+) 및 라이브러리를 최신 상태로 유지하여 호환성과 성능 확보.

결론

OpenAI GPT-OSS-120B를 로컬에서 실행하는 것은 현재 단일 Nvidia H100 GPU 또는 동급 엔터프라이즈 하드웨어에서 가능하며, vLLM, Hugging Face Transformers, Northflank 같은 성숙한 소프트웨어 생태계가 이를 지원합니다. 이러한 자원을 보유한 조직이나 열정적인 사용자는 자체 호스팅 환경에서 뛰어난 추론력과 기능을 경험할 수 있습니다.

H100급 GPU가 없다면, 소비자용 GPU에서 보다 실용적인 대안인 GPT-OSS-20B가 로컬 실행에 적합할 수 있습니다.

클라우드 지원 또는 하이브리드 워크플로우를 원한다면, Azure AI Foundry가 GPT-OSS-120B를 손쉽게 배포할 수 있는 훌륭한 관리형 플랫폼을 제공합니다.

로컬 배포를 보완하는 API 및 인프라 솔루션에 관심이 있다면, LightNode 같은 서비스가 오픈 모델에 대한 확장 가능한 클라우드 기반 인터페이스를 제공합니다.

저렴한 VPS 호스팅으로 절약하세요