Saltar al contenido principal

Cómo Ejecutar OpenAI GPT-OSS-120B Localmente: Una Guía Detallada

BlogsGPT-OSS-120BLocal DeploymentOpenAIAI ModelsHardware RequirementsGPU InferenceNvidia H100vLLMNorthflankOptimizationEnterprise AIData SovereigntyAlrededor de 4 min

Cómo Ejecutar OpenAI GPT-OSS-120B Localmente: Una Guía Detallada

GPT-OSS-120B de OpenAI es un modelo de lenguaje grande de pesos abiertos revolucionario con aproximadamente 117 mil millones de parámetros (5.1 mil millones activos), diseñado para ofrecer potentes capacidades de razonamiento y agentes, incluyendo ejecución de código y salidas estructuradas. A diferencia de modelos masivos que requieren múltiples GPUs, GPT-OSS-120B puede ejecutarse eficientemente en una sola GPU Nvidia H100, haciendo que el despliegue local sea más accesible para organizaciones y usuarios avanzados que buscan privacidad, baja latencia y control.

Este artículo sintetiza el conocimiento más reciente y pasos prácticos a agosto de 2025 para ayudarte a ejecutar GPT-OSS-120B localmente, incluyendo requisitos de hardware, opciones de instalación, despliegue en contenedores y técnicas de optimización.

¿Por qué Ejecutar GPT-OSS-120B Localmente?

  • Soberanía total de datos: Los datos nunca salen de tu entorno local, crítico para aplicaciones sensibles.
  • Control de costos: Evita costos continuos de API en la nube y límites de tasa.
  • Alto rendimiento: Arquitectura optimizada que permite alta calidad de razonamiento en una sola GPU de clase datacenter.
  • Personalización: Ajusta finamente el modelo o crea agentes autónomos avanzados con control total.

Requisitos de Hardware y Software

ComponenteMínimoRecomendado
GPUNvidia H100 GPU (40GB+)Nvidia H100 (1 o más GPUs idealmente)
RAM del sistema≥ 32GB RAM64GB+ para multitarea fluida
Almacenamiento≥ 200GB NVMe SSDNVMe rápido para cachear pesos del modelo
CPUMulti-core moderno8+ núcleos recomendados
SOLinux (preferido)Linux para mejor soporte de drivers y Docker

Debido al gran tamaño del modelo, GPUs de consumo con <40GB VRAM (por ejemplo, RTX 3090 o 4090) generalmente no pueden ejecutar GPT-OSS-120B localmente sin descarga significativa o paralelismo de modelo. El modelo fue diseñado explícitamente para GPUs clase H100.

Características Oficiales del Modelo

  • Tamaño del modelo: 117 mil millones de parámetros, con 5.1 mil millones activos habilitados por la esparsidad Mixture-of-Experts (MoE).
  • Cuantización: Entrenado con precisión MXFP4 nativa en capas MoE para eficiencia de memoria y cómputo.
  • Compatibilidad de software: Compatible con Hugging Face Transformers, vLLM y formato API OpenAI Harmony.
  • Licencia: Permisiva Apache 2.0 — adecuada para experimentación, personalización y proyectos comerciales.

Guía Paso a Paso para Ejecutar GPT-OSS-120B Localmente

1. Despliegue Usando Contenedores GPU en Northflank Cloud

Northflank ofrece una forma confiable de autoalojar GPT-OSS-120B en contenedores con GPU, especialmente si tienes acceso a GPUs Nvidia H100.

Procedimiento:

  • Crea una cuenta en Northflank y comienza un proyecto habilitado para GPU, seleccionando GPUs H100 en una región soportada.
  • Crea un nuevo servicio usando la imagen Docker externa vllm/vllm-openai:gptoss.
  • Establece una variable de entorno en tiempo de ejecución OPENAI_API_KEY con una cadena aleatoria segura (longitud ≥128).
  • Expón el puerto 8000 con protocolo HTTP para acceso a la API.
  • Selecciona un plan de hardware con 2 GPUs Nvidia H100 para inferencia óptima.
  • Adjunta un volumen de almacenamiento persistente de ≥200GB montado en /root/.cache/huggingface para cachear descargas del modelo y evitar re-descargas al redeplegar.
  • Despliega el servicio; inicialmente ejecuta un comando sleep (sleep 1d) para levantar el contenedor sin cargar el modelo inmediatamente.

Esta configuración soporta endpoints compatibles con OpenAI y maneja la pesada carga del modelo en GPUs optimizadas.

2. Ejecución Local en Máquina con GPU de Clase Empresarial

Si tienes un servidor físico o estación de trabajo equipada con GPU(s) Nvidia H100, puedes ejecutar GPT-OSS-120B usando los códigos oficiales de OpenAI y herramientas de Hugging Face.

  • Instala dependencias:
pip install torch transformers vllm accelerate
  • Descarga o cachea los pesos del modelo:
git lfs install
git clone https://huggingface.co/openai/gpt-oss-120b
  • Ejecuta inferencia vía vLLM o código personalizado:
vllm serve openai/gpt-oss-120b

O en Python:

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained("openai/gpt-oss-120b")
model = AutoModelForCausalLM.from_pretrained("openai/gpt-oss-120b").cuda()

prompt = "Explain how to run GPT-OSS-120B locally"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

outputs = model.generate(**inputs, max_new_tokens=150)
print(tokenizer.decode(outputs, skip_special_tokens=True))
  • Usa torchrun o la utilidad accelerate para paralelismo multi-GPU si es necesario.

3. Ejecución vía Azure AI Foundry

Microsoft Azure AI Foundry soporta GPT-OSS-120B en su plataforma gestionada de GPUs empresariales.

  • Proporciona herramientas CLI y UI para instanciar endpoints respaldados por GPU.
  • Permite ejecutar GPT-OSS-120B en una sola GPU empresarial con despliegue de baja latencia y optimizado para ancho de banda.
  • Soporta dispositivos Windows y pronto ofrecerá soporte para MacOS con Foundry Local.

Esta es una buena opción híbrida para organizaciones que requieren infraestructura gestionada junto con uso local on-prem.

Mejores Prácticas de Optimización

  • Usa precisión mixta AMP (FP16) en GPUs como Nvidia H100 para reducir consumo de memoria y aumentar rendimiento.
  • Usa volúmenes de almacenamiento persistente para cachear modelos y evitar descargas repetidas al usar contenedores.
  • Ajusta parámetros de inferencia como esfuerzo de razonamiento configurable (bajo, medio, alto) para balancear latencia y calidad de salida.
  • Aprovecha inferencia por lotes y endpoints compatibles con API para integrar múltiples solicitudes concurrentes eficientemente.
  • Mantén drivers (por ejemplo, Nvidia CUDA 12.8+) y librerías actualizadas para compatibilidad y rendimiento.

Conclusión

Ejecutar OpenAI GPT-OSS-120B localmente es factible hoy en día—principalmente en GPUs Nvidia H100 individuales o hardware empresarial equivalente—y está soportado por ecosistemas de software maduros como vLLM, Hugging Face Transformers y plataformas de contenedores como Northflank. Para organizaciones o entusiastas con acceso a estos recursos, GPT-OSS-120B ofrece capacidades y razonamiento incomparables en un entorno autoalojado.

Si no cuentas con GPUs clase H100, el modelo más pequeño GPT-OSS-20B podría ser una alternativa más práctica para ejecuciones locales en GPUs de consumo.

Para flujos de trabajo asistidos por nube o híbridos, Azure AI Foundry ofrece una excelente plataforma gestionada para desplegar GPT-OSS-120B con facilidad.

Para quienes estén interesados en soluciones API e infraestructura que complementen el despliegue local, servicios como LightNode ofrecen interfaces escalables basadas en la nube para modelos abiertos.

Ahorra en alojamiento VPS económico