Cuánta VRAM necesitas para IA local
Una tabla para decidir sin comprar de más: qué modelo cabe en 8, 12, 16, 24 o 48 GB y cómo comprobarlo en tu equipo.
En esta página
La pregunta llega siempre igual: ¿me vale una GPU de 8 GB para IA local? La respuesta corta es que depende de tres cosas: el tamaño del modelo, la cuantización y el contexto. La respuesta útil es esta tabla.
La cuenta rápida
La memoria que ocupa un modelo se reparte en tres bloques:
VRAM ≈ pesos + contexto + margen del sistemaLos pesos son el modelo en sí. Se calculan multiplicando los parámetros por los bytes que ocupa cada uno según la cuantización:
| Cuantización | 7B | 32B |
|---|---|---|
| Q4 | ~4 GB | ~18 GB |
| Q5 | ~4,5 GB | ~21 GB |
| Q6 | ~5,5 GB | ~24 GB |
| Q8 | ~7 GB | ~32 GB |
| FP16 | ~14 GB | ~64 GB |
En Q4, el formato que usa casi todo el mundo, un 7B ocupa unos 4 GB y un 32B unos 18 GB. A partir de ahí suma el contexto y el margen del runtime: entre 2 y 6 GB más según lo que vayas a hacer.
Qué modelo cabe en cada GPU
Estas cifras asumen Q4, un solo usuario y un contexto normal. Son rangos, no promesas.
| VRAM | Cómodo | Al límite |
|---|---|---|
| 8 GB | 7-8B en Q4, contexto de 4-8k | 14B en Q3 |
| 12 GB | 13-14B en Q4 | 8B en Q6 |
| 16 GB | 14B en Q5, 24B en Q4 con contexto corto | 30B en Q4 |
| 24 GB | 30-32B en Q4, 14B en Q8 | 70B, no |
| 48 GB | 70B en Q4 | — |
Si trabajas con documentos largos, visión o varias peticiones a la vez, sube un escalón. El contexto no perdona.
Lo que casi nadie calcula
- Contexto largo. Cada token ocupa memoria. Un contexto de 32k puede sumar varios GB por sí solo.
- Visión y audio. Los modelos multimodales añaden codificadores y buffers temporales.
- El resto del sistema. En Windows, navegador y escritorio se llevan 1-2 GB de la GPU sin avisar.
- El offloading. Si el modelo no cabe, el runtime tira de RAM. Arranca, pero va mucho más lento. Mira siempre la memoria dedicada, no la compartida.
Cómo comprobarlo en tu equipo
Carga el modelo con el contexto que vas a usar de verdad y mira si el runtime reporta offloading. En Ollama, ollama ps indica cuánto ocupa y si está entero en GPU. En LM Studio, el panel de recursos muestra el reparto. En NVIDIA, nvidia-smi da la memoria usada.
Si hay offloading, tienes tres salidas: bajar de cuantización, reducir contexto o elegir un modelo más pequeño. En ese orden.
Qué comprar sin arrepentirte
La tentación es comprar para el modelo más grande que podrías llegar a probar. Casi siempre es un error.
Compra para lo que vas a ejecutar a diario. Si tu uso son modelos de 7-8B, con 8-12 GB vas sobrado. Si quieres trabajar con 30B sin sustos, 24 GB es la cifra. Y si necesitas 70B de forma habitual, prepárate para 48 GB o para aceptar una velocidad mucho menor.
Antes de gastar, mide. Un modelo pequeño bien ajustado suele dar más valor que uno grande que no cabe.
Dudas
Preguntas frecuentes
¿Con 8 GB de VRAM puedo empezar?
Sí. Da para modelos de 7-8B en Q4 con contexto moderado, que es donde empieza casi todo el mundo. No esperes mover un 30B con fluidez.
¿16 GB alcanzan para un modelo de 30B?
En Q4 y con contexto corto, sí, pero va justo. En cuanto alargas el contexto o abres varias conversaciones, parte del modelo pasa a RAM y la velocidad cae.
¿Merece la pena bajar de cuantización para que quepa?
Para probar, sí. Para trabajar a diario, Q4 es el suelo razonable. Por debajo se nota en tareas exigentes como programación o análisis de textos largos.