La cuantización de modelos de IA es una técnica que representa sus pesos —y, según el método, también sus activaciones— con menos bits. Sirve para reducir memoria, almacenamiento y tráfico de datos durante la inferencia. En 2022, los equipos de Tim Dettmers y Elias Frantar publicaron LLM.int8 y GPTQ, dos métodos que llevaron esta compresión a modelos de hasta 175.000 millones de parámetros. El cambio importa porque permite ejecutar sistemas grandes en menos GPU, aunque el archivo reducido puede perder precisión.
La cuenta básica muestra la ventaja antes de cualquier benchmark. Los pesos de un modelo de 8.000 millones de parámetros ocupan unos 16 GB si cada uno se guarda en 16 bits, cerca de 8 GB en 8 bits y unos 4 GB en 4 bits. Son valores teóricos para los pesos: al ejecutar el modelo también hacen falta memoria para activaciones, búferes del programa y la caché que conserva los tokens anteriores. Cuantizar achica la pieza principal, no toda la computadora.
Qué es la cuantización de modelos de IA y para qué sirve
Durante el entrenamiento, un modelo aprende miles de millones de valores numéricos. Esos pesos determinan cuánto influye una señal sobre otra dentro de cada capa. Guardarlos como números de coma flotante de 32 o 16 bits ofrece un rango amplio de valores posibles; la cuantización los aproxima mediante un conjunto mucho menor de niveles, por ejemplo enteros de 8 bits.
El procedimiento necesita una escala que traduzca los valores originales a esa grilla reducida. También puede usar un punto cero y dividir una matriz en grupos, cada uno con su propia escala. La operación se parece a redondear, pero está diseñada para que los errores pequeños no se acumulen justo donde más dañan la salida.
La aplicación más directa es la inferencia local o en servidores con memoria limitada. Si una GPU no puede cargar todos los pesos, parte del cálculo debe repartirse entre dispositivos o pasar a una memoria más lenta. Un modelo cuantizado puede entrar completo en el hardware disponible y evitar ese traslado. Eso no garantiza que responda más rápido: la mejora depende de que el procesador y las bibliotecas tengan operaciones eficientes para ese formato.
La técnica interviene sobre los números internos de un modelo de lenguaje grande; no reduce por sí misma la cantidad de capas, parámetros ni datos usados durante el entrenamiento. Tampoco amplía la ventana de contexto de una IA, cuya memoria de ejecución crece con la longitud de la conversación.
El problema de redondear todos los valores por igual
Una conversión ingenua a 8 bits puede destruir información importante. LLM.int8, publicado el 15 de agosto de 2022 por Dettmers, Mike Lewis, Younes Belkada y Luke Zettlemoyer, encontró dimensiones con valores atípicos de gran magnitud en transformers grandes. Si toda una matriz comparte la escala necesaria para incluir esos extremos, quedan pocos niveles disponibles para distinguir los valores pequeños.
Su solución fue de precisión mixta: más del 99,9% de los valores se multiplica en 8 bits, mientras las dimensiones atípicas se calculan en 16 bits. En las pruebas del trabajo, el método conservó el rendimiento de 16 bits desde modelos de 125 millones hasta 175.000 millones de parámetros. La documentación de Hugging Face resume su efecto práctico: cargar pesos en 8 bits reduce aproximadamente a la mitad la memoria frente a 16 bits.
La lección excede a ese algoritmo. “Ocho bits” describe la cantidad de niveles disponibles, pero no explica cómo se eligieron las escalas, qué partes quedaron en mayor precisión ni qué operaciones soporta el hardware. Dos archivos con el mismo número de bits pueden arrojar resultados distintos.
GPTQ llevó la compresión a tres y cuatro bits
GPTQ apareció el 31 de octubre de 2022, firmado por Frantar, Saleh Ashkboos, Torsten Hoefler y Dan Alistarh. Es un método de cuantización posterior al entrenamiento: toma un modelo ya entrenado y ajusta el redondeo de los pesos usando información aproximada sobre el efecto de cada cambio. No vuelve a entrenar el sistema desde cero.
El artículo informó que un modelo de 175.000 millones de parámetros podía cuantizarse a tres o cuatro bits en unas cuatro horas de GPU. En el experimento, las versiones comprimidas lograron aceleraciones de inferencia de alrededor de 3,25 veces en una NVIDIA A100 y 4,5 veces en una A6000 frente a FP16. Esos números pertenecen a esa implementación y a ese hardware; no son una promesa universal para cualquier modelo o computadora.
En 2023, QLoRA extendió la idea al ajuste de modelos. El trabajo de Dettmers, Artidoro Pagnoni, Ari Holtzman y Zettlemoyer mantuvo congelada una base cuantizada en cuatro bits y entrenó adaptadores pequeños. Así ajustaron un modelo de 65.000 millones de parámetros en una sola GPU de 48 GB. El estudio evaluó más de 1.000 modelos sobre ocho conjuntos de instrucciones y presentó NF4, un formato de cuatro bits adaptado a pesos con distribución aproximadamente normal.
Menos memoria no equivale a la misma calidad
Toda cuantización introduce aproximaciones. La pérdida puede ser mínima en una tarea y visible en otra; suele crecer al bajar de ocho a cuatro, tres o dos bits. También influyen el tamaño del grupo, el conjunto usado para calibrar, qué capas permanecen en precisión alta y si se cuantizan sólo los pesos o también las activaciones.
Por eso la elección debería empezar por una restricción concreta. Ocho bits ofrece una reducción moderada y suele preservar mejor el comportamiento. Cuatro bits abre la posibilidad de alojar modelos mucho mayores en hardware accesible, con más riesgo de degradación. La comparación útil se hace con las mismas preguntas, parámetros de generación y métricas antes y después de comprimir.
La cuantización no vuelve pequeño a un modelo en sentido intelectual: conserva su arquitectura y aproxima los números que aprendió. Su ventaja real es material. Reduce la cantidad de memoria necesaria para transportar esos números y convierte una barrera de hardware en una decisión medible entre tamaño, velocidad y calidad.
Imagen: Recreación editorial generada con IA de una computadora compacta abierta durante una ampliación de memoria.
