En noviembre de 2026, NeuraCryption hizo pública la documentación técnica de SPECTRA, un motor capaz de reducir el tamaño de los modelos de lenguaje aproximadamente tres veces —el documento fija el intervalo entre 2,80x y 3,31x— sin usar la GPU ni datasets de calibración. Según el material, lo que realmente limita a la IA en el borde no es la potencia de cálculo, sino cuántos bytes por segundo logra desplazar el hardware.

El muro de memoria

El punto de partida de la documentación es una asimetría física: mientras la densidad de cómputo de las GPU avanzó al ritmo de la ley de Moore, la interfaz que transporta los datos desde la VRAM hasta los núcleos aritméticos alcanzó sus límites térmicos y eléctricos. Como ejemplo, una GPU de consumo como la NVIDIA GeForce RTX 3050 Ti Mobile, con bus de 128 bits, ofrece un ancho de banda agregado de 192,0 GB/s.

Como la generación autoregresiva produce un token cada vez, el modelo no puede reutilizar los pesos ya cargados y tiene que recorrer todas sus matrices para cada token. De acuerdo con los cálculos del documento, una sola lectura completa de un modelo de 14 GB a 192,0 GB/s demora cerca de 73 milisegundos, lo que coloca el techo teórico por debajo de 14 tokens por segundo y mantiene a más del 95% de los Tensor Cores a la espera de datos.

La situación se agrava cuando el modelo excede los 4 GB de VRAM habituales en una GPU de consumo, porque el framework traslada capas a la RAM del sistema a través del bus PCIe. Con un enlace Gen3 x4, el mismo documento registra una velocidad de generación de 0,28 tokens por segundo, insuficiente para voz, robótica o telecomunicaciones en tiempo real.

Cómo comprime sin calibrar

El rasgo que distingue a SPECTRA de los esquemas aplicados después del entrenamiento, como GPTQ, AWQ o SmoothQuant, es que prescinde por completo de la calibración. El documento les atribuye tres debilidades: fragilidad ante el domain shift, ya que una calibración sobre corpus genéricos se degrada con transcripciones de voz, esquemas JSON o terminología médica; latencia de preprocesamiento, porque calcular estadísticas de segundo orden exige minutos u horas de pasadas por GPU; e incompatibilidad estructural con arquitecturas de espacio de estados como Mamba-2 o las redes neuronales líquidas.

La propuesta combina cuatro mecanismos:

  • Saliencia sin calibración. En las capas lineales ubicadas justo después de una normalización (RMSNorm o LayerNorm), la sensibilidad de cada canal se estima a partir de la ganancia aprendida y la norma de la columna de pesos, sin un solo dato de muestra. El pre-escaneo corre en el host en menos de 50 milisegundos y el compresor trabaja sobre CPU y memoria del host, sin overhead de GPU.
  • Aislamiento de outliers. Los canales anómalos de curtosis alta se separan y se almacenan en FP16, con un ratio ajustado según la curtosis y un tope duro del 3,0%, con índices empaquetados como enteros de 32 bits.
  • Cuantización asimétrica de 4 bits en grupos de 32, empaquetada en una disposición intercalada tipo Marlin para que el desempaquetado ocurra dentro de los registros de la GPU.
  • Un contenedor binario propio (TRDC) con cabecera fija de 24 bytes, que se mapea en memoria virtual con mmap y se transfiere directamente a la VRAM mediante DMA asíncrono, sin objetos intermedios de Python.

Además, el equipo escribió kernels de Triton para el caso incómodo: la decodificación de un token por vez, en la que el motor fusiona desempaquetado, escalado y multiplicación-acumulación en un solo paso por registros en lugar de escribir tensores descomprimidos en la VRAM.

Las cifras que presenta la empresa

Los siguientes datos provienen de la documentación de NeuraCryption y no de una evaluación independiente:

  • En los seis modelos fundacionales evaluados, el error relativo queda entre el 8,04% y el 8,32%, con una relación señal-ruido de 21,59 dB a 21,89 dB y una similitud coseno superior a 0,996.
  • En el benchmark de razonamiento ARC-Challenge, la retención de rendimiento se mueve en deltas de +0,42% a +0,85%.
  • La capa de embeddings de un modelo con vocabulario de 131.072 tokens baja de 1.050 MB a 321,4 MB, un ahorro del 69,4% de VRAM estática.
  • La caché KV en 4 bits permite sostener 8.192 tokens en hardware de 4 GB.
  • El kernel por lotes alcanza 216,63 tokens por segundo con batch de 4, equivalentes a 5,57 TFLOP/s.

Cómo se compara con el mercado

El campo se movió rápido. Hackaday informó en abril de 2026 que el pre-print de TurboQuant de Google declara hasta 6x de compresión de la caché KV sin impacto negativo en los tiempos de inferencia, con un formato final de 3 bits. El mismo artículo recuerda que NVFP4 de NVIDIA reduce la precisión de la caché de 16 a 4 bits y, frente a FP8, recorta la latencia hasta 3 veces y la memoria a la mitad, con una pérdida de precisión declarada de menos del 1%.

La diferencia que SPECTRA busca capitalizar no es solo el ratio, sino el proceso: al no requerir una pasada de calibración, la compresión puede ejecutarse dentro de un pipeline automático en lugar de reservar GPU para preparar el modelo.

Del lado del hardware, la presión es real. Un informe de ResearchAndMarkets difundido por GlobeNewswire en septiembre de 2026 proyecta que el mercado de chips para IA en el borde superará los US$80.000 millones en 2036, impulsado por la automoción, los smartphones con IA, las PC con IA y los robots humanoides.

Los especialistas del sector se muestran cautos con las cifras aisladas. En un análisis de Semiconductor Engineering, Licinio Sousa de Synopsys advierte que ajustar un modelo para el borde es un problema de sistemas y no una optimización de un solo punto, y Steve Woo de Rambus resume el cambio de criterio: la IA en el borde marca el paso de que gane el modelo más grande a que gane la mejor experiencia por watt.

Qué significa para una startup

  • Mide tu piso de memoria antes de elegir el modelo. El tamaño en disco no dice nada: lo que limita es la VRAM disponible y los GB/s del bus. Si tu producto corre en una GPU de 4 GB, un modelo que necesita descarga por PCIe a 0,28 tokens por segundo es una demo, no una opción de producto.
  • Evalúa con tus datos, no con los del paper. El argumento contra los esquemas calibrados es el domain shift: el rendimiento se mide en promedio pero se rompe en tu nicho. Arma un set de evaluación con tus transcripciones, tus JSON, tu jerga legal o médica, y compara la salida del modelo cuantizado contra la versión en FP16 usando similitud coseno o SNR, no solo el tamaño del archivo.
  • Automatiza la compresión dentro del pipeline. Si una técnica realmente no necesita calibración ni GPU, puedes integrarla en tu integración continua: cada nueva versión del modelo se comprime y se testea en el mismo commit, reduciendo el trabajo manual por dispositivo objetivo, que es donde se van las horas.
  • Verifica la compatibilidad con tu arquitectura antes de adoptar. Los modelos híbridos y de espacio de estados rompen los supuestos de calibración de los frameworks clásicos; si tu stack usa Mamba o capas SSM, ese es el primer test.

Conclusión

SPECTRA ataca el problema correcto: en el borde, la memoria y no el cómputo define qué se puede construir. Su apuesta por eliminar la calibración es la más relevante para un equipo pequeño, porque convierte la compresión en un paso reproducible de ingeniería y no en un experimento que consume GPU dedicada. Aun así, todas las cifras publicadas son de la propia compañía y todavía no existe un benchmark independiente: conviene tratarlas como una hipótesis a validar con tu modelo, tu hardware y tus datos antes de reescribir la arquitectura de despliegue.

Fuentes

  • NeuraCryption Research (fuente original)
  • TurboQuant: Reducing LLM Memory Usage With Vector Quantization
  • Edge AI Chip Market Set for Strong Growth Through 2036
  • Fitting AI Models To Edge Applications