¿Estás harto de modelos de IA que solo pueden procesar fragmentos pequeños de información? DeepSeek-AI ha lanzado su nueva generación de modelos, DeepSeek-V4, y viene con una característica que podría redefinir el costo del procesamiento de contextos largos: una ventana de contexto nativa de un millón de tokens.

La compañía ha publicado dos versiones preview de su gran modelo de lenguaje DeepSeek V4. Estas son DeepSeek-V4-Pro y DeepSeek-V4-Flash, ambas arquitecturas Mixture-of-Experts (MoE) diseñadas para que ese contexto masivo sea práctico y económico durante la inferencia.

Dos modelos, un objetivo

El corazón de la serie V4 está en sus números. DeepSeek-V4-Pro cuenta con 1.6T parámetros totales y 49B activados por token. Su hermano menor, DeepSeek-V4-Flash, tiene 284B parámetros totales y 13B activados por token. Ambos fueron pre-entrenados con cantidades astronómicas de datos: 33T tokens para el Pro y 32T para el Flash.

Lo más importante: los checkpoints de los cuatro modelos (las versiones Pro, Pro-Base, Flash y Flash-Base) están disponibles públicamente en Hugging Face.

La batalla contra la complejidad cuadrática

Pero, ¿cómo logran manejar un contexto tan largo sin que los costos de computación se vuelvan prohibitivos? El mecanismo de atención vanilla en un Transformer tiene una complejidad computacional cuadrática respecto a la longitud de la secuencia.

Duplicar el contexto cuadruplica aproximadamente la atención computacional y la memoria.

DeepSeek-V4 aborda esto con cuatro innovaciones coordinadas: una arquitectura de atención híbrida, un nuevo diseño de conexiones residuales, un optimizador diferente y FP4 Quantization-Aware Training.

Atención híbrida: CSA y HCA

La innovación arquitectónica central es un mecanismo híbrido que combina Compressed Sparse Attention (CSA) y Heavily Compressed Attention (HCA), intercaladas en las capas del Transformer.

CSA comprime la cache Key-Value (KV) de cada m tokens en una entrada usando un compresor aprendido a nivel de token, luego aplica DeepSeek Sparse Attention (DSA). HCA es más agresiva: consolida las entradas KV de cada m′ tokens (donde m′ ≫ m) en una única entrada comprimida.

Los resultados en eficiencia son sustanciales. En el contexto de un millón de tokens, DeepSeek-V4-Pro requiere solo 27% de los FLOPs de inferencia de un solo token (en FLOPs FP8 equivalentes) y 10% del tamaño de la cache KV de DeepSeek-V3.2. DeepSeek-V4-Flash alcanza 10% de los FLOPs de un solo token y 7% de la cache KV respecto a V3.2.

No solo es grande, también es inteligente

DeepSeek afirma que ambos modelos son más eficientes y performantes que DeepSeek V3.2 gracias a estas mejoras arquitectónicas, y han casi «cerrado la brecha» con los modelos líderes actuales, tanto abiertos como cerrados, en benchmarks de razonamiento.

Aquí es donde los números hablan:

  • En Codeforces, DeepSeek-V4-Pro-Max logra una puntuación de 3206, superando a GPT-5.4-xHigh (3168) y Gemini-3.1-Pro-High (3052).
  • En SimpleQA Verified, alcanza 57.9 Pass@1, superando a Claude Opus 4.6 Max (46.2) y GPT-5.4-xHigh (45.3), aunque queda detrás de Gemini-3.1-Pro-High (75.6).
  • En benchmarks de contexto largo, DeepSeek-V4-Pro-Max obtiene 83.5 MMR en OpenAI MRCR 1M y 62.0 de precisión en CorpusQA 1M, superando a Gemini-3.1-Pro-High (76.3 y 53.8 respectivamente).

La compañía afirma que su nuevo modelo V4-Pro-Max supera a sus competidores open-source en benchmarks de razonamiento, y excede a OpenAI’s GPT-5.2 y Gemini 3.0 Pro en algunas tareas. En benchmarks de competencias de coding, DeepSeek dice que el rendimiento de ambos modelos V4 es «comparable a GPT-5.4».

Pero hay una nota de realismo: los modelos parecen quedarse un poco detrás de los modelos frontier en tests de conocimiento, específicamente OpenAI’s GPT-5.4 y Google’s Gemini 3.1 Pro. Este rezago sugiere una «trayectoria de desarrollo que sigue a los modelos frontier state-of-the-art por aproximadamente 3 a 6 meses», escribió el laboratorio.

Y el precio es una bomba

Aquí viene lo que podría ser el golpe más disruptivo: DeepSeek V4 es mucho más económico que cualquier modelo frontier disponible hoy.

El modelo más pequeño, V4 Flash, cuesta $0.14 por millón de tokens de entrada y $0.28 por millón de tokens de salida, superando en precio a GPT-5.4 Nano, Gemini 3.1 Flash, GPT-5.4 Mini y Claude Haiku 4.5.

El modelo más grande, V4 Pro, cuesta $0.145 por millón de tokens de entrada y $3.48 por millón de tokens de salida, también superando en precio a Gemini 3.1 Pro, GPT-5.5, Claude Opus 4.7 y GPT-5.4.

Pero hay un detalle importante: ambos modelos V4 Flash y V4 Pro solo soportan texto, a diferencia de muchos de sus rivales closed-source, que ofrecen soporte para entender y generar audio, video e imágenes.

DeepSeek-V4-Flash-Base supera a DeepSeek-V3.2-Base a pesar de tener 3 veces menos parámetros activados.

Con un contexto masivo, benchmarks competitivos y un precio que desafía a los gigantes, DeepSeek-V4 no solo es una actualización; es un claro mensaje sobre dónde quiere estar la compañía en la carrera de la IA.