ficha de modelo

DeepSeek-V4.1-Flash EXL3

La version 4.1 de DeepSeek Flash, cuantizada a 2,9 bits (EXL3) y repartida entre dos GX10. Saca 83/100 en nuestro banco de agentes con pensamiento desactivado (82 con el activado) y 600.000 tokens de contexto configurados.

DeepSeek (cuantización comunitaria EXL3)medido · 2 GX10ver ficha oficialver ficha oficialctx 600K configurados en el clústerRAM mín. dos GX10 en TP=2 y ~340 GB libres por nodo para el pack

Necesita mucho disco: el paquete ronda los 340 GB por máquina. Para empezar en una sola GX10, mejor DeepSeek-V4-Flash.

▤ Benchmarks medidos en el rack

2× GX10 · ver ficha →

27.1tok/s

0.005s al primer token

EXL3 2.9bpw + Engram NVMectx 586K16 de septiembre de 2026

✦ Recetas para correrlo

Todavía no hay recetas publicadas para DeepSeek-V4.1-Flash EXL3.

organización deepseek-ai en Hugging Face ↗