ficha de modelo

Nemotron-3.5-Lightning-30B-A3B

MoE de 30B con solo 3B activos, en NVFP4. Con decodificacion especulativa DSpark llega a 139 tok/s en una GX10: el mas rapido que hemos medido. Sin ella se queda en 45,96 tok/s, pero es el modelo mas frio que hemos medido (57,5 C).

NVIDIAmedido · 1 GX10—ctx 262.144 configurados (declara 1M, sin probar)

Sin un prompt de sistema defensivo cae ante las inyecciones de prompt; con el, resiste. Usalo con uno si va a leer contenido de terceros. Su banco es 79/100.

▤ Benchmarks medidos en el rack

1× GX10 · ver ficha →
139.4tok/s
0.229s al primer token
NVFP4ctx 262K11 de agosto de 2026

✦ Recetas para correrlo

Todavía no hay recetas publicadas para Nemotron-3.5-Lightning-30B-A3B.