ficha de modelo
Nemotron-3.5-Lightning-30B-A3B
MoE de 30B con solo 3B activos, en NVFP4. Con decodificacion especulativa DSpark llega a 139 tok/s en una GX10: el mas rapido que hemos medido. Sin ella se queda en 45,96 tok/s, pero es el modelo mas frio que hemos medido (57,5 C).
Sin un prompt de sistema defensivo cae ante las inyecciones de prompt; con el, resiste. Usalo con uno si va a leer contenido de terceros. Su banco es 79/100.
▤ Benchmarks medidos en el rack
1× GX10 · ver ficha →
139.4tok/s
0.229s al primer token
✦ Recetas para correrlo
Todavía no hay recetas publicadas para Nemotron-3.5-Lightning-30B-A3B.