Nemotron-3.5-Lightning-30B-A3B
Receta oficial de NVIDIA con decodificacion especulativa: tres veces mas rapido que sin ella (45,96 tok/s de fabrica). El mas rapido que hemos medido en una sola GX10.
139.4tok/sgenerando
0.229shasta el primer token
configuración
- modelo
- Nemotron-3.5-Lightning-30B-A3B
- cuantización
- NVFP4
- motor
- vLLM
- hardware
- 1× ASUS Ascent GX10
- contexto
- 262K
- especulativa
- dspark
- temperatura GPU
- 61.6 °C