GLM-5.3-Flash
Repartido en dos GX10. Salida estructurada, mediana de 5 pasadas. Con TensorFold alcanzo 90/100 (EXP-0131); este pase de vLLM dio 89/100.
59.01tok/sgenerando
0.329shasta el primer token
configuración
- modelo
- GLM-5.3-Flash-tr3-4bpw
- cuantización
- EXL3 4 bpw + Dense FP8 dense-kda + FP8 KV
- motor
- vLLM
- hardware
- 2× ASUS Ascent GX10 (repartido)
- contexto
- 830K
- especulativa
- DFlash2-k7