15.228 14.8.18 Rendimiento operacional
| Perfil | Hardware | Modo | Reporte |
|---|---|---|---|
SYS-DEV-WORKSTATION |
workstation CPU/GPU | offline maximum quality | wall time, GPU time, RAM, VRAM, energy when measurable |
SYS-JETSON-ORIN-NANO |
Jetson Orin Nano 8GB | offline edge | attempt processing factor, thermals, power mode, memory and failures |
SYS-OAKD-HOST |
OAK-D Pro AF PoE RVC2 plus host | capture and optional on-device preprocessing | device pipeline, host pipeline, network, dropped frames |
SYS-CPU-REFERENCE |
documented x86 CPU-only | portable baseline | latency and throughput without accelerator |
SYS-CONTAINER-REPLAY |
reproducibility container on declared host | deterministic replay | digest, driver/runtime, exact result delta |
MLPerf separa escenarios, calidad de referencia y restricciones de latencia; el benchmark de escalada adopta el mismo principio de medir rendimiento únicamente a una calidad declarada, sin copiar sus workloads ni thresholds [P48-R7].
15.228.1 Métricas de tiempo
capture_latency: cámara a almacenamiento.preprocess_latency: decode, sync, rectify y depth.model_latency: inferencia por componente.attempt_wall_time: tiempo total por intento.real_time_factor = processing_time / attempt_duration.queue_delay: espera fuera del cómputo.p50/p95/p99: distribución, no sólo media.
El modo offline puede tener real_time_factor > 1;
debe declarar el tiempo real y el hardware, no presentarse como tiempo
real.