15.223 14.8.13 Open-set, calibración y predicción selectiva
El benchmark incluye unknowns reales, clases retenidas, composiciones
nuevas, evidencia insuficiente y dominios externos.
softmax max no se acepta como única prueba de
desconocido.
15.223.1 Resultados mínimos
- AUROC y AUPR para unknown con definición exacta de positivos.
- FPR95 u operating point equivalente fijado en validación.
- OSCR o curva conjunta de reconocimiento conocido y rechazo desconocido.
- Curva completa riesgo–cobertura y AURC.
- Riesgo por clase y por grupo a coberturas operativas.
- Brier, NLL y calibración por clase/grupo.
- Cobertura conformal marginal y por grupos prespecificados.
- Tamaño, singleton rate y empty-set rate de prediction sets.
La incertidumbre puede degradarse bajo dataset shift aunque el modelo parezca calibrado in-distribution; por eso las curvas deben repetirse en vistas externas [P48-R13].