14. Señales para visión artificial — 15.189 14.7.15 Acuerdo entre anotadores

Inicio · Capítulos · 14. Señales para visión artificial

15.189 14.7.15 Acuerdo entre anotadores

Métrica	Aplica a	Definición
`AGR-PERCENT`	nominal labels	Acuerdo observado; siempre junto con distribución y tamaño de muestra.
`AGR-COHEN-KAPPA`	dos anotadores, nominal	Acuerdo corregido por azar bajo supuestos declarados [P47-R8].
`AGR-FLEISS-KAPPA`	múltiples anotadores, nominal	Extensión para múltiples evaluadores [P47-R9].
`AGR-KRIPP-ALPHA-NOMINAL`	múltiples anotadores y missing, nominal	Alpha con función de distancia nominal [P47-R10].
`AGR-WEIGHTED-KAPPA`	ordinal	Penalización graduada; pesos publicados con el resultado.
`AGR-KRIPP-ALPHA-ORDINAL`	ordinal y missing	Alpha con distancia ordinal.
`AGR-ICC`	medidas continuas	Declarar modelo, tipo y unidad de análisis; ICC no es un único estadístico [P47-R11].
`AGR-CCC`	pares continuos	Concordancia combinando precisión y sesgo [P47-R12].
`AGR-MPJPE`	keypoints 3D	Error euclidiano por joint en frame y unidad declarados.
`AGR-PCK`	keypoints 2D/3D	Proporción dentro de tolerancia normalizada especificada.
`AGR-REPROJECTION`	pose multivista	Error de reproyección por cámara con calibración fija.
`AGR-IOU`	máscaras/intervalos	Intersección sobre unión; reportar por clase y escala.
`AGR-DICE`	máscaras	Solapamiento simétrico; no sustituye calidad de borde.
`AGR-BOUNDARY-F1`	contornos/eventos	Precision/recall dentro de tolerancia explícita.
`AGR-BOUNDARY-MAE`	onset/offset	Error absoluto en milisegundos, no en frames nominales.
`AGR-SEGMENT-IOU`	episodios temporales	IoU temporal por segmento y clase.
`AGR-EDIT-SCORE`	secuencia de fases	Consistencia de orden sin dominar por duración.
`AGR-CONTACT-EDGE-F1`	grafos de contacto	F1 sobre región corporal–objeto–surfacePatch.
`AGR-STATE-DWELL-ERROR`	máquinas de estado	Error en duración total por estado y transiciones.
`AGR-CLASS-SET-JACCARD`	multietiqueta	Jaccard entre conjuntos; complementado con micro/macro F1.
`AGR-DISAGREEMENT-ENTROPY`	consenso	Distribución de votos; no colapsar automáticamente a mayoría.
`AGR-ADJUDICATION-RATE`	workflow	Fracción que requiere experto, desglosada por clase y defecto.

15.189.1 Reglas de reporte

Reportar número de unidades independientes y no sólo frames.
Reportar distribución de clases y prevalencia; kappa puede cambiar con prevalencia.
Incluir intervalos de confianza o bootstrap agrupado cuando sea posible.
No promediar métricas incompatibles en un único quality score opaco.
Separar acuerdo de reproducibilidad respecto a exactitud contra referencia.
Publicar tolerancias geométricas y temporales utilizadas.
Analizar desacuerdos por clase, sitio, modalidad y dificultad.

Cohen, Fleiss y Krippendorff cubren escenarios distintos de acuerdo nominal/multianotador [P47-R8, P47-R9, P47-R10]. ICC exige declarar el modelo concreto [P47-R11]; CCC cuantifica concordancia continua [P47-R12]. No se adopta una tabla universal de “malo/moderado/bueno”: los gates se calibran mediante piloto y riesgo.