15.177 14.7.3 Tres niveles de verdad
raw evidence
-> individual judgment A
-> individual judgment B
-> model preannotation M
-> comparison and disagreement map
-> review/adjudication
-> accepted reference with provenance
- Anotación individual: lo que una persona o agente sostuvo bajo una versión de guía.
- Consenso o adjudicación: resultado de comparar y resolver; conserva los candidatos originales.
- Referencia de evaluación: subconjunto con autoridad y QA suficientes para un uso declarado; no es verdad absoluta fuera de ese uso.
Dawid–Skene y STAPLE son ejemplos de estimación probabilística de verdad latente y desempeño de observadores [P47-R13, P47-R14]. Pueden ayudar a fusionar, pero no reemplazan una decisión experta cuando la discrepancia proviene de una definición incompleta o de un mecanismo biomecánico ambiguo.