En los procesos de
observación donde existen más de un evaluador/observador, se hace necesario estimar el grado de consenso. Considerando que existe concordancia cuando dos o mas observadores están de acuerdo en la presencia/ausencia de un comportamiento, categoría o código. Por ejemplo, dos psicólogos evaluando zonas rurales en un comportamiento de atavismo.
Uno de los
estadísticos clásicos destinados a medir este grado de consenso es conocido como la
Kappa de Cohen(κ), que nos dará en nuestro ejemplo el grado en que los profesionales están diagnosticando las zonas geográficas de una manera similar, ajustando el efecto del azar en la proporción de la concordancia observada. Este ajuste por azar supone que, cuando no están absolutamente seguros, los observadores aventuran una respuesta, lo cual en muchas situaciones profesionales nos lleva a escenarios muy poco realistas. Por otra parte, el algoritmo está influenciado por la prevalencia de los rasgos evaluados, por lo cual no es muy útil a la hora de comparar situaciones con prevalencias distintas (Gwet, 2002). Además, no mide la "calidad" de la observación, por lo cual no tiene sentido usar a uno de los observadores como "estándar" o "referencia".
