El análisis factorial confirmatorio, como técnica de evaluación de posibles modelos basados en teorías, es una de las herramientas metodológicas más utilizadas, siendo frecuente su aplicación en las Ciencias del Comportamiento en cuestiones tan variadas como la evaluación psicométrica de instrumentos o la validación de constructos entre otros ejemplos (Joreskog, 1969).
Entre todos los programas que resuelven satisfactoriamente un análisis de este tipo, nos vamos a centrar en la utilización del software JASP (JASP Team, 2020). Describiendo brevemente su uso para esta técnica.
Antes de comenzar con el procedimiento de Análisis Factorial Confirmatorio conviene determinar si nuestras variables se ajustan o no al presupuesto básico de normalidad multivariada (Mardia, 1970), y para ello ejecutamos el procedimiento SEM del JASP:
Dentro del programa, inicialmente seleccionaremos la opción de Análisis Factorial Confirmatorio en la pestaña Factor, y definiremos las variables que van a formar parte del modelo, en este ejemplo un modelo unifactorial. Para ello basta con arrastrar las variables pertinentes al campo etiquetado como Factor 1:
En nuestro ejemplo vamos a pulsar el campo Avanzado (Advanced), ya que vamos a modificar el tipo de algoritmo de extracción, que por defecto está activado en Auto (algoritmo ML que asume variables normalmente distribuidas) y que para nuestros datos no es el pertinente. En nuestro caso lo mejor es DWLS (Diagonally weighted least squares), uno de los recomendados cuando no se cumple la normalidad multivariada (Jöreskog et al., 2001;Morata-Ramírez et al., 2015).:
...es un algoritmo robusto a la hora de analizar la matriz de correlaciones policóricas con variables ordinales. recomendado por sus mayores tasas de convergencia (Flora y Curran, 2004; Holgado et al., 2010; Li, 2016; Şimşek, & Noyan, 2012) .
A continuación procederemos a identificar el grado de ajuste de los datos al modelo presupuesto; para ello deberemos haber habilitado la opción de medidas de ajuste adicional (Additional fit measures).
El estadístico de bondad de ajuste clásico sigue una distribución χ2, con los mismos grados de libertad que el modelo, y que permite contrastar la hipótesis de que el modelo se ajusta bien a los datos observados. El resultado del estadístico indica si existe una discrepancia significativa entre la matriz reproducida y la correspondiente a los datos originales. Para aceptar el modelo se debe de tener que la probabilidad p de χ2 >0.05, en caso contrario el modelo debería ser rechazado. No obstante con el nuevo criterio de Benjamin et al. (2017) el criterio anterior se sustituye por 0,005.
Este estadístico suele citarse entre su problemática al estar influenciado por el tamaño de la muestra, de forma tal que tiende a rechazar modelos que en la realidad se ajustan muy bien a los datos observados. Y con tamaños muestrales muy pequeños ocurre lo contrario, no detecta bien las discrepancias aceptando modelos que no se ajustan a los datos. Por otra parte en modelos complejos (sobreajuste), se tiende a aceptar la Ho frente a H1. Y finalmente decir, que el estadístico χ2 depende del método de estimación elegido; no será el mismo resultado con ML (Maximum Likelihood) , GLS (Generalized Least Squares) o DWLS (Diagonally weighted least squares).
Una solución que encontramos frecuentemente para este problema, es usar como complemento al estadístico anterior el cociente χ2 /GL (Chi-cuadrado normado), que se acepta que debería estar entre 1-3 para aceptar el ajuste del modelo Hu & Bentler (1995), aunque algunos autores empiezan a considerarlo para valores menor a 5.
Dicho lo cual pasaremos a ver los resultados sobre todo fijándonos en los 4 indices básicos, y que son los correspondientes a CFI, TLI, RMSEA y SRMR. Es una combinación de dos índices de ajuste incremental (CFI y TLI) y dos de ajuste basados en la covarianzas del modelo (RMSEA y SRMR) para sustentar la decisión de aceptar como válida la estructura propuesta en los modelos de análisis factorial confirmatorio, basándonos en los criterios de decisión en los referenciados por Bentler & Bonnet (1980) y Hu & Bentler (1995).
Este estadístico suele citarse entre su problemática al estar influenciado por el tamaño de la muestra, de forma tal que tiende a rechazar modelos que en la realidad se ajustan muy bien a los datos observados. Y con tamaños muestrales muy pequeños ocurre lo contrario, no detecta bien las discrepancias aceptando modelos que no se ajustan a los datos. Por otra parte en modelos complejos (sobreajuste), se tiende a aceptar la Ho frente a H1. Y finalmente decir, que el estadístico χ2 depende del método de estimación elegido; no será el mismo resultado con ML (Maximum Likelihood) , GLS (Generalized Least Squares) o DWLS (Diagonally weighted least squares).
Una solución que encontramos frecuentemente para este problema, es usar como complemento al estadístico anterior el cociente χ2 /GL (Chi-cuadrado normado), que se acepta que debería estar entre 1-3 para aceptar el ajuste del modelo Hu & Bentler (1995), aunque algunos autores empiezan a considerarlo para valores menor a 5.
Dicho lo cual pasaremos a ver los resultados sobre todo fijándonos en los 4 indices básicos, y que son los correspondientes a CFI, TLI, RMSEA y SRMR. Es una combinación de dos índices de ajuste incremental (CFI y TLI) y dos de ajuste basados en la covarianzas del modelo (RMSEA y SRMR) para sustentar la decisión de aceptar como válida la estructura propuesta en los modelos de análisis factorial confirmatorio, basándonos en los criterios de decisión en los referenciados por Bentler & Bonnet (1980) y Hu & Bentler (1995).
Entrando ya un poco mas en materia diremos que:
-CFI (Comparative Fit Index): índice relativo frecuentemente usado y aconsejable por tener uno de los mejores comportamientos (Tanaka, 1993), oscila entre 0 y 1, siendo el valor de .9 el mínimo requerido y el aconsejable .95, para defender el modelo.
-CFI (Comparative Fit Index): índice relativo frecuentemente usado y aconsejable por tener uno de los mejores comportamientos (Tanaka, 1993), oscila entre 0 y 1, siendo el valor de .9 el mínimo requerido y el aconsejable .95, para defender el modelo.
-TLI (Turker-Lewis
index): segundo índice relativo que usaremos y que mide la mejora de ajuste que produce el modelo propuesto con respecto al modelo nulo, estando corregido para tener en cuenta la complejidad del modelo. Se puede interpretar como un coeficiente de fiabilidad. Los criterios son los mismos que para CFI.
-RMSEA (Root Mean Square Error of Approximation) y SRMR (Standarized Root Mean-Square): medidas de cuantía de error del modelo, e indicadores de un buen ajuste con valores inferiores a .05, siendo aceptables para valores alrededor de 0.06 (Browne & Cudeck, 1993). Actualmente el valor se aconseja que vaya acompañado de su intervalo de confianza al 90%, así como el grado de significación (p) para el cumplimiento de la Ho (p<0,05).
El RMSEA estima la discrepancia que habría entre la matriz de correlación poblacional y la matriz reproducida por el modelo propuesto, también en la población. Estima hasta qué punto el modelo estudiado es una aproximación razonable. Por otra parte, este índice es relativo a los grados de libertad del modelo y, por tanto, puede penalizar a los modelos menos parsimoniosos (complejidad).
El SRMR es la diferencia promedio entre las varianzas y covarianzas predichas y las observadas en el modelo. Por lo tanto un buen ajuste debería dar valores cercanos al 0, considerando como buenos por debajo de .05 ya se considera un buen ajuste, y aceptables por debajo de .06, aún cuando en la literatura podemos encontrar criterios como .08 o incluso .10 , pero que nosotros consideramos como no aconsejables.
En el ejemplo que estamos manejando, los índices relativos están bien, estando muy al límite los índices basados en las covarianzas, sobre todo el SRMR, que podría aceptarse solo con el criterio laxo de 0.08.
Si al final tuviésemos que dar un consejo a nuestro lectores sobre la simplificación a la hora de usar estos indicadores de ajuste, seguiríamos la propuesta de Hu,L. & Bentler, P.M. (1999):
A la hora de recomendar combinaciones de medidas preferimos una combinación de CFI> 0.95 y SRMR <0.08, y para solidificar aún más la evidencia agregaremos el RMSEA <0.06.
Si al final tuviésemos que dar un consejo a nuestro lectores sobre la simplificación a la hora de usar estos indicadores de ajuste, seguiríamos la propuesta de Hu,L. & Bentler, P.M. (1999):
A la hora de recomendar combinaciones de medidas preferimos una combinación de CFI> 0.95 y SRMR <0.08, y para solidificar aún más la evidencia agregaremos el RMSEA <0.06.
Si hubiésemos tomado la decisión anteriormente que no ajusta algunos de los indicadores, se deberá entonces intentar averiguar donde está la fuente del problema, y para ello podremos usar los índices de modificación....
Por defecto el valor de ajuste está en 3.84, aunque es recomendable incrementarlo a 4 o incluso a 8, con objeto de no obtener modelos demasiado sobreajustados.
...y/o el diagrama de desajustes (Misfit plot)....
Todos los cambios que efectuemos deberían tener sentido sustantivo, es decir tendrán un soporte teórico dentro de la disciplina en que estemos desarrollando la investigación.
Una vez alcanzada una solución aceptable. se agrega el diagrama del modelo (Model plot), y de esta forma se asegura visualmente (intuitivamente) que hemos obtenido el resultado que pretendíamos.
Se pueden posteriormente agregar notas aclaratorias que expliquen los cambios que haya podido realizar en la estructura del modelo, por ejemplo un "Modelo de un factor" inicial sustituido por otro con un factor con covarianzas de residuales.
Siempre tenga cuidado de no agregar demasiados parámetros para evitar el problema de sobreajuste.
Una vez resuelto el ajuste del modelos pasaremos a comprobar que todos los coeficientes de la estructura factorial tienen sentido:
- todas las cargas factoriales son significativas
- todas las cargas factoriales tienen un signo esperado
- todas las variaciones y residuos tienen valores positivos
En nuestro ejemplo la tabla obtenida y que revisaremos será la siguiente:
....donde podemos comprobar que todas las cargas son significativas.
Alcanzada una solución plausible, se pueden trasladar los resultados más pertinentes a un editor de textos como es "Word de Microsoft", donde resumiremos los estadísticos del ajuste del modelo en una sola tabla (mínimo los 4 básicos que hemos visto anteriormente), conservando normalmente el diagrama y/o la tabla de la estructura factorial, ademas de describir brevemente los pasos seguidos durante el análisis y una conclusión acerca de si el modelo alcanzado cumple con nuestras expectativas iniciales.
Referencias:
*Benjamin, D. J., Berger, J., Johannesson, M., Nosek, B. A., Wagenmakers, E.-J., Berk, R., … Johnson, V. (2017, July 22). Redefine statistical significance. Retrieved from psyarxiv.com/mky9j
*Bentler, P. M. & Bonnet, D. G. (1980). Significance tests and goodness-of-fit in the analysis of covariance structures. Psychological Bulletin, 88, 588-606.
*Bentler, P. M. & Bonnet, D. G. (1980). Significance tests and goodness-of-fit in the analysis of covariance structures. Psychological Bulletin, 88, 588-606.
*Flora, D. B., y Curran, P. J. (2004). An empirical evaluation of alternative methods of estimation for confirmatory factor analysis with ordinal data. Psychological Methods, 9(4), 466-491.
*Holgado, F. P., Chacón, S., Barbero, I., y Vila, E. (2010). Polychoric versus Pearson correlations in exploratory and confirmatory factor analysis of ordinal variables. Quality & Quantity: International Journal of Methodology, 44(1), 153-166.
*Hu, L. & Bentler, P. (1995). Evaluating model fit. In R. Hoyle (Ed.), Structural equation modelling: Concepts, issues and applications (pp.76-99). Thousand Oaks, CA: Sage Publications.
*Hu,L. & Bentler, P.M. (1999). Cutoff Criteria for Fit Indexes in Covariance Structure Analysis: Conventional Criteria versus New Alternatives. Structural Equation Modeling, (6)1, 1-55.
*JASP Team (2020). JASP (Version 0.12). Computer software.
*Hu,L. & Bentler, P.M. (1999). Cutoff Criteria for Fit Indexes in Covariance Structure Analysis: Conventional Criteria versus New Alternatives. Structural Equation Modeling, (6)1, 1-55.
*JASP Team (2020). JASP (Version 0.12). Computer software.
*Joreskog, K. (1969). A general approach to confirmatory maximum likelihood factor analysis.
Psychometrika, 34(2), 183-202. doi: 10.1007/BF02289343.
*Jöreskog, K. G., Sörbom, D., Du Totit, S., & Du Toit, M. (2001). LISREL 8: New statistical features. Third printing with revisions. Chicago: Scientific Sofware International.
Psychometrika, 34(2), 183-202. doi: 10.1007/BF02289343.
*Jöreskog, K. G., Sörbom, D., Du Totit, S., & Du Toit, M. (2001). LISREL 8: New statistical features. Third printing with revisions. Chicago: Scientific Sofware International.
*Li, CH (2016). The performance of ML, DWLS, and ULS estimation with robust corrections in structural equation models with ordinal variables. Psychological Methods, 21(3), 369–387. https://doi.org/10.1037/met0000093
*Mardia, K. V. (1970) "Measures of multivariate skewness and kurtosis with applications",
Biometrika 57, 519–530.
*Mardia, K. V. (1970) "Measures of multivariate skewness and kurtosis with applications",
Biometrika 57, 519–530.
*Morata-Ramírez, M. A., Holgado-Tello, F. P., Barbero-García, I., y Méndez, G. (2015). Análisis Factorial Confirmatorio. Recomendaciones sobre Mínimos Cuadrados No Ponderados en función del error Tipo I de Ji-cuadrado y RMSEA. Acción Psicológica, 12(1), 79-90. doi: http://dx.doi.org/10.5944/ap.12.1.14362.
*Şimşek, G.G. & Noyan, F. (2012). Structural equation modeling with ordinal variables: a large sample case study. Quality & Quantity: International Journal of Methodology ,46, 1571–1581. https://doi.org/10.1007/s11135-011-9467-4
*Şimşek, G.G. & Noyan, F. (2012). Structural equation modeling with ordinal variables: a large sample case study. Quality & Quantity: International Journal of Methodology ,46, 1571–1581. https://doi.org/10.1007/s11135-011-9467-4
