CARTA AL EDITOR

Algunas consideraciones previas a la estimación de la confiabilidad de instrumentos psicométricos

Some considerations prior to estimating the reliability of psychometric instruments

Nicolás Alejandro Vizioli ¹

¹ Universidad de Buenos Aires, Facultad de Psicología, Buenos Aires, Argentina.

* Correspondencia: nicovizioli@gmail.com.

Recibido: 12 de abril de 2021 | Revisado: 07 de julio de 2021 | Aceptado: 22 de septiembre de 2021 | Publicado Online: 25 de septiembre de 2021.

CITARLO COMO:

Vizioli, N. (2021). Algunas consideraciones previas a la estimación de la confiabilidad de instrumentos psicométricos. Interacciones, 7, e213. http://dx.doi.org/10.24016/2020.v7.213

Señor editor:

La confiabilidad es un término que tradicionalmente se ha utilizado de dos maneras (American Educational Research Association, American Psychological Association, & National Council on Measurement in Education, 2014). En primer lugar, la confiabilidad puede entenderse como el grado de asociación entre dos administraciones de una prueba (Revelle et al., 2009). En segundo lugar, en un sentido más amplio, el término hace referencia a la consistencia de las mediciones de un instrumento. Es decir, si distintas repeticiones de una prueba determinada permiten obtener los mismos resultados (Muñiz, 2010). Los elevados costos y complicaciones logísticas que supondrían la realización de dos administraciones, ha dado lugar a la elaboración de alternativas para analizar la confiabilidad de un instrumento a través de una sola administración (McNeish, 2018; Revelle et al., 2009).

Entre las alternativas, es preciso mencionar al coeficiente KR-20 propuesto por Kuder & Richardson (1937) para trabajar con ítems dicotómicos, que es un antecedente del coeficiente alfa, el más difundido históricamente (Viladrich et al., 2017). El coeficiente alfa, propuesto por Hoyt (1941), y popularizado por Guttman (1945) y Cronbach (1951), posibilitó estimar de manera sencilla la confiabilidad de instrumentos con ítems ordinales. Sin embargo, distintas investigaciones han cuestionado su utilización (por ejemplo: McNeish, 2018; Sijtsma, 2009). Por lo que se han sugerido otros estimadores, entre los cuales los más difundidos son los coeficientes omega (McDonald, 1999), beta (Revelle, 1979), theta (Armor, 1973), H (Hancock & Mueller, 2001) o greatest lower bound (GLB, Jackson & Agunwamba, 1977). Sin embargo, antes de seleccionar el coeficiente mediante el cual se estimará la confiabilidad, existen 4 puntos a tomar en cuenta.

En primer lugar, se debe considerar el nivel de medición del instrumento en cuestión. Dado que es posible estimar la confiabilidad de distintas maneras, para datos dicotómicos, ordinales y continuos (Elosua & Zumbo, 2008; Gadermann et al., 2012; Viladrich et al., 2017). En caso de datos continuos, la confiabilidad debe ser estimada a partir de matrices de correlaciones o covarianzas de Pearson. Cuando se trabaja con datos ordinales, el cálculo debe realizarse sobre matrices de correlaciones policóricas. Por último, si los datos son dicotómicos, los análisis deben computarse a través de matrices de correlaciones tetracóricas. Dado que el tratamiento de datos ordinales o dicotómicos como si fueran continuos puede llevar a infraestimaciones de la confiabilidad (Gadermann et al., 2012).

En segundo lugar, es preciso tener en cuenta modelo subyacente al constructo que se desea medir. En caso de modelos unidimensionales, los coeficientes alfa y omega total se calculan para una única dimensión (Raykov & Marcoulides, 2019; Salavei et al., 2019). Al trabajar con modelos multidimensionales, se recomienda calcular los alfa y omega de cada dimensión (Savalei et al., 2019). En caso de que el modelo sea bifactorial o incluya un factor de segundo orden, se ha indicado la adecuación del cálculo del omega jerárquico (Flora, 2020). El Coeficiente H se presente como un coeficiente complementario que puede obtenerse tanto para modelos unidimensionales como multidimensionales (Domínguez-Lara, 2016).

En tercer lugar, se debe tomar en cuenta la adecuación de los datos a los modelos tau equivalente y congenérico (Dunn et al., 2014; McNeish, 2018; Viladrich et al., 2017). El modelo tau equivalente es un modelo restrictivo, en el cual las cargas factoriales de los reactivos son iguales, o en el que se obtienen índices de ajuste adecuados al realizar una evaluación del modelo, restringiendo las cargas factoriales con igualdad. Mientras que el modelo congenérico permite que los valores de las cargas factoriales varíen libremente. La tau equivalencia es un requisito para el cálculo del coeficiente alfa, mientras que en casos de adecuación del modelo congenérico se indican el coeficiente omega (Dunn et al., 2014; McNeish, 2018; Viladrich et al., 2017) y el coeficiente H (Domínguez-Lara, 2016). Puede evaluarse el ajuste a los modelos tau equivalente y congenérico a través de análisis factoriales confirmatorios, comparando los índices de ajuste obtenidos a partir de la restricción de cargas factoriales con los resultantes, permitiendo la variación libre de las cargas factoriales.

En cuarto lugar, se debe considerar la presencia o ausencia de errores correlacionados. Ya que su ausencia es requisito para el cálculo de los coeficientes alfa y omega (McNeish, 2018; Raykov, 1998). Es preciso mencionar que se han propuesto fórmulas que permiten corregir los coeficientes ante la presencia de errores correlacionados (Dominguez-Lara & Merino-Soto, 2017).

En conclusión, es preciso que, al publicarse estudios que examinen las propiedades psicométricas de un instrumento, los investigadores tomen en consideración los 4 puntos señalados anteriormente, para decidir el modo de análisis de la confiabilidad. A su vez, los revisores de artículos pueden solicitar las aclaraciones pertinentes con la finalidad de mejorar la calidad de las publicaciones.

Para finalizar, es preciso mencionar que no existe un coeficiente perfecto de confiablidad, dado que todos tienen limitaciones. Por ejemplo, los coeficientes alfa y omega comparten la característica de que la adición de reactivos podría provocar aumentos espurios en los resultados obtenidos (Hair et al., 2014). Debido al aumento espurio de los valores del coeficiente, en la práctica los valores del coeficiente omega suelen ser mayores a los de alfa (Deng & Chang, 2017; Revelle & Zinbarg, 2009). Por lo que se recomienda reportar más de un coeficiente que permita dar cuenta de la confiabilidad de las puntuaciones de un instrumento. Dado que permitiría que los lectores tuvieran mayor información, y que se superaran posibles dificultades en la interpretación de la confiabilidad, como resultado de las limitaciones de cada coeficiente.

ORCID

Nicolás Alejandro Vizioli: https://orcid.org/0000-0002-6113-6847

CONTRIBUCIÓN DE LOS AUTORES

Nicolás Alejandro Vizioli: Conceptualización, validación, investigación, escritura – borrador original, escritura-revisión, aprobación de la versión final.

FUENTE DE FINANCIAMIENTO

Investigación autofinanciada. Esta investigación no recibió ninguna subvención específica de agencias de financiamiento en los sectores público, comercial o sin fines de lucro.

CONFLICTO DE INTERESES

El autor declara que no existe conflicto de interés.

AGRADECIMIENTOS

No aplica

PROCESO DE REVISIÓN

Este estudio ha sido revisado por pares externos en modalidad de doble ciego. El editor encargado fue Anthony Copez-Lonzoy. Se adjunta los comentarios de los pares y respuesta de los autores como material suplementario 1.

DECLARACIÓN DE DISPONIBILIDAD DE DATOS

No aplica.

DESCARGO DE RESPONSABILIDAD

Los autores son responsables de todas las afirmaciones realizadas en este artículo.

REFERENCIAS

American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (2014). Standards for educational and psychological testing. American Educational Research Association.

Armor, D. J. (1973). Theta reliability and factor scaling. Sociological methodology, 5, 17-50. https://doi.org/10.2307/270831

Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297-334. https://doi.org/10.1007/BF02310555

Deng, L., & Chan, W. (2017). Testing the difference between reliability coefficients alpha and omega. Educational and psychological measurement, 77(2), 185-203. https://doi.org/10.1177%2F0013164416658325

Domínguez-Lara, S. A. (2016). Evaluación de la confiabilidad del constructo mediante el Coeficiente H: breve revisión conceptual y aplicaciones. Psychologia. Avances de la disciplina, 10(2), 87-94. https://doi.org/10.21500/19002386.2134

Dominguez-Lara, S. A., & Merino-Soto, C. (2017). Una modificación del coeficiente alfa de Cronbach por errores correlacionados. Revista médica de Chile, 145(2), 270-271.

Dunn, T. J., Baguley, T., & Brunsden, V. (2014). From alpha to omega: A practical solution to the pervasive problem of internal consistency estimation. British journal of psychology, 105(3), 399-412. https://doi.org/10.1111/bjop.12046

Elosua, P. & Zumbo, B. (2008). Coeficientes de fiabilidad para escalas de respuesta categórica ordenada. Psicothema, 20(4), 896-901.

Flora, D. B. (2020). Your coefficient alpha is probably wrong, but which coefficient omega is right? A tutorial on using R to obtain better reliability estimates. Advances in Methods and Practices in Psychological Science, 3(4), 484-501. https://doi.org/10.1177%2F2515245920951747

Gadermann, A. M., Guhn, M., & Zumbo, B. D. (2012). Estimating ordinal reliability for Likert-type and ordinal item response data: A conceptual, empirical, and practical guide. Practical Assessment, Research, and Evaluation, 17(1), 3.

Guttman, L. (1945). A basis for analyzing test-retest reliability. Psychometrika, 10(4), 255-282. https://doi.org/10.1007/BF02288892

Hair, J. F., Black, W. C., Babin, B. J. & Anderson, R. E. (2014). Multivariate data analysis, Seventh Edition. Pearson Education Limited Harlow.

Hancock, G. R., & Mueller, R. O. (2001). Rethinking construct reliability within latent variable systems. En R. Cudeck, S. du Toit, & D. Soerbom (Eds.), Structural equation modeling: Present and future—A festschrift in honor of Karl Jöreskog (pp. 195-216). Scientific Software International.

Hoyt, C. (1941). Test reliability estimated by analysis of variance. Psychometrika, 6(3), 153-160. https://doi.org/10.1007/BF02289270

Jackson, P. H., & Agunwamba, C. C. (1977). Lower bounds for the reliability of the total score on a test composed of non-homogeneous items: I: Algebraic lower bounds. Psychometrika, 42(4), 567-578. https://doi.org/10.1007/BF02295979

Kuder, G. F., & Richardson M. W. (1937). The theory of the estimation of test reliability. Psychometrika, 2(3), 151-160. https://doi.org/10.1007/BF02288391

McNeish, D. (2018). Thanks coefficient alpha, we’ll take it from here. Psychological methods, 23(3), 412. https://doi.org/10.1037/met0000144

Muñiz, J. (2010). Las teorías de los tests: teoría clásica y teoría de respuesta a los ítems. Papeles del Psicólogo, 31(1), 57-66.

Raykov, T., & Marcoulides, G. A. (2019). Thanks coefficient alpha, we still need you!. Educational and psychological measurement, 79(1), 200-210. https://doi.org/10.1177%2F0013164417725127

Revelle, W. (1979). Hierarchical cluster analysis and the internal structure of tests. Multivariate Behavioral Research, 14(1), 57-74. https://doi.org/10.1207/s15327906mbr1401_4

Revelle, W., & Zinbarg, R. E. (2009). Coefficients alpha, beta, omega, and the GLB: Comments on Sijtsma. Psychometrika, 74(1), 145-154. https://doi.org/10.1007/s11336-008-9102-z

Savalei, V., Reise, S. P., Vazire, S., & Fried, E. (2019). Don’t Forget the Model in Your Model-based Reliability Coefficients: A Reply to McNeish (2018). Collabra: Psychology, 5(1). https://doi.org/10.1525/collabra.247

Sijtsma, K. (2009). On the use, the misuse, and the very limited usefulness of Cronbach’s alpha. Psychometrika, 74(1), 107.

Viladrich, C., Angulo-Brunet, A., & Doval, E. (2017). Un viaje alrededor de alfa y omega para estimar la fiabilidad de consistencia interna. Anales de Psicología, 33(3), 755-782.