Administración online versus lápiz-y-papel: funcionamiento diferencial de ítems de neuroticismo
Palabras clave:
neuroticismo, funcionamiento diferencial del ítem, test informatizadoResumen
La tendencia creciente hacia la informatización de las prácticas de evaluación psicológica ha propiciado que los investigadores y usuarios de tests recurran cada vez con más frecuencia a la recolección de datos online (Lozzia y otros, 2009). Esto permite acceder a muestras más numerosas, reducir los tiempos de administración y puntuación de las pruebas y ganar en comodidad para los evaluados. Pero también se esgrimen problemas de peso para desalentar su uso: el sesgo en la selección de los sujetos por su accesibilidad a Internet y el escaso control sobre el encuadre de la evaluación (Campos, Zucoloto, Bonafé, Jordani y Maroco, 2011; Weigold, Weigold, y Russell, 2013).
Recientemente Facundo J.P. Abal, Sofía E. Auné y Horacio F. Attorresi (2019) utilizaron la Teoría de Respuesta al ítem en la construcción de un Banco de ítems para la medición del Neuroticismo. Este rasgo describe la propensión a experimentar de manera intensa y/o recurrente una diversidad de afectos negativos (McCrae & Costa, 2010). La vinculación de este constructo con múltiples trastornos mentales y físicos ha llevado a recomendar su medición en población general con fines preventivos (Tackett y Lahey, 2017; Widiger y Oltmanns, 2017). En este sentido, una administración online del Banco de Neuroticismo podría acarrear grandes ventajas para evaluar a más personas invirtiendo menos tiempo. No obstante, resulta menester garantizar que las respuestas proporcionadas a través de Internet son equivalentes a las recogidas con la versión de lápiz-y-papel.
El objetivo de este trabajo fue analizar el Funcionamiento Diferencial de los ítems (DIF - Differential Item Functioning) que componen el Banco de Neuroticismo en función del formato de administración usado para recolectar información: protocolo online versus protocolo con lápiz-y-papel. Se considera que un ítem presenta DIF si dos personas que respondieron distintos formatos muestran diferentes probabilidades de optar por alguna de las categorías de un ítem aun cuando tienen el mismo nivel de Neuroticismo (Camilli y Shepard, 1994).
Método
Participaron 742 personas de población general residentes en el Área Metropolitana de Buenos Aires. El 52.1% eran mujeres y la edad promedio fue de 29.5 (DE = 11.32; Mín = 18, Máx = 82). La mayoría de los participantes (63.3%) tenía como máximo un nivel secundario completo. Se utilizó un muestreo no-probabilístico por accesibilidad. Los participantes respondieron un protocolo que incluyó un cuestionario sociodemográfico y 24 elementos del Banco de Neuroticismo. El análisis de los datos se realizó con el programa IRTPRO 4.2 (Cai, Thissen, & du Toit, 2011).
Resultados
Se realizaron análisis preliminares con la muestra completa: a) se verificaron los supuestos de independencia local y unidimensionalidad; y b) se constató el ajuste de los ítems al Modelo de Respuesta Graduada de F. Samejima (2016). En lo atinente específicamente al estudio del DIF, se diferenció al 54.6% (n = 405) de los participantes que respondió el protocolo en versión lápiz-y-papel (grupo LP) y el 45.6% (n = 337) que contestó versión online (grupo OL) a través de Google Forms. Se corroboraron similares características sociodemográficas en ambos grupos. El análisis del DIF se llevó adelante siguiendo el procedimiento multietápico recomendado por L. Tay, A.W. Meade y M. Cao (2014). En la primera etapa se realizó una estimación simultánea de los parámetros de los ítems para los grupos LP y OL según el Modelo de Samejima. Esto permitió identificar 4 ítems con potencial DIF utilizando el test de Wald para detectar diferencias significativas entre los parámetros estimados para cada grupo (p < .05). Durante la segunda etapa se usaron como anclajes los 20 ítems que resultaron libres de DIF en el paso anterior. Esto permitió escalar a todos los ítems en una métrica común para poder examinar exclusivamente el presunto DIF de los 4 elementos señalados en la primera etapa. Como resultado final de la segunda etapa solo uno de los ítems presentó DIF significativo.
Citas
Abal, F. J. P., Auné, S. E. y Attorresi, H. F. (2019). Construcción de un banco de ítems de Facetas de Neuroticismo para el desarrollo de un test adaptativo. Psicodebate, 19 (1), 31-50. doi: 10.18682/pd.v1i1.854
Cai, L., Thissen, D. y du Toit, S. (2011). IRTPRO users guide. Lincolnwood, IL: Scientific Software International.
Camilli, G. y Shepard, L. (1994). Methods for identifying biased test items. Thousand Oaks: Sage.
Campos, J. A. D. B., Zucoloto, M. L., Bonafé, F. S. S., Jordani, P. C. y Maroco, J. (2011). Reliability and validity of self-reported burnout in college students: A cross randomized comparison of paper-and-pencil vs. online administration. Computers in Human Behavior, 27(5), 1875–1883. doi:10.1016/j.chb.2011.04.011
Lozzia, G., Abal, F. J. P., Blum, G. D., Aguerri, M., Galibert, M. y Attorresi, H. (2009). Tests Informatizados. Nuevos desafíos prácticos y éticos para la Evaluación Psicológica. Summa Psicológica UST, 6 (1), 135 – 148. doi: 10.18774/448x.2009.6.57
McCrae, R. y Costa P. (2010). NEO Inventories professional manual. Odessa, FL: Psychological Assessment Resources.
Samejima, F. (2016). Graded Response Model. En W. J. van der Linden (Ed.), Handbook of Item Response Theory, Volume 1: Models (pp. 95-108). Boca Raton: Chapman y Hall/CRC.
Tackett, J. L. y Lahey, B. B. (2017). The Oxford handbook of the five factor model. New York: Oxford University Press.
Tay, L., Meade, A. W. y Cao, M. (2014). An Overview and Practical Guide to IRT Measurement Equivalence Analysis. Organizational Research Methods, 18 (1), 3–46. doi:10.1177/1094428114553062
Weigold, A., Weigold, I. K. y Russell, E. J. (2013). Examination of the equivalence of self-report survey-based paper-and-pencil and internet data collection methods. Psychological Methods, 18 (1), 53–70. doi:10.1037/a0031607
Widiger, T. A. y Oltmanns, J. R. (2017). Neuroticism is a fundamental domain of personality with enormous public health implications. World Psychiatry, 16 (2), 144–145. doi: 10.1002/wps.20411.
