Reflective Process and Intercultural Effectiveness: A Case Study

Abstract

Despite the importance of reflection as a crucial element in stimulating successful student experience in study abroad, attempts to define and measure this construct have been fraught with difficulty. This article describes one approach to defining and validating a measure of the reflective process. University students who participated in a semester-long reflection course wrote weekly reflective essays. Four, multi-scale factor analyzed cognitive complexity factors derived from the Linguistic Inquiry and Word Count (LIWC) content analysis software formed key study variables: Immediacy, Interaction, Making Sense, Making Distinctions. These four factors aligned well with key components of reflection. The cognitive complexity factors were related to pre and post student intercultural effectiveness using the Intercultural Effectiveness Scale following a criterion validity framework. The LIWC cognitive complexity factor profiles fit well with student intercultural effectiveness scores when evaluated against reflection theory and previous research. The LIWC offers a measurement alternative that is objective, easy to use, and scalable to larger samples and more frequent administration. Thus, measurement may be harnessed in the service of formative evaluation and evidenced-based program development. Abstract in Spanish A pesar de la importancia de la reflexión como elemento crucial para estimular la experiencia estudiantil exitosa en el extranjero, los intentos de definir y medir este constructo han estado plagados de dificultades. Este artículo describe un enfoque para definir y validar una medida del proceso reflexivo. Los estudiantes universitarios que participaron en un curso de reflexión de un semestre de duración escribieron ensayos reflexivos semanales. Cuatro factores de complejidad cognitiva analizados en múltiples escalas derivados del software de análisis de contenido Linguistic Inquiry and Word Count (LIWC) formaron variables clave del estudio: Inmediatez, Interacción, Dar Sentido, Hacer Distinciones. Estos cuatro factores se alinearon bien con los componentes clave de la reflexión. Los factores de complejidad cognitiva fueron relacionados con la efectividad intercultural del estudiante antes y después del curso utilizando la Escala de Efectividad Intercultural siguiendo un marco de validez de criterio. Los perfiles de factores de complejidad cognitiva de LIWC encajan bien con las puntuaciones de efectividad intercultural de los estudiantes cuando se evalúan frente a la teoría de la reflexión y la investigación previa. El LIWC ofrece una alternativa de medición que es objetiva, fácil de usar y escalable a muestras más grandes y una administración más frecuente. Por lo tanto, la medición puede aprovecharse al servicio de la evaluación formativa y el desarrollo de programas basados en evidencia.