Processing and effectiveness of formative feedback to increase comprehension and learning of conceptual knowledge in digital environments
NAGIOS: RODERIC FUNCIONANDO

Processing and effectiveness of formative feedback to increase comprehension and learning of conceptual knowledge in digital environments

DSpace Repository

Processing and effectiveness of formative feedback to increase comprehension and learning of conceptual knowledge in digital environments

Show simple item record

dc.contributor.advisor Vidal-Abarca Gámez, Eduardo
dc.contributor.advisor Martínez Giménez, Tomás
dc.contributor.author Máñez Sáez, Ignacio
dc.contributor.other Departament de Psicologia Evolutiva i de l'Educació es_ES
dc.date.accessioned 2019-07-23T11:05:18Z
dc.date.available 2019-10-22T04:45:05Z
dc.date.issued 2019 es_ES
dc.date.submitted 18-09-2019 es_ES
dc.identifier.uri https://hdl.handle.net/10550/71034
dc.description.abstract Los estudiantes de educación secundaria participan diariamente en tareas académicas diseñadas para desarrollar habilidades de lectura y facilitar la adquisición de conocimientos. Habitualmente, los docentes suelen pedir a sus estudiantes que lean textos expositivos y respondan preguntas sobre sus contenidos (e.g., Ness, 2011; Sánchez y García, 2015; Sánchez, García y Rosales, 2010), ya que estas tareas respaldan la comprensión y el aprendizaje de conceptos e ideas (e.g., Anmarkrud, McCrudden, Bråten y Strømsø, 2013; Cerdán, Gilabert y Vidal-Abarca, 2011; Lewis y Mensink, 2012; Roelle y Berthold, 2017). En estas situaciones, los estudiantes han de aplicar tanto procesos cognitivos de compresión (e.g., inferencias) como metacognitivos para localizar la información relevante para la tarea (Cataldo y Oakhill, 2000; McCrudden y Schraw, 2007; Rouet, 2006; Rouet y Britt, 2011; Rouet, Britt y Durik, 2017; Vidal-Abarca, Mañá y Gil, 2010). Sin embargo, los estudiantes suelen experimentar dificultades para comprender o usar documentos escritos, por lo que es necesario diseñar y aplicar herramientas instruccionales efectivas, entre las que destaca la retroalimentación formativa (Hattie y Gan, 2011; Hattie y Timperley, 2007; Narciss, 2008; Shute, 2008). De hecho, según el informe del National Reading Panel (2000), evaluar la comprensión mediante preguntas y proporcionar retroalimentación inmediata es una de las estrategias eficaces para mejorar la comprensión de los estudiantes. El rápido desarrollo de los dispositivos tecnológicos y el incremento en el acceso a las nuevas tecnologías en las últimas décadas ha abierto un abanico de posibilidades en cuanto a la aplicación de este tipo de tareas junto con retroalimentación formativa adaptada al estudiante (e.g., Azevedo y Bernard, 1995; Mason y Bruning, 2001; Mory, 2004). En entornos digitales, la estructura de las tareas suele ser similar; esto es, los estudiantes leen (o visionan) uno o varios documentos, responden una serie de cuestiones sobre los materiales, y reciben retroalimentación sobre su rendimiento (Conole, 2016). Cada vez es más frecuente ver cómo los alumnos de primaria y secundaria completan estas tareas en dispositivos tecnológicos, en los que la retroalimentación formativa adaptada a la ejecución del estudiante puede jugar un papel determinante en la comprensión y aprendizaje de nuevos conocimientos. A diferencia de los humanos, los entornos digitales permiten la corrección automática de respuestas y la entrega inmediata de retroalimentación. Sin embargo, parece que los estudiantes no procesan la retroalimentación automáticamente, por lo que resulta esencial comprender cómo usan esa información. Para que la retroalimentación produzca efectos positivos es necesario que los estudiantes estén dispuestos y sean capaces de procesar su contenido activamente (Carless y Boud, 2018; Timmers y Veldkamp, 2011). Al ser procesada, la retroalimentación externa permite al estudiante evaluar la necesidad de actualizar su modelo de respuesta (i.e., reducir la distancia entre su nivel de conocimiento actual y el deseado). Si esto sucede, puede que se produzcan modificaciones en la representación construida sobre el contenido del texto, bien añadiendo nueva información, bien restructurando los conocimientos previamente aprendidos (Shute, 2008). Estudios teóricos y meta-análisis clásicos consideran que la retroalimentación puede producir efectos positivos en el aprendizaje, aunque sus efectos suelen ser inconsistentes y variables (e.g., Azevedo y Bernard, 1995; Jaehnig y Miller, 2007; Kluger y DeNisi, 1996; Shute, 2008). Estudios recientes demuestran que no todos los tipos de retroalimentación son igualmente efectivos. En función del contenido de los mensajes, podemos distinguir tres grandes tipos de retroalimentación: a) verificación de respuestas (Knowledge of Response o KR: Correcto o Incorrecto), b) respuesta correcta (Knowledge of Correct Response o KCR: La respuesta correcta es X), y c) retroalimentación elaborada (Elaborated Feedback o EF: explicaciones, pistas, o ejemplos). Mientras que la retroalimentación KR y KCR incluyen información correctiva simple, los mensajes EF abarcan información más detallada, por lo que requieren de un procesamiento activo para analizar sus errores a la luz de la información recibida y así mejorar su rendimiento. Resultados de un reciente meta-análisis sobre la efectividad de la retroalimentación en entornos digitales de aprendizaje ponen de manifiesto que la EF es la más efectiva, especialmente cuando se trata de tareas de aprendizaje de orden superior, ya que su contenido permite a los estudiantes acortar la distancia entre el nivel de rendimiento alcanzado y el deseado (Van der Kleij, Feskens y Eggen, 2015). Estos investigadores encontraron que el tamaño del efecto de la retroalimentación KR, KCR, y EF es .05, .32 y .49, respectivamente. La efectividad de la retroalimentación ha sido ampliamente estudiada en las últimas décadas en una amplia variedad de escenarios y tareas de aprendizaje. Mientras que algunos se han centrado en la simple memorización de información como, por ejemplo, vocabulario o definiciones (e.g., Lipko-Speed, Dunlosky y Rawson, 2014), otros han examinado su efectividad utilizando tareas más complejas y desafiantes como, por ejemplo, responder preguntas de comprensión de textos (e.g., Golke, Dörfler y Artelt, 2015; Llorens, Vidal-Abarca y Cerdán, 2016; Murphy, 2007) o aprender conocimientos de algún dominio académico como ciencias o matemáticas (e.g., Attali y Van der Kleij, 2017; Lee, Lim y Grabowski, 2009; Maier, Wolf y Randler, 2016; Moreno, 2004). A pesar de que el estudio de la retroalimentación tiene una larga historia en el campo del aprendizaje y la instrucción, son pocos los estudios que han investigado los efectos de la retroalimentación en la comprensión y el aprendizaje a partir de textos, una situación que generalmente conlleva una alta demanda de procesamiento de la información (Dörfler, Golke y Artelt, 2017). A pesar de su potencial eficacia para mejorar el rendimiento, los investigadores y profesionales del área del aprendizaje parecen asumir que los estudiantes procesan la información adecuadamente una vez recibida (Corbalan, Kester y Van Merriënboer, 2009; Gordijn y Nijhof, 2002; Van der Kleij, Timmers y Eggen, 2011). Sin embargo, proporcionar mensajes de retroalimentación en entornos digitales no significa que los estudiantes procesen detenidamente su información (Aleven, Stahl, Schworm, Fischer y Wallace, 2003). Al recibir retroalimentación, los estudiantes han de tomar decisiones sobre el uso de la información contenida en los mensajes (e.g., Fox, Klein Entink y Timmers, 2014; Pridemore y Klein, 1991; Timmers y Veldkamp, 2011), evaluando la precisión de sus respuestas activamente al objeto de ajustar su representación al estándar proporcionado (e.g., Bangert-Drowns, Kulik, Kulik y Morgan, 1991). Por tanto, los estudiantes necesitan comprender la información contenida en el mensaje y tomar decisiones sobre cómo procesarla, por lo que es necesario aplicar tanto procesos cognitivos relacionados con la creación de significado (e.g., parafrasear o hacer inferencias) como procesos metacognitivos que implican monitorización (e.g., comparar las respuestas propias con el estándar proporcionado) y autorregulación (e.g., cómo resolver problemas específicos). Cuando se responde una pregunta y se recibe EF, ofrecida generalmente junto con retroalimentación correctiva, el estudiante debe decidir si es necesario revisar su modelo de respuesta a la luz de la retroalimentación recibida. A lo largo de la introducción presentamos un modelo de dos fases sobre el procesamiento de la retroalimentación: Fase 1, Verificación de respuestas, y Fase 2, Revisión de conocimiento. Al responder cada pregunta, el estudiante formula, con diferente nivel de seguridad, un modelo de respuesta inicial más o menos preciso. Una vez que el estudiante valida su respuesta, se inicia la primera fase (i.e., Verificación de respuestas), en la que el estudiante emplea la retroalimentación correctiva para verificar o refutar su modelo de respuesta en función de si ésta es correcta o no. Cuando se proporciona EF, el estudiante ha de decidir si necesita o quiere procesar cualquier información adicional después de haber verificado o refutado su modelo de respuesta. Esta segunda fase (i.e., Revisión de conocimiento) se inicia principalmente cuando el estudiante proporciona respuestas incorrectas o respuestas correctas con inseguridad. Así, después de verificar o refutar su modelo de respuesta, el estudiante puede omitir procesar la retroalimentación adicional o, por el contrario, iniciar un proceso de revisión de sus conocimientos que implica operaciones cognitivas y metacognitivas que favorezcan la reestructuración de conocimientos imprecisos o erróneos, dando lugar a actualizaciones en el modelo de respuesta. En ese momento, el estudiante ha de establecer comparaciones entre el modelo de respuesta activo en su memoria de trabajo y la retroalimentación, información que compite con el conocimiento incompleto o incorrecto previamente adquirido. Durante el procesamiento, es posible que factores relacionados con la propia retroalimentación (e.g., la presencia de retroalimentación correctiva), las características individuales de los estudiantes (e.g., competencia lectora o conocimiento previo), o características contextuales (e.g., disponibilidad de los materiales) puedan influir en el uso de los mensajes EF. Esta tesis incluye cuatro estudios dirigidos a examinar cómo interactúan los estudiantes con varios tipos de EF que incluyen retroalimentación KR y KCR tras responder preguntas de comprensión y aprendizaje sobre los contenidos de textos expositivos en un entorno digital, teniendo en cuenta el nivel de competencia lectora y el conocimiento previo de los estudiantes. El primer estudio tiene como objetivo examinar la influencia de una EF específica tanto en el rendimiento de los estudiantes al responder preguntas de comprensión como en su precisión para evaluar la relevancia textual. Además, el estudio examina en qué medida se procesan estos mensajes EF respecto a una condición control sin retroalimentación. Igualmente, examinamos si la competencia lectora influye en el uso de la EF. Setenta y cinco estudiantes de 1º y 2º grado de secundaria respondieron una serie de preguntas de comprensión de dos textos expositivos, teniendo que seleccionar la información textual que consideraban relevante para responder cada pregunta. Después de responder cada pregunta, la mitad de los estudiantes recibió EF que incluía información sobre la corrección de sus respuestas y su precisión para seleccionar información relevante, junto con sugerencias para monitorizar estrategias específicas de la tarea. La otra mitad no recibió retroalimentación formativa (i.e., grupo control). Los principales resultados sugieren que la EF mejoró el rendimiento de los estudiantes al responder las preguntas y redujo la cantidad de información textual no relevante que los estudiantes evaluaron como relevante. Sin embargo, la EF no afectó a la información textual relevante seleccionada para cada pregunta. Aunque la EF no influyó en los tiempos de procesamiento de la pregunta y la búsqueda de información textual en comparación con el grupo de retroalimentación control, los estudiantes que recibieron EF dedicaron más tiempo y accedieron a información adicional más frecuentemente que el grupo control. Este estudio proporciona evidencia acerca de cómo una EF específica sobre el rendimiento de los estudiantes al responder las preguntas y la precisión al evaluar la relevancia textual puede ser eficiente para mejorar el propio proceso de responder preguntas en un entorno digital. Sin embargo, desconocemos los procesos cognitivos y metacognitivos involucrados en el procesamiento de esta EF, así como las posibles diferencias en el procesamiento entre estudiantes con alto y bajo nivel de competencia lectora. El segundo estudio examina explícitamente el uso de esos mensajes EF proporcionados en el primer estudio, es decir, explora qué componentes de la EF son principalmente procesados, así como qué procesos cognitivos y metacognitivos implementan los estudiantes cuando reciben esta EF en un entorno digital. Siguiendo los resultados encontrados en el primer estudio, realizamos un segundo estudio con los mismos materiales. Sin embargo, en este caso aplicamos la metodología pensamiento-en-voz-alta. Estudiantes con alta y baja competencia lectora de 2º grado de secundaria reportaron sus pensamientos mientras respondían las preguntas y recibían los mensajes EF en un texto, mientras que realizaron la tarea en silencio en el otro texto. Los principales resultados mostraron que los estudiantes estaban principalmente interesados por conocer si sus respuestas eran correctas, así como por conocer la respuesta correcta (retroalimentación KR y KCR vinculada a la pregunta). Relacionado con el resultado anterior, encontramos que los estudiantes dirigieron su atención a la EF en las preguntas respondidas incorrectamente y prestaron poca atención a la retroalimentación después de responder correctamente. Los resultados también mostraron que los estudiantes monitorizan activamente la precisión de sus respuestas al compararlas con el estándar proporcionado, pero en raras ocasiones se preocupan por construir significado a partir de la información recibida. Cabe señalar que la retroalimentación provocó reacciones afectivas y atribuciones como parte de los procesos de monitorización. Respecto a las diferencias individuales en el procesamiento de la EF, los resultados sugirieron que los estudiantes con alta y baja competencia lectora tienden a procesar estos mensajes EF de manera similar. Este conjunto de resultados nos llevó a preguntarnos si otras características individuales, como el conocimiento previo, pueden ser más relevantes para explicar cómo usan los estudiantes la EF al aprender conocimientos complejos a partir de textos académicos, concretamente en el área de ciencias. Debido a que los estudiantes estaban principalmente interesados en conocer la corrección de sus respuestas y/o la respuesta correcta en lugar de realizar un procesamiento más profundo de la información presentada en los mensajes EF, cambiamos el enfoque de los estudios tres y cuatro. Tal vez los estudiantes procesaron la EF de esta manera porque los mensajes incluían la respuesta correcta (i.e., retroalimentación KCR), lo que pudo haberlos desalentado a procesar cualquier otra información. Igualmente, empleamos una tarea de responder preguntas para evaluar la comprensión de textos no académicos. Por tanto, diseñamos el tercer estudio para examinar cómo influye la presencia de la retroalimentación correctiva KCR y KR en la decisión de usar voluntariamente mensajes EF adicionales formados por explicaciones cuando los estudiantes aprenden conocimientos conceptuales en el área de ciencias, concretamente en el dominio de física. En este caso evaluamos el conocimiento previo de los estudiantes, uno de los principales factores individuales involucrados en la comprensión y el aprendizaje a partir de textos expositivos de ciencias. Estudiantes de 3º de secundaria respondieron una serie de preguntas de un texto sobre la presión atmosférica y el fenómeno del viento, teniendo acceso al mismo durante la tarea. Para cada pregunta, los estudiantes recibieron retroalimentación correctiva según la condición asignada: KCR, KR, o Control (i.e., retroalimentación no correctiva). Después de responder cada pregunta y recibir la retroalimentación correctiva asignada, todos los estudiantes tuvieron la oportunidad de acceder a un mensaje EF en el que se proporcionaba una explicación sobre el conocimiento evaluado. 24 horas después, los estudiantes completaron una prueba final con nuevas preguntas en formato abierto. Los resultados mostraron que los estudiantes no usan la EF frecuentemente, especialmente cuando la retroalimentación correctiva incluye la respuesta correcta (i.e., retroalimentación KCR). Los resultados también mostraron que la retroalimentación KR y KCR fomentó el uso de la EF después de responder incorrectamente, mientras que el grupo control accedió a los mensajes EF en la misma medida después de proporcionar respuestas correctas e incorrectas. Sin embargo, no observamos diferencias entre las condiciones en el rendimiento de los estudiantes para la tarea de aprendizaje ni para la tarea final. El cuarto y último estudio de esta tesis fue diseñado para examinar cómo influyen dos factores externos, la retroalimentación correctiva y la disponibilidad de texto, en la decisión de usar los mensajes EF adicionales y su consiguiente impacto en el aprendizaje alcanzado por un grupo de estudiantes de 3º de secundaria. Empleamos los mismos materiales para la fase de aprendizaje. Sin embargo, la tarea final contó con preguntas nuevas, aunque en este caso, administradas en formato tipo test. Partiendo de los resultados observados en el estudio anterior, decidimos prescindir de la retroalimentación KCR porque los estudiantes prácticamente no usaron la EF adicional cuando conocieron la respuesta correcta. Por tanto, incluimos los grupos con retroalimentación KR y control en este experimento. Además, manipulamos la disponibilidad del texto al responder las preguntas, de modo que una mitad de la muestra tuvo el texto disponible y la otra mitad no. De nuevo, después de responder cada pregunta y recibir retroalimentación KR o control, todos los estudiantes tuvieron la oportunidad de acceder a un mensaje EF en el que se proporcionaba una explicación sobre el conocimiento evaluado. Los principales resultados mostraron que la retroalimentación KR facilitó el uso de la EF para las preguntas contestadas incorrectamente, y que mantener el texto no disponible durante la tarea incrementó el uso de la EF. Sin embargo, ni la retroalimentación ni la disponibilidad del texto influyeron en el rendimiento de los estudiantes. No obstante, la relación entre el conocimiento previo de los estudiantes y el rendimiento en la tarea de aprendizaje estuvo moderada por las decisiones de acceder a la EF, lo que significa que los estudiantes con niveles de conocimiento previo bajos que accedieron a la EF con mayor frecuencia redujeron el impacto de su conocimiento previo. Por lo que respecta al rendimiento en la tarea final administrada varias horas después de la fase de aprendizaje, cabe señalar que tanto el conocimiento previo como las decisiones de acceder a la EF jugaron papeles relativamente independientes en el rendimiento de los estudiantes. Este conjunto de resultados tiene implicaciones teóricas y prácticas tanto para los investigadores como para los profesionales en los campos de la psicología y la educación que estén interesados en mejorar la comprensión y el aprendizaje de los estudiantes mediante el uso de retroalimentación formativa en entornos digitales como, por ejemplo, los libros de texto electrónicos, los MOOCs (Massive Online Open Courses), o los ITSs (Intelligent Tutoring Systems). Así, debemos tener en cuenta la disposición de los estudiantes para usar la retroalimentación formativa que incluye información correctiva y elaborada en sus mensajes. Los resultados sugieren que la entrega automática de retroalimentación no garantiza que los estudiantes procesen su contenido, especialmente cuando se informa acerca de cuál es la respuesta correcta. En definitiva, estos estudios informan acerca de cómo usan los estudiantes de secundaria los mensajes de retroalimentación formativa en tareas que implican comprensión y aprendizaje de conocimientos conceptuales a partir de textos en entornos digitales. es_ES
dc.format.extent 293 p. es_ES
dc.language.iso en es_ES
dc.subject formative feedback es_ES
dc.subject question-answering es_ES
dc.subject reading comprehension es_ES
dc.subject learning from texts es_ES
dc.subject digital environments es_ES
dc.title Processing and effectiveness of formative feedback to increase comprehension and learning of conceptual knowledge in digital environments es_ES
dc.type info:eu-repo/semantics/doctoralThesis es_ES
dc.subject.unesco UNESCO::PSICOLOGÍA es_ES
dc.description.abstractenglish Students from all over the world are expected to develop reading skills and acquire knowledge as part of the compulsory education. In school settings, one of the most frequent task-oriented reading activities teachers assign to the students refers to answering questions from an available text (e.g., Ness, 2011; Sánchez & García, 2015; Sánchez, García, & Rosales, 2010), which may support the student’s comprehension and learning processes (e.g., Anmarkrud, McCrudden, Bråten, & Strømsø, 2013; Cerdán, Gilabert, & Vidal-Abarca, 2011; Lewis & Mensink, 2012; Roelle & Berthold, 2017). Those reading situations can be envisaged as hybrid activities since students need not only to comprehend text information, but also make decisions while performing the tasks (Rouet, Britt, & Durick, 2017). Thus, students may use the document(s) strategically to provide the correct answers, which involves both cognitive (e.g., making inferences) and metacognitive (e.g., assessing one’s own understanding, deciding to search the text, or assessing textual relevance) processes (Cataldo & Oakhill, 2000; McCrudden & Schraw, 2007; Rouet, 2006; Rouet & Britt, 2011; Rouet et al., 2017; Vidal-Abarca, Mañá, & Gil, 2010). Teachers assign those tasks to assess and/or improve students’ comprehension and learning. However, students sometimes struggle to comprehend or use written documents, so that effective instructional procedures need to be designed and applied to overcome those issues. To that end, teachers (or computers in digital environments) may deliver formative feedback aimed at improving students’ abilities or knowledge (Hattie & Gan, 2011; Hattie & Timperley, 2007; Narciss, 2008; Shute, 2008). In fact, according to the National Reading Panel (2000) report, using questions to assess the student’s comprehension and providing immediate feedback is one of the effective teaching strategies for improving student’s understanding. Thus, this thesis builds on previous research conducted in the domains of psychology and education on the feedback effectiveness and the feedback processing. Here, we focus on question-answering tasks in which formative feedback can be timely delivered in digital learning environments. Digital learning environments are growing in popularity in school settings. Technological devices open a wide range of possibilities with regard to delivering question-answering tasks along with item-based formative feedback based on the student’s current performance (e.g., Azevedo & Bernard, 1995; Mason & Bruning, 2001; Mory, 2004). Whereas teachers usually know the students’ responses to the questions, computer-based systems are able to trace the student’s interactions with the materials while solving the tasks assigned, to grade the student’s responses automatically, as well as to provide them with elaborative feedback messages. However, students do not necessarily use the computer-based feedback as expected. In order to be effective, students need to be willing and able to process the feedback information actively (Carless & Boud, 2018; Timmers & Veldkamp, 2011). External feedback allows the student to evaluate whether (s)he needs to update their response model (i.e., close the gap between the current and the desired level of performance). If this happens, the student may update her/his previously-built representation on the text content, either by adding new information, or by restructuring previously-learned knowledge (Shute, 2008). Thus, it is important to understand how students use and process computer-based formative feedback when answering questions from a text in a digital environment. Theoretical studies and classical meta-analyses suggest that formative feedback is able to boost student’s learning, although its effectiveness is often inconsistent and variable (e.g., Azevedo & Bernard, 1995; Jaehnig & Miller, 2007; Kluger & DeNisi, 1996; Shute, 2008). Recent studies show that feedback effects on learning outcomes vary as a function of the feedback content. Previous contributions aimed at examining the effects of different types of feedback, including verification information on the students’ response (Knowledge of Response or KR: Correct or Incorrect), information pointing out the correct answer (Knowledge of Correct Response or KCR: The correct answer is X), or even more detailed information (Elaborated Feedback or EF: explanations, prompts, or examples). While both KR and KCR feedback include simple corrective information, the EF encompasses more detailed information, so students have to process its content actively to analyze their errors in light of the information received. Recently, Van der Kleij, Feskens, and Eggen (2015) conducted a meta-analysis on the feedback effectiveness within computer-based formative assessments in which EF was found to be the most effective type of feedback over KCR and KR (mean effect sizes were .49, .32, and .05, respectively). Those feedback messages have been tested on different learning scenarios varying in the nature of the task, ranging from simple memorization or associative tasks (e.g., learning vocabulary or definitions) to higher-order learning tasks (e.g., text comprehension involving inference processes or knowledge acquisition) (e.g., Golke, Dörfler, & Artelt, 2015; Lee, Lim, & Grabowski, 2009; Lipko-Speed, Dunlosky, & Rawson, 2014; Llorens, Vidal-Abarca, & Cerdán, 2016; Maier, Wolf, & Randler, 2016; Moreno, 2004; Murphy, 2007). Even though the study of feedback has a long history in the field of learning and instruction, only a few studies have attempted to investigate the effects of formative feedback on students’ text comprehension and learning from texts, which generally entails a high demand for information processing (Dörfler, Golke, & Artelt, 2017). Likewise, research has seldom questioned students’ ability and willingness to engage in processing feedback, as well as how it exerts an impact on learning as a function of individual characteristics such as reading skill or prior knowledge. Those are the main goals of the present work. Despite the potential effectiveness of formative feedback in improving performance, researchers and professionals in the field of learning seem to assume that students process the feedback messages automatically (Corbalan, Kester, & Van Merriënboer, 2009; Gordijn & Nijhof, 2002; Van der Kleij , Timmers, & Eggen, 2011). However, providing feedback messages in digital environments does not mean that students process its content carefully (Aleven, Stahl, Schworm, Fischer, & Wallace, 2003). Once students receive the feedback messages, they make decisions about how to use that information (e.g., Fox, Klein Entink, & Timmers, 2014; Pridemore & Klein, 1991; Timmers & Veldkamp, 2011), evaluating the accuracy of their responses in order to adjust their knowledge to the standard received (e.g., Bangert-Drowns, Kulik, Kulik, & Morgan, 1991). Therefore, students need to understand the feedback information and make decisions about how to process its content, so students are expected to deploy both cognitive processes related to meaning making (e.g., paraphrasing or making inferences) and metacognitive processes that involve monitoring (e.g., to compare the student’s answers with the standard) and self-regulation (e.g., how to solve specific problems). We propose a framework for feedback processing in the context of question-answering settings based on previous theoretical approaches and empirical findings. Our approach places emphasis on the importance of student’s engagement in processing the feedback information actively, since students have to make decisions consciously about what information to read and how much effort to invest in order to benefit from feedback. After answering a question in a digital environment, the computer-based system may provide students with EF messages along with corrective feedback. At that moment, the student has to decide whether (s)he needs to review his or her response model in light of the feedback received. In the introduction we present a two-phase model on feedback processing: Phase 1, Response Verification, and Phase 2, Knowledge Revision. During the question-answering process, the student formulates, with different levels of certainty, an initial response model. Once the student validates his/her answer, the corrective feedback allows the student to verify or refute his/her response model according to whether it is correct or not (i.e., Response Verification). When EF is provided, the student has to decide whether (s)he needs or desires to process any additional information after having verified or refuted his/her response model (i.e., Knowledge Revision). This second phase mainly begins when the student provides incorrect answers or correct answers with lower levels of certainty. After verifying or refuting his/her response model, the student may omit to process the additional feedback or, on the contrary, initiate a process of knowledge revision that implies both cognitive and metacognitive operations that may enhance modifications among the previously-acquired inaccurate or erroneous ideas. At that moment, the student has to make comparisons between the active response model in his/her working memory and the feedback information that competes with the previously-acquired incomplete or incorrect knowledge. During feedback processing, it is possible that factors related to the feedback itself (e.g., the presence of corrective feedback), individual characteristics of the students (e.g., reading skills or prior knowledge), or contextual characteristics (e.g., availability of materials) may influence how students use computer-based EF. This thesis includes four studies aimed at examining how students interact with computer-based EF along with KR and KCR feedback in question-answering settings and its effects on text comprehension and learning outcomes while taking into account the students’ reading skill and prior knowledge. The first study examined the influence of a detailed EF in both question-answering performance and accuracy to assess textual relevance of Secondary school students. The study also explored to what extent EF was processed over a control condition in which non-formative feedback was delivered. Likewise, we explored whether student’s reading skill influenced how they engaged in processing EF differently. Seventy-five 7th and 8th grade students answered a set of 20 questions from two expository texts (10 questions per text). During the question-answering process, students had the text available and were forced to highlight the text information they considered relevant to answer each question. While half the students received item-based EF that included information on the student’s answer correctness and his/her accuracy to select question-relevant text information along with monitoring hints on task-specific strategies, the other half received non-formative feedback (i.e., control feedback group). Main findings suggested that EF influenced positively the students’ text comprehension performance and the assessment of textual relevance (i.e., EF reduced the amount of non-relevant text information students assessed as question-relevant). However, EF did not affect neither the question nor the text-search processing times, suggesting that EF improved students’ efficiency to search and assess textual relevance. Regarding feedback processing, findings showed that EF increased the processing times and the decision-making process to access optionally-delivered feedback information above the control condition. Additionally, we found that skilled comprehenders outperformed their less-skilled counterparts. This study sheds light on how a complex EF on the students’ question-answering performance and their accuracy to assess textual relevance may improve the students’ question-answering process in a digital environment. However, further research is necessary to explore the cognitive and metacognitive processes involved in feedback processing, as well as how skilled and less-skilled comprehenders engage in processing such an EF. In the second study, we explicitly sought to explore what components of the EF messages students pay attention to and what cognitive and metacognitive processes students deploy when EF is delivered in a digital environment. According to the results found in the first study, we conducted a second study with the same materials. In this case, however, skilled and less-skilled comprehenders in grade 8 were asked to report any thought that came to mind while answering the questions and receiving EF. Participants thought-aloud in one text and performed the task in silence on the other text. Main findings showed that students paid more attention to know whether their answers were correct (i.e., KR and KCR feedback) than to any other elaborative components of feedback. Related to the previous result, we found that students focused their attention on the feedback after providing incorrect responses but paid little or no attention to feedback on those questions they answered correctly. Whereas students actively monitored the accuracy of their responses by comparing their answers with the standard provided, they rarely constructed meaning and self-regulated the use of feedback. Interestingly, feedback triggered affective reactions and attributions as part of the monitoring processes. Individual differences in feedback processing suggested that skilled and less-skilled comprehenders processed the EF quite similarly. Those findings suggested that other individual characteristics like prior knowledge may be more relevant to understand how students engage in and process EF in the context of learning complex knowledge from academic texts. Based on previous findings, we changed the approach of feedback processing and learning from texts due to the fact that students were mainly interested in knowing the correctness of their responses or the correct response rather than engaging in deep processing. Maybe students processed EF narrowly in the previous studies because the EF messages included the correct response (i.e., KCR feedback), which may have discouraged students to process additional information. Likewise, we employed a question-answering task designed to assess student’s text comprehension, not learning from texts. Hence, we designed an experiment to study how the presence of corrective feedback (KCR, KR, or control feedback) may influence the student’s decision to use additional EF made of explanations when learning conceptual knowledge in the area of physics. Due to the topic covered in the science text, ‘Atmospheric pressure and the wind phenomenon’, we took into account the student’s prior knowledge, arguably one of the main individual factors involved in text comprehension and learning from texts. Secondary school students in grade 9 answered a set of questions from an available science text. For each question, they received corrective feedback according to the condition assigned: KCR, KR, or Control (i.e., non-corrective feedback). After receiving this feedback, all the students were allowed to access item-based EF that included an explanation about the knowledge assessed. 24 hours later, students completed a final test with new open-ended questions. Main findings showed that students did not use EF very often, especially when corrective feedback included the correct response (i.e., KCR feedback). Further, results showed that KR and KCR feedback made students focus on EF for incorrectly-answered questions. Finally, results suggested that no differences were found for the learning task and the final performance outcomes. Study 4 aimed at examining how two external factors (corrective feedback and text availability) may influence Secondary school grade 9 students’ decision to use additional EF and its consequent impact on learning science knowledge about the atmospheric pressure and the wind phenomenon. Based on the previous findings, we decided to run the experiment without the KCR feedback condition because students decided to access little EF messages when this corrective feedback was delivered. Thus, we included the KR and the control feedback groups in this experiment. Additionally, we manipulated the text availability while answering the questions, so that one half of the sample performed the task with text access and the other half performed the task without text access. The EF messages were administered the same way as in the previous study. After receiving KR or control feedback, all the students were allowed to access item-based EF that included an explanation about the knowledge assessed. Main findings showed that corrective feedback made students focus on EF for incorrectly-answered questions, and that keeping the text unavailable made students use EF more often. However, neither corrective feedback nor text availability influenced student’s learning outcomes. Moreover, the relation between students’ prior knowledge and learning task performance was moderated by the students’ decision to access EF, which means that students with lower levels of prior knowledge who accessed EF quite often reduced the impact of their prior knowledge. Nevertheless, both prior knowledge and EF accesses played independent positive roles in the final task administered several hours later. These studies contribute to our understanding of how Secondary school students are willing to invest efforts in processing computer-based feedback that includes both corrective and elaborative information in the context of question-answering scenarios. Thus, we point out the importance of understanding students’ willingness to use formative feedback and, as a consequence, the need to develop digital environments where students have the opportunity to use feedback on demand, since automatic feedback delivery does not guarantee that students are driven to attend and process its content in the expected manner, especially when the correct answer is provided. The studies presented in this thesis have theoretical and practical implications for both researchers and practitioners in the fields of psychology and education interested in enhancing students' comprehension and learning by means of delivering formative feedback in digital environments, such as e-textbooks, MOOCs (Massive Online Open Courses), or ITSs (Intelligent Tutoring Systems). es_ES
dc.embargo.terms 3 months es_ES

View       (4.102Mb)

This item appears in the following Collection(s)

Show simple item record

Search DSpace

Advanced Search

Browse

Statistics