Log In 
Language Revista electrónica de investigación y evaluación educativa, 2016, vol. 22, no 1
Permanent URI for this collection
Browse
Recent Submissions
- Desafíos para PISA(2016) Schleicher, AndreasEl Programa para la Evaluación Internacional de Alumnos (PISA) proporciona un marco en el que más de 80 países colaboran para construir métricas globales avanzadas para explorar los conocimientos, habilidades y atributos del estudiantado. El diseño de las evaluaciones plantea importantes desafíos conceptuales y técnicos, como el éxito del aprendizaje. Más allá de una base conceptual sólida, PISA necesita cumplir una serie de exigencias a veces contradictorios. Los/as administradores de escuelas, autoridades normativas y los docentes deben ser capaces de utilizar esta información de la evaluación para determinar cómo crear mejores oportunidades para el aprendizaje de los estudiantes. Las evaluaciones también deben proporcionar retroalimentación productiva, con niveles apropiados de detalle, para potenciar las decisiones de mejora y rendición de cuentas, en todos los niveles educativos. De hecho, además de evaluar la lectura, las matemáticas y la ciencia como competencias clave, PISA va incorporando progresivamente también algunas de las competencias cognitivas más amplias, sociales y emocionales.
- Interpretaciones no intencionadas e intencionadas y usos de los resultados de PISA: Una perspectiva de validez consecuencial(2016) Taut, Sandy; Palacios, DiegoThis paper explores the relevance of considering the consequences of testing as part of discussions about the validity, and validation research, in the context of the OECD Programme for International Student Asssessment, PISA. We first describe the modern conception of validity as a core aspect of quality of tests and testing systems, evolving around the proposed interpretations and uses of test scores: “Validity refers to the degree to which evidence and theory support the interpretations of test scores for proposed uses of tests. Validity is, therefore, the most fundamental consideration in developing tests and evaluating tests.” (AERA, APA & NCME, 2014, p. 11). In particular, we focus on the role that consequences have played in the literature on test validity and validation. We then introduce PISA and its intended interpretations and uses as the basis for examining its validity. This is followed by summarizing existing empirical studies on the uses and consequences of PISA. Finally, the paper presents missing pieces in the validity evidence related to consequences and discusses the importance of a pro-active agenda on these topics by the PISA stakeholders at international and national levels.
- Una crítica metodológica a las evaluaciones PISA(2016) Fernández Cano, AntonioEn este trabajo realizamos una evaluación metodológica de las evaluaciones internacionales PISA, presentando un análisis crítico de sus deficiencias y limitaciones. Presentamos una revisión metodológica o meta-evaluación de los múltiples informes PISA, en un intento de demostrar la validez plausible de las inferencias que PISA mantiene, teniendo en cuenta una serie de limitaciones metodológicas tales como: una lógica incoherente, toma de muestras opacas, diseño evaluativo inestable, instrumentos de medición de validez cuestionables, el uso oportunista de las puntuaciones transformadas por la normalización, la confianza reverencial en la significación estadística, la ausencia de estadísticas sustantivamente importantes centradas en las magnitudes de los efectos, una presentación problemática de los hallazgos e implicaciones cuestionables extraídas de los resultados para las prácticas y las legislaciones educativas. Recae sobre PISA la responsabilidad de proporcionar y demostrar mayor rigor metodológico en los futuros informes técnicos y la consiguiente necesidad de ser cuidadosos para no mostrar inferencias sin fundamento a partir de sus hallazgos.
- Capacidad evaluativa, validez cultural, y validez consecuencial en PISA(2016) Solano Flores, Guillermo; Milbourn, TamaraInternational student assessments have played an increasing important role in educational policy. These international test comparisons generate valuable information about each participating country’s student performance and the social and contextual factors. A complex picture of the cultural, economic, and social factors that shape PISA participation is emerging. We aim to understand the relationship between national assessment capacity and how countries participate in international test comparisons. We propose a framework for examining assessment capacity as key to addressing two aspects of validity cultural and consequential. Also, we discuss the multiple facets of assessment capacity as conditions for addressing cultural validity and consequential validity in international test comparisons.
- Ítems contextualizados de PISA Ciencias: La conexión entre las demandas cognitivas y las características de contexto de los ítems(2016) Ruiz-Primo, María Araceli; Li, MinThe ubiquitous use of contexts in test items is based on the premise that contextualizing items is an effective strategy to test whether students can apply or transfer their knowledge. In this paper, we continue a research agenda focusing on testing this premise. We present a study of the context characteristics in a sample of 2006 and 2009 PISA science items and how these characteristics as well as student performance may be related to the cognitive demands of the items. The study was guided by two research questions: (1) What are the cognitive demands of the sampled PISA contextualized items and what is the students’ performance linked to these items? (2) Are the items’ cognitive demands associated with certain characteristics of the contexts of the items that proved to be linked to students’ performance? Using 52 released and secured PISA science items, we captured information about three context dimensions of items, level of abstraction, resources, and nature of the context, and the cognitive demands of the items. A multinomial logistic regression with cognitive demand as the outcome variable, context characteristics as the predictors, and percent of correct responses as the covariant indicated that certain context characteristics are linked to the cognitive demands of items. For example, we found that items in which contexts involve only concrete ideas were associated with items with low cognitive demands; these items are unlikely to require content knowledge to be responded. We also found that the type of resource (e.g., tables, graphs) was associated with the cognitive demands of the items: schematic representations seem to be linked to items tapping procedural knowledge rather than to items tapping declarative or schematic knowledge. We concluded that further research is needed to better understand the influence that context characteristics have on the cognitive processes in which students are asked to engage and in their performance. Key-words: PISA, science items, context characteristics of the Items, cognitive demands, validity.
- Corrigiendo las diferencias de uso de escala entre países de América Latina, Portugal y España en PISA(2016) He, Jia; Vijver, Fons J. van deThis paper investigated the effects of corrections for scale usage preference in seven Latin American countries, Portugal and Spain in student self-reports in the 2012 Programme for International Student Assessment (PISA). These targeted countries tend to show a strong tendency of expressing strong opinions and self-enhancement, which can pose serious validity threats in cross-cultural comparisons of self-reports. We examined to what extent score corrections, that have been proposed, would change the patterning of the cross-cultural differences. We corrected for the scale usage preferences in a measure of teacher support among 39,045 students in nine countries, based on extreme response style, overclaiming, and anchoring vignettes, respectively. These measures showed different effects: (1) All correction methods helped to improve measurement invariance, although the correction based on anchoring was less effective in reaching scalar invariance compared with the correction of extreme response style and overclaiming; (2) controlling for extreme response style and overclaiming changed the mean score of Spain to a greater extent than other countries, which seems to present a more realistic patterning, whereas the changes on correlations with other measures were rather limited. The use of anchored scores led to drastic changes both in means and correlations. A firm conclusion about which method is to be preferred cannot be given as there is no evidence which method enhances the validity of scores in these countries more. We discuss the necessity and practicability of correction methods.
- Background questionnaires of PISA: a study of the assessment indicators(2016) González Such, José; Sancho-Álvarez, Carlos; Sánchez Delgado, María PurificaciónThe PISA assessment system has generated and continues to generate intense debate about its structure and usefulness. This article focuses on the context questionnaires as a way to analyze and understand the results properly. The objectives are to analyze the background indicators used in the different editions of the PISA tests, used in different studies and the results of these studies. An overview of the model used is provided to ensure that these indicators are no longer something that accompanies the performance test to reach their true meaning: jointly analyze the performance along with the variables that may be influencing the results. As methodology is used document analysis of publications related to PISA and results, as well as a semantic analysis of scientific work that has generated PISA. The results show that some indicators have remained throughout the various editions of PISA, while others have changed. The translation of a stable model in editions from PISA 2015 in which the most relevant items are included will undoubtedly facilitate the study of results at vertical and horizontal level. Thus, the importance of PISA context questionnaires established to properly understand their results and the need for more complex studies of multilevel or nested that normally used, generally based on descriptive statistics and / or percentages
- Lo que PISA nos mostró: claroscuros de la participación de Uruguay a lo largo de una década.(2016) Peri, Andrés; Sánchez, María Helvetia; Silveira, Adrián; Sotelo, MarianaThe aim of this paper is to to analyze what PISA has allowed to know and understand the functioning of the national educational system. To this end it is proposed to expose some results which arise from participation of Uruguay in PISA during a decade, and highlight some characteristics of Uruguayan educational system from a comparative perspective with other states of same region. By the other hand, they are shared some local reflections about contributions of an international assessment such as PISA, its approach, and its role in the mark of the system of information and evaluation of national learning, and also, about how it should analyze, interpret and use its results.
- Desafíos para la calidad y la equidad en el desempeño educativo para América Latina, una perspectiva PISA 2012(2016) Villar Notario, Antonio; Zoido, PabloThis paper analyses the educational performance of eight PISA 2012 Latin American countries relative to the OECD focusing on equity in the distribution of outcomes. We consider first the results of those countries in terms of the shares of high and low performing students. Next we study how much those performances depend on the students’ family background. We use the data on mathematical competencies in PISA 2012 and compare the results of those students coming from disadvantaged and advantaged families, identified with those in the first and fourth quartiles of the distribution of the index of Economic and Socio-Cultural Status. The main results of this study are: (i) The differences in the educational systems between Latin American countries and the OECD are much larger than suggested by country rankings based on mean performance. (ii) The share of Latin American students exhibiting high performance is extremely thin, particularly among disadvantaged students, whereas low performance is pervasive across all students regardless of family background. (ii) Socio-economic conditions strongly determine high performance, much more than in the OECD.
- Análisis de tendencias en las investigaciones realizadas a partir de los datos del Proyecto PISA(2016) Pereira, Dora; Perales Montolío, María Jesús; Bakieva, MargaritaEste estudio es parte de una investigación más amplia que pretende diseñar un modelo de análisis de evaluaciones de sistemas educativos que permita valorar su aportación para la cohesión social (Jornet, 2012). El punto de partida son investigaciones previas sobre el papel de las variables de contexto, de entrada y de proceso en las evaluaciones de sistemas educativos, que frecuentemente cuidan mucho más la justificación teórica y la calidad métrica de las variables de producto que estas otras, que finalmente ayudan a interpretar los resultados. En este caso realizamos revisión de los trabajos científico-académicos del corte empírico, publicados entre los años 2000 y 2012, que utilizan bases de datos PISA. La metodología se estructura en dos fases: identificación y selección de los documentos para formar una base y posterior análisis de cada uno de los documentos con el fin de extraer indicadores que nos permitieran realizar un análisis exploratorio. Algunos resultados hacen pensar que las bases de datos PISA están infrautilizadas, sobre todo por los investigadores en el campo de educación.
- PISA y TALIS ¿congruencia o discrepancia?(2016) Fernández Díaz, María José; Rodríguez Mantilla, Jesús Miguel; Martínez Zarzuelo, AngélicaInternational educational evaluations on a grand scale provide information of great interest to the educational, scientific and political community. Many studies have derived from them, both nationally and internationally. On the other hand, it is well known from the beginning of these macro-assessments the diversity of opinions they have generated. In this context, the aim of the study presented here is to analyse and go deeply into the relationships between the results from PISA 2012 and those relating to teaching practice of secondary TALIS 2013, trying to find out the consistencies and discrepancies between the results of both, considering that these two evaluations should show certain coherence between the results obtained by students and teacher ratings. The descriptive analysis carried out taking the overall scores on both evaluations show obvious discrepancies, as countries occupying the top positions in the results of students in PISA are located in the last places in teaching practice of teachers. To go deeper into this aim data from TALIS-PISA link have been used, where it is assumed that more intense relationships should be produced as there is a direct link between students and teachers evaluated. The analysis also show the lack of the expected coherence. These results lead to reflect on the possible underlying causes and so it is proposed the need for a coordinated design of both evaluation processes.
- Policies and educational results in Latin America: a map compared to seven countries (2000-2015)(2016) Rivas, Axel; Sanchez, BelénEl artículo analiza las políticas educativas implementadas entre 2000 y 2015 en Argentina, Brasil, Chile, Colombia, México, Perú y Uruguay a partir de un abordaje metodológico mixto que combinó aproximaciones cualitativas y cuantitativas. La situación actual en términos de calidad de los aprendizajes se revela preocupante pero la evolución de los indicadores analizados en el período da cuenta de un panorama esperanzador. El mapeo de las políticas da cuenta de una agenda en movimiento, caracterizada por la expansión de derechos educativos básicos, cambios en la gobernabilidad de los sistemas educativos, la utilización de libros de texto y materiales digitales como “atajos” de cambio educativo, la flexibilización de los regímenes académicos, la proliferación de políticas redistributivas de justicia educativa, una fuerte apuesta por las políticas para la docencia y el liderazgo educativo como llaves del cambio educativo, y el auge de las evaluaciones de la calidad educativa y las políticas masivas de distribución de computadoras a las escuelas, entre otros rasgos salientes. El análisis de los resultados de aprendizaje y la evolución de otros indicadores educativos clave a la luz de las políticas analizadas permitió elaborar una serie de hipótesis y reflexiones sobre posibles caminos de mejora sistémica que buscan contribuir a la reflexión profunda, plural y rigurosa sobre la mejora de la educación en América Latina.
- Impact of large-scale tests in contexts of weak technical tradition Experience of Mexico and the Iberoamerican Group for PISA(2016) Martínez Rizo, FelipeEl artículo inicia con un breve repaso del desarrollo de la psicometría, que destaca la brecha entre la situación de Estados Unidos y la de otros países, sobre todo de menor desarrollo, en cuanto a la existencia de personal calificado en temas técnicos complejos. En seguida se hacen consideraciones sobre la noción de validez y su importancia, en especial en cuanto a la validez de consecuencias. Luego se describe el impacto de las evaluaciones, con especial atención a las de gran escala y las internacionales, con el caso de PISA, considerando en especial el caso de países con una tradición psicométrica débil. En la conclusión se discute el tema, a partir de la experiencia de México y del Grupo Iberoamericano de PISA.
- School participation, Family support, Performance in Mathematics: The case of Mexico in PISA (2012).(2016) Bazán Ramírez, Aldo; Backhoff Escudero, Eduardo; Turullols, RafaelThe purpose of the work is to understand 1) the multidemensional structure and the validity of two convergent and divergent constructs: parental participation in school, and parental support for learning in the home and 2) the relationship between these two constructs to the performance of students in mathematics. The study was conducted with Mexican PISA databases (2012); specifically, with the answers of 33,806 parents to 18 questions in familial questionnaires, as well as with their children´s scores in mathematics. To achieve this objective two types of analysis were conducted: exploratory and confirmatory factor analysis of the responses of the parents 2) Confirmatory Factorial Analysis of Trajectories with the answers of the parents as independent variable and the mathematics scores of their children as the dependent variable. The results show that the first construct is composed of three dimensions and that the second of two constructs, together they have a load factor that explains the 10% of variance in student mathematics performance.
- La investigación evaluativa en el siglo XXI: un instrumento para el desarrollo educativo y social cada vez más relevante(2016) Escudero Escorza, TomásAfter a wide revision of the recent publications about the subject, the present situation of evaluation research is analysed as a strategic tool for the decision making of the development and improvement of society and citizens’ quality of life in varied sectors such as education, health, economy, culture, social protection, public policies, etc. The scientific identity of the evaluation research is described and founded upon, stressing its transdisciplinary character, the rise of the evaluation of organizations and institutions, and the use of different methodologies and the importance of participative strategies. Also outlined is the utility and appropriate use of the evaluations as priority object of this kind of research, relying always on principles and ethical rules of scientific quality and on the corresponding meta-evaluative studies.
- Las competencias en TIC de estudiantes universitarios del ámbito de la educación y su relación con las estrategias de aprendizaje(2016) Díaz García, Isabel; Cebrián Cifuentes, Sara; Fuster Palacios, IsabelEste estudio se enmarca en el contexto universitario, y concretamente en los estudiantes, ya que son los actores principales de su proceso de aprendizaje. El objetivo se centra en analizar las competencias en TIC (tecnológicas, pedagógicas y éticas) de estudiantes universitarios del ámbito de la Educación y su relación con las Estrategias de Aprendizaje. Además, se tienen en cuenta en el planteamiento desarrollado determinadas variables personales y contextuales claves. La población de referencia la constituyen los estudiantes universitarios de titulaciones pertenecientes al ámbito de la Educación de la Universidad de Valencia. La información se ha recogido a través de cuestionarios. Se ha demostrado que existe una influencia de las Estrategias de Aprendizaje del estudiante en su competencia respecto a las TIC (tanto tecnológicas como pedagógicas y éticas), muy especialmente las relacionadas con el procesamiento de la información. Los resultados obtenidos nos permiten ahondar en la relación entre las competencias en TIC y las estrategias de aprendizaje que los estudiantes ponen en marcha en los procesos de enseñanza-aprendizaje y la influencias de las variables personales y contextuales clave.
- Methodological analysis of the PISA project as international assessment(2016) Jornet Meliá, J. M.En este artículo el objetivo es realizar un análisis global del Proyecto PISA como programa de evaluación internacional. Asimismo, se analizan características metodológicas de los procesos métricos que sustentan los instrumentos que se utilizan en el proyecto: las pruebas de logro y los cuestionarios de contexto. Se identifican las fortalezas y debilidades del proyecto, en diversas áreas, desde el Diseño y validación del proyecto como programa de evaluación internacional, sus usos y modos de comunicación de resultados, hasta las características métricas de sus instrumentos. Se proponen alternativas para optimizar el uso del proyecto en general y en los países involucrados en particular. Se concluye que se trata de un proyecto que, por su calidad metodológica e impacto socio-político es valioso, si bien tiene diferentes aspectos que podrían mejorarse -tanto como programa de evaluación, como en sus fundamentos de medición educativas- para que pudiera aportar informaciones de mayor calidad y que pudieran orientar decisiones de mejora.
- Las revistas académicas: entre la evaluación y el cumplimiento de su función social.(2016) Arévalo Guízar, Gabriela; Rueda Beltrán, MarioEn el texto se plantea la necesidad de revisar el contexto de la evaluación del trabajo académico para poder entender las dificultades que tienen las revistas académicas latinoamericanas para cumplir con su evaluación a través del índice de impacto y la interacción con las empresas que lo emplean. De igual manera se describe la influencia que ejercen las editoriales comerciales sobre la producción y difusión del conocimiento. Se revisan algunas de las estrategias seguidas por las revistas latinoamericanas para hacer visible el conocimiento producido, al tiempo que se presenta la situación de las revistas mexicanas de investigación educativa en las bases de datos internacionales y regionales. Por último, a través de un ejercicio analítico de los criterios y políticas nacionales de evaluación de revistas mexicanas de investigación, se develan los mecanismos puestos en juego para sortear las pruebas que un proceso de esta naturaleza conlleva
- Validity for Automatic Generation of Items for the Basic Competences Exam (Excoba)(2016) Ferreyra, María Fabiana; Backhoff Escudero, EduardoLa Generación Automática de Items (GAI) es el proceso con el cual se diseñan y elaboran reactivos de una prueba, así como versiones completas de exámenes conceptual y estadísticamente equivalentes. Los Generadores Automáticos de Ítems se desarrollan con el apoyo de sistemas informáticos, que los hacen sumamente eficientes. Con esta idea se creó el generador automático de reactivos GenerEx del Examen de Competencias Básicas (Excoba). Este trabajo tuvo el propósito de describir una propuesta para analizar la estructura interna y equivalencia psicométrica de los exámenes generados con el GenerEx, así como describir el tipo de resultados que se obtienen para lograr este propósito. La propuesta se fundamenta en la forma de seleccionar las muestras de reactivos, partiendo del principio de que los ítems y exámenes obtenidos deben ser equivalentes psicométricamente. El estudio se basa en tres tipos de análisis con marcos conceptuales diferentes y complementarios: la Teoría Clásica de los Test, la Teoría de Respuestas al Ítem y el Análisis Factorial Confirmatorio. Los resultados indican que el GenerEx produce exámenes psicométricamente similares, aunque con ciertos problemas en algunas áreas temáticas. La metodología permitió obtener una buena descripción del funcionamiento psicométrico del GenerEx y de la validez interna de dos versiones generadas al azar. Los análisis se pueden complementar con un estudio cualitativo de las deficiencias detectadas.
- Preferencias relacionales de género en el contexto escolar: una nueva medida para el diagnóstico de relaciones de género en educación(2016) García Pérez, Rafael; Ruiz-Pinto, Estrella; Rebollo-Catalán, ÁngelesThis study evaluates a new methodological procedure for "micro-sociometric" analysis of gender relationship patterns in the adolescent students, which is analyzed using Multiple Correspondence Analysis (MCA). The purpose of the study is to develop and assessment of the Gender Relationship Preferences Scale (GRPS), in order to obtain valid and reliable data to recognize the willingness of the young (girls and boys) to interact with their peers; and to determine whether the relationships established between them are conditioned by the gender differential socialization proposed by patriarchy (Bosch, Ferrer & Alzamora, 2006; Lagarde, 1996; Lomas, 2007; Lorente, 2007; Rodríguez-Mosquera, 2011; Simón, 2010; Tomé & Tonucci, 2013). The sample size is 6000 cases, adolescent students, of whom 50.8% are women and 49.2% are men, with a mean age of 13.82 years. The construct validity is tested and it has obtained a high reliability (Cronbach's alpha = .92) for the determining the allocation of roles and gender stereotypes in the classroom, what it is obtained while considering the "social distance" and elective structure of boys and girls in classrooms. Maps "micro-sociometric", obtained with MCA, facilitates the interpretation of the results, which are consistent with other theoretical approaches, identifying the "social distance" between people, categories and both genders. The results highlight relational activities showing very marked gender patterns such as sharing clothing or choosing a couple, and the relational behaviors associated with inter-intra gender differentiation.
