Análisis de las guías docentes de los Trabajos Fin de Estudios en la formación del profesorado de Educación Física ¿es formativa su evaluación?

Analysis of Final Year Project Syllabi in Physical Education Teacher Education: Is The Assessment Formative?

Introducción

Los Trabajos Fin de Estudios en la Formación del Profesorado: Grado y Máster

En el contexto del cambio de modelo de la formación universitaria en Europa, en España, el Real Decreto 1393/2007, estableció para las enseñanzas universitarias oficiales de Grado y Máster, que estas concluirían con la elaboración y defensa de un Trabajo Fin de Estudios (TFE). Se fijaba una duración de entre 6 y 30 créditos, a realizar en la fase final de los estudios (Vicario-Molina et al., 2020), y habría de estar orientado a la evaluación de competencias asociadas al título; posteriormente debería ser desarrollado y regulado por cada Universidad (Rekalde Rodríguez, 2011).

Las Universidades, a partir de las experiencias de las titulaciones técnicas, concretaron de forma muy diversa el desarrollo de TFE (Trabajos Fin de Grado y Trabajos Fin de Máster) (Zornoza Gallego & Vercher Savall, 2020), lo que Rekalde Rodríguez (2011) denomina el segundo nivel de concreción curricular.

Se trata de una asignatura enfocada a que el estudiante demuestre las competencias adquiridas en su formación y evidencie resultados de aprendizaje globales (Rubio et al., 2018), lo cual se debe integrar en una creación original realizada con un fuerte componente de autonomía, pero bajo la tutela de profesorado que dirige y asesora el proceso de producción (Pérez-García, 2021), donde lo importante no radica en los resultados sino en cómo se ha llegado a ellos movilizando competencias claves (Rekalde Rodríguez, 2011). Los TFE adquieren así una importancia acreditativa, pues la institución necesita saber si sus estudiantes pueden incorporarse al mercado laboral en condiciones óptimas.

Cambio de paradigma: Competencias y enseñanza centrada en el alumnado

El cambio de paradigma educativo introdujo las competencias, en parte, para facilitar la incorporación al mercado de trabajo de los egresados (Garrote de Marcos, 2015); precisamente, el Trabajo Fin de Grado (TFG), junto a las prácticas, constituyen “el puente entre los estudios finalizados y el mundo laboral” (Zornoza Gallego & Vercher Savall, 2020, 122). En este escenario, Palacios et al. (2019), tras el análisis de diversas propuestas teóricas, definen el concepto de competencias como la capacidad de integrar, movilizar, combinar y coordinar conocimientos (“saber”), habilidades destrezas (“saber hacer”), actitudes, valores y normas (“saber ser”) que permiten dar respuesta a una situación compleja en un contexto determinado.

Se considera que las competencias a desarrollar son las generales o transversales (González & Wagenaar, 2010) fundamentalmente, pero la práctica docente permite constatar, en línea con García Sanz y Martínez Clares (2012), que más que integrar contenidos, los TFE están permitiendo la adquisición de nuevas habilidades y competencias, vinculadas de forma específica con la planificación, elaboración y defensa de estos trabajos. En el caso de las enseñanzas en Formación Inicial del Profesorado de Educación Física (FIPEF), las competencias docentes son clave. De aquí que en algunos estudios (Asún-Dieste et al., en prensa; Salcines et al., 2018; Palacio et al., 2019) se hayan establecido dentro de las competencias específicas las docentes genéricas, propias de todos los perfiles de maestro / profesor, y las docentes específicas, si aluden de forma concreta a la actividad física.

Esta asignatura singular tropieza con no pocas dificultades (Vicario-Molina et al., 2020), como: el proceso de tutorización a veces insuficientemente definido, el grado de autonomía que supone el trabajo académico con retos distintos en una asignatura distinta, estudiantes con carencias formativas en, por ejemplo, técnicas de investigación, u otras. Alguna de estas dificultades podrían solventarse con propuestas innovadoras o ya asentadas, pero insuficientemente extendidas en las universidades, como: la tutoría entre pares (Cieza García, 2011), los grupos de trabajo discursivos, la creación de espacios de coworking con medios materiales y actividades formativas comunes, etc.

Este cambio de paradigma supone un salto cualitativo hacia un modelo centrado en el alumno, cuya impregnación en las universidades españolas está en proceso. Un modelo centrado en la adquisición de competencias que obliga a alinear adecuadamente el proceso de aprendizaje a través de resultados de aprendizaje, metodología docente y sistema de evaluación (Zornoza Gallego & Vercher Savall, 2020); todos ellos convenientemente coordinados como un sistema coherente y plasmado en programas que se visualizan mediante las guías docentes de las asignaturas.

Contrato entre el profesor, la institución y el estudiante: las guías docentes

El primer contacto de los estudiantes con una asignatura en la universidad es la guía docente, al ser un documento público que recoge lo fundamental del contenido y las descripciones organizativas, los requisitos, los plazos importantes, así como el sistema de evaluación y los criterios de calificación (Richmond et al., 2019).

Habitualmente las guías de TFE las elaboran los centros, más que profesores concretos o Departamentos (Jiménez-Jiménez et al., 2021), a pesar de que normalmente se atribuye a estos últimos la regulación de los aspectos de contenido. Con ello se intenta dar uniformidad a los trabajos de un mismo centro o incluso universidad, al ser una asignatura de alguna manera transversal. La guía docente es el contrato que se establece entre la institución y su profesorado con los y las estudiantes, por tanto, está sujeto al compromiso de cumplirlo y a la necesidad de tener un marco de trabajo claro y explícito.

Los distintos formatos de las guías docentes (Jiménez-Jiménez et al., 2021) se encuentran en un continuum que iría desde los diseños de carácter normativo, donde se explicitan aspectos de organización principalmente, hasta los diseños más centrados en el contenido, que se esmeran por detallar el proceso, que describen y explican los aprendizajes y dan detalles precisos de, por ejemplo, los indicadores de evaluación, o principios pedagógicos concretos. Este último tipo de guías estaría en la línea de los modelos centrados en el alumno (Richmond et al., 2019), que, sin duda, son más coherentes con la filosofía educativa del modelo universitario al que nos venimos refiriendo.

Necesidad de explicitar sus elementos

Si consideramos que las guías son ese contrato que vertebra la relación profesor-estudiante-materia, los elementos programáticos deberían ser lo suficientemente completos y explícitos. Sin embargo, tal y como señalan en su estudio Lorente et al. (2013), las guías son escuetas y adolecen de informaciones suficientemente precisas, aspectos que como se ha indicado, Richmond et al. (2019) identifican con modelos que no están centrados en el alumno. Esta falta de explicitación se observa, por ejemplo, en la escasa referencia a la labor del tutor, aspecto que los estudiantes encuestados en el estudio de Vicario-Molina et al. (2020) reconocen como elemento clave de éxito en la asignatura.

Elementos de la guía docente y sistema de evaluación: necesidad de alineamiento

Los apartados más habituales de las guías docentes son: las competencias, resultados de aprendizaje, metodología, actividades de aprendizaje y sistema de evaluación; por su parte, el sistema de evaluación contendría los Medios, Instrumentos, Criterios y Agentes de evaluación. Para Gallego et al. (2011), los Medios “son pruebas o evidencias que sirven para recabar información sobre el objeto a evaluar” (p.96); los Instrumentos sin embargo son “herramientas reales y físicas utilizadas para valorar el aprendizaje evidenciado a través de los Medios de evaluación” (p.97); a partir de Nunziatti (1990), los Criterios son normas o pautas de referencia utilizadas para la emisión del juicio o valoración; y los Agentes, las personas que evalúan. El análisis del diseño de programas permite comprobar la coherencia entre sus diferentes elementos, especialmente entre competencias, objetivos, metodología y evaluación. En palabras de Lorente et al. (2013, 23), “analizar los elementos que componen los programas y especialmente la evaluación permite identificar qué tipo de aprendizajes prevalecen y a qué se le da mayor o especial importancia dentro de una materia o asignatura”, siendo el análisis de las guías la ayuda más precisa para tomar decisiones óptimas.

Se hace necesario buscar la coherencia entre los elementos constitutivos del programa, basándose para ello en el alineamiento constructivo al que se refería Biggs (2005), según el cual el conjunto de las piezas del puzzle ha de ser más que la suma de todas ellas para guiar con eficacia el proceso de enseñanza-aprendizaje.

Evaluación formativa

De los elementos programáticos mencionados, sin duda “la evaluación de los aprendizajes es uno de los aspectos de mayor dificultad en la implementación de un modelo educativo que busque la formación en competencias” (Villarroel, & Bruna, 2017, 121).

En ese puzzle al que se hacía referencia, la evaluación formativa, conceptuada por Cullen y Harris (2009) como un medio de analizar el grado de centrado en el alumno de las programaciones, se presenta como una opción claramente alineada con el actual modelo de programación por competencias.

La evaluación formativa es un tópico de investigación que ha evolucionado de manera significativa en los últimos años en España, donde existen grupos de investigación con un fuerte compromiso con su estudio y aplicación (Cano, 2021).

Una evaluación que Navarro-Adelantado y Jiménez- Jiménez (2021, 12) definen a partir de seis rasgos nucleares: “(1) Integración de la evaluación del aprendizaje y de la enseñanza en el sistema de evaluación; (2) Implicación activa del alumnado en los procesos de evaluación; (3) Uso de instrumentos de evaluación de forma continua y compartida durante los procesos de enseñanza y de aprendizaje; (4) Presencia de un flujo bidireccional reiterado de comunicación profesorado-alumnado respecto a la información obtenida en las actividades de evaluación, sujeto a planificación; (5) Criterios de evaluación que respondan a los conocimientos, habilidades y actitudes que ha de movilizar de manera integrada el alumnado en un enfoque competencial, sirviendo de referencia para el diseño de tareas ricas que demanden este tipo de respuestas integradas; y (6) Las actividades de evaluación alineadas con otros elementos del diseño de enseñanza (criterios de evaluación y de calificación, resultados de aprendizaje, competencias y actividades de enseñanza y aprendizaje)”.

Sabemos que evaluar e informar al alumno de su evaluación favorece el aprendizaje. Por ello vale la pena investigar sobre evaluación de carácter formativo, evaluación para un aprendizaje auténtico.

Entendemos que hace falta un cambio o seguir con el cambio institucional, y por ello creemos que cobra sentido el análisis de los documentos institucionales, en este caso de las guías docentes, como documento común explicitado por las universidades; ya que según Cullen y Harris (2009), la evaluación, fundamentada en la investigación sobre el aprendizaje, será el vehículo para conseguir el cambio del paradigma instruccional a uno centrado en el aprendiz.

A tenor de lo referido hasta ahora, el objetivo general de este trabajo es analizar cómo se evalúa la asignatura TFE en FIPEF. Más concretamente, se pretende (1) mostrar un mapa de la situación actual de los sistemas de evaluación de las guías docentes, y (2) diseñar y aplicar un procedimiento de análisis de la capacidad formativa de sus sistemas de evaluación que permita conocer su alineamiento con el modelo educativo universitario promovido por Bolonia, de cara a evaluar la calidad de los programas de los TFE, tanto por parte del profesorado como de las instituciones.

Metodología

Diseño

Se diseñó un estudio mixto secuencial (Johnson & Onwuegbuzie, 2004) de las guías docentes de las asignaturas TFE de las titulaciones españolas que conducen a la formación docente de Educación Física, donde se cuantificaron los elementos del sistema de evaluación y otros aspectos, a través de valores obtenidos mediante un Análisis Documental. Posteriormente se focalizó el análisis en la capacidad formativa de los sistemas de evaluación de las guías obteniendo, mediante un Panel de Expertos, un índice que permitió cuantificar la capacidad formativa de los sistemas de evaluación para, a continuación, aplicar un MANOVA Biplot (Vicente, 1992) para arreglos de tratamientos con dos factores basados en modelos lineales generales multivariantes, conformando un estudio exploratorio, que permitió mostrar gráficamente la situación de los distintos elementos y variables estudiados, y establecer y caracterizar grupos o clústeres con las titulaciones objeto del estudio.

Población

La población estuvo compuesta por el conjunto de guías docentes de los TFE del Grado en Magisterio en Educación Primaria (GMEP), mención en Educación Física, y del Máster en Profesorado de Educación Secundaria (MPES), especialidad de Educación Física, de todas las universidades españolas que cumplían los criterios de inclusión. Considerando que uno de los indicadores de calidad guarda relación con el acceso universal y directo a la información, los criterios de inclusión fueron: (1) que se pudiera acceder a las guías del TFG/TFM completas a través de las URL correspondientes (Rekalde Rodríguez, 2011); (2) que en la universidad se impartiesen uno o dos de los títulos con mención o especialidad de Educación Física (EF); y (3) cuando en una misma universidad se impartiera el título en más de un centro, se daría prioridad a los centros propios por encima de los adscritos; y si había más de un centro propio, se elegía el de la sede central de la universidad; y en último término debía elegirse uno al azar. Existen precedentes de estudios de guías seleccionadas de manera aleatoria (Zornoza & Vercher Savall, 2020), pero también de otros que como el presente abordaron la totalidad de las guías.

Caracterización de las guías estudiadas. De las 88 universidades españolas existentes en el curso 2019-2020, 76 disponían de estudios de algún tipo de formación de profesorado (Tabla 1).

De las 76 universidades con estudios de profesorado, 63 incluían estudios en Educación Física, distribuyéndose en 16 con solo estudios de Grado de Maestro (EF), 11 únicamente con Máster en Profesorado (EF), y 36 con ambas titulaciones; lo que sumado arroja un total de 99 guías o unidades de análisis.

Por diversas razones (datos incompletos o confusos, imposibilidad de acceso…) no pudieron analizarse 3 casos, por lo que finalmente la población la constituyeron 96 guías de las 99 posibles.

El 54.2% de los títulos estudiados fueron de Grado y el 45.8% restante de Máster. La asignatura de TFE (TFG+TFM), en el 80.2% de los casos tenía 6 créditos; tan solo el 2% estaba por debajo de esta cifra. El número de créditos mayor fue 12 y se dio en un 5.2% del total de las guías analizadas. En cuanto a la temporalización, en el 72.9% de los casos la asignatura era semestral.

Instrumentos

Hoja de registro. Se construyó una hoja para anotar los elementos del sistema de evaluación y otros aspectos de los TFE. Se partió del protocolo creado por Romero-Martín et al. (2020) para analizar guías docentes, pero dadas las particularidades de la asignatura de TFE, se elaboró un documento ad hoc. Inicialmente se identificaron y censaron los elementos de las guías docentes, a partir de la revisión de la bibliografía específica y de una primera revisión de las guías docentes. Con los términos encontrados mediante ambas fuentes de información, se procedió a un filtrado por reducción y asimilación (sinónimos), llevado a cabo por cuatro investigadores expertos en docencia universitaria. A partir de ahí, se elaboró la planilla para registrar los siguientes elementos de las guías:

1. Aspectos generales: titulación, universidad, créditos y período.

2. Medios de evaluación y valor atribuido en la calificación: Proceso, Documento (Memoria/Póster), Presentación y Debate/Defensa.

3. Instrumentos para la evaluación: Rúbrica, Lista de control, Escala, Informe y Otros.

4. Criterios de evaluación: Originalidad, Relevancia, Implicación, Claridad expositiva. Precisión, Cumplimiento fechas y plazos, Corrección formal (oral, escrita), Adecuación fuentes documentales y Otros.

5. Agentes: Tribunal, Tutor/a o Director/a, Estudiantes y Otros.

6. Otros: Sistema de elección de la línea temática, tutor y modalidad de TFE; Modalidades de TFE; y tipo de Orientaciones que se dan al estudiante.

Tras el análisis de las guías, se cuantificaron las frecuencias de cada uno de los elementos descritos, se ajustaron para que ningún elemento pesara más que otro por tener más opciones de respuesta, con lo que se obtuvo un valor de cada elemento para cada guía.

Panel de expertos. Para definir la capacidad formativa del sistema de evaluación de una guía docente, se calculó un índice para cada uno de sus elementos, en función de las opiniones de expertos en evaluación formativa. Se seleccionó esta técnica cualitativa al no disponer de datos históricos útiles en los cuales basar el análisis. Se contó con ocho expertos, número que se encuentra dentro del rango 5-20 que recomienda Zartha (2014), que opinaron, reflexionaron y reconsideraron su opinión, teniendo en cuenta planteamientos propios y de otros expertos (Varela Ruiz et al., 2013) para llegar a un acuerdo. El proceso se organizó en cuatro fases:

1. Fase 1. Los expertos debían ordenar los elementos en función de la importancia que atribuían a cada uno (5 mayor, 1 menor) para detectar o poner en evidencia su alineamiento con la evaluación formativa, razonando sus respuestas.

2. Fase 2. El equipo de investigación recopiló ambas informaciones, orden numérico y justificaciones, elaborando una tabla que se reenvió a los expertos, en una segunda vuelta.

3. Fase 3. Se efectuó una reunión grupal, Focus Group, donde los expertos, conocidos los argumentos del resto, intercambiaron opiniones y consensuaron qué opciones (combinadas o no) dentro de cada elemento (medios, instrumentos, criterios y agentes) eran más o menos formativas, otorgando un valor entre 5 y 1 respectivamente (Tabla 2).

1. Fase 4. A continuación, el equipo responsable de la investigación calculó el Índice de Capacidad Formativa para cada elemento, a partir de la media resultante de los valores de los expertos (Tabla 3).

Cada índice multiplicado por el valor de cada elemento en cada guía permitió obtener un valor de capacidad formativa para cada uno de sus elementos y, sumados, para el conjunto de la guía.

Procedimiento

Una vez localizada la ubicación de las guías docentes y aplicados los criterios de inclusión descritos, se enviaron a diecisiete revisores las direcciones electrónicas de las guías, la lista de guías a evaluar por todos y cada uno distribuidas de manera aleatoria, la Hoja de Registro descrita anteriormente, así como el protocolo de análisis detallado. Se procedió al registro de la información. Cada una de las 96 guías, fue analizada por pares, por lo que se efectuaron un total de 192 evaluaciones. Concluida la revisión, un grupo de tres nuevos revisores triangularon el proceso resolviendo los datos discrepantes.

En paralelo, ocho expertos guiados por el coordinador del estudio siguieron el proceso descrito para el Panel de Expertos de cara a la obtención del índice de capacidad formativa de los elementos del sistema de evaluación de las guías.

El total de colaboradores, ocho expertos y veinte revisores de guías, se seleccionaron a partir de los siguientes criterios: (1) tener publicaciones en revistas de impacto sobre evaluación formativa; (2) haber participado en proyectos de investigación nacionales o internacionales; y/o (3) pertenecer a grupos de investigación de la temática, en este caso todos ellos fueron integrantes de la Red de Evaluación Formativa y Compartida en Educación (REFYCE); y se buscó diversidad territorial de universidades de afiliación: Barcelona, Lleida, Murcia, Católica de Murcia, Valladolid y Zaragoza. Además, los revisores de guías disponían de experiencia en el uso de un instrumento de registro semejante utilizado en un proyecto anterior.

Análisis de los datos

Se realizaron dos estudios: (1) estudio descriptivo de las características de las guías docentes, basado en las frecuencias absolutas; (2) estudio de la capacidad formativa de los sistemas de evaluación, con dos estrategias: un análisis HJ Biplot (Galindo, 1985, 1986), con el fin de estudiar la relación entre las variables, combinado con una clasificación por Clúster Jerárquico mediante el método de Ward a partir de las coordenadas del HJ Biplot, que permitió clasificar las guías en función de su capacidad formativa; y un análisis MANOVA Biplot (Vicente, 1992) que mostró gráficamente las diferencias entre

dichos clústeres en relación con los elementos clave de los sistemas de evaluación: agentes, instrumentos, medios y criterios, diferenciando según la variable Titulación. En el gráfico de este segundo estudio cada círculo representa el clúster de una titulación, cuyo centro es el valor medio, y el radio, el nivel de confianza estimado por test univariante; las variables de sistemas de evaluación vienen representadas por vectores y el ángulo que estos forman es directamente proporcional a la correlación que existe entre las variables.

Resultados

Estudio I. Caracterización de los sistemas de evaluación de las guías docentes

En este apartado se responde al primer objetivo consistente en la descripción de las características de las guías a modo de mapa de la situación.

Sistema de elección

En cuanto a quienes deciden la línea temática, el tutor o la modalidad del TFE, se establecieron 19 combinaciones entre las cuatro opciones posibles: estudiantes, profesorado, coordinación y otros.

La combinación más frecuente para elegir línea temática fue la del estudiante junto al profesorado (28.1%). Además, sumadas todas las opciones en las que intervenía el estudiante solo o con otros agentes se obtuvo un 92.7% de las guías; y para el caso del profesorado en el 51% de las guías intervino en solitario o con otro agente.

También la modalidad de TFE fue mayoritariamente elegida por la combinación profesorado y estudiantes (27.1%). Reuniendo las guías en que el estudiante intervino solo o acompañado, obtuvimos un 61.5%; y el tutor en un 37.5% de las ocasiones.

El tutor lo decidía sobre todo el coordinador de la titulación (21.9%). Sumadas las combinaciones en que el estudiante tomó la decisión o participó en ella obtuvimos un 45.8%, mientras que las combinaciones en que intervino el profesorado se dieron en un 15.6% de las ocasiones.

Modalidades o tipologías de TFE

Las tipologías de TFE (Tabla 4) más frecuentes fueron: la Innovación Educativa (72.9%), y los Trabajos de Investigación dentro de líneas propuestas por el profesorado (70.8%), seguidas de Intervenciones Docentes en contextos reales (64.6%).

Orientaciones para la elaboración

El 95.8% de las guías docentes estudiadas incluyeron orientaciones para ayudar al estudiante en su proceso, bien como referencias bibliográficas, bien mediante documentos anexos u otras vías (Tabla 5). Lo más frecuente fue definir Aspectos Formales (78.1%), seguido del Índice del Documento-Memoria (70.8%) o Explicaciones sobre el trabajo y su estructura, además de otras orientaciones como muestra la Tabla 5. Es de destacar que en un tercio de los casos (32.3%) se realice un informe para el alumno y que tan solo se utilice en el caso de que el trabajo no se supere.

Sistema de Evaluación del TFE

¿Qué medios de evaluación se aplicaron? El 95% de las guías explicitaban medios de evaluación. Los tipos que se detectaron fueron: (1) Proceso; (2) Documento -Memoria o Poster-; (3) Presentación; y (4) Debate y Defensa.

La Presentación fue el más utilizado (84.4%), seguido del Documento -Memoria o Poster- con un 81.2%. A una importante distancia el Proceso con un 33.3% y en un 15.6% de las guías el Debate y la Defensa.

Normalmente se suele aplicar más de un Medio de evaluación, por lo que para mostrar lo que sucede en las guías de manera más precisa, se establecieron diez perfiles resultantes de las combinaciones entre las distintas opciones.

La combinación de Medios más frecuente es Documento más Presentación (41.7%); y en segundo lugar (13.5%), la reunión de ambos más el Proceso; el resto de las combinaciones de Medios se daban en porcentajes muy bajos.

Dada la importancia que toma la evaluación del Proceso en un modelo de evaluación formativa en el que se enmarca nuestro análisis, se llevó a cabo un zoom sobre las guías en que se evalúa, diferenciadas por títulos de Máster y Grado, observando que eran algo mayores en los TFG (38.5%) que en los TFM (27.3%).

¿Qué % de la calificación se atribuyó a cada Medio? Para mostrar los valores porcentuales asignados a cada uno de los Medios en las guías evaluadas, se organizaron en cuatro cuartiles: 1-25%; 26-50%; 51-75%; y 76-100%.

Del tercio de las guías que utilizaban el Proceso llevado a cabo por el estudiante, tan solo el 2.1% le otorgaban más del 50% de la nota de la asignatura.

La Presentación fue el medio más utilizado (84.4% de los programas); y en más de dos tercios de las ocasiones suponía entre el 1 y 50% de la calificación.

El Documento se utilizaba en el 77.1% de las ocasiones y, de ellas, el 52.1% le atribuyeron porcentajes superiores al 50% de la calificación.

Finalmente, Debate/Defensa, no se valoraba o no se tenía en cuenta explícitamente en el 84.4% de los casos y en el resto se valoraba tan solo en el cuartil más bajo.

¿Qué agentes de evaluación intervinieron? En el conjunto de las guías analizadas, los Estudiantes tan solo intervinieron en el 2% de los casos (1% en el Proceso y 1% en el Documento), y siempre en colaboración con el Tutor.

El Tribunal intervino principalmente en la Presentación (77.1%); y en un tercio de las guías en la valoración del Documento, y en el Debate y la Defensa, que se califican en escasas ocasiones. El Tutor evaluaba mayoritariamente el Documento (40.6%) y fue prácticamente el único que evaluaba el Proceso (30.2%). La Presentación corría a cargo casi exclusivamente del Tribunal (77.1%); tan solo el 6.3% era evaluada por el Tutor.

Del tercio de guías en las que se evaluaba el Proceso, en prácticamente todas, el agente evaluador era el tutor.

Criterios de evaluación. Del análisis documental y bibliográfico inicial, extrajimos ocho criterios de evaluación, y algunos otros que aparecían de manera residual. Del análisis posterior, se derivó que el criterio de evaluación más utilizado, teniendo en cuenta todos los instrumentos sobre los que este se aplicó, fue la Corrección Formal, sobre todo para la evaluación de los Documentos (67.7% de las guías) y en un 51% se utilizó en la Presentación. En segundo lugar, la Claridad Expositiva, principalmente en la Presentación (63.5%) y en un 40.6% en el Documento. El penúltimo lugar se utilizaba la Relevancia, en un 27.4% de las guías como criterio a tener en cuenta en la Memoria. Por último, el criterio Implicación fue el menos utilizado, con el valor más bajo de todos los criterios en su conjunto, estando presente en el 27.1% de las guías en el Proceso y en un 17.7% en la Memoria.

Instrumentos de evaluación. En cuanto a los Instrumentos utilizados para evaluar, en el Proceso se utilizaron mayoritariamente Informes (14.6%) y Rúbricas (12.5%). Esto mismo se repitió en el Documento (Informes: 33.4%; Rúbrica 29.2%) y en la Presentación, pero en este caso algo más elevado el porcentaje de uso de la Rúbrica. El Documento fue el Medio de evaluación para el que más Instrumentos se describieron. Las Escalas y las Listas de Control fueron los menos utilizados.

Estudio II. Análisis de la capacidad formativa de los sistemas de evaluación de las guías docentes

El análisis multivariante HJ-Biplot permitió organizar las guías en tres grandes grupos (clúster) de acuerdo a la capacidad formativa de sus sistemas de evaluación. En la Figura 1, de izquierda a derecha, se observa un primer grupo (clúster 2) generado por un conjunto de guías caracterizadas por una mayor capacidad formativa en los aspectos Medios y Agente, aunque, por lo general, menor en cuanto a Instrumentos y Criterios.

Al contrario, el segundo grupo (clúster 1), reunió el conjunto de guías con una mayor capacidad formativa en éstos últimos y menor en cuanto a los primeros (Medios y Agente). Por último, el tercer grupo (clúster 3) se constituyó a partir de aquellas guías con menor capacidad formativa, principalmente en lo que se refiere a los aspectos Medios y Agente. Profundizando en el análisis con el MANOVA Biplot (Figura 2), y teniendo en cuenta los distintos niveles académicos (Grado y Máster), observamos en detalle las diferencias entre los tres clústeres diferenciándose el comportamiento de la variable Agente que se situó en una posición intermedia entre los clústeres 1 y 2.

Se mostró claramente que, desde un punto de vista multivariante, las guías se separaban al ser proyectadas sobre las direcciones donde la distinción entre grupos era máxima. De esta manera, las guías del primer clúster se caracterizaron principalmente por tener una mayor capacidad formativa en los aspectos Instrumentos y Criterios y una moderada capacidad formativa en Agente (similar en términos estadísticos a la que encontramos en el segundo clúster). Por su parte, las guías del segundo clúster tenían una mayor capacidad formativa en el elemento Medios y moderada en Agente. Sin embargo, las guías del tercer clúster estuvieron caracterizadas por ser aquellas que menor capacidad formativa tenían en cualquiera de los aspectos analizados. Analizando caso por caso, el 38.7% de las universidades tenían sus títulos en los clústeres 1 y 2, considerados los más formativos. En las Universidades con dos títulos no se identificó un patrón único en la forma de programar: (1) en el 35.3% los programas de ambos títulos se ubicaban en el mismo clúster, la mitad de las cuales estaban en el clúster 3; y (2) del 64.7 % de universidades restante tenían los títulos de TFG y TFM en clústeres distintos mayoritariamente con uno de los dos títulos en el clúster 3.

Discusión

A continuación, se analizan los resultados del presente estudio en relación a los dos objetivos planteados: (1) mostrar las características de los sistemas de evaluación de las guías docentes de FIPEF en España y, por otro, (2) analizar la capacidad formativa de esos sistemas de evaluación, de cara a conocer su grado de alineamiento con el actual modelo competencial de la formación universitaria en la comunidad europea.

I. Caracterización de los sistemas de evaluación de las guías docentes

Desde una perspectiva general se ha observado que los TFE no se diseñan tanto para integrar conocimientos de todas las materias, sino, más bien lo que sucede es que se ponen en acción competencias genéricas o transversales nuevas (Vicario-Molina et al., 2020), coincidiendo con Rekalde Rodríguez (2011) para quien las competencias mayoritariamente requeridas son las generales o transversales. A continuación, se comentan aspectos relevantes de los sistemas de evaluación en su conjunto, y particularmente de sus elementos constitutivos.

Grado de explicitación de las guías

Inicialmente, podemos destacar la carencia de información importante en las guías docentes, ya que, tal como están descritas, en su mayoría no informan suficientemente al estudiante antes de la matrícula, de aspectos relevantes lo que repercute en la calidad del título y dificulta la creación de una “auténtica cultura evaluativa” (Pérez-Juste, 2000, 266) que permitiera la mejora de los programas. Al igual que sucedía en el estudio de Lorente et al. (2013) con guías previas al EEES, los sistemas de evaluación adolecen de indicadores precisos para la evaluación; las autoras demandaban una evaluación más detallada; sin embargo, vemos que en las nuevas guías la situación no ha variado sustancialmente. Es muy probable que existan más especificaciones en documentos internos, pero a los que el estudiantado solo puede acceder una vez matriculado. Las guías constituyen la información pública y deben cumplir la función de ser el contrato que establece la institución y el profesorado con el alumnado (Songel & Guimaraens, 2012). Quizá una de las causas sea el temor a la extensión del documento, sin embargo, las guías centradas en el alumno parecen caracterizarse por una mayor dimensión (Palmer et al., 2016), por lo que este aspecto no debería temerse si no se trata solo de un aspecto formal.

Agentes de evaluación

La intervención de distintos agentes de evaluación aporta riqueza al sistema (Herrero González et al., 2020). En la asignatura de TFE no se han encontrado, o han sido residuales, alusiones a actividades de evaluación en las que interviniera el o la Estudiante. Además, la evaluación compartida, aparece, pero con una presencia mínima; y tampoco se han detectado en las guías de manera destacada otros tópicos de evaluación que se alineen con el modelo formativo actual, como la evaluación dialogada o negociada. Hay que tener en cuenta también que los tribunales suelen estar compuestos por profesorado que no ha estado presente en el proceso seguido por el alumno, por lo que es difícil que puedan evaluar la evolución del mismo; como indica Zornoza Gallego y Vercher Savall (2020, 26), “las carencias evaluativas también tienen que ver con el papel del tribunal, pues sus miembros no han estado presentes durante la elaboración del trabajo y difícilmente podrían ejercer un rol en la evaluación de las competencias genéricas vinculadas al proceso de elaboración del TFG”.

Autonomía y autorregulación

Un elemento que se ha desvelado clave en el proceso de la formación inicial es la capacidad de autorregulación del estudiante de cara a su autonomía (Cano, 2011). Nuestro análisis muestra que el estudiante interviene mayoritariamente en la elección de las Líneas Temáticas de los trabajos; en algo menos de la mitad de las titulaciones en la Elección del Director; y en alrededor de la tercera parte en la elección de la Modalidad o tipología del trabajo a desarrollar; tres aspectos que tienen un carácter más organizativo o formal. Sin embargo, tal como hemos mencionado, la participación del estudiante en la evaluación es mínima. De aquí se desprende que las guías no muestran un contexto centrado en el alumno, al menos en la toma de decisiones importantes. Además, no encontramos que se detalle en las guías cómo se programa ese necesario proceso de autonomía, más allá de la descripción de algunos aspectos de organización como las indicaciones o materiales que se disponen para guiar la elaboración del documento u otros instrumentos, por lo que se deduce que la autonomía o autorregulación es una competencia transversal que se deja al azar, aunque para Zabalza Beraza (2012) las competencias transversales no solo se trata de usarlas sino de enseñarlas, en definitiva, de programarlas.

Instrumentos y medios de evaluación

Los Medios de evaluación son prácticamente comunes en todas las guías; fundamentalmente se sigue un patrón: un documento académico escrito, normalmente una memoria, aunque en ocasiones puede ser un póster, que se presenta oralmente ante un tribunal con quien, al concluir, se genera un debate, si bien este debate aparece explicitado en un pequeño porcentaje de las guías.

Se trata de un modelo centrado en el resultado final, en el producto (Rekalde Rodríguez, 2011; Reyes-García & Díaz-Megolla, 2017); tan solo en un tercio de las guías estudiadas se alude a la evaluación del proceso y en ninguna de ellas se evalúa únicamente el proceso, y en las que se evalúa, tan solo en un mínimo porcentaje le otorgan más de la mitad de la calificación.

En esas condiciones, la capacidad formativa de los TFE es muy reducida, con una alusión exigua al debate e intercambio de opiniones con el estudiante, y al no contemplarse aspectos fundamentales, como por ejemplo, la emisión de feedback (F-B) continuo; cuando innumerables estudios mencionan su relación directa con el aprendizaje (Cano, 2021), la posibilidad de reorientar el aprendizaje a partir del mismo, la participación del estudiante en la evaluación de su propio proceso, etc.; de lo que se deriva una escasa importancia asignada al progreso del estudiante, si “en definitiva, la clave del TFG no radica en los resultados de la investigación sino en cómo se ha llegado a ellos movilizando competencias claves del grado” (Rekalde Rodríguez, 2011, 190).

Criterios de evaluación

En cuanto a los criterios de evaluación, es relevante la baja importancia atribuida a la Implicación del estudiante. Este criterio se asocia a la actitud proactiva hacia las tareas y a la forma de implicarse en el proceso. En el presente estudio, su utilización arrojó el valor más bajo de todos los criterios.

Este dato destaca especialmente, cuando se confronta con la presencia de criterios de carácter formal como la Corrección formal, o la Claridad expositiva, que son sustancialmente más frecuentes. También, llama la atención que en el Documento la Corrección formal esté por encima de la Relevancia e incluso de la Originalidad, criterios éstos más de fondo que de forma. En línea con Rekalde Rodríguez (2011), en las guías no es frecuente encontrar indicadores concretos ni descriptores que deberían acompañar a los primeros para que los estudiantes sepan cómo hacerlos suyos y utilizarlos para guiar su aprendizaje.

En definitiva, se da más importancia a las formas que al contenido o a la Implicación del estudiante.

Instrumentos de evaluación y Orientaciones para la elaboración del TFM

En cuanto a los Instrumentos de evaluación (Rodríguez & Ibarra, 2011), los más utilizados son los Informes o Rúbricas, y tan solo en un tercio de las guías se alude a la entrega de algún tipo de informe al estudiante; y cuando se hace, es únicamente en caso de suspenso. Por tanto, en la mayoría de las ocasiones no se aprovecha la oportunidad para dar un F-B al estudiante en los TFE, por un lado, al no dar informes durante el proceso en dos tercios de las guías y tampoco al concluir el proceso, al vincular la entrega del informe al resultado final cuando este es negativo.

Por otro lado, la utilización de las Rúbricas puede orientar al estudiante sobre cómo elaborar los trabajos y a qué se le va a dar importancia en la evaluación (Rekalde Rodríguez, 2011); pero este instrumento de evaluación, según el presente trabajo, se explicita en el mejor de los casos en un tercio de las guías para el Documento y en una cuarta parte para la Presentación, aunque no podemos conocer si en todos los casos son conocidas previamente por los estudiantes, y menos si son negociadas o consensuadas con ellos.

II. Análisis de la capacidad formativa de los sistemas de evaluación de las guías docentes

Se efectuó un estudio en profundidad de la capacidad formativa de los sistemas de evaluación de las guías docentes, gracias al cual se delimitaron tres grupos de guías o clústeres: El primero caracterizado por una mayor capacidad formativa de Instrumentos y Criterios y moderada en Agente; el segundo en el que primaban los Medios y también moderadamente el Agente; y un tercer clúster caracterizado por una baja capacidad formativa.

Tras el estudio, se considera que el hecho de que existan guías con un bajo potencial formativo, al menos en el sistema de evaluación, devalúa una titulación, teniendo en cuenta el paradigma de formación universitaria al que nos venimos refiriendo, en el que los distintos elementos de la programación deben estar alineados (Biggs, 2005) y han de ser coherentes a su vez con modelos centrados en el alumno y su aprendizaje. Así las guías correspondientes al tercer clúster tienen un amplio margen de mejora para aproximar su intervención pedagógica a los paradigmas actuales.

En los resultados se ha podido observar, el vector que representa el parámetro Agente, queda en un espacio intermedio entre los clústeres 1 y 2, lo que indica que influye en ellos por la fuerza del dato en ambos casos. Es también un vector de cierta longitud, valor alto, lo que puede indicar o bien la intervención de distintos agentes en la evaluación, o bien la presencia del agente Estudiante que, aunque con escasa presencia, era la opción considerada más formativa. En consecuencia, debemos interpretar como positiva la presencia de este componente en la consideración formativa de las guías de ambos clústeres. En cierto modo de los cuatro elementos (variables) del sistema de evaluación el Agente posiblemente sea el más estable ya que la primacía de los instrumentos Memoria y Presentación implica la intervención de agentes bastante estereotipada: El Tutor para la Memoria y el Tribunal para la Presentación.

Como se ha visto, se identificaron tres patrones básicos en la forma de programar en las Universidades con las dos titulaciones: Las que sus guías se ubican en el mismo clúster que eran una tercera parte, y dos tercios de universidades en las que la capacidad formativa de sus guías variaba en función del título. Esto nos indica que en el primer caso se mantiene un criterio común en las programaciones de Grado y Máster y en el segundo hay universidades que marcan diferencias en sus TFE según la titulación, mayoritariamente a mejor, es decir no situando ningún título en el clúster 3. Como hemos visto en la figura 2, el clúster 1 cifra su valor formativo en la fuerte presencia de los Instrumentos bien porque utiliza muchos o bien porque utiliza el mejor puntuado que era el Informe de evaluación. El clúster 2 está caracterizado por la fuerte presencia de los Medios, pero también influenciado por los Agentes. En todo caso debe admitirse que la variable Instrumento aporta una fuerte connotación funcional, a diferencia de, por ejemplo, los criterios que dejan patente una determinada doctrina educativa, que puede estar orientada o no a paradigmas centrados en el alumno.

En resumen, tenemos un grupo de guías con un mayor carácter formativo al estar definidas tanto por los Instrumentos como por los Criterios e influenciados por los Agentes; un segundo grupo fuertemente influenciado por los Medios y también con participación de los Agentes y un tercer grupo con escasa capacidad formativa.

Sin duda, este procedimiento gráfico e interpretativo nos permite mostrar una fotografía de la totalidad del estudio de manera que se evidencia una visión global y particular de las guías.

Conclusiones

El primer estudio muestra una descripción de las características de los sistemas de evaluación de las guías docentes de los TFE en FIP-EF, que nos permite concluir que hay un importante trabajo que hacer de cara a mejorar la información aportada por las guías docentes en lo que se refiere a la explicitación de determinados aspectos, como los indicadores de evaluación, que permitirían clarificar al estudiante qué se espera de él o ella y qué se considera en su calificación, si verdaderamente entendemos las guías como ese contrato con el estudiante al que aluden los autores; además de situar las guías docentes, cuando son explícitas, más próximas a modelos centrados en los estudiantes.

En el segundo estudio, distintos indicios del análisis descriptivo nos permiten concluir que queda mucho camino por recorrer para que las actuaciones docentes en materia de evaluación dispongan de un verdadero carácter formativo, que se alinee fuertemente con el modelo de programación competencial.

Además, este trabajo muestra un procedimiento para analizar la calidad de los programas educativos de la formación universitaria, al permitir conocer y mostrar, mediante un análisis fundamentado, cómo las guías docentes se alinean con los principios educativos que definen el modelo formativo de las universidades, un modelo competencial y formativo moderno, centrado en cumplir estándares de calidad demostrable, por el que ha apostado la comunidad europea desde los inicios de la reforma posiblemente más importante que ha vivido la universidad sobre todo en términos programáticos.

Este modelo de análisis tiene utilidad tanto para la evaluación de la calidad de los programas a nivel institucional como en contextos más concretos, como las comisiones de calidad o de evaluación y acreditación de las titulaciones; presentando la información con claridad, de manera que con esa información convenientemente encajada mediante análisis más descriptivos sobre las causas y consecuencias, y con la intervención de los distintos agentes educativos, faciliten las decisiones de equipos de profesorado, de dirección o rectorales.

Finalmente, las principales limitaciones de este estudio han sido: la imposibilidad de analizar todas las guías por el acceso restringido de algunas universidades; la dificultad para acceder a los documentos internos explicativos de procedimientos y protocolos que utilizan las universidades y que entregan a sus estudiantes una vez matriculados, y el hecho de que el estudio se haya limitado a las titulaciones en FIPEF. Todas estas limitaciones supondrán los próximos retos del equipo investigador del presente estudio.

Financiación

Ayuda RTI2018-093292-B-I00 financiada por MCIN/AEI/ 10.13039/501100011033 y por “FEDER Una manera de hacer Europa”.

Referencias

Notas de autor

* Autor para la correspondencia: Mª Rosario Romero Martín, rromero@unizar.es

Información adicional

Cómo citar el artículo: Romero-Martín, M. R., Caballero-Julia, D., Ruiz-Lara, E., & Ureña-Ortín, N. (2023). Análisis de las guías docentes de los Trabajos Fin de Estudios en la formación del profesorado de Educación Física ¿es formativa su evaluación?. Cultura, Ciencia y Deporte, 18(55), 171-190. https://doi.org/10.12800/ccd.v18i55.1955

Cultura, Ciencia y Deporte
ISSN: 1696-5043
Vol. 18
Num. 55
Año. 2023

Análisis de las guías docentes de los Trabajos Fin de Estudios en la formación del profesorado de Educación Física ¿es formativa su evaluación?

Mª RosarioDanielEncarnaciónNuria Romero-MartínCaballero-JuliaRuiz-LaraUreña-Ortín
Universidad de ZaragozaUniversidad de SalamancaUniversidad Católica de MurciaUniversidad de Murcia,EspañaEspañaEspañaEspaña