Evaluación formativa y compartida para la tutorización de Trabajos Fin de Grado en la formación inicial del profesorado de Educación Física

Introducción

Los Trabajos de Fin de Grado en Educación Física: contexto y evaluación

Los Trabajos de Fin de Grado (TFG) nacen de la creación del “Plan Bolonia” en el año 1999. Según el Real Decreto 1393/2007, los estudios superiores se concluyen una vez realizado un TFG. Vicario-Molina et al. (2020) definen el TFG como un trabajo que realizan los alumnos de Grado para finalizar sus estudios, donde se deben mostrar las competencias adquiridas durante el mismo. Estos autores indican que los TFG suponen una carga de entre 6-30 créditos ECTS (European Credit Transfer and Accumulation System), dependiente del plan de estudios de la universidad correspondiente. Cada universidad tiene la autonomía para elaborar una guía personalizada donde se detallen estos criterios (Sancho-Esper et al., 2018). Dentro de los agentes que participan en el proceso de elaboración y evaluación del TFG se encuentran, por lo general: el alumno, un profesor como tutor del alumno y dos o tres profesores que forman la comisión evaluadora, según cada universidad; también puede haber TFG grupales.

En el Grado de Educación Primaria puede haber menciones cualificadoras o habilitantes, entre ellas la de Educación Física (EF). Romero y Chivite (2021) encuentran que en los TFG y Trabajos Fin de Máster de EF predominan las competencias docentes genéricas frente a las específicas.

Vicario-Molina (2020) indica que es la comisión evaluadora quien debe valorar el desarrollo y la presentación del TFG y, a su vez, deben evaluar la formación del alumno en los conocimientos y aptitudes adquiridas en el Grado. Respecto a la evaluación de los TFG durante el confinamiento por COVID-19, Gil y Vallés (2021) encuentran que no afectó de forma significativa al seguimiento del alumno, ni a su aprendizaje, ni a sus resultados, a pesar de los cambios realizados en la organización y evaluación de la asignatura.

En la evaluación cobran especial importancia los instrumentos que se utilizan. López-Pastor y Pérez Pueyo (2017) definen los instrumentos de evaluación como los documentos que se relacionan con una actividad de evaluación, estableciendo requisitos y aspectos a valorar con niveles de logro específicos. Quintana y Gil (2015) indican que los instrumentos de evaluación deben ser coherentes y estar contextualizados con lo que se va a evaluar y estar redactados de manera clara, para que todo aquel que acuda a ellos los comprenda. También consideran que su uso debe ser formativo, transparente y claro.

La evaluación de los TFG en la Formación Inicial del Profesorado de Educación Física (FIP-EF): las rúbricas de evaluación

Debido al proceso de Convergencia al Espacio Europeo de Educación Superior (EEES), la evaluación en educación superior se orienta a la evaluación de competencias y, por tanto, también la evaluación del TFG. Diferentes autores consideran que las rúbricas son los instrumentos de evaluación más empleados en la FIP (Estapé et al., 2012; Urbieta, 2011). Reyes (2013) indica que las rúbricas facilitan la sistematización y la recopilación de evidencias del trabajo del alumnado y añade que su uso formativo aumenta la motivación del estudiante. En este sentido, Panadero y Jonsson (2013) explican que para dar un uso formativo a las rúbricas es importante trabajar con el alumno cada criterio de evaluación, orientar acerca del proceso de aprendizaje del alumno y analizar su evolución según los diferentes criterios del instrumento. Concretamente, estudios como los de Urbieta et al. (2011) y Resines y Valle (2013) constatan experiencias sobre el diseño y el uso formativo de rúbricas en la FIP, coincidiendo en que el trabajo con este instrumento permite: 1-profundizar en la reflexión y comprensión de los aprendizajes; 2-autorregular su conocimiento; 3-incrementar la participación en la tarea; 4-mejorar la dirección del profesor a los alumnos en la tarea; 5-aumentar la motivación ante la tarea.

Existen dos tipos de rúbricas o escalas descriptivas: holísticas y analíticas. Martínez-Rojas (2008) define las rúbricas holísticas como instrumentos que tienen criterios de evaluación generales y poco detallados, referidos a competencias generales que el alumno debe adquirir. Por otra parte, este autor define las rúbricas analíticas como instrumentos muy completos y detallados, más complejas que las holísticas. El estudio de Estapé et al. (2012) muestra los beneficios de evaluar el proceso de elaboración y el resultado final de los TFG en diferentes titulaciones. Además, los trabajos de Fernández-March (2011) y Martínez-Rojas (2008) defienden que las rúbricas son de los instrumentos que mejor se adaptan a la evaluación por competencias y que son útiles para clarificar los objetivos del trabajo y el alcance formativo del aprendizaje durante el proceso. Por tanto, parece importante que los tribunales de evaluación de los TFG cuenten con rúbricas específicas para facilitar su trabajo.

La participación del alumnado en la evaluación de los TFG en la FIP-EF: la evaluación formativa y compartida

Sánchez et al. (2014) y Quintana y Gil (2015) exponen que dentro del TFG es importante trabajar con un sistema de evaluación transparente, continuo y formativo. En la misma línea, Panadero y Jonsson (2013) defienden la importancia de ofrecer transparencia en la evaluación de los TFG, porque permite evaluar con más precisión los niveles de logro de las competencias marcadas en el trabajo.

La participación del alumnado en la evaluación se puede dar de diferentes formas: 1-autoevaluación; 2-evaluación entre iguales; 3-evaluación compartida (proceso de diálogo profesor-alumno) (Gil & Padilla, 2009). García y Ferrer (2016) defienden la importancia de que el alumno conozca desde el principio qué se le va a evaluar con el TFG, porque ayuda a que realice el trabajo eficazmente. Gil y Padilla (2009) añaden que se deben cumplir al menos dos condiciones: 1-que los instrumentos y las técnicas empleados tengan unos criterios explícitos y aceptados por los alumnos; 2-que los alumnos sepan cómo aplicar estos criterios en la tarea.

El sistema de Evaluación Formativa y Compartida (EFyC) está formado por dos conceptos interrelacionados. López-Pastor y Pérez-Pueyo (2017) definen “evaluación formativa” como el proceso de evaluación que permite: 1-mejorar los procesos de enseñanza-aprendizaje del alumnado; 2-mejorar la capacidad docente del profesor; 3-mejorar los procesos de enseñanza-aprendizaje que se llevan a cabo; mientras que definen la “evaluación compartida” como la implicación del alumno en la evaluación a través de diferentes técnicas y formas de diálogo.

Los trabajos de Medina et al. (2020) y Nicol y Macfarlane (2006) también dan una importancia fundamental al feedback. Panadero y Jonsson (2020) ofrecen soluciones en donde el alumno forma parte de la evaluación a partir del uso de rúbricas. Además, muestran que el uso formativo de rúbricas para la autoevaluación y el feedback mejora el desarrollo de la tarea de los alumnos si se trabaja con ellas durante todo el proceso de aprendizaje y, además, minimizando las diferencias de las expectativas del estudiante respecto al resultado del aprendizaje, permitiéndoles autorregular su aprendizaje.

Se han encontrado estudios genéricos sobre el uso de rúbricas en sistemas de EFyC en FIP-EF. Atienza et al. (2016) encuentran ventajas al utilizar sistemas de EFyC en FIP-EF, relacionados con procesos de feedback más inmediatos y variados (profesor y compañeros). Ureña (2021) explica un proceso de tutorización y EFyC del TFG en FIP, basado en utilizar rúbricas, elaboradas por el tutor y el alumno, para autoevaluarse y dar feedback constante. Una propuesta similar puede encontrarse en Fernández-Garcimartín et al. (2021) pero con las rúbricas oficiales del centro. Fuentes-Nieto (2021) y Pintor y Gómez (2021) encuentra que el principal cambio en la tutorización de los TFG-EF durante el confinamiento por COVID-19 (2019-20) fue tener que realizar todo a distancia (tutorías virtuales y contacto telefónico), pero que se pudieron mantener los procesos de evaluación formativa durante su desarrollo. En cambio, generaron más carga de trabajo los procesos de evaluación final, como tribunal, al tener que realizar videoconferencias, evaluación de vídeos del alumnado y evaluación final síncrona.

A lo largo de la introducción se han revisado los numerosos beneficios de la participación del alumnado en la evaluación, especialmente utilizando rúbricas como instrumentos. Sin embargo, no se han encontrado estudios específicos sobre el uso de sistemas de EFyC en la elaboración y defensa de los TFG en la FIP-EF. Por ello el objetivo principal del estudio es analizar los procesos de EFyC que surgen en la tutorización, evaluación y defensa de los TFG de la mención de EF.

Metodología

Participantes

Este estudio cuenta con 20 participantes de la Facultad de Educación (12 profesores y 8 alumnos). La muestra se escogió por conveniencia y su participación en el estudio fue completamente voluntaria. Se informó a todos los participantes del procedimiento de análisis de datos y la anonimización de los mismos. Todos han revisado la transcripción de sus entrevistas y/o actas de reuniones.

Se ha realizado una selección heterogénea de los profesores para las entrevistas en profundidad, en función del género y del cargo profesional. Todos han sido tutores y/o comisiones evaluadoras de al menos un TFG-EF. Se contactó con ellos vía e-mail. Para la codificación de sus intervenciones se emplea la letra “P” y el número del profesor por orden cronológico de entrevista. Los alumnos pertenecen al último curso del Grado y se codifican con “A” seguido de un número. A continuación se exponen los criterios de selección específicos de la muestra:

1. Criterios de selección de los profesores: (1) participación en el proceso de creación de los instrumentos; (2) participación en tribunales de evaluación de los TFG desde la creación de los instrumentos (2015), por lo que conocen de primera mano el proceso de evaluación con estas rúbricas y sus diferentes usos por parte de los demás profesores.

2. Criterios de selección de alumnos: (1) realización del TFG del Grado de Educación Primaria el curso anterior y realización actualmente el TFG de Educación Infantil; (2) edad; (3) expediente académico (alto; medio; bajo); (4) valoración personal sobre el TFG y sobre sus instrumentos de evaluación (conforme; poco conforme).

Diseño

Es un estudio de caso cualitativo, Torres (2019) define “estudio de caso” como el análisis de un contexto particular enmarcado en el planteamiento y comprobación de una hipótesis. En este estudio se analizan los procesos de EFyC realizados durante la tutorización-elaboración y defensa-evaluación de los TFG en la FIP-EF en una facultad de educación. Cada alumno realiza su TFG dirigido por uno o dos tutores. Existe una guía general para alumnado y profesorado sobre su realización y tutorización. El tutor autoriza la presentación y defensa del TFG. La evaluación final la realiza una comisión de dos profesores. Los procesos de evaluación de los TFG investigados se enmarcan en tres situaciones diferenciadas (tabla 1):

Desde el curso 2020-2021 está funcionando en la facultad un Seminario sobre cómo llevar a cabo procesos de EFyC durante la dirección de los TFG; es voluntario y está formado por 13 profesores y 2 alumnos (P1, P8-P12 de la tabla 2). Todos los profesores participantes reciben la misma formación sobre cómo llevar a cabo procesos de EFyC durante la tutorización del TFG.

Técnicas e instrumentos de obtención de datos

Se han utilizado las siguientes técnicas de obtención de datos:

1-Entrevistas en profundidad: se realizaron entrevistas individuales a seis profesores universitarios a través de videoconferencias con el programa informático “Cisco Webex”. Maxwell (2019) indica que esta técnica sirve para comprender las perspectivas personales los participantes. Se decidió utilizar esta técnica para conocer la percepción de cada profesor individualmente, sin que estuviera influenciada por opiniones externas. Se elaboró un guion de preguntas para reconducir la entrevista en función de los objetivos y de las categorías planteadas (tabla 3). A continuación se expone una muestra de las preguntas del guion:

1. “¿Cómo percibiste la respuesta de tus alumnos ante el feedback?”

2. “¿Notabas que era suficiente el feedback que les proporcionabas?”

3. “¿Utilizaste algún instrumento de evaluación para apoyar tu tutorización y el seguimiento?”

2-Grupo focal con cinco alumnos y entrevista grupal con tres alumnos de la facultad, ambas por “Cisco Webex”. El objetivo de las dos técnicas fue fomentar el debate sobre las valoraciones y experiencias de los alumnos. Como indican Hamui y Varela (2013), se pretende captar información acerca de pensamientos, sentimientos y vivencias de los entrevistados. Concretamente, se contó con alumnos de un contexto similar, pero con vivencias diferentes, considerando que su reunión podía generar debate. La entrevista grupal se llevó a cabo porque, tras el análisis de los resultados del grupo focal, se quiso completar con la percepción de tres alumnos que encajaban perfectamente con los criterios de selección, y con los cuales no se había contado previamente. En ambos casos se elaboró un guion con las preguntas a realizar en función de los objetivos y de las categorías planificadas (tabla 3), entre ellas:

1. “¿Cada tutor os facilitó las rúbricas de evaluación que están colgadas en el campus? ¿En algún momento las utilizasteis? Si es así, ¿cuándo y cómo?” (E).

2. “¿Propondríais a vuestro tutor usar las rúbricas desde el principio?” (E).

3-Actas de las reuniones del Seminario desarrollado en los dos cursos post-confinamiento (2020-2021; 2021-2022). La coordinadora graba las reuniones y redacta el acta, que es enviada a todos los participantes, para detectar si hay algún error y corregirlo.

En la tabla 2 se expone la organización temporal, el desarrollo de cada técnica de obtención de datos y las características de los participantes.

Análisis de datos

El análisis de datos se ha realizado a través del programa informático “Atlas.ti.V.9”, en dos fases:

1. Transcripción y volcado de datos al programa. Las preguntas de las entrevistas dan respuesta al objetivo del estudio.

2. Categorización y codificación de la información recogida. Se ha filtrado la información respondiendo al objetivo y se ha organizado en función de un sistema de categorías y subcategorías, saturando ideas y triangulando la información entre los instrumentos (tabla 3).

Se ha asegurado el rigor cualitativo a través de los criterios de Guba (1989) y Varela y Vives (2016):

1. Credibilidad: transcribiendo y analizando los datos, previo a la revisión y consentimiento de cada sujeto; realizando una segunda ronda de entrevistas para validar datos concretos que no estaban claros y triangulando la información de las diferentes técnicas utilizadas.

2. Transferibilidad: detallando los tres procedimientos realizados de defensa y evaluación final y el procedimiento metodológico seguido, facilitando la transferibilidad de resultados.

3. Dependencia: contrastando y triangulando los resultados obtenidos en las técnicas de obtención de datos con los participantes. Se ha asegurado la estabilidad y coherencia del análisis.

4. Confirmabilidad: triangulando las técnicas y los participantes, analizando los datos, conectándolos entre sí e incluyendo citas textuales de los participantes.

Resultados

Los resultados se organizan en función de las categorías y subcategorías (tabla 3).

1. Evaluación formativa a partir del acceso a las rúbricas de evaluación durante la elaboración del TFG de la mención de EF

1.1 Procesos de evaluación formativa durante la tutorización de los TFG

Los resultados muestran que durante el confinamiento por COVID-19 los profesores daban feedback a sus alumnos por diferentes vías on-line. En la mayoría de los casos se hacía a través de comentarios en el propio trabajo, pero a veces en el propio e-mail o por videoconferencias; algún tutor ocasionalmente usó WhatsApp para dar feedback inmediato y rápido:

“Las tutorías eran por videoconferencias y correcciones en Word. Ellos me enviaban las diferentes versiones del trabajo y yo se lo devolvía con comentarios, feedback, preguntas y correcciones” (P4-EP). “¿Cómo percibiste que el alumno recibía el feedback?” (E). “Yo creo que lo percibían muy bien. Siempre les pido que no borren comentarios, así puedo ver si ese comentario está resuelto o si no” (P4-EP).

“Mi tutor me ponía comentarios en el documento, además de cosas que él veía mal y que yo pensaba que debería cambiar, también ponía recomendaciones. Dentro del e-mail me ponía las cosas más importantes. Luego en los comentarios, si tenía alguna duda, le ponía una respuesta en su comentario en otro color para que lo leyera y que me dijera qué le parecía antes de cambiar nada” (A6-EG).

Ahora bien, muchos de estos procesos (sobre todo la revisión por e-mail, en el propio archivo Word), ya se hacían en algunos casos en la época pre-COVID. Los profesores valoran positivamente estos procesos de retroalimentación, ven que funcionan y que favorecen el aprendizaje. Los alumnos parecen estar satisfechos con las formas de dar feedback de sus tutores:

“Mi primer tutor me pidió que las tutorías fueran on-line. Con el segundo tutor por motivos de confinamiento fueron así. Con ninguno usé rúbricas para corregir el trabajo. (…) el segundo tutor incidía más en el feedback sobre qué errores tenía o sugerencias de mejora en el documento” (A8-EG).

“Mi tutor siempre corregía vía e-mail, se lo mandaba y me daba feedback. Para dudas concretas que necesitaba un feedback inmediato y el WhatsApp me pareció una opción buenísima” (A6-EG).

1.2 Las rúbricas como elemento de EFyC durante la elaboración del TFG

Uno de los instrumentos de evaluación que utilizan algunos tutores para dar feedback es la rúbrica oficial de evaluación del documento final del TFG, donde aparecen los indicadores de calificación. Los resultados indican que los tutores no usaban este instrumento con sus alumnos, algo que los estudiantes echan en falta. Los alumnos valoran el efecto formativo que les podría haber ofrecido este instrumento, destacando: (1) ayudaría a mejorar el proceso de elaboración del trabajo; (2) permitiría realizar procesos de autoevaluación; (3) ayudaría a ajusta el trabajo en función de la calificación que se pretenda alcanzar:

“Nos deberían dar las rúbricas para que nos vayamos autoevaluando durante el proceso. En mi TFG no tuve acceso a ellas, ni un feedback. Sé que el tribunal de mi TFG presencial tenía las rúbricas porque estaban encima de la mesa y apuntaban cosas en ellas” (A8-EG).

“¿Propondríais a vuestro tutor usar las rúbricas desde el principio?” (E). “Sí” (A1-GF). “Hubiera sido útil que mi tutora, igual que me mandaba el TFG revisado, que me mandara la rúbrica completa (…). Que me dijera: ‘Estás en esta línea, por si quieres modificarlo y sacar más nota, o si quieres dejarlo así’” (A5-GF).

“Podría ayudar a mejorar el trabajo usando las rúbricas, aparte del feedback escrito que te puede dar. Creo que pueden ayudar mucho al estudiante durante el proceso” (A4-GF).

Uno de los alumnos critica no haber visto nunca las rúbricas de evaluación del TFG, incidiendo en que podrían haberle servido formativamente para su elaboración. Se trata de una afirmación cuestionable, dado que el alumnado dispone de ellas en el campus virtual desde principio de curso:

“Yo me enteré en la misma presentación y defensa de que había rúbricas. Creo que si tuviéramos los criterios a nuestra disposición y sabemos lo que se nos pide, tendríamos una guía desde el principio para saber lo que se espera de nuestro TFG” (A7-EG).

“Pues deberían (acudir al instrumento), pero, como siempre, hay de todo. (…) La información está disponible, tú puedes hacer esfuerzos para que la información sea visible y transparente; pero depende también del alumno” (P7-EP).

En este sentido, una de las líneas de trabajo del seminario permanente es que los tutores trabajen explícitamente las rubricas con sus alumnos desde el principio, para que las conozcan y utilicen durante todo el proceso de elaboración del TFG, asegurándose de que entienden todos los ítems. Otra de las líneas es utilizar esta rúbrica para realizar procesos de autoevaluación y evaluación compartida con el alumno, en los diferentes borradores que va entregando al tutor, de forma que favorezcan su aprendizaje y autorregulación:

“Propone acordar un protocolo de actuación formativa: (a) que los tutores entreguen las rúbricas a los alumnos como parte del proceso de tutorización; (b) que los alumnos usen las rúbricas como autoevaluación cada ‘x’ entregas que se acuerden, acostumbrándoles a realizar procesos de autoevaluación; (c) que los alumnos realicen una autoevaluación final al terminar el TFG con los instrumentos; (d) que el profesor dé el feedback en esos instrumentos, para darle al alumno su visión sobre la calidad del trabajo; (e) funcionamiento similar en la evaluación de los TFG y en el uso de los instrumentos por parte de todos los miembros del seminario y (f) trabajar la validez de los instrumentos con los alumnos para ver si entienden bien cada descriptor” (P10-AS1).

El protocolo indicado fue llevado a cabo por varios profesores del seminario, concluyendo que los alumnos no estaban acostumbrados a autoevaluarse y que se les olvidaba rellenar la rúbrica. Se propone: (1) que la autoevaluación se realice en una tutoría presencial; (2) que se incluya la rúbrica al final del documento del alumno. Uno de los profesores ha llevado a cabo este proceso con dos alumnos de TFG y concluye que debería hacerse solo en algunas entregas:

“Cree que los alumnos no tienen claro el concepto de ‘autoevaluación’ (…). Piensa que debemos seguir insistiéndoles” (P1-AS6).

“Ha comenzado a trabajar el protocolo. (…). Ha propuesto copiar y pegar la rúbrica al final del documento del TFG para que los alumnos no se olviden de rellenarla” (P11-AS2).

“Está trabajando las rúbricas en las entregas de cada borrador. Ha decidido no enviar la rúbrica en cada corrección porque no lo ve útil. Prefiere hacerlo cada más tiempo, para que se vea de forma más clara la evolución” (P13-AS2).

2. Proceso de defensa de los TFG de la mención de EF y feedback por parte de la comisión evaluadora

2.1 Defensa del TFG y feedback de la comisión evaluadora

Es necesario distinguir dos momentos dentro de la defensa de los TFG: situación de enseñanza virtual por la COVID-19 (2020) y situación de enseñanza presencial (cursos anteriores y posteriores al confinamiento).

Durante el confinamiento se estableció un protocolo de defensa con una lista de control para el profesorado (como tribunal y como tutor), con aspectos obligatorios y voluntarios. Los profesores coinciden en que cada uno leía el TFG en su casa y se conectaban el día de la defensa, para compartir las valoraciones, antes de tener la videoconferencia con el alumno. Entregar o no las rúbricas de evaluación completas al alumnado era decisión voluntaria del tribunal:

“Recibes el protocolo, (…), recibes los trabajos individualmente, los valoras y los corriges, tienes tu rúbrica, la vas rellenando. Luego nos poníamos en contacto para nuestra evaluación individual. Dialogábamos y encontrábamos un punto medio, que era la nota. (…). Luego ya llegamos a la defensa, donde nos conectábamos, a veces estaba presente el tutor (…). Luego leíamos la valoración y la nota y se lo decíamos al estudiante” (P6-EP).

“El día de la defensa, primero hablamos con el tutor. Le dijimos los aspectos que, según la rúbrica, podría mejorar en el TFG. Después citamos al alumno, hablamos con él y le dimos feedback. También le dimos feedback a través de preguntas (…) para que se diera cuenta de cosas que había puesto y estaban mal.” (P5-EP).

Por su parte, los alumnos vivieron situaciones muy diferentes durante el confinamiento. En general, el tribunal usó las rúbricas para dar feedback; aspecto que en cursos anteriores no se realizaba. Explican diferentes situaciones: A-el tribunal envía las rúbricas completas como un apoyo de sus retroalimentaciones; B-no se envían, solo les dan la nota; C-el tribunal hace preguntas virtualmente y solo da la nota final; c-envían un e-mail con la nota y valoraciones cualitativas globales, etc.:

“Me llegó un correo con el enlace de la reunión. (…) Me empezaron a comentar, me hicieron alguna pregunta y al final me dijeron la nota” (A2-GF).

“Me comentaron aspectos generales de cómo estaba hecho el trabajo, sin incidir en apartados. (…) por correo también me dijeron lo que les había parecido bien y mal globalmente” (A7-EG).

“Al estar en la Doble Titulación, hice dos TFG. En el primero no contactaron conmigo, directamente me mandaron la rúbrica a mi correo y punto. Con el segundo sí que contactaron conmigo, hicimos videollamada. Muy bien porque el tribunal me dio muchísimo feedback” (A3-GF).

“El día de la defensa, me enviaron las notas por correo y los comentarios de cada miembro del tribunal. No tuve reunión con ellos ni videollamada. (…) En el e-mail me pusieron la nota y en la rúbrica los comentarios.” (A6-EG).

2.2 Importancia del feedback presencial

Los profesores comparan las defensas virtuales por el confinamiento (2020) con las situaciones de enseñanza presencial. Prefieren la presencialidad, porque pueden comunicarse más eficazmente y porque establece cercanía:

“De manera presencial tengo más facilidad para expresarme y explicarme, me ves la expresión y tienes un feedback mucho más directo. A través de la pantalla es horroroso, porque sientes que no te estás comunicando al 100%, como si hubiera una barrera y el mensaje no llegara” (P3-EP).

“Con las defensas on-line se pierde la riqueza del diálogo con el estudiante. (…). Y antes le dabas la mano o un abrazo cuando acababa, te alegrabas… Ahora están ahí, solos…” (P1-EP).

Los alumnos también prefieren el feedback presencial del tribunal, porque permite solventar dudas sobre el trabajo y explicar aspectos que no se han aclarado con la defensa. Un alumno especifica que el tipo de feedback no depende tanto de si este es presencial o virtual, sino de los profesores que hagan de tribunal:

“Yo creo que si no hay contacto con el alumno, el tribunal puede tener dudas y en el momento, como ocurre en las presenciales, esas dudas se resuelven porque te preguntan sus dudas y tú te puedes defender y presentar tu posición. Creo que eso sí que se tiene en cuenta en la presencial a la hora de poner la nota, porque tú te explicas y ellos ya saben el porqué. En cambio, en la on-line, si no tienes ni una videollamada, no van a resolverse las dudas que el tribunal tenga y ellos van a valorar lo que opinan inicialmente. Solo te mandan el mensaje con la nota, no se tiene en cuenta tu defensa, y deberían” (A8-EG).

“Obtuve más feedback en la defensa del TFG presencial que en el no presencial” (A1-GF). “Yo igual” (A2-GF). “Yo creo que eso va en función de las personas que te toquen. Es verdad que en mi tribunal de este año me han dado mucho más feedback que en el del año pasado, pero eran personas diferentes” (A5-GF).

2.3 Evaluación formativa a partir del acceso a las rúbricas de evaluación

Una de las lecciones aprendidas con la situación de confinamiento y defensa virtual de los TFG es la posibilidad de utilizar las rúbricas de evaluación como forma de dar feedback formativo al final de la defensa, como justificación de la calificación dada. Es algo que no había ocurrido en los cursos anteriores pre-COVID (ver categoría 2.1). Los alumnos indican que el tribunal nunca les enseñaba los instrumentos de evaluación y que no los conocían:

“En ningún momento los he visto rellenos” (A6-GF).

“Estos documentos no los había visto antes. Entonces parece que, si los ves antes de que te vayan a calificar, te pueden ayudar bastante” (A3-GF) “No, antes del primer TFG no” (A4-GF). “Yo tampoco” (A5-GF).

Ahora bien, los resultados indican que el uso de las rúbricas como instrumento para dar feedback formativo era algo voluntario en el confinamiento, aspecto que no se ha llevado a cabo antes:

“Les justificábamos por qué tenían esa nota y le decíamos: ‘Te vamos a enviar por correo las rúbricas, y ahí verás las notas de nuestras valoraciones y observaciones’” (P2-EP).

Por su parte, los alumnos valoran positivamente este cambio, el acceso a la evaluación realizada a través de las rúbricas. También aparecen críticas del alumnado que no las recibió.

“Como positivo, en mi segundo TFG sí tuve acceso a la rúbrica; pero en el primer TFG presencial no” (A1-GF).

“En el caso del TFG presencial, yo no vi la rúbrica y me dijeron la nota, me pareció correcta y me expusieron un poco por qué me ponían esa nota. No llegué a ver la rúbrica para ver en qué había fallado y en qué podía haberlo hecho mejor. En este caso on-line sí que me la enviaron; eso lo veo bien” (A6-EG).

“Con la comisión no estoy nada contenta, porque al no enviarme ni la rúbrica, ni al notificarme el cambio de nota tras la reclamación, ni nada…” (A2-GF).

Discusión

El objetivo de este artículo es analizar los procesos de EFyC que se realizan en la tutorización, evaluación y defensa de los TFG de la FIP-EF. Los resultados muestran que estos procesos de EFyC se pueden dar tanto durante la elaboración-tutorización del TFG, como en su evaluación final y calificación.

Los resultados muestran que algunos profesores ya realizaban procesos de feedback virtualmente durante la elaboración del TFG, pero que se generaliza durante el confinamiento: comentarios en Word, en el correo, por videoconferencia o con aplicaciones tipo WhatsApp. Resultados similares se encuentran en otros estudios sobre la tutorización de los TFG-EF durante el confinamiento (Fuentes-Nieto, 2021; Pintor & Gómez, 2021). Por tanto, la situación de confinamiento aceleró y generalizó el uso de este tipo de técnicas para realizar procesos de EFyC durante la elaboración del TFG; y han quedado asentadas en los dos últimos cursos (2020/21-2021/22). No obstante, algunos alumnos señalan que prefieren las tutorías presenciales a las virtuales porque mejoran la comunicación con el tutor.

Un tema repetido, tanto por el alumnado como por el profesorado, es la posibilidad de utilizar las rúbricas de evaluación oficiales del centro como herramientas de autoevaluación, evaluación compartida, feedback y feedforward durante el proceso de elaboración del TFG, para poder realizar procesos sistemáticos de autorregulación y mejora. Los alumnos señalan varias ventajas acerca del uso de las rúbricas, imaginando qué beneficios les hubiera aportado su uso durante la elaboración del TFG: realizar procesos de autoevaluación y ayuda a ajustar el trabajo en función de la calificación que pretendan alcanzar. Estos resultados coinciden con los encontrados por otros estudios sobre el uso formativo de rúbricas en FIP: mejora del aprendizaje y la autorregulación, más motivación y participación del alumnado (Panadero & Alonso-Tapia, 2017; Resines & Valle, 2013; Reyes, 2013; Urbieta et al., 2011). Esto es, alumnos y profesores consideran que usar las rúbricas pueden servir para que el alumno sepa qué se le pide con el TFG durante su elaboración; y dicha posibilidad y sus ventajas aparecen en estudios genéricos sobre FIP (Fernández-March, 2011; Panadero & Alonso-Tapia (2017), y solo uno en TFG (Estapé et al., 2012), que muestra los beneficios de utilizar rúbricas para valorar y autoevaluar el proceso de elaboración del TFG, así como el resultado final.

Ahora bien, los resultados parecen indicar que las rúbricas no se usan siguiendo este modelo formativo, a pesar de estar disponibles en el campus virtual de la asignatura. Esta falta de uso puede ser debida a varios factores: (a)los alumnos no conciben que sea un instrumento que les ayude a aprender y a hacer un mejor TFG; (b)los profesores-tutores no inciden en su trabajo como instrumento de autoevaluación y autorregulación; no parecen conocer su posible uso formativo y sus ventajas. En este sentido, García y Ferrer (2016) defienden que el hecho de que el alumno conozca los niveles de logro del TFG hace que realice la tarea eficazmente y, por otro lado, Fernández-March (2011) y Martínez-Rojas (2008) que las rúbricas son útiles para clarificar los objetivos del trabajo y el alcance formativo del aprendizaje durante el proceso. Por ejemplo, Sánchez et al. (2014) y Quintana y Gil (2015) afirman que el sistema de evaluación de los TFG debe ser transparente, continuo y formativo. Ahora bien, los resultados muestran que los hábitos de los alumnos son difíciles de romper y que les cuesta mucho utilizar las rúbricas como instrumentos de autoevaluación durante la elaboración del TFG. En este sentido, parece que queda mucho trabajo por realizar para mejorar la extensión de este tipo de buenas prácticas entre alumnado y profesorado ya que en muchos casos no se utilizan las rúbricas como instrumentos para una EFyC, sino como herramientas para la evaluación y calificación final del TFG. Los resultados muestran que durante los dos últimos cursos algunos profesores han elaborado un protocolo sobre cómo generar procesos de EFyC con las rúbricas durante la tutorización, que muestran coincidencias con el trabajo de Panadero y Jonsson (2013), que defiende que para dar un uso formativo a las rúbricas es importante trabajar con el alumno cada criterio de evaluación, orientar acerca del proceso de aprendizaje del alumno y analizar su evolución según los diferentes criterios del instrumento.

Los resultados muestran que las soluciones dadas para la defensa y evaluación final del TFG por el tribunal durante la fase de confinamiento (marzo-julio 2020) presentaron algunos problemas: algunos casos sin contacto síncrono con el alumno para darle feedback, mayor complejidad y carga de trabajo para el tribunal, etc. No se encuentran estudios relativos al tema, pero parece clave que el alumnado reciba un feedback directo para dar por cerrado su TFG. En este sentido, es comprensible que los alumnos prefieran realizar el proceso de defensa de forma presencial y recibir feedback en dicho proceso, porque les permite solventar dudas sobre el trabajo y aclarar algunos aspectos con el tribunal. Es más, los resultados indican que también los profesores prefieren que la defensa y evaluación del TFG sea presencial: (a)les permite comunicarse eficazmente; (b)establece una mayor cercanía entre las personas implicadas; (c)requiere menos tiempo; (d)permite solucionar imprevistos de una forma más sencilla.

Por otra parte, los resultados muestran que durante el confinamiento el alumnado agradeció recibir cualquier tipo de feedback del tribunal en el proceso de evaluación final del TFG, bien en forma de valoraciones cualitativas y/o preguntas del trabajo (videoconferencia), o bien recibiendo las rúbricas de evaluación completadas al final del proceso. Estos resultados refuerzan los trabajos que señalan la importancia del feedback en los procesos de aprendizaje (Medina et al., 2020; Nicol & Macfarlane, 2006). Ahora bien, el alumnado vivió situaciones muy diferentes en ese curso, algunas muy impersonales. No se encuentran estudios sobre si la presencialidad o la virtualidad afecta a la hora de dar feedback formativo a los alumnos de TFG, pero los datos parecen indicar que la presencialidad en la defensa y evaluación de los TFG aporta numerosos beneficios que no se pueden obtener tras una pantalla.

El proceso de defensa virtual-asíncrona del TFG solo se llevó a cabo el año del confinamiento (2020), recuperándose en cursos posteriores el formato presencial para la mayoría del alumnado, limitando la opción de defensa virtual-síncrona exclusivamente para alumnos confinados por COVID-19. En este sentido, los resultados señalan claras ventajas del procedimiento de defensa-evaluación final presencial del TFG utilizado tras el confinamiento: 1) tener protocolos de actuación y listas de control para alumnado, tutores y tribunales; 2) utilizar el campus virtual para subir y evaluar los documentos de cada TFG; 3) tramitar el tribunal las rúbricas electrónicamente.

Tras el análisis y la discusión de los resultados, parece altamente interesante incidir en las lecciones aprendidas sobre los procesos de EFyC en los TFG-EF.

Lecciones aprendidas

• Los resultados muestran que es posible y conveniente realizar dinámicas de EFyC durante el todo el proceso de elaboración y tutorización del TFG para mejorar el proceso, y que hay varias estrategias que pueden ser útiles:

  1. Compartir las rúbricas de evaluación con los alumnos desde el inicio del proceso y asegurarse de que comprenden todos los ítems y los niveles de calidad indicados.

  2. Realizar procesos continuos de feedback durante el proceso de tutorización. Para ello se pueden emplear diferentes técnicas, complementarias entre sí: revisión por e-mail de los documentos, con comentarios laterales, o en el propio correo, o marcarse fechas de entrega por apartados para autorregular el proceso.

  3. Tutorías presenciales y/o virtuales cuando sea necesario para resolver dudas o aspectos que requieran un proceso de diálogo.

  4. Realizar procesos regulares de autoevaluación del alumnado y evaluación compartida con el tutor utilizando las rúbricas de evaluación de cada centro, o bien unas genéricas en si no existiera este tipo de instrumentos. Pueden realizare con cada entrega del TFG, aunque los resultados muestran que puede ser preferible realizarlo en 2-3 hitos concretos durante del proceso de elaboración.

• Los resultados muestran que es posible y conveniente realizar dinámicas de EFyC durante la defensa y evaluación final del TFG, pudiendo utilizarse diferentes estrategias:

  1. Realización de procesos de diálogo y feedback formativo tras la defensa del TFG, por parte del tribunal al alumno, bien de forma presencial o virtual, en base al instrumento.

  2. Envío por e-mail, o consulta en papel, de las rúbricas completadas por el tribunal, para que el alumno tenga el feedback explicativo de la evaluación realizada y consiguiente calificación.

Conclusiones

El objetivo de este artículo es estudiar los procesos de EFyC que se realizan durante la tutorización, defensa y evaluación de los TFG de la FIP-EF. Los resultados muestran que estos procesos se pueden llevar a cabo en las dos fases siempre y cuando se empleen las rúbricas de evaluación desde el principio y con feedback formativo.

Los resultados muestran que existe poca tradición a la hora de utilizar las rúbricas de evaluación para orientar y favorecer la autorregulación del aprendizaje durante la elaboración del TFG y para permitir procesos de autoevaluación del alumnado. Sólo en los últimos cursos parece que empiezan a generarse este tipo de procesos de EFyC con las rúbricas oficiales, a raíz de la implantación de un PID tras el confinamiento. A pesar de ello, los primeros resultados parecen mostrar que los alumnos no están acostumbrados a usarlo como herramienta de autoevaluación. En cambio, los procesos de evaluación formativa durante la elaboración de los TFG parecen estar muy asentados en el centro desde hace muchos años, y se han mantenido en las tres fases estudiadas (pre-COVID, confinamiento y post-confinamiento).

Además, durante la fase de confinamiento surge otro uso muy interesante de estas rúbricas: como forma de que el tribunal aporte feedback formativo y justificativo tras la defensa del TFG. Por otra parte, la comparativa entre fases deja bastante claro que tanto alumnado como profesorado prefiere que la defensa del TFG sea un acto presencial, por las ventajas que supone frente a una situación virtual.

No se ha encontrado ningún estudio sobre el proceso de creación de rúbricas por los tribunales de evaluación de TFG-EF en facultades de educación, aunque sí sobre su uso; por lo que la presente investigación supone un aporte fundamental a la literatura existente sobre la temática, abordando el modo en el que las rúbricas son creadas y utilizadas en el proceso. Este estudio pretende abrir una nueva línea de investigación acerca de la posibilidad real de realizar procesos de EFyC en los TFG, en la FIP-EF, pero plenamente abierto a diferentes menciones y titulaciones. Se aportan lecciones aprendidas sobre cómo llevarlo a cabo durante la tutorización-elaboración del TFG y en su evaluación-defensa.

La limitación principal de este estudio es el contexto tan específico en que se ha llevado a cabo, aunque se ha intentado extraer lecciones transferibles a otros centros de FIP-EF. Como prospectiva, sería interesante ampliar este estudio a diferentes facultades de educación de toda España, ampliando así la muestra de alumnos y profesores. También parece interesante investigar utilizando un grupo control que permitiera comparar los beneficios del sistema de EFyC para el desarrollo de los TFG, frente a su tutorización “tradicional”. Además, sería positivo analizar cómo afecta a la percepción de aprendizaje adquirido del alumnado el uso de rúbricas como instrumento de feedback y feedforward durante la elaboración del TFG, respecto a aquellos que no los utilizan.

Funding

Esta investigación forma parte del proyecto de I+D+i RTI2018-093292-B-I00, financiado por MCIN/AEI/10.13039/501100011033/ y FEDER. 'Una forma de hacer Europa'.

Aprobado por el Comité Ético de Investigación de la Comunidad de Aragón (CEICA), C.P.-C.I.PI21/377.

Bibliografía

Notas de autor

* Autor para la correspondencia: Víctor M. López Pastor, victor.lopez.pastor@uva.es

Información adicional

Cómo citar el artículo: Fernández-Garcimartín, C., López-Pastor, V. M., Fuentes-Nieto, T., & Hortigüela-Alcalá, D. (2023). Evaluación formativa y compartida para la tutorización de Trabajos Fin de Grado en la formación inicial del profesorado de Educación Física. Cultura, Ciencia y Deporte, 18(55). https://doi.org/10.12800/ccd.v18i55.1922

Cultura, Ciencia y Deporte
ISSN: 1696-5043
Vol. 18
Num. 55
Año. 2023

Evaluación formativa y compartida para la tutorización de Trabajos Fin de Grado en la formación inicial del profesorado de Educación Física

CarlaVíctor M.TeresaDavid Fernández-GarcimartínLópez-PastorFuentes-NietoHortigüela-Alcalá
Universidad de Valladolid,España