No está claro que haya una relación entre el aprendizaje de los estudiantes y las valoraciones que ellos hacen de la enseñanza. Se han demostrado numerosos sesgos que influyen en las valoraciones tales como: la diferencia de edad entre el profesor y los alumnos, el sexo del profesor, la afinidad social o de raza, la benevolencia de los alumnos con sus profesores…
JUAN JOSÉ APARICIO
La cuestión de la calidad de la educación y, más específicamente, la calidad de la enseñanza universitaria se ha convertido desde hace tiempo en un tema altamente controvertido. Se han realizado algunos avances con la importación de estrategias derivadas del campo de la empresa, dentro de lo que se conoce como el “aseguramiento de la calidad”, en donde tratan de definirse los criterios de calidad y los instrumentos para la medición de su logro (1).
De todos modos, la dificultad de definir en qué consiste la calidad de la educación universitaria estriba en que la calidad no depende exclusivamente de criterios universalmente aceptados, como los utilizados en los diferentes rankings de clasificación de las universidades, sino, también, del contexto en el que tiene lugar la actividad universitaria.
la dificultad de definir en qué consiste la calidad de la educación universitaria estriba en que la calidad no depende exclusivamente de criterios universalmente aceptados, sino, también, del contexto en el que tiene lugar la actividad universitaria
Por otra parte, habría que partir de la distinción entre “universidades de enseñanza” frente a “universidades de investigación”. Obviamente la calidad de las “universidades de investigación” se mide principalmente por la productividad científica de sus profesores, mientras que en las “universidades de enseñanza” el aspecto esencial es el grado en que logran conferir una cierta empleabilidad a sus estudiantes. No obstante, ambos tipos de universidades no son excluyentes, sino que se distribuyen en un continuo en el que en ocasiones no es fácil distinguir si se trata de una universidad de investigación o de enseñanza.
Existen algunos estudios de interés en este ámbito de la calidad de la enseñanza universitaria, como aquellos en los que se demuestra la relación directa existente entre la productividad científica del profesorado universitario y el crecimiento económico de los países(2), o los referidos a la calidad del profesorado como determinante de la calidad de la educación (3), o los que ponen de manifiesto cómo la lacra de la endogamia -tan dominante en nuestro país- repercute muy negativamente en la calidad del profesorado y, por ende, en la calidad de la educación universitaria(4).
En cuanto a los instrumentos de medida de la calidad de la educación universitaria, se ha aludido, repetidamente, a los resultados de aprendizaje de los estudiantes que constituye el criterio universal para evaluar la enseñanza y se ha convertido en la principal base en la que se apoya la toma de decisiones institucionales y los posibles procedimientos para aumentar la calidad de la enseñanza.
No obstante, el empleo de las calificaciones de los exámenes para estimar el aprendizaje de los alumnos cuenta con el inconveniente de que, en realidad, lo que miden los exámenes es el aprendizaje a corto plazo, cuando lo importante es el aprendizaje a largo plazo de los alumnos. El problema es que es muy difícil establecer lo que el aprendizaje promovido por el profesor afecta a la vida futura de sus alumnos, puesto que es muy difícil diferenciar la contribución de lo aprendido en la universidad de la contribución de lo aprendido gracias a otras experiencias a lo largo de la vida.
Por otra parte, los exámenes no están diseñados para averiguar cómo los conocimientos y capacidades adquiridos pueden afectar a la vida futura de los alumnos. Finalmente, la alternativa de medir la empleabilidad de los ya graduados es difícil de adjudicar a un profesor en concreto, al margen de que no es esa la finalidad principal de las universidades de investigación.
Hay, sin embargo, algunos otros métodos más indirectos para evaluar la calidad de la enseñanza universitaria, circunscrita a la calidad de los profesores. También aquí se cuenta con la dificultad de que no está claro en que consiste un profesor eficaz. Provisionalmente, puede considerarse como un profesor exitoso aquel que tiene la capacidad para que sus alumnos aprendan, para adaptar su enseñanza a las diferentes necesidades de sus alumnos y para crear en sus estudiantes el deseo de aprender y participar en las actividades de clase.
En todo caso los métodos para evaluar a los profesores pueden clasificarse en aquellos cuya fuente de información son: a) los profesores de sí mismos, b) los colegas del profesor, c) las valoraciones de expertos a partir de grabaciones de las clases o d) el juicio de los estudiantes.
El problema es que es muy difícil establecer lo que el aprendizaje promovido por el profesor afecta a la vida futura de sus alumnos, puesto que es muy difícil diferenciar la contribución de lo aprendido en la universidad de la contribución de lo aprendido gracias a otras experiencias a lo largo de la vida
En lo que se refiere a la primera fuente de información, se incluyen datos tales como la producción científica del profesor o los métodos que emplea en sus clases. Frente a lo que podría sospecharse, las autoevaluaciones no se caracterizan por estar sesgadas en favor del profesor, sino que, de acuerdo con gran número de estudios, los datos procedentes de este método de evaluación son bastante objetivos.
El inconveniente de este método es que, por un lado, el análisis de lo que informan los profesores de sí mismos consume mucho tiempo, haciéndolo impracticable cuando se trata de evaluar a un gran número de profesores. Por otro lado, el experto al que se encomienda el análisis de los autoinformes de los profesores debe estar familiarizado con las peculiaridades de la universidad de que se trate.
En cuanto a la segunda fuente de información, la de los colegas del profesor, puede que hayan podido o no observar al profesor dando clase. En cualquier caso, los colegas del profesor suelen ser muy cabales a la hora de valorar su competencia en lo que se refiere a su preparación científica y pedagógica. No obstante, esta estrategia de evaluación tampoco carece de problemas. Básicamente, porque en algunos casos los profesores dudan de la objetividad con que pueda realizarse la evaluación, dado que los colegas son, a su vez, competidores.
La tercera fuente de información, la de los análisis de las grabaciones de clases, proporciona el mejor método para que el profesor mejore su docencia, especialmente si las grabaciones son debatidas por el profesor y un experto.
La cuarta fuente de información son los estudiantes cuyo papel en la enseñanza les convierte en los mejores observadores del profesor. La información principal procedente de los estudiantes es la más arriba mencionada de su rendimiento académico, pero se han empleado, también, otros tres métodos adicionales, como son: los comentarios escritos sobre los profesores y los cursos, las entrevistas de grupo y las escalas de valoración.
En cuanto a los comentarios escritos de los alumnos, son muy útiles para ayudar al profesor a lograr una mejora en su docencia, pero son difíciles de resumir y el carácter idiosincrático junto con la variabilidad de los resultados hacen difícil que puedan establecerse comparaciones. Algunas veces se han incluido los comentarios de los alumnos al final de un cuestionario de preguntas cerradas o se pide a los alumnos un comentario a continuación de cada pregunta cerrada.
Respecto al segundo método, se trata de realizar entrevistas semiestructuradas a un grupo de alumnos en las que un monitor sigue un guion de preguntas sobre: a) el conocimiento de la materia del profesor, b) su forma de dar las clases, c) su organización o d) la adecuación de los exámenes. Con este método hay una menor variabilidad de los resultados que en al caso de los comentarios escritos, debido al efecto homogeneizador del grupo, de modo que la imagen de lo ocurrido en la clase a lo largo del curso es más precisa.
El tercer método es el de los cuestionarios sobre los juicios de los estudiantes acerca de la calidad de la docencia recibida. Tradicionalmente, estas valoraciones se han considerado fundamentales para acometer la mejora de la docencia y del aprendizaje de los alumnos en la educación superior.
Estos cuestionarios consisten en un número de preguntas cerradas en las que se valora al profesor, a la enseñanza y a los programas desde el punto de vista de lo que se supone que es la eficacia docente. Una de las razones por la que es el procedimiento más empleado se debe a que las operaciones de recogida, análisis e interpretación de los datos se simplifica enormemente, especialmente con la aparición de los ordenadores. Se dispone, además, de algunos datos que han demostrado que los resultados derivados de los diversos métodos para obtener información de los estudiantes son altamente congruentes, de modo que, aunque el ideal sería emplear todos ellos, puede elegirse uno de ellos y prescindir del resto cuando no se dispone de medios abundantes.
En cuanto al criterio de validez de los diferentes ítems de los cuestionarios, el más frecuentemente utilizado es el del juicio global sobre el profesor, porque se ha demostrado que dicho juicio es el que más correlaciona con otras medidas de la calidad de la enseñanza. Este es el criterio que se empleó en el primer estudio realizado en España sobre las evaluaciones de los estudiantes(5). Adicionalmente también se ha empleado otro criterio de validez que es el del cumplimiento de los objetivos pretendidos por el profesor. Una investigación de esta naturaleza se realizó en nuestro país en un segundo estudio en la Universidad Autónoma de Madrid (6).
Algunos de estos sesgos son particularmente importantes como la proximidad generacional o el poder de sugestión del profesor
Actualmente, sin embargo, se han recrudecido las críticas a este procedimiento de evaluación de la enseñanza, porque no está claro que haya una relación entre el aprendizaje de los estudiantes y las valoraciones que ellos hacen de la enseñanza. Algunos autores, incluso, aconsejan no conceder un gran peso a las evaluaciones estudiantiles a la hora de la toma de decisiones sobre el gobierno de las universidades (7).
Se han demostrado numerosos sesgos que influyen en las valoraciones tales como: la diferencia de edad entre el profesor y los alumnos, el sexo del profesor, la afinidad social o de raza, la benevolencia de los alumnos con sus profesores, el poder de sugestión del profesor o, incluso, pequeños detalles como la fatiga de los estudiantes, el tiempo que haga al pasar la prueba, el tipo de curso, las creencias de los estudiantes sobre la utilidad de la enseñanza que se imparte, a lo que se suma, en nuestros días, la baja tasa de respuestas cuando las encuestas son online, lo que puede privilegiar respuestas anómalas que pueden viciar los datos.
Algunos de estos sesgos son particularmente importantes como la proximidad generacional o el poder de sugestión del profesor. En ambos casos, las evaluaciones de los estudiantes no tienen nada que ver con el domino de la materia por parte del profesor, ni con su eficacia como enseñante. En el primer caso, la empatía entre el profesor y los alumnos aumenta conforma disminuye la diferencia de edad, debido a que las culturas a las que ambos pertenecen son más próximas.
En general puede decirse que los estudiantes son una fuente moderadamente válida en lo que se refiere al modo en que el profesor da las clases, pero carecen de validez -excepto en casos escandalosos- respecto al grado de dominio de la materia del profesor
En cuanto al poder de sugestión del profesor, hace muchos años se hizo un experimento en el que un actor, presentado a un grupo de estudiantes como el Dr. Fox, exponía un tema que desconocía por completo y que aliñaba con frases altisonantes e incongruentes, pero con un gran entusiasmo y alta expresividad, de tal modo que hacía que los estudiantes le valoraran muy positivamente, aunque la clase carecía de valor. Este fenómeno se produce preferentemente cuando los estudiantes tienen un bajo grado de motivación, la exigencia de los exámenes es muy baja y el profesor no es muy conocedor del contenido. Estas circunstancias pueden darse con frecuencia en algunas facultades de la universidad española, por lo que, en estos casos, la validez de las valoraciones estudiantiles debe ponerse en duda.
En general puede decirse que los estudiantes son una fuente moderadamente válida en lo que se refiere al modo en que el profesor da las clases, pero carecen de validez -excepto en casos escandalosos- respecto al grado de dominio de la materia del profesor. Así pues, aunque constituyen una buena retroalimentación para el profesor, las valoraciones de los alumnos no deben tenerse en cuenta a la hora de tomar decisiones administrativas sobre la promoción, sueldo, etc. del profesor.
El hecho de que las valoraciones estudiantiles carezcan, por un lado, de validez a la hora de constatar el grado de dominio de la asignatura por parte del profesor y se caractericen, por otro, por ser extremadamente favorables al profesor en ese ámbito, ha dado lugar a que algunos profesores, no demasiado versados en su materia, esgriman estas valoraciones para defenderse ante posibles críticas.
En todo caso, la virtud principal de las evaluaciones que hacen los estudiantes estriba en que informan indirectamente acerca de cómo quieren ser enseñados y, por tanto, de cómo aprenden mejor, de modo que el profesor puede mejorar su modo de enseñar para optimizar el aprendizaje de los alumnos.
(1) Existen varias revistas dedicadas al tema, tales como: Quality Assurance in Education, Quality in Higher Education o Quality Assurance in Higher Education.
(2)Véase p. ej., Jina, J. C. y Jimb, L. (2014). On the relationship between university education and economic growth: the role of professors’ publication. Education Economics, 22, 635-651.
(3) P. ej., Aparicio, J. J. y Rodríguez Moneo, M. (2016). La calidad de la educación como determinante del progreso de los países y la calidad del profesorado como determinante de la calidad de la educación. Tarbiya: Revista de Investigación e Innovación Educativa, 44, 9-20.
(4) Henningsson, M. y Geschwind, L. (2022). Recruitment of academic staff: An institutional logics perspective. Higher Education Quarterly, 76, 48-62.
(5) APARICIO, J. J. SAN MARTÍN, R, Y TEJEDOR, F. J. (1982). La enseñanza universitaria vista por los alumnos: un estudio para la evaluación de los profesores en la enseñanza superior. Madrid: Cuadernos de capacitación docente, Oficina de Educación Iberoamericana.
(6) Aparicio, J. J. (1984). La Evaluación de la Enseñanza Universitaria en Relación con los Objetivos del Profesor. Memoria de investigación. Madrid: CENIDE.
(7) Roxa, T., Ahmad, A., Barrington, J.,Van Maaren, J. y Cassidy, R. (2022). Reconceptualizing student ratings of teaching to support quality discourse on student learning: a systems perspective. Higher Education, 83, 35-55.
JUAN JOSÉ APARICIO Profesor de la Facultad de Psicología de la Universidad Complutense. Investigador del Instituto Universitario de Ciencias de la Educación de la UAM. Profesor de la Facultad Latinoamericana de Ciencias Sociales (FLACSO, Argentina)
