Si consideramos que existe otra manera de hacer ciencia, una ciencia apegada a sus principios constitutivos de relevancia social, de colaboración, apertura e intercambio y de transferencia intergeneracional del conocimiento, necesitamos olvidar los ránquines universitarios y dotarnos con urgencia de nuevos instrumentos de evaluación que enaltezcan el trabajo serio, paciente, significativo y relevante.
JOAQUÍN RODRÍGUEZ
La Complejidad de Evaluar la Calidad Educativa
Establecer ránquines, jerarquías y graduaciones es un empeño que puede resultar coherente cuando de lo que se trata es de establecer un nuevo récord de los 1000 metros lisos pero comienza a ser contraproductivo cuando de lo que se trata es de evaluar la calidad de la docencia, el trato y el seguimiento personalizado que un tutor pueda proporcionar a un alumno, la capacidad que la institución haya tenido para elevar las expectativas de éxito de los estudiantes a su cargo, el impacto que la investigación pueda tener sobre la vida de los colectivos a los que pueda afectar, la implicación de la institución de educación superior con los problemas que puedan aquejar a su entorno inmediato, la dimensión cívica de su esfuerzo y su empeño.
Intentar cuantificar mediante un conjunto simple de indicadores estas dimensiones es, simplemente, reduccionista cuando no incoherente. Algunos dirán que aquello que no se cuantifica ni pondera numéricamente no es gestionable, porque no hay variables sobre las que se pueda intervenir mediante un plan de acción pensado para modificarlas o mejorarlas, pero a esa observación tan común en el imaginario de la gestión empresarial cabría contraponer otro no menos contundente: por una parte, el hecho de que podamos medir una variable, como pudiera ser la de la inserción laboral de los egresados de una titulación universitaria, no nos dice nada sobre la realidad de lo medido, porque no tiene en cuenta el contexto en el que operan las diferentes universidades, el origen social de los estudiantes y la herencia cultural y educativa recibidas, la capacidad real que la universidad y sus profesores hayan tenido en la elevación marginal de las expectativas de éxito académico y profesional de sus alumnos.
Establecer ránquines, jerarquías y graduaciones comienza a ser contraproductivo cuando de lo que se trata es de evaluar la calidad de la docencia
Todo eso queda fuera de cualquier algoritmo de cálculo del ranquin, porque lo que le interesa a la jerarquización tradicional es constatar la (supuesta) evidencia: que Harvard está muy por encima de una universidad regional de cualquier continente no occidental, aunque eso ocurra no solamente porque sus profesores puedan ser excelsos profesionales y mejores científicos, sino porque la tasa de reproducción social es tan alta que tiende a darse una congruencia casi perfecta entre el origen de un alumno, su éxito académico y su proyección profesional, lo que redundará, a su vez, en la elevación del nivel de la universidad, un círculo virtuoso que parece ocultarse a la vista de quienes diseñan los indicadores de los pódiums universitarios.
La publicación científica y su impacto en las Universidades
Esas mismas clasificaciones suelen tomar en mucha consideración los índices de impacto de las publicaciones de sus claustros, porque el escaparate de la edición científica todavía es apreciado como el máximo exponente de la excelencia científica y profesional y, derivadamente, del entorno universitario que lo promueve y favorece.
El problema, sin embargo, es que lo que fue concebido para medir la opinión que los pares pudieran tener sobre la calidad de lo comunicado por un investigador, ha alcanzado su máximo grado de contraproductividad: todos pretendemos publicar en aquellas cabeceras que nos aseguren la máxima visibilidad, de manera que se produce una congestión inasumible en la que muchos son los llamados pero pocos los aceptados; la legión de científicos descartados, ansiosos por procurarse evidencias que jalonen su carrera profesional, recurren a la falsificación, a las granjas de producción de artículos, a la publicación en cabeceras tan sospechosas como depredadoras, a la firma ofuscada de cualquier paper en donde figure su nombre independientemente de su contenido.
Si no publicar es una de las formas conocidas de la muerte científica, lo que encontraremos es una ansiedad colectiva colosal transformada en prácticas ilícitas, totalmente contrarias a los principios constitutivos del campo científico.
El escaparate de la edición científica todavía es apreciado como el máximo exponente de la excelencia científica y profesional y, derivadamente, del entorno universitario que lo promueve y favorece
Limitaciones de los Ránquines Universitarios
De nada vale apelar a que la evaluación debería estar basada en la calidad intrínseca del contenido publicado, independientemente de la cabecera en que fuera difundido o del formato en que fuera distribuido; de nada parece servir que se recuerde que existen más lenguas que el inglés y que, además de no disponer de la misma competencia lingüística, es igualmente legítimo expresarse en la lengua de cada cual, porque muchas veces la investigación exige que nos acerquemos a nuestro objeto de estudio en una lengua que nos permita reconocernos mutuamente; de nada parece valer llamar la atención sobre el hecho de que la competición incesante por ocupar el primer lugar del ranquin tienda a invalidar todas las prácticas abiertas y colaborativas, porque la obsesión por destacar obstruya cualquier iniciativa cooperativa.
Los índices en los que se basa la construcción de los ránquines universitarios tienden a sobrerrepresentar todas aquellas mediciones que se conforman con la simple competición, con los 1000 metros lisos, pero apenas tienen en cuenta que en muchas ocasiones no conviene ir más rápido, sino más lejos y juntos.
de nada parece valer llamar la atención sobre el hecho de que la competición incesante por ocupar el primer lugar del ranquin tienda a invalidar todas las prácticas abiertas y colaborativas, porque la obsesión por destacar obstruya cualquier iniciativa cooperativa.
Si todo parece estar diseñado, en suma, para que científicos e instituciones recopilen datos que atestigüen, de alguna manera, su alto desempeño científico y pedagógico y su alto impacto laboral, tampoco podrá extrañarnos que la mayoría utilice los indicadores más triviales y que lo hagan utilizando fuentes arcanas y escasamente contrastables.
Necesidad de una Evaluación más Significativa
La contraproductividad, nos decía Iván Illich en el año 1973, en sus Herramientas para la convivialidad[1], se refiere a una situación en la que las herramientas y los sistemas creados para alcanzar determinadas metas u objetivos acaban produciendo resultados opuestos o contrarios a los previstos. Illich sostenía que muchas instituciones y tecnologías modernas se habían vuelto contraproducentes porque habían crecido más allá del punto en el que resultaban útiles a los intereses de los individuos y la sociedad.
Parece que hoy hemos alcanzado, definitivamente, ese punto de no retorno y que la institución universitaria debe plantearse resuelta y seriamente la necesidad de rediseñar todos los mecanismos de evaluación de su actividad científica, educativa y social. De lo contrario, se convertirá en un armatoste inservible, totalmente prescindible, en un club hermético inútil para la sociedad.
necesitamos olvidar los ránquines universitarios y dotarnos con urgencia de nuevos instrumentos de evaluación que enaltezcan el trabajo serio, paciente, significativo y relevante
En los últimos meses han proliferado las noticias de Universidades que se están replanteando profundamente sus métricas y su participación en concursos de belleza académica. La Universidad de Utrech[2] publicó un breve comunicado el pasado 29 de septiembre en el que informaba sobre su intención de abandonar el ranquin académico del Times Higher Education, uno de los más afamados, aludiendo a los informes sobre su iniquidad publicados por la red Universities of the Netherlands[3].
Si consideramos que existe otra manera de hacer ciencia, una ciencia apegada a sus principios constitutivos de relevancia social, de colaboración, apertura e intercambio y de transferencia intergeneracional del conocimiento, necesitamos olvidar los ránquines universitarios y dotarnos con urgencia de nuevos instrumentos de evaluación que enaltezcan el trabajo serio, paciente, significativo y relevante.
[1] Illich, I. 1973. La convivialidad. http://ivanillich.org.mx/convivencial.pdf
[2] Why UU is missing in THE ranking https://www.uu.nl/en/news/why-uu-is-missing-in-the-the-ranking
[3] International rankings universities https://www.universiteitenvannederland.nl/en_GB/f_c_rankings.html y Het ranken van de Universiteit. Over de effecten van rankings op de academische
gemeenschap en hoe daarmee om te gaan https://universiteitenvannederland.nl/files/documenten/Publicaties/Het_ranken_van_de_universiteit_NL.pdf
JOAQUÍN RODRÍGUEZ
Miembro de la Asociación Espacios de Educación Superior
