Amics de la Universitat Pública

Análisis de los resultados de la encuesta sobre el sistema de evaluación y régimen de dedicación (II)

Índice

Valoraciones cualitativas

  1. Indicadores docentes
  2. Indicadores de investigación
  3. Valoraciones libres
  4. Conclusiones

Continúa el análisis de las respuestas a la encuesta sobre el «Sistema de evaluación y régimen de dedicación». Con la primera entrega de este análisis se difundieron los resultados cuantitativos de la encuesta que Amical Universitaria propuso al PDI de la UPC.

En el presente documento se estudian las respuestas a las preguntas abiertas planteadas en el cuestionario, que podían ser redactadas libremente por los participantes proponiendo indicadores y dando una opinión global.

Invitamos encarecidamente a leer los textos originales escritos por los encuestados en el fichero recopilatorio de las respuestas. Este estudio es un resumen general que no puede preservar el detalle: se centra en resaltar las coincidencias, subrayando aquellos temas que preocupan al colectivo dada su reiteración en las distintas respuestas. Hay también un trabajo de interpretación y síntesis de propuestas agrupadas por similitud, cuyo redactado puede ser variado pero compartiendo un fondo. Sea como sea, es enriquecedor leer los textos que han escrito los participantes en la encuesta.

Valoraciones cualitativas


En la encuesta había tres preguntas abiertas donde se ofrecía la opción de redactar un texto libre sobre varios aspectos.

I – Indicadores docentes


La pregunta 8 pedía a los encuestados, con el texto «Quins indicadors sobre la docència afegiries«, opinar sobre qué indicadores docentes encontraban a faltar. Analizadas las respuestas se ofrece un resumen de las propuestas.

Propuestas de simplificación del sistema actual


Un número de respuestas sugieren de varias maneras que el sistema actual se debería simplificar, e incluso hay diversas propuestas concretas sugiriendo la eliminación de los siguientes indicadores: autoinforme, informe del departamento y jefe de sección, informe del centro, desarrollo profesional,  quinquenio, planificación docente.

Un punto en el que hay un gran consenso entre las respuestas: las encuestas a los estudiantes son sesgadas y no representativas. Parece ser que son un mecanismo que no contenta a nadie.

Una persona propone que la evaluación de docencia no sea anual sino plurianual.

Propuestas de nuevos indicadores


En lo que respecta a propuestas sobre nuevos indicadores, la figure 1 muestra un listado en orden descendente de frecuencia.

Figura 1: Indicadores docentes propuestos

Figura 1: Indicadores docentes propuestos

Bajo el epígrafe Encuestas en la figura 1 se agrupa un conjunto de mociones que versan sobre el tema de las encuestas a estudiantes. En el apartado anterior se comentaba que hay un gran consenso en que las encuestas a los estudiantes son sesgadas y no representativas, y por otra parte hay tantas propuestas relacionadas con este tema que forman el conjunto de respuestas con mayor frecuencia:

  • La principal petición es que se contraste de alguna manera la credibilidad del alumno que rellena la encuesta. Si un alumno, por ejemplo, ha asistido a la mitad de las clases o no ha dedicado el tiempo suficiente a la asignatura, su testimonio debería ser cuestionado.
  • También se propone agregar preguntas sobre cómo desarrolla el profesor su labor.
  • Y por último también se pide que se encueste a alumnos de años anteriores e incluso a alumnos ya titulados, pues son los únicos que tienen conocimiento real de si lo que les enseñó un profesor es de valor o no, con independencia de que fuera ‘enrollado’, exigente, o regalara el aprobado; son alumnos cuya evaluación tenderá a ser más objetiva, y no será fruto, por ejemplo, de una eventual venganza por haber obtenido un suspenso. Hay respuestas que sugieren también preguntar por la utilidad de los estudios en el desarrollo profesional posterior, y eso es algo que solamente los alumnos egresados pueden responder.

Los dos siguientes temas con una frecuencia algo menor (en número de respuestas) piden que se tengan en cuenta como ponderación para la valoración del PDI la impartición de docencia en dos casos concretos:

Los dos temas con frecuencia inmediatamente menor expresan la petición de que en la valoración del PDI se pondere la impartición de docencia en dos casos concretos:

  • en el caso de impartir muchas asignaturas distintas o en distintos centros
  • en el caso de impartir asignaturas de primer curso o masificadas.

Estos condicionantes afectan en gran medida y limitan la calidad de la docencia que se puede llegar a impartir y son factores distorsionantes sobre los que se percibe una total indiferencia por parte de la UPC. Desde la institución se sigue dando por sentado que la docencia de cualquier asignatura, en cualquier nivel, es equivalente a las demás, y se puede ofrecer de la misma manera, una presunción que cualquier profesor sensato juzgaría como radicalmente falsa.

Con un decremento de frecuencia que llega a la mitad de la correspondiente al anterior conjunto de respuestas, hay un grupo de 8 temas con frecuencias entre 3 y 6. Y finalmente hay un grupo de 12 temas con una frecuencia de 1 o 2. Para estos grupos de propuestas de menor frecuencia, los textos de la figura resumen elocuentemente las ideas expresadas, de modo que  no parecen necesarias más aclaraciones.

II – Indicadores de investigación


La pregunta 18, con el texto «Quins indicadors sobre la recerca afegiries«, instaba a proponer indicadores de evaluación de la actividad investigadora. De nuevo invitamos a los lectores a que acceden al fichero que acompaña a esta entrada para poder conocer de primera mano los textos escritos por los participantes, más allá del resumen global aquí realizado.

Varios participantes coinciden en criticar el sistema de evaluación actual en base a algo fundamental, a saber: que la institución no ha establecido unos criterios previos de aquello que busca, y por tanto está evaluando sin sentido ni criterio director.

La gran confusión

Como se verá a continuación, la gran mayoría del colectivo padece una gran confusión en lo que respecta al «sistema de evaluación y régimen de dedicación«. En el apartado de investigación, esta anomalía queda de manifiesto con mayor intensidad que en el apartado anterior, el de docencia.

Aunque la encuesta apuntaba, como explicaba su título, a una valoración del «sistema de evaluación y régimen de dedicación«, los participantes,  en este apartado “indicadores de investigación”, han respondido a un batiburrillo de cosas distintas. Han hablado sobre aspectos para la obtención de puntos (PAR/PAD/PAC/etc), de los criterios para la consecución de tramos, del sistema de evaluación, del régimen de dedicación, etc. En realidad es comprensible tanta confusión, que viene generada por la propia concepción del “sistema”, el cual en realidad es una amalgama de criterios mezclados y sin clara delimitación. Se exponen en este apartado los diversos criterios mencionados y sugeridos en la encuesta, con la idea de que sean los lectores quienes decidan por sí mismos cómo clasificarlos.

Propuestas de simplificación del sistema actual


Un grupo numeroso de respuestas aboga por simplificar el sistema.

Hay encuestados que proponen racionalizar la solución actual suprimiendo algunos indicadores:

  • La petición que tiene más apoyos es suprimir el requisito de tener doctorandos, arguyendo que no está al alcance de todos conseguirlo y por tanto es injusto.
  • Con menor respaldo encontramos la sugerencia de supresión de otros dos indicadores: suprimir el indicador de gestión -razonando que la gestión ya se evalúa aparte-, y suprimir el requisito de “sexenio vivo”,  porque no es algo obligatorio.
  • Por debajo en número de apoyos, consecutivamente, está la propuesta de eliminar el requisito de participación en proyectos -pues se considera que es un requisito puramente económico-, y que no tiene ningún criterio de investigación; y la propuesta de suprimir la valoración de revistas que requieren un pago de los autores, o que presenten indicios de fraude.

Otros proponen simplificar, en vez de eliminando criterios, corrigiendo los existentes. Correcciones propuestas son las siguientes, por orden de mayor a menor apoyo:

  • Poner límites al número de publicaciones aceptadas por persona y año. Razonan que, superado un límite, se entiende que no es posible hacer una aportación sustancial a una investigación. Ésto serviría además para reducir la cantidad de infiltrados en las listas de autores.
  • Al mismo nivel de apoyo está la petición de desligar la publicación de artículos de la participación en proyectos, y se aboga por que sean dos criterios separados.
  • Otra petición con bastante apoyo es la de utilizar indicadores distintos al SCI, que es un indicador de una empresa privada que sirve para promocionar su propias revistas, y utilizar otros, por ejemplo Social Science, H, CORE, Scopus o Google Scholar, Research Gate. En el mismo sentido, varios encuestados proponen contabilizar el impacto real sobre la sociedad de agencias estatales, pero no con indicadores privados que tienen un claro ánimo de lucro. Y se pide también que las revistas Open Acces tengan idéntica valía que las JCR.
  • Hay peticiones para ampliar el número de años de los artículos publicados y valorar los convenios/proyectos independentemente de su presupuesto.
  • En paralelo hay otras peticiones para contar ingresos totales de cada persona, no por cada proyecto por separado, y también ajustar los requisitos de ingresos por áreas temáticas.  Además se pide no dividir los ingresos de un proyecto entre el número de pagadores sino contabilizar el total.
  • Por último, hallamos estas peticiones: no exigir un minimo de puntos PAR a la participación en proyectos; reducir la valoración del índice de impacto; contabilizar el índice de impacto de las revistas; aumentar el número de publicaciones (puntos PAR) necesarias.

Como puede constatarse en este apartado, la valoración de la investigación es una tarea que se percibe con una notable confusión, cuando no se ve como excesivamente compleja. Miembros diversos de la propia comunidad, en investigación, demandan objetivos de valoración contrapuestos; no pasa lo mismo en el apartado de docencia. En investigación, mientras unos abogan por que no se evalúe la participación en proyectos -pues lo tildan de criterio meramente económico-, otros demandan que se contabilice la totalidad de los ingresos generados por un PDI, y no los ingresos aportados por cada proyecto por separado. Unos profesores piden reducir la valoración del índice de impacto y otros profesores contabilizarlo.

Recapitulando: el sistema de evaluación actual ofrece una solución muy controvertida, donde parece muy difícil, si no imposible, llegar a un consenso. La cuestión es si es posible organizar un sistema justo y equitativo para la comunidad universitaria al completo. La realidad empírica apunta a que, tal como está diseñado ahora, el sistema se basa en “vasos comunicantes” perniciosos, en el sentido de que lo que beneficia a unos perjudica a otros.

Propuestas de nuevos indicadores


Reflejando bien lo controvertido del sistema de evaluación en el apartado de la investigación, la figura 2 muestra la lista de indicadores de investigación que los participantes han sugerido -como posibles adiciones- en sus respuestas, ordenadas por orden de mayor a menor frecuencia.

Figure 2: Indicadores de investigación propuestos

Figura 2: Indicadores de investigación propuestos

Lo primero a subrayar es que las propuestas están muy repartidas y diversificadas, y no hay una clara ganadora. La petición más frecuente en investigación tiene frecuencia 7 mientras que la más frecuente en el apartado de docencia tiene frecuencia 22. En el ámbito de la investigación, hay, en efecto, una variabilidad notable de actividades distintas, y si se quieren valorar cabalmente todas mediante indicadores, el número de éstos tendría que ser enorme. Sin embargo, actualmente esto no sucede, y la lista de indicadores es muy restringida, en una visión tergiversada de lo que parece ser la investigación para los encuestados.

Dentro del grupo de 9 peticiones con frecuencia media (de 3 a 7), las tres principales son: que la manera de evaluar las publicaciones sea en base a las citas que recibe; que se distingan las áreas de conocimiento por sus particularidades; y que se contabilicen las patentes y los productos generados. Por último, hay 26 peticiones dispersas con frecuencia baja (1 o 2).

La figura 2 da a entender que, en verdad, para conseguir un sistema justo, ecuánime, donde la investigación quedase valorada en toda su versatilidad y potencialidad, sería necesario un algoritmo complejísimo que involucrara una infinidad de variables y casos particulares, lo que lo hace de facto inviable.

Si comparamos las figuras 1 y 2 se ve que hay muchas más peticiones en investigación que en docencia, 35 propuestas de indicadores para investigación más 9 propuestas de modificación del sistema, respecto de 23 indicadores para docencia más 3 propuestas de modificación del sistema. Además, así como en docencia hay una petición principal y dos peticiones muy frecuentes y un grupo con apoyo medio, en la de investigación no hay una petición principal, ni siquiera muy frecuente, solamente hay una con apoyo medio y el resto con apoyo bajo. Lo cual manifiesta la existencia de una variedad enorme de aspectos a ponderar en una labor investigadora; son tantos los aspectos a tener en cuenta que, desde un punto de vista neutral, la solución vigente, caracterizada por la pretensión de contabilizar todas y cada una de las posibles actividades -otorgando puntos a cada una de ellas-, se vuelve completamente ineficaz.

Por otra parte, una conclusión destacable en este apartado es que hay muchos factores relacionados con la investigación que no se están teniendo en cuenta.

III – Valoraciones libres


La pregunta 32 «Si us plau, fes els comentaris oberts que creguis oportuns sobre el «sistema d’avaluació i règim de dedicació»» daba la opción a los participantes de escribir cualquier comentario que considerasen pertinente. La figura 3 muestra el resultado de la encuesta, habiéndose procedido, tras la lectura de todas las respuestas, a la recopilación de los comentarios relevantes que hacían referencia al «sistema de evaluación y régimen de dedicación», y a su interpretación y agrupación  por similitud. Solamente los temas en que al menos han coincidido 4 participantes quedan reflejados en la figura.

Figura 3: Valoraciones libres

Figura 3: Valoraciones libres

En la figura 3, dado que los datos proceden de un campo donde se podía escribir cualquier opinión, hemos escogido aquellos temas que presentaban al menos una coincidencia media. Como puede apreciarse, hay un número de temas pequeño, 9 en total. Hay otras 12 opiniones minoritarias que no se recogen en este resumen, y porque ya habían sido expuestas en los dos apartados de docencia e investigación.

La opinión más frecuente no sólo es que hay un notable desequilibrio valorativo entre docencia e investigación, sino que existe de hecho un verdadero menosprecio institucional por la docencia, e incluso que el sistema vigente interpreta el aumento de la docencia como un castigo; como si impartir docencia fuera algo perverso o indeseable. La mayoría de participantes no entiende por qué se asocia la docencia a una punición institucional.

La segunda opinión en frecuencia de apariciones responde a un matiz de la pregunta X24CalSistAvalInterna: «Crec important que la institució disposi d’un sistema d’avaluació propi amb independència de que els criteris siguin més o menys encertats«.. Ya se analizó en la primera parte del estudio que solamente un 20,4% de los encuestados estaban en contra de que la institución ofreciese un sistema de evaluación. Pero en las respuestas abiertas muchos han matizado ese parecer, argumentando que bastaría con que la institución controlase el cumplimiento de las obligaciones de su personal. A esto se suma la opinión de que el sistema de indicadores no satisface el fin para el que supuestamente sirve, y que es injusto y no riguroso. La suma de estos dos comentarios apuntan en la misma dirección y configura la opinión más votada.

La siguiente opinión indica que para un colectivo importante se percibe que el sistema tiene objetivos represores. En una dirección similar apunta otra de las opiniones, la cual manifiesta que el sistema no ofrece recompensas por hacer bien las cosas, solamente castigos por hacerlas mal.

Sigue la opinión de que el sistema genera un aumento innecesario de burocracia que finalmente interfiere en el quehacer diario, de modo que el método empleado acaba convirtiéndose más en una molestia que en una ayuda: parece que el sistema está ahí únicamente para justificar el trabajo de los gestores que lo controlan.

La figura 3 también refleja la opinión de que la institución se ha lanzado a la evaluación de tareas sin tener previamente unos objetivos delimitados. En las conclusiones de este escrito se comenta esta carencia, que nos parece de una gravedad incuestionable.

Otra queja formulada en las respuestas libres es que el sistema vigente padece constantes cambios, en el sentido de que aumentan las exigencias progresiva e inopinadamente, y de que eso vuelve imposible la tarea de estar al día y cumplir con requisitos aparentemente establecidos. Lo cual contribuye a generar un exceso de burocracia innecesaria, con las consiguientes pérdidas de tiempo, pues constantemente hay que estar buscando nuevas modificaciones que afectan a modificaciones anteriores. Metafóricamente, e incluso con sarcasmo, alguien ha escrito que la UPC funciona en la actualidad con la estrategia del palo y la zanahoria: no importa cuánto corras y cuánto te esfuerces, la zanahoria siempre estará igual de lejos.

Por último está la petición de que se incluyan en el sistema la totalidad de actividades que realizan los PDI, y no solamente el pequeño subconjunto que se tiene en cuenta actualmente.

IV – Recapitulación y conclusiones


Sobre la pasividad de la UPC

La UPC se ha dotado de un instrumento llamado «sistema de evaluación y régimen de dedicación del profesorado» que ofrece un presunto método de evaluación de la calidad del trabajo; pero la realidad es que la misma institución no ha sido capaz de hacer una revisión crítica de este sistema, tal como -por cierto- proponen los estándares de calidad vigentes. La UPC se ha embarcado en la propagación de un sistema posible (gratuito, sobrante, a tenor de muchas opiniones) y se ha enrocado en la actitud del wait and see, efectuando modificaciones puntuales en el funcionamiento de tal “sistema”, pero sin cuestionar nunca si lo que va aconteciendo dentro de él es positivo o se dirige a alguna meta.

Sobre los resultados del sistema

Implementar un sistema de evaluación de calidad puede hacerse con dos fines: comprobar la calidad de un producto, o bien mejorar la calidad. Ambos propósitos exigen un proceso de comparación.

Después de unos años sometidos al sistema de evaluación vigente en la UPC, puede analizarse comparativamente la situación de partida y la situación presente, y puede percibirse hacia dónde nos lleva la última; y cuáles han acabado por ser los objetivos de facto de la institución, ante la ausencia flagrante de objetivos explícitos.

El resultado es que las franjas A han aumentado un 14% tanto en investigación como en docencia. Pero los resultados son muy distintos si se mira docencia por un lado e investigación por el otro. En  docencia el aumento en valoraciones ha sido claro, las franjas C y D han quedado casi desiertas. En cambio, en el apartado de investigación las franjas C y D han quedado casi iguales y una porción de la franja B ha pasado a A.

Obervando estas tablas podría pensarse que en la UPC hay muy buenos docentes, y que, en cambio, hay un colectivo de holgazanes que no hacen investigación. Una segunda mirada permite apreciar, por determinadas respuestas a la encuesta, que la mayoría del PDI considera que hay un agravio comparativo en favor de la investigación y en contra de la valoración que merece la docencia, que se interpreta institucionalmente como un castigo. Implícitamente, se estaría fomentando la creencia de que la valoración en docencia “se regala”, y que, por el contrario, hay que pasar un calvario para obtener una buena valoración en investigación. El progreso en la evaluación de la docencia no es realmente una mejora –sugiere el dispositivo actual–, sino que se deriva de una relajación en los criterios de exigencia, lo que no ocurre en el apartado de investigación.

Queda meridianamente claro que la UPC se limita a observar cómo se desenvuelve la plantilla en su labor cotidiana, pero no hace nada para optimizar las condiciones de trabajo, ni considera los logros potenciales de sus afiliados. El objetivo del sistema actual, por tanto, y a tenor de los resultados de la encuesta, no ha sido nunca mejorar lo que existe, sino simplemente comprobar qué mal algunos lo están haciendo para poder penalizarles. Y para eso, para castigar a unos pocos, la inmensa mayoría carga con el lastre de una burocracia que perturba significativamente su labor diaria.

Sobre la ausencia de objetivos institucionales

El estudio demuestra que las franjas A de valoración han aumentado ambas un 14%. La pregunta que cabe hacer es, ¿ese incremento da a entender una mejor labor investigadora y docente, o simplemente una buena adaptación al sistema de evaluación?

Porque es sabido que todo método de evaluación acaba orientando sus metas. Este efecto orientador puede apreciarse en el registro histórico de la matriz de evaluaciones globales: las franjas A han engordado aumentando en un 14%; de acuerdo, podría decirse. Cierto efecto director modificaría el hábito de los sujetos evaluados, los cuales tenderían a reducir sus actividades, centrándose en aquellas orientadas a obtener una buena valoración y abandonando cualesquiera otras que no sirviesen a ese propósito. Concluyamos que si las actividades potenciadas van en la dirección de los fines de la institución, la reflexión es excelente. Pero si no fuera así, hay que dar la alerta, pues el “sistema” sólo estaría provocando un empobrecimiento de la actividad docente del PDI, una actividad que, de otra manera, quizá podría llegar a ser muy rica y variada, y creadora de mucho valor añadido.

Como corolario, sinó como obviedad, parece indispensable que el sistema evalúe elementos directamente relacionados con objetivos institucionales. La formulación explícita de estos últimos es crucial. Si no se entiende así, el resultado puede ser perverso, pues objetivos heterogéneos (contingentes, personalistas, interesados…), sin nada que ver con objetivos de una institución universitaria, serían altamente disruptivos. Por ejemplo, si se valora la dirección de un proyecto de ámbito estatal, los profesores tenderán a tener un proyecto estatal. Si, por el contrario, se valora el número de proyectos dirigidos y la suma de ingresos en caja, el PDI tenderá a conseguir cuantos más proyectos mejor, intentando maximizar la cantidad de dinero ganado.

¿Y cuáles son los objetivos de la UPC? ¿La dirección de un proyecto estatal, o la dirección del máximo número de proyectos posible, maximizando los ingresos obtenidos?

Un escollo que presenta el «sistema de evaluación y régimen de dedicación» de la UPC es, en efecto,  la falta de unos objetivos institucionales claros y concretos que sirvan para articular posteriormente un sistema de promoción de actividades consecuentes con esos objetivos. Es algo evidente. Este gravísimo diagnóstico de la situación es compartido por muchos de los encuestados.

Sobre el desequilibrio entre docencia e investigación

Subrayemos el desequilibrio que existe, en las cifras que se publicitan del dispositivo actual sometido a encuesta, entre el peso y la importancia que se otorga a docencia e investigación, respectivamente: mientras un 70% del total de la UPC tienen una A en docencia, solamente un 56,8% llegan a la A en investigación. Esa misma tendencia se encuentra en las respuestas a nuestra encuesta: hay un menor número de A’s en investigación que en docencia.

Entre los implementadores (el equipo rectoral anterior) y los fomentadores (el equipo rectoral actual) del sistema de evaluación vigente, parece extenderse la divisa de que «cualquiera que sepa leer y escribir puede impartir docencia» (¡frase literal de un ex-vicerrector de la institución!), mientras que solamente unos pocos, especialmente dotados, llegarían a ser capaces de investigar. Es decir, en caso de que la UPC persiga algun objetivo concreto (lo que está por demostrar), quizás el sistema esté diseñado para mantener las diferencias entre los que ya eran buenos investigadores -con horizonte H- y los que pugnan por conseguirlo; aunque, eso sí, sin que la universidad ponga en ningún caso medios para salvar la distancia entre unos y otros.

Sobre la confusión de criterios

En la entrega anterior se estudió la respuesta a dos preguntas:

  • X31SuficientDivulgCanvis con el texto “El canvis en la normativa i el sistema d’indicadors son suficientment divulgats i amb temps suficient per permetre l’adaptació de l’activitat del PDI a la nova normativa i no sofrir sancions retroactives
  • y X25ProuInformRequisits con el texto “He estat suficientment informat sobre els requisits per assolir els diferents indicadors“.

Pues bien, un 40% sugiere que es falso que haya suficiente información sobre los requisitos, y un 62,4% apunta a que es falso, asimismo, que los cambios en el sistema se divulguen adecuadamente. Estas cifras condenatorias deberían ser mucho mayores, pues en realidad los encuestados están solapando varias cosas que el sistema involucra en la evaluación; muchos profesores no tienen consciencia de cuán desinformados están. En las respuestas de los encuestados a la pregunta 18 «Quins indicadors sobre la recerca afegiries«, se percibe una hibridación de diversos apartados y conceptos en las respuestas. Aunque es posible que los profesores de la UPC  estén evaluados de manera tan sofisticada que ya no entiendan nada, es decir, que no estén a la altura de tan egregio mecanismo o algoritmo. Dicho con humor prosaico, al final un PDI no sabe de dónde «van a venirle los palos», de modo que lo único que debe preocuparle -parece ser- es que el sistema contabilice las actividades eventualmente realizadas, sin importar dónde ni cuándo.

Tanta confusión y tanto desconocimiento son, por supuesto, atribuibles a la UPC, que en su obsesión por tatuar a los profesores con letras del abecedario, ha abandonado la tarea principal de informar sobre la finalidad del alfabeto del «sistema» (por ahora críptico). El proceso de evaluación, hoy por hoy, se realiza de arriba hacia abajo (top down) por parte de quienes parecen considerarse amos y dominadores de la ciencia, por parte de quienes se arrogan el don de establecer patrones académicos universales -de fines inciertos- en los que todos deben encajar. Si por ventura a algun mortal no le encajara ese guante -y la encuesta de Amical alerta de la deficientísima confección de la prenda-, entonces lo mejor es que la persona en cuestión se cambie la mano, o peor, que se la ampute.

Sobre la apreciación negativa del sistema

Los encuestados opinan mayoritariamente que los cambios en el sistema son constantes y no se comunican adecuadamente, que el sistema vigente es desequilibrado y que ha degradado su actividad docente como resultado. Además, dicen que el sistema les desmotiva, y que no es un buen sistema. La crítica general parece demoledora, y los culpables del despropósito serían tanto el staff dirigente de la UPC  como las organizaciones sindicales, pues estas últimas, con cierta connivencia o pasividad, han pactado este sistema.

Sobre la división generada en la comunidad PDI

Al analizar la predisposición al castigo de los diferentes colectivos con valoraciones en investigación, ya se comentó el problema . Es curioso –se dijo– que no existan las diferencias entre colectivos de profesores con valoraciones en docencia. Por su parte, el mecanismo de valoración de la investigación ha generado varios grupos de opinión diferenciados en el seno de la comunidad PDI:

  • un colectivo con evaluación A que exige a los demás pasar por su via crucis, o bien que se les castigue;
  • un colectivo con evaluación B que, básicamente, pide ayuda;
  • por último, los profesores evaluados con C’s y D’s, los cuales, siendo quienes más soporte necesitarían, son en cambio más propensos a aceptar una punición, en una extraña ocurrencia sociológica del llamado “síndrome de la víctima narcisista”.

Lo que ha conseguido el sistema actual de nuestra universidad es, en definitiva, declarar proscrito a un colectivo muy significativo de PDI (un 22% de la plantilla total), asignándole sendas valoraciones C y D en investigación, o, lo que es lo mismo, arrojando a muchos profesores a un hoyo del que no podrán salir. La anomalía estadística en este caso son algunos profesores que parecen sufrir cierta extorsión emocional por parte de la institución, pues, sintiéndose estigmatizados, estas personas han llegado a creer en “su propia maldad”, y de alguna manera están pidiendo que se les castigue.

No consideramos que ese deba ser el sistema por el que se deba articular nuestra universidad.

Sobre la idoneidad de un sistema de indicadores

Las propuestas de nuevos indicadores de investigación, en la eventualidad de que existiera un nuevo sistema, constatan el absurdo y el contrasentido que supondría atender a la numerosísima cantidad de indicadores necesarios para implementar un sistema justo. De hecho, como se mencionó, varias respuestas abiertas de los participantes apuntan a que un sistema de indicadores, ya de por sí, parece inadecuado para lograr lo que se pretende. Muchos opinan que bastaría con un sistema de comprobación de las obligaciones del PDI, que seguramente sería mucho más efectivo.

Análisis de los resultados de la encuesta sobre el sistema de evaluación y régimen de dedicación

Índice

Introducción

  1. Diseño de la encuesta
  2. Representatividad de la encuesta
  3. Análisis cuantitativos
  4. Próximo post en el blog
  5. Referencias

Introducción


Hace unas semanas Amical Universitària lanzó una petición a la comunidad PDI de la UPC para que rellenasen una encuesta sobre la opinión del colectivo acerca del «sistema de evaluación y régimen de dedicación» actual.

Amical agradece la respuesta que ha tenido la encuesta, 255 personas la han respondido. Entre las peticiones para participar en mil asuntos asediando constantemente nuestros buzones, hay que agradecer la participación lograda en esta interrogación colectiva planteada dentro de la UPC.

En este documento se aporta una primera parte del análisis de las respuestas recibidas al cuestionario, con la intención de ofrecer unos primeros indicios sobre el estado de opinión de las personas objeto del actual sistema de evaluación, que son las primeras que se recogen históricamente. Criticamos que la UPC no haya realizado ella misma su propia validación del sistema de evaluación, cuando todos los estándares sobre sistemas de calidad incluyen un proceso de validación dentro del propio sistema de gestión de la calidad. Por ejemplo, en [1] al describir un modelo para la implementación de un sistema de gestión de la calidad basado en la Norma ISO 9001 podemos leer: «ETAPA 8: Validación de la implementación: La validación implica una evaluación formal del sistema de calidad por parte de expertos externos. A esta etapa suelen llamarla preevaluación o preauditoría. El objetivo de la etapa 8 es: Generar la confianza necesaria de que el sistema de calidad cumple de manera adecuada el alcance definido para el mismo y, si se busca la certificación, establecer las condiciones para que el sistema cumpla los requisitos durante la evaluación formal del proceso de certificación.» Pues bien, la UPC no ha realizado tal proceso, y ni siquiera se ha molestado en pensar en él, lo que consideramos una dejación de deberes irresponsable.

La estructura del informe es la siguiente. En el apartado I se presenta el diseño de la encuesta. En el apartado II discutimos sobre la representatividad de la encuesta. En el apartado III se aporta el análisis estadístico clásico de las preguntas con respuestas cerradas. En posteriores documentos se valorarán los aspectos cualitativos de la encuesta.

I – Diseño de la encuesta


A los miembros de Amical Universitària pertenecientes al colectivo evaluado con el sistema vigente –sobre el que interroga la encuesta– nos parece detectar una serie de disfunciones que seguramente serían solucionables. La encuesta se ha diseñado para apreciar si estas disfunciones son percibidas de la misma manera por el conjunto del PDI.

Antes de diseñar la encuesta, no obstante, intentamos encontrar algún modelo que pudiéramos utilizar, pero se trata de una área no muy desarrollada. Lo único que encontramos eran las métricas estratégicas de la universidad de Cornell, algo que para nada se parecía a lo que buscábamos. Por tanto, nos vimos obligados a elaborar nuestra propia serie de preguntas.

La encuesta enviada constaba de cinco bloques que indagaban sobre los siguientes objetos:

BLOQUE 1: Sobre mis circunstancias – dirigido a todos los encuestados

1.- La meva darrera avaluació de docència és
2.- La meva darrera avaluació de recerca és
3.- La meva figura actual és

BLOQUE 2: Sobre la evaluación de la docencia – dirigido a todos los encuestados excepto figuras investigador y ATP

4.- La meva darrera avaluació de docència reflecteix raonablement el nivell de la meva activitat docent (variable X04AvalDocReflecteixActiv en el estudio)
5.- Tinc la impressió de que el resultat dels indicadors que es fan servir per avaluar la docència depenen de mi mateix (variable X05ResultsDocDepenenDeMi en el estudio)
6.- L’indicador ‘opinió dels estudiants’ hauria de tenir un pes determinant en la meva avaluació de docència (variable X06OpinEstudDeterminant en el estudio)
7.- Els quatre indicadors de l’avaluació de docència que s’apliquen al PDI del meu nivell són raonables, no-arbitraris i assequibles (variable X07IndicDocRaonables en el estudio)
8.- Quin indicadors sobre la docència afegiries

BLOQUE 3: Sobre la evaluación de la investigación – dirigido a todos los participantes excepto figuras ATP

9.- La meva darrera avaluació de recerca reflecteix raonablement el nivell de la meva activitat de recerca (varible X09AvalRecReflecteixActiv en el estudio)
10.- Tinc la impressió de que el resultat dels indicadors que es fan servir per avaluar la recerca depenen de mi mateix (varible X10ResultsRecDepenenDeMi en el estudio)
11.- L’indicador ‘participació en projectes’ hauria de tenir un pes determinant en la meva avaluació de recerca (varible X11PartProjDeterminant en el estudio)
12.- Els quatre indicadors de l’avaluació de recerca que s’apliquen al PDI del meu nivell són raonables, no-arbitraris i assequibles (varible X12IndicRecRaonables en el estudio)
13.- No he tingut problemes per ser acceptat a una línia de recerca (varible X13AcceptatALiniaRec en el estudio)
14.- Els articles publicats en els darrers dos anys són una mesura representativa de la meva dedicació a la recerca en el moment actual (varible X14Papers2AnsMesuraDedicAct en el estudio)
15.- Tinc accès a l’equipament necessari per poder dur a terme recerca a la meva àrea de coneixement que sigui publicable a revistes Q1 o Q2 del SCI (varible X15AccesEquipNecess en el estudio)
16.- L’indicador ‘participació en projectes’ ha d’establir tant un mínim d’ingressos com un mínim de punts PAR pel seu assoliment (varible X16ProjMinimIngres en el estudio)
17.- L’index SCI d’una revista és una bona mesura de la qualitat dels seus articules (varible X17SCIMesuraQual en el estudio)
18.- Quin indicadors sobre la recerca afegiries

BLOQUE 4: Sobre el régimen de dedicación – dirigido a todos los participantes excepto figuras lector, ayudant y ATP

19.- Considero lògic que el resultat de la meva avaluació tingui conseqüències sobre la meva capacitat lectiva potencial (varible X19AvalAfectarCLP en el estudio)
20.- És més efectiu recolzar el PDI que ha obtingut una mala avaluació més que no pas aplicar-li un reforçador negatiu o una sanció (varible X20AjutMillorQueCastig en el estudio)
21.- Els canvis que he fet a la meva activitat acadèmica com a conseqüència de la introducció del règim de dedicació fan que ara sigui més valuosa (varible X21CanvisActAcademValuosos en el estudio)
22.- El règim de dedicació és per a mi un element de motivació més que no pas de pressió (varible X22RegimDedicacioEsMotivador en el estudio)
23.- El règim de dedicació té suficientment en compte situacions particulars del PDI de caire transitori (p.e. baixa maternal) o permanent (p.e. discapacitat) (varible X23RegimDedicContemplaCasPartic en el estudio)

BLOQUE 5: Valoración final – dirigido a todos los participantes excepto figuras ATP

24.- Crec important que la institució disposi d’un sistema d’avaluació propi amb independència de que els criteris siguin més o menys encertats (varible X24CalSistAvalInterna en el estudio)
25.- He estat suficientment informat sobre els requisits per assolir els diferents indicadors (varible X25ProuInformRequisits en el estudio)
26.- Penso que el «sistema d’avaluació i règim de dedicació» actuals és un bon sistema per fer que la institució dugui a terme millor la seva missió (varible X26SistemaActualEsBo en el estudio)
27.- El sistema d’avaluació del PDI és objectiu i ofereix igualtat d’oportunitats (varible X27SistemaIgualtatOport en el estudio)
28.- L’activitat del PDI es pot quantificar amb un sistema d’indicadors (varible X28ActivitatEsQuantificable en el estudio)
29.- El sistema d’avaluació valora en la mateixa mesura la recerca i la docència (varible X29EquilibriDocRec en el estudio)
30.- El sistema d’avaluació té en compte un ventall prou ampli d’activitats (varible X30SistemaProVentallActiv en el estudio)
31.- El canvis en la normativa i el sistema d’indicadors son suficientment divulgats i amb temps suficient per permetre l’adaptació de l’activitat del PDI a la nova normativa i no sofrir sancions retroactives (varible X31SuficientDivulgCanvis en el estudio)
32.- Si us plau, fes els comentaris oberts que creguis oportuns sobre el «sistema d’avaluació i règim de dedicació»

Hemos intentado en lo posible buscar un redactado de preguntas neutro, que no dirigiera hacia una respuesta concreta. Creemos haberlo conseguido en casi todos los casos, excepto en la pregunta 24, donde algunas participantes se han quejado de la coletilla final «amb independència de que els criteris siguin més o menys encertats». En cualquier caso, los participantes han tenido la oportunidad de responder a esa pregunta sin tener en cuenta esa coletilla final, y así nos lo han hecho ver en sus comentarios finales.

II – Representatividad de la encuesta


Estamos ante una encuesta hecha con una muestra cuya población se denominaría técnicamente «autoseleccionada»: aquellos que han contestado lo han hecho por propia motivación, sin haber sido escogidos aleatoriamente. Este tipo de muestras corren el peligro de estar sesgadas y no representativas, convirtiéndose en puramente testimoniales.

A fin de averiguar si los resultados de esta encuesta son representativos, a pesar de contar con una población autoseleccionada, hemos comparado los resultados en investigación y docencia de la encuesta con los oficiales de la propia UPC. Como resultado de la comparación, la muestra no presenta desajustes significativos respecto de la poblacional publicada por la UPC. Por tanto, a pesar de no haber sido aleatorizada, los participantes se distribuyen razonablemente como el PDI de la UPC. Y ésto sugiere que las opiniones manifestadas en esta encuesta podrían no ser muy diferentes a las del colectivo en general.

Como hay casillas con observaciones menores de 5, podrían comprometer la validez de la prueba de bondad del ajuste del test de chi2. Por eso se ha comprobado también la significación del ajuste con el test no paramétrico de Kolmogorov-Smirnov confirmándose el ajuste. Esta representatividad solamente es válida para la población valorable: los exentos no sabemos si están bien representados porque no disponemos de ningún dato oficial proporcionado por la UPC respecto del total de personas exentas de evaluación.

III – Análisis cuantitativos


Se ha recibido un total de 255 encuestas, que en los distintos bloques son:

bloque 1: 255 respuestas

bloque 2: 248 respuestas

bloque 3: 252 respuestas

bloque 4: 246 respuestas

bloque 5: 252 respuestas

Bloque 1: Sobre mis circunstancias


Las preguntas del bloque 1 refieren datos descriptivos del encuestado no sujetos a incertidumbre.

Figuras


Pregunta 3: «La meva figura actual és» (figura 1)

Todos los colectivos han sido representados en menor o mayor medida. Su proporción está directamente relacionada con su volumen relativo dentro del colectivo total del PDI.

categoriasbarplot

Figura 1: Figura actual del encuestado

Evaluaciones


Preguntas 1 y 2: «La meva darrera avaluació de docència és» y «La meva darrera avaluació de recerca és» (figura 2).

categoriasbarplot

Figura 2: Últimas evaluaciones en docencia e investigación

En general, se ve cómo hay una gran mayoría de evaluaciones A’s, es decir, la mayoría de los que han respondido tienen una buena valoración tanto en investigación como en docencia como resultado de la aplicación del sistema. De todas maneras, la incidencia de D’s es notablemente mayor en la valoración de la investigación que en la de docencia, igual que ocurre con las C’s en detrimento de las A’s, que son menos en investigación que en docencia. Cuando analicemos los resultados adquirirá mayor relevancia la respuesta de quien, gozando en este momento de una valoración alta, opine negativamente sobre la idoneidad del actual dispositivo (si hay una persona crítica con lo que la beneficia, es signo inequívoco de que se esfuerza por ser objetiva).

La tabla 1 muestra el cruce de valoraciones de docencia e investigación de los participantes en la encuesta, siguiendo el formato que utiliza la UPC para resumir los resultados de valoraciones de docencia e investigación en su informe anual.

 ABCDExentoNS/NCBlancoTotal docencia
A0,4340,1550,0670,05500,01500,729
B0,0950,0270,0110,0150000,151
C0,0070000000,007
D00,003000000,003
Exento0,0070000,027000,035
NS/NC0,0030000,0030,05100,059
Blanco000000,0030,0070,011
Total investigación0,5490,1870,0790,0710,0310,0710,007
Tabla 1: Cruce de valoraciones de los encuestados

La tabla 1 ofrece más casillas que las que ofrece la UPC (Tabla 2). En primer lugar, la UPC no refleja la cantidad de personas que están exentas ya sea de evaluación en docencia o en investigación; nuestra tabla si lo refleja, siempre según las respuestas de nuestros encuestados, un porcentaje no desdeñable. En nuestra encuesta también dábamos la opción de no querer responder mediante un «No sabe/No contesta», y además hay gente que simplemente ha dejado la respuesta en blanco, otra opción que dábamos a los encuestados.

Comparación con total UPC


Podríamos preguntarnos qué sesgo tiene la muestra (encuestados) respecto de la población (total del PDI). Para responder, la tabla 2 muestra el resultado de la última evaluación de la UPC.

 ABCDTotal docencia
A0.4250.1490.0780.0490.7
B0.1250.0450.0430.0340.247
C0.0120.0090.0090.0060.036
D0.0060.0020.0020.0070.017
Total investigación0.5680.2050.1320.0961
Tabla 2: Última convocatoria del sistema de evaluación (2014)

Comparando los valores que ofrece la tabla UPC (tabla 2) y los de la encuesta (tabla 1) se ve que las cifras son bastante similares. Un total de ‘A’ en docencia de 70% en la UPC y 73% en nuestra encuesta, un total de ‘A’ en investigación de 56,8% en la UPC y 54,9 en la encuesta. Las ligeras diferencias entre algunos porcentajes se pueden explicar perfectamente por el cómputo de los exentos, así como por el de los que no contestan o dejan en blanco la pregunta.

La comparación de estas dos tablas manifiesta que la muestra (encuestados) no está sesgada, es decir, que no han respondido más aquellos que peor valoración tienen, y que por tanto, la población total de la UPC se comporta análogamente a la de los encuestados. Ésto se ha comentado ya en el apartado II.

A la vista de las dos tablas anteriores es evidente que los indicadores que determinan la valoración alta en docencia parecen más que asequibles, a juzgar por los resultados que exhibe la tabla 2. Por el contrario, no lo parecen tanto los indicadores que se utilizan para evaluar la investigación. Así, obtener una valoración alta en docencia es más «barato» que conseguirla en investigación. Un 70% de valoraciones ‘A’ en docencia contra sólamente un 56,8 % de ‘A’ en investigación.

Evolución histórica


Creemos pertinente en este punto revisar la evolución de los resultados del sistema de evaluación comparándolos con los resultados de la situación inicial. La tabla 3 muestra los primeros resultados del sistema de evaluación, según se publica en el «TEXT REFÓS DEL RÈGIM DE DEDICACIÓ DEL PROFESSORAT DE LA UNIVERSITAT POLITÈCNICA DE CATALUNYA».

 ABCDTotal docencia
A0.2570.1630.0930.0510.564
B0.0850.0650.0330.0160.199
C0.0780.0650.0350.0190.197
D0.0130.0120.0070.0080.040
Total investigación0.4330.3050.1680.0941
Tabla 3: Situación de partida del sistema de evaluación (DOCUMENT CG 4/7 2008)

Si comparamos las tablas 2 y 3 podemos comprobar las repercusiones que ha tenido el sistema de evaluación. En el lado de la docencia el resultado ha sido una disminución muy significativa de las franjas ‘C’ y ‘D’ y un aumento muy significativo de las franjas ‘A’ y ‘B’. En el lado de la investigación ha servido para que la franja ‘D’ se mantenga igual, la ‘C’ descienda ligerísimamente, y la franja ‘B’ disminuya de manera significativa para alimentar la franja ‘A’. De hecho, las franjas ‘A’ de docencia e investigación aumentan ambas alrededor de un 14%. Es decir, que, según el sistema de evaluación, ahora el colectivo PDI es mucho mejor en docencia que antes, pero solamente es algo mejor en investigación, pues los que eran malos investigadores antes lo siguen siendo ahora, pero los que eran malos docentes han pasado a ser buenos actualmente. Se deja para el apartado final de conclusiones del estudio una valoración sobre estos datos.

Resto de bloques


Sobre los cinco niveles de respuesta que se planteaban («muy de acuerdo», «un poco de acuerdo», «un poco en desacuerdo», «muy en desacuerdo» y «no sabe/no contesta»), una contingencia de la plataforma de software libre sobre la que se diseñó la encuesta ha causado cierta pérdida de granularidad, fusionándose algunos códigos. Es conveniente, por tanto, continuar este estudio basándolo en una contraposición entre las respuestas negativas y las no negativas. A pesar de cierta disminución de granularidad, el estudio es ilustrativo del equilibrio de fuerzas entre ambas posiciones, tal como se ve a continuación.

En la encuesta había 26 preguntas cerradas del tipo «en contra»/»no en contra». La figura 3 muestra el porcentaje de respuestas negativas obtenidas para cada pregunta, ordenadas de menor a mayor desacuerdo:

barplot

Figura 3: porcentaje de encuestados «en contra» por pregunta

Hay tres grupos de preguntas: 5 en la parte superior con un 30% de encuestados en contra o menos. 7 en la parte inferior con un 60% en contra o más. Y 14 en la franja media con una valoración en contra que oscila entre el 38,7 y el 57,2%.

Franja alta


La pregunta con menos votos en contra, una sorpresa para nosotros, es aquella en la que se preguntaba si se considera necesario un sistema de evaluación interno a la institución (X24CalSistAvalInterna). Solamente un 20% de los participantes se han expresado en contra (de que sea necesario), por lo que no parece haber una opinión general en contra de que la institución se equipe con una herramienta como un sistema de evaluación. El 79,06% restante de las respuestas agrupa a aquellas que se manifestaron a favor, o no respondieron la pregunta, por lo que no puede saberse más sobre este grupo que el hecho de que no hacen una valoración negativa sobre la existencia de un sistema de evaluación institucional.

La siguiente pregunta con menor puntuación negativa se refiere a la eventualidad, para el encuestado, de haber sido aceptado sin problemas en una línea de investigación (X13AcceptatALiniaRec). No nos dejemos engañar por los números: aunque la cuestión arroje una baja puntuación negativa, hay un 20% de las personas que dicen SI haber tenido problemas para ser aceptados en una línea de investigación; para nosotros ese es un número demasiado grande, pues hubiéramos esperado que en esta pregunta hubiera puntuaciones negativas inferiores al 1%. Si esto es cierto, la UPC tendría que intervenir para aportar una solución, de manera que todo el colectivo PDI pudiera encontrar acomodo en alguna línea de investigación con mayor facilidad. ¡Especialmente, si luego la participación de las personas en un proyecto de investigación va a ser uno de los factores de valoración! Porque, ¿es extensible, a nivel de toda la UPC, este porcentaje del 20%? Compete solucionar a la UPC como institución este problema, dado que los tests de representatividad que hemos realizado apuntan a que ese porcentaje es transportable a la totalidad de la UPC.

Otras dos preguntas con una baja valoración negativa se refieren a si los resultados de la evaluación reflejan la actividad docente e investigadora, respectivamente (X04AvalDocReflecteixActiv, X09AvalRecReflecteixActiv). Aunque tengan baja valoración negativa, hasta un 22% de respuestas han expresado que el sistema de evaluación no refleja correctamente su actividad docente, y un 30% expresa que el sistema de evaluación no refleja correctamente su actividad investigadora. No creemos que sean cifras razonables para un sistema que está intentando evaluar la dedicación del personal de la UPC. ¿Son, de nuevo, ciertas estas cifras a nivel de toda la UPC? No lo sabemos, pues la UPC no se ha preocupado por averiguarlo.

Sorprenden un poco los resultados de la pregunta 20 (X20AjutMillorQueCastig), donde un 28% se expresa partidario del castigo como via correctiva, en contra de que el sistema utilice ayudas específicas para mejorar. No esperábamos una respuesta en este sentido. Más adelante se argumenta un poco más este pormenor.

Franja baja


Pasemos al grupo de preguntas con menor valoración (60% en contra o más). La que tiene peor valoración (un 74,5% en contra) preguntaba si los cambios como resultado de la aplicación del sistema han hecho que su actividad académica sea más valiosa (X21CanvisActAcademValuosos): una gran mayoría opina que su actividad académica se ha degradado, algo muy preocupante si es la impresión general a nivel de toda la UPC, pero no podemos saberlo, ya que la UPC, de nuevo, nunca se ha preocupado por averiguarlo. Según la siguiente pregunta (X29EquilibriDocRec) un 70% de los participantes opinan que hay un desequilibrio entre la manera de valorar la investigación y la docencia, cosa obvia a la vista de la tabla 2. También un 65,6% de los participantes opinan que el sistema es desmotivador (X22RegimDedicacioEsMotivador). Casi al mismo nivel, con un 65,2% en contra, queda situada la respuesta a la pregunta sobre si los proyectos tendrían que tener un mínimo de ingresos para ser computados (X16ProjMinimIngres); parece ser que un ampio número de personas está en contra de que un criterio púramente económico sirva para valorar el desarrollo de una labor investigadora. Y un 64% opina que el sistema no ofrece igualdad de condiciones a todo el colectivo (X27SistemaIgualtatOport). Y, siguiendo con los malos datos, un 63% opina que el sistema no es bueno (X26SistemaActualEsBo) y que los cambios no se divulgan adecuadamente (X31SuficientDivulgCanvis).

Creemos que la banda baja ofrece un panorama amargo para el sistema de evaluación actual, y sugiere un replanteamiento total del sistema de evaluación, pues si se confirman las tendencias apuntadas en la encuesta, se detecta una gran mayoría que opina que, a saber, los cambios no se comunican adecuadamente, que el sistema vigente es desequilibrado, que ha degradado su actividad docente, que les desmotiva, y que no es un buen sistema. Demoledor.

Franja intermedia


En la banda intermedia encontramos una serie de preguntas con una valoración en contra entre el 40% y el 60%. Hay una en particular preocupante: un 50% de los que han respondido la encuesta afirman no tener acceso al equipo necesario de laboratorio para poder realizar realizar una investigación de calidad al nivel que exige el sistema (X15AccesEquipNecess). Esta es una cifra escandalosa que al parecer, de nuevo, a la UPC no le preocupa lo más mínimo, dado su desinterés por conocerla. Por otro lado, el hecho de que haya un grupo tan grande (12 preguntas) con una respuesta tan dividida indica que el sistema es controvertido, con mucha gente en ambos bandos de las opiniones «en contra» y «no en contra».

Análisis de dependencias


Con objeto de estudiar la validez de la encuesta se ha llevado a cabo un análisis de dependencias entre las respuestas a las diferentes preguntas. La figura 4 muestra un gráfico-resumen de dicho análisis.

pvaluesImage

Figura 4: análisis de dependencias

El gráfico de la figura 4 muestra una matriz simétrica, resultado de cruzar las respuestas a preguntas cerradas de la encuesta. En las casillas, un código de colores muestra el grado de asociación entre preguntas: los colores más amarillos indican mayor asociación y los colores más azules representan mayor independencia. Se puede comprobar que el color preponderante en la tabla es el amarillo, lo cual significa que las respuestas no reflejan un patrón aleatorio. La lectura es que quienes han respondido a la encuesta lo han hecho con sentido y no aleatoriamente.

De todas maneras, el hecho de que exista un grado de asociación no explica si esa asociación es positiva o negativa. Vamos a mostrar dos casos que se dan en la encuesta, uno de asociación positiva y otro de asociación negativa.

Cruce pregunta 19 vs pregunta 20


El primer caso que se muestra en la figura es el cruce entre las respuestas a la pregunta X20AjutMillorQueCastig: «És més efectiu recolzar el PDI que ha obtingut una mala avaluació més que no pas aplicar-li un reforçador negatiu o una sanció» y la X19AvalAfectarCLP: «Considero lògic que el resultat de la meva avaluació tingui conseqüències sobre la meva capacitat lectiva potencial«.

ayudavsafectar-spine

Figura 5: cruce X20AjutMillorQueCastig vs X19AvalAfectarCLP

En la figura 5 puede comprobarse cómo los que no están en contra de que la evaluación afecte a la capacidad lectiva potencial están casi totalmente en contra de que sea mejor «apoyar» que «castigar». Ésta es una asociación inversa esperable si los participantes han contestado de manera coherente. Pero los que están en contra de que la evaluación afecte a la carga lectiva potencial están más repartidos a la hora de escoger si es mejor ayudar o castigar. Sorprende un poco el número de partidarios de la vía punitiva.

Cruce pregunta 21 vs pregunta 22


La figura 6 cruza las respuestas a las preguntas X21CanvisActAcademValuosos: «Els canvis que he fet a la meva activitat acadèmica com a conseqüència de la introducció del règim de dedicació fan que ara sigui més valuosa» y la X22RegimDedicacioEsMotivador: «El règim de dedicació és per a mi un element de motivació més que no pas de pressió«.

motivadorvsvaluosos-spine

Figura 6: cruce X21CanvisActAcademValuosos vs X22RegimDedicacioEsMotivador

La figura 6 muestra una asociación directa clara. Aquellos que están en contra de que los cambios son valiosos están además en contra de que el sistema sea motivador, y los que no están en contra de una, tampoco lo están de la otra. Otra asociación, como la previa, totalmente esperable, reflejo de respuestas responsables y meditadas.

Valgan las dos gráficos anteriores como ejemplo. En vista de estos datos, desde nuestro punto de vista la encuesta es válida, pues no responde a un patrón de respuestas aleatorio.

Dos cruzamientos más, no obstante, nos han interesado para conocer más profundamente la casuística planteada y entender mejor el reparto de probabilidades.

Cruce pregunta 25 vs pregunta 31


Viendo la figura 3 nos sorprendió la diferencia de porcentajes entre las preguntas X31SuficientDivulgCanvis: «El canvis en la normativa i el sistema d’indicadors son suficientment divulgats i amb temps suficient per permetre l’adaptació de l’activitat del PDI a la nova normativa i no sofrir sancions retroactives» y X25ProuInformRequisits: «He estat suficientment informat sobre els requisits per assolir els diferents indicadors«, pues consideramos que son dos preguntas muy ligadas entre sí. Sin embargo, hay una diferencia en porcentajes de un 20% entre ellas. La figura 7 muestra el cruce de ambas preguntas.

Cruce de X31SuficientDivulgCanvis con X25ProuInformRequisits

Figura 7: Cruce de X31SuficientDivulgCanvis con X25ProuInformRequisits

Viendo la figura 7 se comprueba que realmente existe, como esperábamos, una relación entre ambas. Se ve cómo quien está en contra de que haya suficiente información sobre los requisitos está mayoritariamente también en contra de que los cambios tengan la suficiente divulgación. Pero en cambio, los que no están en contra de que haya suficiente información están repartidos a la hora de escoger si los cambios se divulgan adecuadamente.

Cruce pregunta 20 vs evaluación en investigación


Otra pregunta cuya respuesta nos sorprendió fue la X20AjutMillorQueCastig: «És més efectiu recolzar el PDI que ha obtingut una mala avaluació més que no pas aplicar-li un reforçador negatiu o una sanció». Es una pregunta que, para sorpresa nuestra, tiene bastante opinión en contra, un 27,7%,  y consecuentemente formulamos el siguiente interrogante: ¿qué colectivos son más propensos a considerar el castigo como la via correctiva a seguir? Para dilucidar esta cuestión, se aporta la figura 8, que muestra el cruce entre la respuesta a la pregunta 20 y la evaluación de investigación de los participantes.

Figura 8: Cruce de la evaluación en investigación con X20AjutMillorQueCastig

Figura 8: Cruce de la evaluación en investigación con X20AjutMillorQueCastig

A la vista de la figura 8 se percibe lo siguiente. Hay una predisposición distinta respecto a la vía punitiva entre los diferentes colectivos evaluados con letras A, B, C y D en investigación. El colectivo evaluado con una B es el que menos propensión tiene al castigo. Le siguen en progresión creciente los colectivos C, D y A. Sorprende ver que el colectivo D muestra casi la misma tendencia a la via punitiva que el colectivo A, y llama la atención la drástica diferencia entre los colectivos A y B.  El colectivo B es mucho más partidario del apoyo como estrategia de mejora, quizás porque ven próxima la posibilidad de aumentar su valoración. El colectivo A, al contrario, es bastante más partidario de la punición, posiblemente en respuesta a la «carrera de obstáculos» que han pasado para obtener su codiciada valoración. En el análisis de estas reacciones prosaicas o primarias se percibe que el logro del sistema actual, realmente, ha sido conseguir dividir al colectivo PDI entre «buenos y malos»; es decir, quienes han conseguido llegar a «la élite» son favorables a que los demás pasen por lo mismo, o, sinó, que se les castigue; y los que ven próxima la «cima» están de algún modo pidiendo una ayuda que no reciben. Lo que no podemos explicarnos es la respuesta de los colectivos C y D, con un aumento creciente en la aceptación del castigo corrector según su calificación disminuye. Quizás sufran el síndrome del maltratado (o síndrome de la víctima narcisista): de tan castigados, estos profesores acaban asumiendo que merecen ser castigados para dar razón al sinsentido en que viven inmersos.

IV – Próximo post en el blog


En una próxima publicación del blog detallaremos los aspectos cualitativos de la encuesta.

V – Referencias


[1] Rafael David Rincón. Modelo para la implementación de un sistema de gestión de la calidad basado en la Norma  ISO 9001. Revista EAFIT nº 126. Abril-Mayo-Junio 2002.

Carta al rector sobre el sistema de evaluación

A raíz de la publicación de nuestras últimas noticias, hemos recibido el siguiente correo de Víctor Mañosa:

Benvolguts companys,

A propòsit de la darrera entrada que heu publicat al vostre web, m’agradaria fer-vos arribar una carta que vaig adreçar per correu electrònic al Rector de la nostra universitat i al Vicerector de personal. Vegeu el document que adjunto.

Es tracta d’un conjunts de reflexions, potser una mica naïfs -ho admeto- que  em porten a demanar al rector que retiri l’anomenada “avaluació el règim de dedicació del professorat”, i que futurs mètodes d’avaluació vagin encaminats a obtenir un coneixement sobre la realitat de la institució més que no pas a la qualificació de les persones. En definitiva, que gestioni la universitat amb criteris humanístics, fonamentats en el respecte  a totes les formes de cultiu del coneixement, en la confiança i en la responsabilitat mútua.

Com li deia al Rector al correu electrònic que li vaig adreçar, en certa manera és una carta oberta. Per aquesta raó us la faig arribar.

Ben cordialment,

Víctor Mañosa

Según nos comenta Víctor, ni siquiera ha recibido acuse de recibo del rector, cosa que habría agradecido. Como este blog está abierto a toda la comunidad universitaria y además estamos totalmente de acuerdo con lo que Víctor pide al rector, le hemos pedido permiso para publicar el texto en el blog y usar su nombre. A continuación tenéis la carta:

Dr. Enric Fossas

Rector de la Universitat Politècnica de Catalunya.

Còpia a: Dr. Miquel Soriano

Vicerector de personal docent i investigador.

Terrassa, 18 de març de 2015.

 

Benvolgut Rector,

Fa uns dies, mitjançant un correu que vam rebre de la Junta de Personal Docent i Investigador, el personal acadèmic vam conèixer l’esborrany que el rectorat va fer arribar als sindicats per tal de negociar els nous criteris d’avaluació del règim de dedicació.

La meva impressió és que es tracta d’una ocasió perduda per oblidar uns mètodes que va instaurar l’anterior rectorat i fer de la nostra, una universitat regida amb criteris humanístics, és a dir, per fer-ne una Universitat i no una mera fàbrica d’articles o un ens de captació de recursos.

Sovint m’he preguntat per quina raó la nostra universitat desconfia tant del seu personal acadèmic?

És evident que el professorat ha de tenir una actitud responsable respecte de la seva feina, i és evident que les irregularitats han de ser corregides, però realment els sistemes d’avaluació vigents (o els que proposa el rectorat) serveixen per a fomentar la responsabilitat i/o detectar casos d’incompliment manifest? Jo crec que no.

Em sembla, més aviat, que l’actual dèria avaluadora que el seu rectorat pretén mantenir, només promourà l’aparició d’autèntics especialistes a sortir bé en els indicadors (els que siguin) i que, per contra, sotmet a una pressió innecessària i contraproduent a la immensa majoria del professorat de la nostra universitat, que segons els propis indicadors fa molt correctament la seva feina. Conec casos de companys que per tal d’assolir els indicadors de les actuals avaluacions, han renunciat a dedicar-se a tasques que els apassionaven (i que eren interessants per a la universitat i per a la societat) perquè havien de mirar d’escriure articles en els que ni ells mateixos creien. Tot plegat trist: no és aquesta una forma d’empobriment? Jo mateix confesso sentir-me sovint aclaparat i distorsionat per les avaluacions, i per l’amenaça explícita que comporten.

Rector, durant la seva campanya, em va agradar sentir-li dir (a l’acte que es va fer a l’auditori de l’EET) que es tractava de “deixar la gent tranquil·la, fer la seva feina”. Aleshores em vaig alegrar, perquè sóc dels que creu que a la UPC la gent treballa amb responsabilitat i perquè crec que la nostra feina és una artesania, i que com a tal, es desenvolupa millor en un clima de confiança institucional, sense coaccions i amb llibertat. Però, realment podem escollir amb llibertat dedicar-nos a problemes profunds que no ofereixen garantia de productivitat immediata amb les avaluacions com les del règim de dedicació? Ara mateix em recordo, durant els meus primers anys a la universitat, quan el que més valorava de la meva feina era la llibertat que tenia per investigar aquells problemes que em semblaven interessants. Avui segueixo investigant amb llibertat, però desconec si en el futur no hauré de pagar un preu per això.

Què n’ha quedat d’aquell “deixar la gent tranquil·la, fer la seva feina”? Pel que es veu, l’actual rectorat coincideix amb els criteris de l’anterior, i reincideix en el dissortat culte neoliberal a la productivitat i el creixement indefinit –més que no pas en el cultiu genuí i prudent del coneixement-, i en el fet que cal tenir el professorat permanentment “tenuritzat” i sotmès a l’amenaça explícita dels expedients si no assoleixen uns indicadors, que per altra banda són discutibles i els quals queden clarament fora de les obligacions que demana la llei.

Rector, el nostre ofici és una artesania i una forma d’amor: amor al coneixement i a l’acte de compartir-lo. És un ofici que cal exercir des del màxim desinterès possible, és a dir, sense cap altra finalitat que la de viure el gaudi que el propi conreu de l’ofici proporciona. Per satisfer el legítim ego, ja estan el reconeixement de mèrits, les promocions i els aparadors propis de la nostra professió. Aquest ofici, Rector, no es pot exercir des de la fiscalització i l’amenaça constant.

És per això que m’animo a demanar que retiri l’actual esborrany, i que els futurs mètodes d’avaluació que la universitat desenvolupi, vagin només orientats al coneixement de la seva pròpia realitat institucional i no a la fiscalització i la qualificació de les persones. Que es desenvolupin mitjans i recursos per tal que si es detecta alguna disfunció a l’exercici professional d’algun company, aquesta es pugui reconduir tot potenciant allò de valuós que el company pot aportar, des del respecte i apel·lant a la responsabilitat mútua. Que garanteixi que tothom pugui desenvolupar la seva tasca en igualtat de condicions i recursos. En definitiva, que gestioni la universitat amb criteris i valors humans –i humanístics-. Al cap i a la fi, si no ho fa la universitat qui ho farà? Com transmetrem aquests valors als nostres alumnes? Com serem un agent de transformació?

Quedo a la seva disposició.

Atentament,

Víctor Mañosa

Universitat Politècnica de Catalunya

P.S. [1] Acabo amb un text que resumeix en què consisteix en nostre ofici, extret d’un manifest que recomano:

(…) Estudiar… a menudo se olvida que un buen profesor es ante todo un infatigable estudiante) y preparar clases se convierte en un lujo que hay que negociar cada día con las jerarquías universitarias (…) Las escuelas y universidades no pueden manejarse como empresas. Contrariamente a lo que pretenden enseñarnos las leyes dominantes del mercado y del comercio, la esencia de la cultura se funda exclusivamente en la gratuidad (*): (…) la gran tradición de las academias europeas y de antiguas instituciones como el Collège de France (…) nos recuerda que el estudio es en primer lugar adquisición de conocimientos que, sin vínculo utilitarista alguno, nos hacen crecer y nos vuelven más autónomos.»

(*) en el sentit de “desinterès”

Nuccio Ordine

La utilidad de lo inútil. Manifiesto

Traducció de Jordi Bayod.

Acantilado, Barcelona 2013

P.S.[2]. Les consideracions que expresso en aquesta carta són de caràcter general, i em permeto fer-les arribar a alguns companys. Aquesta és, doncs, una carta oberta.

El sistema de evaluación. Dejarlo todo atado y bien atado

El rector Giró, de infausto recuerdo, envió la comunicación de convocatoria de elecciones el 26-IV-2013. Las elecciones se convocaron para el 24-X-2013. El 8-X-2013 (dos semanas antes de las elecciones) se celebró el último Consell de Govern, donde el rector Giró logró colocar una batería de medidas de última hora [1], a modo de legado para la posteridad. Estos movimientos terminales dejaban en la atmósfera una voluntad de querer dejar «todo atado y bien atado”. Las medidas que Giró no había podido aprobar durante su (truncado) mandato se colaron sospechosamente en el orden del día por vía de urgencia. Sospechosamente, porque hubo una extraña connivencia del Consell de Govern: todas y cada una salieron adelante en la reunión. Desde Amical pensamos que fue tan responsable el que propuso las medidas como quien las aprobó. Es legítimo inducir, incluso, que la idea naciera de un consenso interno del propio Consell de Govern, donde se aprovecharía (?) un foro ya quemado para hacer de sotamano el trabajo, es decir, para que el nuevo futuro rector no se tuviera que ‘entretener’ con estas bagatelas. El caso es que el rector Fossas sigue aún sin anular -aunque fuera por prurito estético-  estas decisiones de última hora de su predecesor en la silla. LEER MÁS »

La deriva del sistema de evaluación del profesorado. La primera modificación.

El sistema de evaluación del profesorado ya comenzó con un pie cojo, tal y como explicamos en nuestro artículo sobre sus inicios. Pero con todos sus fallos, la norma inicial se ha seguido aplicando y en posteriores acuerdos se han ido modificando y refinando los parámetros de la evaluación. En este artículo vamos a analizar la primera modificación que tuvo lugar. LEER MÁS »

El origen del sistema de evaluación del profesorado. Así empezó todo

Durante muchos años en la UPC se había jugado con la idea de evaluar al profesorado. Finalmente el día 24 de Julio de 2008 se aprobó en el acuerdo número 115/2008 del Consell de Govern el documento “RÈGIM DE DEDICACIÓ DEL PROFESSORAT DE LA UNIVERSITAT POLITÈCNICA DE CATALUNYA” por el cual se aprobaba el régimen de dedicación del profesorado de la Universitat Politècnica de Catalunya. LEER MÁS »

Recibe noticias del blog por correo electrónico

Introduce tu correo electrónico para recibir notificaciones de nuevas entradas el blog .

Videos

Defensem la dignitat del professorat