Amics de la Universitat Pública

Análisis de los resultados de la encuesta sobre el sistema de evaluación y régimen de dedicación

Índice

Introducción

  1. Diseño de la encuesta
  2. Representatividad de la encuesta
  3. Análisis cuantitativos
  4. Próximo post en el blog
  5. Referencias

Introducción


Hace unas semanas Amical Universitària lanzó una petición a la comunidad PDI de la UPC para que rellenasen una encuesta sobre la opinión del colectivo acerca del “sistema de evaluación y régimen de dedicación” actual.

Amical agradece la respuesta que ha tenido la encuesta, 255 personas la han respondido. Entre las peticiones para participar en mil asuntos asediando constantemente nuestros buzones, hay que agradecer la participación lograda en esta interrogación colectiva planteada dentro de la UPC.

En este documento se aporta una primera parte del análisis de las respuestas recibidas al cuestionario, con la intención de ofrecer unos primeros indicios sobre el estado de opinión de las personas objeto del actual sistema de evaluación, que son las primeras que se recogen históricamente. Criticamos que la UPC no haya realizado ella misma su propia validación del sistema de evaluación, cuando todos los estándares sobre sistemas de calidad incluyen un proceso de validación dentro del propio sistema de gestión de la calidad. Por ejemplo, en [1] al describir un modelo para la implementación de un sistema de gestión de la calidad basado en la Norma ISO 9001 podemos leer: “ETAPA 8: Validación de la implementación: La validación implica una evaluación formal del sistema de calidad por parte de expertos externos. A esta etapa suelen llamarla preevaluación o preauditoría. El objetivo de la etapa 8 es: Generar la confianza necesaria de que el sistema de calidad cumple de manera adecuada el alcance definido para el mismo y, si se busca la certificación, establecer las condiciones para que el sistema cumpla los requisitos durante la evaluación formal del proceso de certificación.” Pues bien, la UPC no ha realizado tal proceso, y ni siquiera se ha molestado en pensar en él, lo que consideramos una dejación de deberes irresponsable.

La estructura del informe es la siguiente. En el apartado I se presenta el diseño de la encuesta. En el apartado II discutimos sobre la representatividad de la encuesta. En el apartado III se aporta el análisis estadístico clásico de las preguntas con respuestas cerradas. En posteriores documentos se valorarán los aspectos cualitativos de la encuesta.

I – Diseño de la encuesta


A los miembros de Amical Universitària pertenecientes al colectivo evaluado con el sistema vigente –sobre el que interroga la encuesta– nos parece detectar una serie de disfunciones que seguramente serían solucionables. La encuesta se ha diseñado para apreciar si estas disfunciones son percibidas de la misma manera por el conjunto del PDI.

Antes de diseñar la encuesta, no obstante, intentamos encontrar algún modelo que pudiéramos utilizar, pero se trata de una área no muy desarrollada. Lo único que encontramos eran las métricas estratégicas de la universidad de Cornell, algo que para nada se parecía a lo que buscábamos. Por tanto, nos vimos obligados a elaborar nuestra propia serie de preguntas.

La encuesta enviada constaba de cinco bloques que indagaban sobre los siguientes objetos:

BLOQUE 1: Sobre mis circunstancias – dirigido a todos los encuestados

1.- La meva darrera avaluació de docència és
2.- La meva darrera avaluació de recerca és
3.- La meva figura actual és

BLOQUE 2: Sobre la evaluación de la docencia – dirigido a todos los encuestados excepto figuras investigador y ATP

4.- La meva darrera avaluació de docència reflecteix raonablement el nivell de la meva activitat docent (variable X04AvalDocReflecteixActiv en el estudio)
5.- Tinc la impressió de que el resultat dels indicadors que es fan servir per avaluar la docència depenen de mi mateix (variable X05ResultsDocDepenenDeMi en el estudio)
6.- L’indicador ‘opinió dels estudiants’ hauria de tenir un pes determinant en la meva avaluació de docència (variable X06OpinEstudDeterminant en el estudio)
7.- Els quatre indicadors de l’avaluació de docència que s’apliquen al PDI del meu nivell són raonables, no-arbitraris i assequibles (variable X07IndicDocRaonables en el estudio)
8.- Quin indicadors sobre la docència afegiries

BLOQUE 3: Sobre la evaluación de la investigación – dirigido a todos los participantes excepto figuras ATP

9.- La meva darrera avaluació de recerca reflecteix raonablement el nivell de la meva activitat de recerca (varible X09AvalRecReflecteixActiv en el estudio)
10.- Tinc la impressió de que el resultat dels indicadors que es fan servir per avaluar la recerca depenen de mi mateix (varible X10ResultsRecDepenenDeMi en el estudio)
11.- L’indicador ‘participació en projectes’ hauria de tenir un pes determinant en la meva avaluació de recerca (varible X11PartProjDeterminant en el estudio)
12.- Els quatre indicadors de l’avaluació de recerca que s’apliquen al PDI del meu nivell són raonables, no-arbitraris i assequibles (varible X12IndicRecRaonables en el estudio)
13.- No he tingut problemes per ser acceptat a una línia de recerca (varible X13AcceptatALiniaRec en el estudio)
14.- Els articles publicats en els darrers dos anys són una mesura representativa de la meva dedicació a la recerca en el moment actual (varible X14Papers2AnsMesuraDedicAct en el estudio)
15.- Tinc accès a l’equipament necessari per poder dur a terme recerca a la meva àrea de coneixement que sigui publicable a revistes Q1 o Q2 del SCI (varible X15AccesEquipNecess en el estudio)
16.- L’indicador ‘participació en projectes’ ha d’establir tant un mínim d’ingressos com un mínim de punts PAR pel seu assoliment (varible X16ProjMinimIngres en el estudio)
17.- L’index SCI d’una revista és una bona mesura de la qualitat dels seus articules (varible X17SCIMesuraQual en el estudio)
18.- Quin indicadors sobre la recerca afegiries

BLOQUE 4: Sobre el régimen de dedicación – dirigido a todos los participantes excepto figuras lector, ayudant y ATP

19.- Considero lògic que el resultat de la meva avaluació tingui conseqüències sobre la meva capacitat lectiva potencial (varible X19AvalAfectarCLP en el estudio)
20.- És més efectiu recolzar el PDI que ha obtingut una mala avaluació més que no pas aplicar-li un reforçador negatiu o una sanció (varible X20AjutMillorQueCastig en el estudio)
21.- Els canvis que he fet a la meva activitat acadèmica com a conseqüència de la introducció del règim de dedicació fan que ara sigui més valuosa (varible X21CanvisActAcademValuosos en el estudio)
22.- El règim de dedicació és per a mi un element de motivació més que no pas de pressió (varible X22RegimDedicacioEsMotivador en el estudio)
23.- El règim de dedicació té suficientment en compte situacions particulars del PDI de caire transitori (p.e. baixa maternal) o permanent (p.e. discapacitat) (varible X23RegimDedicContemplaCasPartic en el estudio)

BLOQUE 5: Valoración final – dirigido a todos los participantes excepto figuras ATP

24.- Crec important que la institució disposi d’un sistema d’avaluació propi amb independència de que els criteris siguin més o menys encertats (varible X24CalSistAvalInterna en el estudio)
25.- He estat suficientment informat sobre els requisits per assolir els diferents indicadors (varible X25ProuInformRequisits en el estudio)
26.- Penso que el «sistema d’avaluació i règim de dedicació» actuals és un bon sistema per fer que la institució dugui a terme millor la seva missió (varible X26SistemaActualEsBo en el estudio)
27.- El sistema d’avaluació del PDI és objectiu i ofereix igualtat d’oportunitats (varible X27SistemaIgualtatOport en el estudio)
28.- L’activitat del PDI es pot quantificar amb un sistema d’indicadors (varible X28ActivitatEsQuantificable en el estudio)
29.- El sistema d’avaluació valora en la mateixa mesura la recerca i la docència (varible X29EquilibriDocRec en el estudio)
30.- El sistema d’avaluació té en compte un ventall prou ampli d’activitats (varible X30SistemaProVentallActiv en el estudio)
31.- El canvis en la normativa i el sistema d’indicadors son suficientment divulgats i amb temps suficient per permetre l’adaptació de l’activitat del PDI a la nova normativa i no sofrir sancions retroactives (varible X31SuficientDivulgCanvis en el estudio)
32.- Si us plau, fes els comentaris oberts que creguis oportuns sobre el «sistema d’avaluació i règim de dedicació»

Hemos intentado en lo posible buscar un redactado de preguntas neutro, que no dirigiera hacia una respuesta concreta. Creemos haberlo conseguido en casi todos los casos, excepto en la pregunta 24, donde algunas participantes se han quejado de la coletilla final “amb independència de que els criteris siguin més o menys encertats”. En cualquier caso, los participantes han tenido la oportunidad de responder a esa pregunta sin tener en cuenta esa coletilla final, y así nos lo han hecho ver en sus comentarios finales.

II – Representatividad de la encuesta


Estamos ante una encuesta hecha con una muestra cuya población se denominaría técnicamente “autoseleccionada”: aquellos que han contestado lo han hecho por propia motivación, sin haber sido escogidos aleatoriamente. Este tipo de muestras corren el peligro de estar sesgadas y no representativas, convirtiéndose en puramente testimoniales.

A fin de averiguar si los resultados de esta encuesta son representativos, a pesar de contar con una población autoseleccionada, hemos comparado los resultados en investigación y docencia de la encuesta con los oficiales de la propia UPC. Como resultado de la comparación, la muestra no presenta desajustes significativos respecto de la poblacional publicada por la UPC. Por tanto, a pesar de no haber sido aleatorizada, los participantes se distribuyen razonablemente como el PDI de la UPC. Y ésto sugiere que las opiniones manifestadas en esta encuesta podrían no ser muy diferentes a las del colectivo en general.

Como hay casillas con observaciones menores de 5, podrían comprometer la validez de la prueba de bondad del ajuste del test de chi2. Por eso se ha comprobado también la significación del ajuste con el test no paramétrico de Kolmogorov-Smirnov confirmándose el ajuste. Esta representatividad solamente es válida para la población valorable: los exentos no sabemos si están bien representados porque no disponemos de ningún dato oficial proporcionado por la UPC respecto del total de personas exentas de evaluación.

III – Análisis cuantitativos


Se ha recibido un total de 255 encuestas, que en los distintos bloques son:

bloque 1: 255 respuestas

bloque 2: 248 respuestas

bloque 3: 252 respuestas

bloque 4: 246 respuestas

bloque 5: 252 respuestas

Bloque 1: Sobre mis circunstancias


Las preguntas del bloque 1 refieren datos descriptivos del encuestado no sujetos a incertidumbre.

Figuras


Pregunta 3: “La meva figura actual és” (figura 1)

Todos los colectivos han sido representados en menor o mayor medida. Su proporción está directamente relacionada con su volumen relativo dentro del colectivo total del PDI.

categoriasbarplot

Figura 1: Figura actual del encuestado

Evaluaciones


Preguntas 1 y 2: “La meva darrera avaluació de docència és” y “La meva darrera avaluació de recerca és” (figura 2).

categoriasbarplot

Figura 2: Últimas evaluaciones en docencia e investigación

En general, se ve cómo hay una gran mayoría de evaluaciones A’s, es decir, la mayoría de los que han respondido tienen una buena valoración tanto en investigación como en docencia como resultado de la aplicación del sistema. De todas maneras, la incidencia de D’s es notablemente mayor en la valoración de la investigación que en la de docencia, igual que ocurre con las C’s en detrimento de las A’s, que son menos en investigación que en docencia. Cuando analicemos los resultados adquirirá mayor relevancia la respuesta de quien, gozando en este momento de una valoración alta, opine negativamente sobre la idoneidad del actual dispositivo (si hay una persona crítica con lo que la beneficia, es signo inequívoco de que se esfuerza por ser objetiva).

La tabla 1 muestra el cruce de valoraciones de docencia e investigación de los participantes en la encuesta, siguiendo el formato que utiliza la UPC para resumir los resultados de valoraciones de docencia e investigación en su informe anual.

 ABCDExentoNS/NCBlancoTotal docencia
A0,4340,1550,0670,05500,01500,729
B0,0950,0270,0110,0150000,151
C0,0070000000,007
D00,003000000,003
Exento0,0070000,027000,035
NS/NC0,0030000,0030,05100,059
Blanco000000,0030,0070,011
Total investigación0,5490,1870,0790,0710,0310,0710,007
Tabla 1: Cruce de valoraciones de los encuestados

La tabla 1 ofrece más casillas que las que ofrece la UPC (Tabla 2). En primer lugar, la UPC no refleja la cantidad de personas que están exentas ya sea de evaluación en docencia o en investigación; nuestra tabla si lo refleja, siempre según las respuestas de nuestros encuestados, un porcentaje no desdeñable. En nuestra encuesta también dábamos la opción de no querer responder mediante un “No sabe/No contesta”, y además hay gente que simplemente ha dejado la respuesta en blanco, otra opción que dábamos a los encuestados.

Comparación con total UPC


Podríamos preguntarnos qué sesgo tiene la muestra (encuestados) respecto de la población (total del PDI). Para responder, la tabla 2 muestra el resultado de la última evaluación de la UPC.

 ABCDTotal docencia
A0.4250.1490.0780.0490.7
B0.1250.0450.0430.0340.247
C0.0120.0090.0090.0060.036
D0.0060.0020.0020.0070.017
Total investigación0.5680.2050.1320.0961
Tabla 2: Última convocatoria del sistema de evaluación (2014)

Comparando los valores que ofrece la tabla UPC (tabla 2) y los de la encuesta (tabla 1) se ve que las cifras son bastante similares. Un total de ‘A’ en docencia de 70% en la UPC y 73% en nuestra encuesta, un total de ‘A’ en investigación de 56,8% en la UPC y 54,9 en la encuesta. Las ligeras diferencias entre algunos porcentajes se pueden explicar perfectamente por el cómputo de los exentos, así como por el de los que no contestan o dejan en blanco la pregunta.

La comparación de estas dos tablas manifiesta que la muestra (encuestados) no está sesgada, es decir, que no han respondido más aquellos que peor valoración tienen, y que por tanto, la población total de la UPC se comporta análogamente a la de los encuestados. Ésto se ha comentado ya en el apartado II.

A la vista de las dos tablas anteriores es evidente que los indicadores que determinan la valoración alta en docencia parecen más que asequibles, a juzgar por los resultados que exhibe la tabla 2. Por el contrario, no lo parecen tanto los indicadores que se utilizan para evaluar la investigación. Así, obtener una valoración alta en docencia es más “barato” que conseguirla en investigación. Un 70% de valoraciones ‘A’ en docencia contra sólamente un 56,8 % de ‘A’ en investigación.

Evolución histórica


Creemos pertinente en este punto revisar la evolución de los resultados del sistema de evaluación comparándolos con los resultados de la situación inicial. La tabla 3 muestra los primeros resultados del sistema de evaluación, según se publica en el “TEXT REFÓS DEL RÈGIM DE DEDICACIÓ DEL PROFESSORAT DE LA UNIVERSITAT POLITÈCNICA DE CATALUNYA”.

 ABCDTotal docencia
A0.2570.1630.0930.0510.564
B0.0850.0650.0330.0160.199
C0.0780.0650.0350.0190.197
D0.0130.0120.0070.0080.040
Total investigación0.4330.3050.1680.0941
Tabla 3: Situación de partida del sistema de evaluación (DOCUMENT CG 4/7 2008)

Si comparamos las tablas 2 y 3 podemos comprobar las repercusiones que ha tenido el sistema de evaluación. En el lado de la docencia el resultado ha sido una disminución muy significativa de las franjas ‘C’ y ‘D’ y un aumento muy significativo de las franjas ‘A’ y ‘B’. En el lado de la investigación ha servido para que la franja ‘D’ se mantenga igual, la ‘C’ descienda ligerísimamente, y la franja ‘B’ disminuya de manera significativa para alimentar la franja ‘A’. De hecho, las franjas ‘A’ de docencia e investigación aumentan ambas alrededor de un 14%. Es decir, que, según el sistema de evaluación, ahora el colectivo PDI es mucho mejor en docencia que antes, pero solamente es algo mejor en investigación, pues los que eran malos investigadores antes lo siguen siendo ahora, pero los que eran malos docentes han pasado a ser buenos actualmente. Se deja para el apartado final de conclusiones del estudio una valoración sobre estos datos.

Resto de bloques


Sobre los cinco niveles de respuesta que se planteaban (“muy de acuerdo”, “un poco de acuerdo”, “un poco en desacuerdo”, “muy en desacuerdo” y “no sabe/no contesta”), una contingencia de la plataforma de software libre sobre la que se diseñó la encuesta ha causado cierta pérdida de granularidad, fusionándose algunos códigos. Es conveniente, por tanto, continuar este estudio basándolo en una contraposición entre las respuestas negativas y las no negativas. A pesar de cierta disminución de granularidad, el estudio es ilustrativo del equilibrio de fuerzas entre ambas posiciones, tal como se ve a continuación.

En la encuesta había 26 preguntas cerradas del tipo “en contra”/”no en contra”. La figura 3 muestra el porcentaje de respuestas negativas obtenidas para cada pregunta, ordenadas de menor a mayor desacuerdo:

barplot

Figura 3: porcentaje de encuestados “en contra” por pregunta

Hay tres grupos de preguntas: 5 en la parte superior con un 30% de encuestados en contra o menos. 7 en la parte inferior con un 60% en contra o más. Y 14 en la franja media con una valoración en contra que oscila entre el 38,7 y el 57,2%.

Franja alta


La pregunta con menos votos en contra, una sorpresa para nosotros, es aquella en la que se preguntaba si se considera necesario un sistema de evaluación interno a la institución (X24CalSistAvalInterna). Solamente un 20% de los participantes se han expresado en contra (de que sea necesario), por lo que no parece haber una opinión general en contra de que la institución se equipe con una herramienta como un sistema de evaluación. El 79,06% restante de las respuestas agrupa a aquellas que se manifestaron a favor, o no respondieron la pregunta, por lo que no puede saberse más sobre este grupo que el hecho de que no hacen una valoración negativa sobre la existencia de un sistema de evaluación institucional.

La siguiente pregunta con menor puntuación negativa se refiere a la eventualidad, para el encuestado, de haber sido aceptado sin problemas en una línea de investigación (X13AcceptatALiniaRec). No nos dejemos engañar por los números: aunque la cuestión arroje una baja puntuación negativa, hay un 20% de las personas que dicen SI haber tenido problemas para ser aceptados en una línea de investigación; para nosotros ese es un número demasiado grande, pues hubiéramos esperado que en esta pregunta hubiera puntuaciones negativas inferiores al 1%. Si esto es cierto, la UPC tendría que intervenir para aportar una solución, de manera que todo el colectivo PDI pudiera encontrar acomodo en alguna línea de investigación con mayor facilidad. ¡Especialmente, si luego la participación de las personas en un proyecto de investigación va a ser uno de los factores de valoración! Porque, ¿es extensible, a nivel de toda la UPC, este porcentaje del 20%? Compete solucionar a la UPC como institución este problema, dado que los tests de representatividad que hemos realizado apuntan a que ese porcentaje es transportable a la totalidad de la UPC.

Otras dos preguntas con una baja valoración negativa se refieren a si los resultados de la evaluación reflejan la actividad docente e investigadora, respectivamente (X04AvalDocReflecteixActiv, X09AvalRecReflecteixActiv). Aunque tengan baja valoración negativa, hasta un 22% de respuestas han expresado que el sistema de evaluación no refleja correctamente su actividad docente, y un 30% expresa que el sistema de evaluación no refleja correctamente su actividad investigadora. No creemos que sean cifras razonables para un sistema que está intentando evaluar la dedicación del personal de la UPC. ¿Son, de nuevo, ciertas estas cifras a nivel de toda la UPC? No lo sabemos, pues la UPC no se ha preocupado por averiguarlo.

Sorprenden un poco los resultados de la pregunta 20 (X20AjutMillorQueCastig), donde un 28% se expresa partidario del castigo como via correctiva, en contra de que el sistema utilice ayudas específicas para mejorar. No esperábamos una respuesta en este sentido. Más adelante se argumenta un poco más este pormenor.

Franja baja


Pasemos al grupo de preguntas con menor valoración (60% en contra o más). La que tiene peor valoración (un 74,5% en contra) preguntaba si los cambios como resultado de la aplicación del sistema han hecho que su actividad académica sea más valiosa (X21CanvisActAcademValuosos): una gran mayoría opina que su actividad académica se ha degradado, algo muy preocupante si es la impresión general a nivel de toda la UPC, pero no podemos saberlo, ya que la UPC, de nuevo, nunca se ha preocupado por averiguarlo. Según la siguiente pregunta (X29EquilibriDocRec) un 70% de los participantes opinan que hay un desequilibrio entre la manera de valorar la investigación y la docencia, cosa obvia a la vista de la tabla 2. También un 65,6% de los participantes opinan que el sistema es desmotivador (X22RegimDedicacioEsMotivador). Casi al mismo nivel, con un 65,2% en contra, queda situada la respuesta a la pregunta sobre si los proyectos tendrían que tener un mínimo de ingresos para ser computados (X16ProjMinimIngres); parece ser que un ampio número de personas está en contra de que un criterio púramente económico sirva para valorar el desarrollo de una labor investigadora. Y un 64% opina que el sistema no ofrece igualdad de condiciones a todo el colectivo (X27SistemaIgualtatOport). Y, siguiendo con los malos datos, un 63% opina que el sistema no es bueno (X26SistemaActualEsBo) y que los cambios no se divulgan adecuadamente (X31SuficientDivulgCanvis).

Creemos que la banda baja ofrece un panorama amargo para el sistema de evaluación actual, y sugiere un replanteamiento total del sistema de evaluación, pues si se confirman las tendencias apuntadas en la encuesta, se detecta una gran mayoría que opina que, a saber, los cambios no se comunican adecuadamente, que el sistema vigente es desequilibrado, que ha degradado su actividad docente, que les desmotiva, y que no es un buen sistema. Demoledor.

Franja intermedia


En la banda intermedia encontramos una serie de preguntas con una valoración en contra entre el 40% y el 60%. Hay una en particular preocupante: un 50% de los que han respondido la encuesta afirman no tener acceso al equipo necesario de laboratorio para poder realizar realizar una investigación de calidad al nivel que exige el sistema (X15AccesEquipNecess). Esta es una cifra escandalosa que al parecer, de nuevo, a la UPC no le preocupa lo más mínimo, dado su desinterés por conocerla. Por otro lado, el hecho de que haya un grupo tan grande (12 preguntas) con una respuesta tan dividida indica que el sistema es controvertido, con mucha gente en ambos bandos de las opiniones “en contra” y “no en contra”.

Análisis de dependencias


Con objeto de estudiar la validez de la encuesta se ha llevado a cabo un análisis de dependencias entre las respuestas a las diferentes preguntas. La figura 4 muestra un gráfico-resumen de dicho análisis.

pvaluesImage

Figura 4: análisis de dependencias

El gráfico de la figura 4 muestra una matriz simétrica, resultado de cruzar las respuestas a preguntas cerradas de la encuesta. En las casillas, un código de colores muestra el grado de asociación entre preguntas: los colores más amarillos indican mayor asociación y los colores más azules representan mayor independencia. Se puede comprobar que el color preponderante en la tabla es el amarillo, lo cual significa que las respuestas no reflejan un patrón aleatorio. La lectura es que quienes han respondido a la encuesta lo han hecho con sentido y no aleatoriamente.

De todas maneras, el hecho de que exista un grado de asociación no explica si esa asociación es positiva o negativa. Vamos a mostrar dos casos que se dan en la encuesta, uno de asociación positiva y otro de asociación negativa.

Cruce pregunta 19 vs pregunta 20


El primer caso que se muestra en la figura es el cruce entre las respuestas a la pregunta X20AjutMillorQueCastig: “És més efectiu recolzar el PDI que ha obtingut una mala avaluació més que no pas aplicar-li un reforçador negatiu o una sanció” y la X19AvalAfectarCLP: “Considero lògic que el resultat de la meva avaluació tingui conseqüències sobre la meva capacitat lectiva potencial“.

ayudavsafectar-spine

Figura 5: cruce X20AjutMillorQueCastig vs X19AvalAfectarCLP

En la figura 5 puede comprobarse cómo los que no están en contra de que la evaluación afecte a la capacidad lectiva potencial están casi totalmente en contra de que sea mejor “apoyar” que “castigar”. Ésta es una asociación inversa esperable si los participantes han contestado de manera coherente. Pero los que están en contra de que la evaluación afecte a la carga lectiva potencial están más repartidos a la hora de escoger si es mejor ayudar o castigar. Sorprende un poco el número de partidarios de la vía punitiva.

Cruce pregunta 21 vs pregunta 22


La figura 6 cruza las respuestas a las preguntas X21CanvisActAcademValuosos: “Els canvis que he fet a la meva activitat acadèmica com a conseqüència de la introducció del règim de dedicació fan que ara sigui més valuosa” y la X22RegimDedicacioEsMotivador: “El règim de dedicació és per a mi un element de motivació més que no pas de pressió“.

motivadorvsvaluosos-spine

Figura 6: cruce X21CanvisActAcademValuosos vs X22RegimDedicacioEsMotivador

La figura 6 muestra una asociación directa clara. Aquellos que están en contra de que los cambios son valiosos están además en contra de que el sistema sea motivador, y los que no están en contra de una, tampoco lo están de la otra. Otra asociación, como la previa, totalmente esperable, reflejo de respuestas responsables y meditadas.

Valgan las dos gráficos anteriores como ejemplo. En vista de estos datos, desde nuestro punto de vista la encuesta es válida, pues no responde a un patrón de respuestas aleatorio.

Dos cruzamientos más, no obstante, nos han interesado para conocer más profundamente la casuística planteada y entender mejor el reparto de probabilidades.

Cruce pregunta 25 vs pregunta 31


Viendo la figura 3 nos sorprendió la diferencia de porcentajes entre las preguntas X31SuficientDivulgCanvis: “El canvis en la normativa i el sistema d’indicadors son suficientment divulgats i amb temps suficient per permetre l’adaptació de l’activitat del PDI a la nova normativa i no sofrir sancions retroactives” y X25ProuInformRequisits: “He estat suficientment informat sobre els requisits per assolir els diferents indicadors“, pues consideramos que son dos preguntas muy ligadas entre sí. Sin embargo, hay una diferencia en porcentajes de un 20% entre ellas. La figura 7 muestra el cruce de ambas preguntas.

Cruce de X31SuficientDivulgCanvis con X25ProuInformRequisits

Figura 7: Cruce de X31SuficientDivulgCanvis con X25ProuInformRequisits

Viendo la figura 7 se comprueba que realmente existe, como esperábamos, una relación entre ambas. Se ve cómo quien está en contra de que haya suficiente información sobre los requisitos está mayoritariamente también en contra de que los cambios tengan la suficiente divulgación. Pero en cambio, los que no están en contra de que haya suficiente información están repartidos a la hora de escoger si los cambios se divulgan adecuadamente.

Cruce pregunta 20 vs evaluación en investigación


Otra pregunta cuya respuesta nos sorprendió fue la X20AjutMillorQueCastig: “És més efectiu recolzar el PDI que ha obtingut una mala avaluació més que no pas aplicar-li un reforçador negatiu o una sanció”. Es una pregunta que, para sorpresa nuestra, tiene bastante opinión en contra, un 27,7%,  y consecuentemente formulamos el siguiente interrogante: ¿qué colectivos son más propensos a considerar el castigo como la via correctiva a seguir? Para dilucidar esta cuestión, se aporta la figura 8, que muestra el cruce entre la respuesta a la pregunta 20 y la evaluación de investigación de los participantes.

Figura 8: Cruce de la evaluación en investigación con X20AjutMillorQueCastig

Figura 8: Cruce de la evaluación en investigación con X20AjutMillorQueCastig

A la vista de la figura 8 se percibe lo siguiente. Hay una predisposición distinta respecto a la vía punitiva entre los diferentes colectivos evaluados con letras A, B, C y D en investigación. El colectivo evaluado con una B es el que menos propensión tiene al castigo. Le siguen en progresión creciente los colectivos C, D y A. Sorprende ver que el colectivo D muestra casi la misma tendencia a la via punitiva que el colectivo A, y llama la atención la drástica diferencia entre los colectivos A y B.  El colectivo B es mucho más partidario del apoyo como estrategia de mejora, quizás porque ven próxima la posibilidad de aumentar su valoración. El colectivo A, al contrario, es bastante más partidario de la punición, posiblemente en respuesta a la “carrera de obstáculos” que han pasado para obtener su codiciada valoración. En el análisis de estas reacciones prosaicas o primarias se percibe que el logro del sistema actual, realmente, ha sido conseguir dividir al colectivo PDI entre “buenos y malos”; es decir, quienes han conseguido llegar a “la élite” son favorables a que los demás pasen por lo mismo, o, sinó, que se les castigue; y los que ven próxima la “cima” están de algún modo pidiendo una ayuda que no reciben. Lo que no podemos explicarnos es la respuesta de los colectivos C y D, con un aumento creciente en la aceptación del castigo corrector según su calificación disminuye. Quizás sufran el síndrome del maltratado (o síndrome de la víctima narcisista): de tan castigados, estos profesores acaban asumiendo que merecen ser castigados para dar razón al sinsentido en que viven inmersos.

IV – Próximo post en el blog


En una próxima publicación del blog detallaremos los aspectos cualitativos de la encuesta.

V – Referencias


[1] Rafael David Rincón. Modelo para la implementación de un sistema de gestión de la calidad basado en la Norma  ISO 9001. Revista EAFIT nº 126. Abril-Mayo-Junio 2002.

Print Friendly

2 Comentarios

  1. Toni Tribó Toni Tribó
    8 febrero, 2016    

    Agraït per el vostre treball.
    Em serà molt útil en el proper Consell de Govern.

  2. Ramis Juan Xavier Ramis Juan Xavier
    8 febrero, 2016    

    Algunos aspectos a considerar que podrían hacer más justa la evaluación de la investigación:

    1. Quizás para hacer un sistema más justo de evaluación que no dependa de la propia universidad, debería evaluarse la investigación de acuerdo con los sexenios, tal como ya dice la ley. Incluso podrían aplicarse las reducciones de carga lectiva que contempla la ley.

    2. Creo que en el aparatado de investigación no debería incluirse bajo ningún concepto la gestión como criterio evaluable.

    3. Creo que la dirección de Tesis Doctorales debería tenerse en cuenta como un criterio favorable en la evaluación investigadora, aunque la Tesis no haya sido dirigida en la propia Universidad. En un mundo globalizado donde se tiende a establecer colaboraciones entre distintos centros, las Tesis dirigidas en otros centros deben tenerse en cuanta.

No Pings Yet

  1. Análisis de los resultados de la encuesta sobre el sistema de evaluación y régimen de dedicación (II) | | Amical Universitaria on 8 febrero, 2016 at 11:03
  2. Balance de 2016 | | Amical Universitaria on 1 febrero, 2017 at 08:38

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Recibe noticias del blog por correo electrónico

Introduce tu correo electrónico para recibir notificaciones de nuevas entradas el blog .

Videos

Defensem la dignitat del professorat