El Sistema Educativo Vasco: de la ausencia de datos a la Evaluación de Diagnóstico


eh2

Publicado en francés por la “Revue Internationale d’éducation de Sèvres”.http://www.ciep.fr/ries/ries48.php

Josu Sierra

El contexto

A veces, cuando se habla de Evaluación Educativa se asocia esta al “control”, como me propone la Revue Internationale d’éducation de Sèvres.
En este sentido, el Sistema Educativo Vasco ha vivido, desde la asunción de las competencias en Educación en 1980, casi “sin control”, ya que la Evaluación externa del Sistema no comenzó hasta 2001 con la creación del ISEI-IVEI. Aunque en el Estado Español, la primera evaluación del Sistema Educativo, en la que participó el País Vasco, data de 1995.
Que la evaluación de sistemas educativos suponga un control de los centros escolares es también algo discutible. Sobre todo si los agentes educativos no actúan en la misma dirección. Incluso no está claro que sea imprescindible para la consecución de los objetivos. Depende del sistema. Hay sistemas educativos “paradójicos” como el finlandés, donde iban precisamente a introducir más evaluación (prácticamente no existen las evaluaciones externas ni la inspección) justo cuando se dieron cuenta de que eran los mejores del mundo en el estudio PISA, sin pretenderlo. Pero también es cierto que sistemas como el de Alberta o Hong Kong (distintos entre sí a la vez) llegan al mismo resultado por el camino opuesto, es decir: evaluación con consecuencias, objetivos claros y rendición de cuentas.
El País Vasco es una de las comunidades de cultura vasca en el Estado Español, como lo son también Navarra y el País Vascofrancés (que junto con Bearne forma el Departamento de Pirineos Atlánticos en el Estado Francés).
En todos estos territorios se habla la lengua vasca o Euskera, una lengua pre indoeuropea no emparentada con ninguna de las familias de lenguas existentes hoy en Europa y que hoy día se encuentra en una difícilísima situación, minorizada en su propio territorio. De ahí la importancia de su incorporación al sistema educativo.
La Educación es competencia de las Comunidades en el Estado Español y aquellas que tienen lengua propia, como el País Vasco cuya lengua propia es el euskera, deciden el 45% del currículo. Además disponemos de nuestra propia financiación, un derecho histórico que solamente tienen el País Vasco y Navarra.

La evaluación del sistema educativo

Nuestro Sistema Educativo ha estado tradicionalmente centrado en el “input”, es decir el currículo, los contenidos prescritos que han de enseñarse. Muchas de las discusiones, aun hasta hace bien poco, se centraban en qué se debe enseñar. Algunos ven en el currículo la herramienta perfecta para la uniformización cultural propia de los estados-nación, la implantación de todo tipo de valores etc. : dictar lo que se debe enseñar a todos y cada uno de los alumnos en todas las escuelas. Es un papel para la escuela en el que no creo y que no suele funcionar pero es el que gusta a algunos partidos políticos.
Nuestra preocupación por el “output” es más reciente, aún estamos empezando a descubrirlo.
La falta de “control” (en el sentido de la evaluación) en el Sistema no parece que nos preocupase demasiado hasta ahora. No hay tradición de centrarse en los resultados. El reparto de recursos no se hace conociendo los resultados del alumnado y este no es un criterio para tal reparto. La toma de decisiones no está ligada a los resultados de los centros educativos o a cómo cumplimos nuestra misión educadora viendo lo que el alumnado es capaz de hacer. La preocupación por lo que el alumnado realmente ha aprendido es reciente, ha ido llegando poco a poco y aun no está muy extendida en nuestro sistema. Pero estamos a punto de dar un paso decisivo.
Hasta que se comenzó con la Evaluación del Sistema, carecíamos de datos sobre qué estaba aprendiendo el alumnado realmente. Las decisiones sobre promoción y graduación en la Educación Obligatoria las toma en el País Vasco cada profesor o cada grupo de profesores de cada centro educativo. Los datos referentes al fracaso escolar (no graduados en 4º de Educación Secundaria Obligatoria) son la mera recopilación de las decisiones citadas, decisiones tomadas con referencias locales ya que no hay una prueba objetiva común o externa a todo el alumnado hasta la entrada a la Universidad.
Las evaluaciones del sistema pretenden, en nuestro caso, informar la toma de decisiones, diagnosticar las fortalezas y debilidades del sistema y mejorar los resultados del alumnado hasta donde sea posible ver con este tipo de evaluaciones.
En 2001 se creó el Instituto Vasco de Evaluación e Investigación Educativa (ISEI-IVEI). Desde este momento se apostó por la participación en varios tipos de evaluaciones del sistema: internacionales como PISA y TIMSS, estatales y propias (ver: http://www.isei-ivei.net) . Nuestras propias evaluaciones se han centrado en la Educación Primaria, Secundaria Obligatoria y en aspectos muy importantes en un sistema bilingüe como el nuestro: ¿Qué nivel de lengua son capaces de alcanzar nuestros alumnos y alumnas respecto al Marco Europeo de Referencia para las lenguas (MCER)? (Council of Europe, 2001).
http://www.coe.int/t/dg4/linguistic/Source/Framework_EN.pdf)

Interpretando los datos

El perfil de nuestro sistema educativo puede definirse perfectamente a través de varios indicadores de todo tipo e incluso comparables a nivel europeo:
• Tenemos probablemente una de las tasas de escolarización en Educación infantil mas altas del mundo: un 90% de los niños de 2 años están escolarizados y un 100% de los de 3 años o más.
• Un 80% de nuestro alumnado termina la Secundaria Post-obligatoria, 3 puntos por encima de la media europea.
• La tasa de jóvenes de 18 a 23 años que abandona la formación (abandono temprano) es inferior a la media europea.
• Nuestro gasto por alumno en educación es el más alto del Estado español.
• Nuestra tasa de graduados en Ciencia y Tecnología es la más alta de Europa.
Pero estos indicadores deben interpretarse a la luz de los datos de rendimiento del alumnado en los diversos estudios para poder establecer si es un sistema comparativamente eficiente o no y en qué aspectos.
PISA 2003 y 2006, por ejemplo, estudios en los que participamos con muestra propia comparable y representativa. Los resultados que PISA nos devuelve (OECD. 2007. PISA 2006 Vol. 2, Pág. 247-310) son bastante claros en muchos aspectos, la imagen de nuestro sistema, en comparación con la OCDE tiene un perfil elocuente:

resulpis

• Resultados medios, comparando con la OCDE, en competencia científica (mejoramos en 2006), matemática y lectura (empeoramos en 2006). Obtuvimos la misma puntuación que Francia por ejemplo en Competencia Científica y Lectura y superior a Francia en Matemáticas.
• Alta equidad, expresada en una baja diferencia entre los peores y los mejores alumnos. Nuestra diferencia de puntuación entre el percentil 5 y 95 es inferior a la de Finlandia por ejemplo.
• Definía Gerard F.M. (2001):”Le concept d’équité est lie a la justice sociale: un système éducatif est d’autant plus équitable qu’il réduit les disparités entre les plus forts et les plus faibles, entre les groupes favorises et défavorises.”
• Menos porcentaje de alumnado que la OCDE en los niveles más bajos de rendimiento.
• Un índice social, económico y cultural (ISEC) casi en la media de la OCDE (-0,04).

eqit

Pero también arroja aspectos claramente mejorables:
• Menos porcentaje de alumnado en los niveles de excelencia que la OCDE en todas las competencias.
• Un resultado, en competencia científica, por debajo de lo esperado para nuestro índice ISEC.
• Menor eficiencia que nuestros sistemas vecinos teniendo en cuenta nuestro gasto por alumno o nuestro PIB per cápita.
Es importante conocer el perfil de nuestro sistema educativo. Aunque va transformándose de estudio en estudio, hay una base común que se repite. Lo difícil es acometer cambios de política educativa eficaces en base a estos datos.

Limitaciones de este tipo de evaluación

Hay muchos países que, además de participar en evaluaciones internacionales que les permiten compararse, llevan a cabo estudios nacionales basados en muestras, tal y como hacemos nosotros también. Francia tiene “L’état de l’École”, otros países como España realizan evaluaciones por niveles, Primaria, Secundaria…
Pero, como veremos, estas evaluaciones del sistema basadas en una muestra tienen sus limitaciones:
Tanto las evaluaciones internacionales como las estatales y las nuestras propias están basadas en una muestra de alumnos y alumnas. Por mucho que esta sea representativa e incluya estratos (como es nuestro caso con las modalidades lingüísticas y el carácter público o privado de las escuelas) para profundizar en los resultados, los datos que se obtienen son de carácter general. Son adecuados para dar una imagen global del sistema, detectar fortalezas y debilidades y reaccionar también de manera general: con normativas nuevas, formación o programas destinados a potenciar determinados aspectos…
Quiero citar particularmente el caso de evaluaciones orientadas a la política educativa como PISA que tiene un gran valor comparativo pero también utiliza interesantes índices como el socioeconómico y cultural, el de equidad y otros relacionados con aspectos motivacionales.
Los datos de las evaluaciones muestrales permiten conocer que centros educativos con el mismo tipo de alumnado, con el mismo nivel socioeconómico por ejemplo, obtienen resultados muy diferentes, pero es imposible saber porqué. La muestra no permite un análisis por escuelas y no permite un análisis de todas las escuelas. Hay que limitarse al estrato.
Los responsables o decisores de la política educativa pueden tener la falsa idea de que cambiando la estructura, las horas, la normativa a través de leyes, decretos, órdenes etc., incluso impulsando programas de innovación generales, será suficiente para mantener las fortalezas de un sistema y solucionar las debilidades del mismo. Pero los grandes protagonistas de cualquier sistema educativo, el alumnado, los profesores y profesoras, los padres y madres y las escuelas (equipos directivos, claustro de profesores) no se sienten realmente implicados cuando leen (los pocos que lo hacen) un informe de evaluación de este tipo.
Y yo creo que el cambio real es aquél que los centros educativos pueden llevar a cabo, conociendo su situación y sus problemas, poniendo en marcha sus soluciones con los medios necesarios, conociendo sus datos y responsabilizándose de ellos: responsabilización.
Hay estudios (Barber M. y Mourshed M., 2007) que ponen en duda la efectividad de la mayor parte de las reformas educativas y la relación entre algunas variables, incluido el gasto en educación, y el rendimiento del alumnado. En cambio dan enorme importancia a la formación inicial y selección del profesorado, “La calidad de un sistema educativo no puede exceder la calidad de sus maestros” dicen.
Cuando se hacen públicos en la prensa los resultados de las grandes evaluaciones como PISA, TIMSS, PIRLS o aquellas que lleva a cabo cada país y tienen impacto mediático, asistimos en el País Vasco, y en otros muchos lugares, a un espectáculo que incluye invariablemente los siguientes ingredientes: catastrofismo (desastre educativo, a la cola en resultados, los alumnos no saben, suspenden…), responsabilización al ministro o ministra de turno (aunque lleve dos años al frente del ministerio) y a las leyes, decretos, etc. promulgados por el mismo. Los protagonistas suelen ser la prensa, los partidos de la oposición, los sindicatos de profesores y el ministerio. Se tiene la impresión muchas veces de que en estos debates mediáticos la culpa de todo es o de los padres o del ministro/a de educación y sólo sirven para hacer crítica política en un país, como el nuestro, donde no existe un consenso básico sobre educación. Sin embargo esto no parece lógico.
Las evaluaciones muestrales no dan más que lo que dan. Para otros objetivos es preciso otro tipo de evaluación.
Un paso más: las evaluaciones censales que permiten la rendición de cuentas

No es ninguna novedad en muchos países el evaluar a todo el alumnado de varios niveles, bien para medir el logro de estándares o para ver el cumplimiento del currículo.
Pondré como ejemplo algunos casos que conozco: Quebec, Alberta, la mayor parte de los estados de EEUU, Hong-Kong, Suecia o Chile.
Pondré el ejemplo del SIMCE de Chile, a quienes debemos mucho en nuestra formación. Llevan 20 años aplicando pruebas a todo el alumnado: 500.000 alumnos simultáneamente cada año.
Como dicen ellos “El SIMCE evalúa si los alumnos y alumnas han alcanzado los Objetivos Fundamentales y los Contenidos Mínimos Obligatorios del currículo nacional.”  (http://www.simce.cl/index.php?id=199)
Sobre el uso de la evaluación, dicen: (http://www.simce.cl/index.php?id=286)
“Al Ministerio de Educación, la información entregada por el SIMCE le sirve para:
• Monitorear la calidad y equidad de la educación desde la perspectiva de las competencias que manejan los alumnos y alumnas en distintas áreas curriculares. El Ministerio de Educación puede saber en qué medida los alumnos están logrando los objetivos curriculares y si ha habido progreso en el logro de estos objetivos a través de los años. También puede monitorear en qué medida distintos grupos de alumnos (ej. alumnos de distinto nivel socioeconómico) están alcanzando estos objetivos.
• Identificar escuelas que presentan sistemáticamente bajos resultados en el SIMCE y que necesitan apoyo externo para mejorar el desempeño de sus alumnos.
• Evaluar la efectividad de programas de intervención cuyo objetivo es mejorar el desempeño de los alumnos en distintas áreas curriculares.
• Asignar incentivos a las escuelas que logran mantener altos puntajes o que los suben sistemáticamente.
• Aprender de la experiencia de países que alcanzan altos estándares de calidad y equidad en educación.
• Conocer las principales características del entorno escolar y familiar en el que estudian los alumnos chilenos y de otros países del mundo. Esta información de contexto puede ser muy valiosa para comprender mejor nuestros resultados.”
Las evaluaciones censales van unidas a la rendición de cuentas o Accountability en educación y a la transparencia.
La Alberta Teachers’ Association definía la rendición de cuentas como: “Accountability is best defined as the process through which individuals or organizations in the education system take responsibility for their actions and report on these actions to those who are entitled to the information. Accountability also implies an obligation to find ways to improve the capacity and performance of those responsible, not just measure the achievement of outcomes (Canadian Teachers’ Federation 2004c, 1). (http://www.teachers.ab.ca/NR/rdonlyres/F07B25F6-23C7-4964-95D1-AB18326C7580/0/AccountabilityDiscussionPaper.pdf) ´

La rendición de cuentas implica por tanto responsabilización pero también compromiso para la mejora, más allá de la mera medida de resultados. Implica consecuencias tras la evaluación.

No obstante, también van unidas las evaluaciones censales a la:
• Publicación de “rankings” injustos de centros. En nombre de la transparencia se comparan puntuaciones de centros cuyo tipo de alumnado es absolutamente distinto. Una escuela que atiende a alumnado socialmente desfavorecido o inmigrante no puede ser directamente comparada con otras que atienden a las élites sociales.

El Valor Añadido

Afortunadamente hay varios estados de EEUU, el Reino Unido etc. que están avanzando en el cálculo del Valor Añadido de las escuelas y los profesores, un ranking mucho más justo. (http://www.shearonforschools.com/TVAAS.html), (http://www.education-consumers.com/ecf_vaaa_2007.php)

tnva

Definen Hershberg et al. la evaluación del Valor Añadido (2004):
http://www.cgp.upenn.edu/pdf/revelations_of_value_added.pdf
“Value-added assessment provides a new way to measure teaching and learning. Value-added uses the annual test scores that are now being collected for students and analyzes them to reveal the progress students are making each year. In its focus on growth rather than solely on levels of absolute achievement, value-added broadens our understanding of the contribution instruction makes to student learning. While family income remains the best predictor of absolute achievement, achievement, good instruction is 10 to 20 times more powerful in predicting student growth. By following individual students over time, value-added accounts for student background characteristics over which schools have no control and that tend to bias test results. And in what is perhaps its most unique contribution, value added enables educators and the public to identify not only the progress made by students but also the extent to which individual teachers, schools and districts have contributed to it. ”

Una nueva oportunidad: la evaluación de diagnóstico

El País Vasco evaluará todos los años, a partir de 2009, la adquisición de las Competencias Básicas de todo el alumnado de 4º de Educación Primaria y 2º de Educación Secundaria Obligatoria.
Se establece en el artículo 36 del Decreto de Currículum Vasco que la Evaluación de Diagnóstico “No tendrá efectos académicos sino carácter formativo y orientador para los centros e informativo para las familias y para el conjunto de la comunidad educativa”.

Las Competencias Básicas

La OCDE en su proyecto DeSeCo (OECD 2005, pág.4)definía las Competencias como: “A competency is more than just knowledge and skills. It involves the ability to meet complex demands, by drawing on and mobilising psychosocial resources (including skills and attitudes) in a particular context”.
Ya el centrarse en evaluar lo que el alumnado es capaz de hacer y no meramente en el currículo pretendido supone un salto cualitativo.
Por su parte, la Comisión Europea define las Competencias Clave como (European Commission, 2004, pag.6): “Key competences represent a transferable, multifunctional package of knowledge, skills and attitudes that all individuals need for personal fulfillment and development, inclusion and employment. These should have been developed by the end of compulsory schooling or training, and should act as a foundation for further learning as part of lifelong learning”.
El Decreto 175/2007 describe y define las Competencias Básicas
(http://www.euskadi.net/bopv2/datos/2007/11/0706182a.pdf) :
1. Competencia en cultura científica, tecnológica y de la salud
2. Competencia para aprender a aprender
3. Competencia matemática
4. Competencia en comunicación lingüística
5. Competencia en el tratamiento de la información y competencia digital
6. Competencia social y ciudadana
7. Competencia en cultura humanística y artística
8. Competencia para la autonomía e iniciativa personal

Es especialmente novedosa, para un sistema bilingüe como el nuestro, la inclusión en la Competencia en comunicación lingüística de un objetivo concreto a alcanzar al final de las etapas Primaria y Secundaria. Tanto en lengua vasca como en lengua castellana, el alumnado deberá alcanzar el nivel B2 del MCER al finalizar la Secundaria Obligatoria y el B1 al finalizar la Educación Primaria.
El objetivo de la Evaluación de diagnóstico es pues, la mejora de las competencias básicas del alumnado. Por ello se desarrolla esta evaluación dos años antes de la finalización de la etapa y debe permitir a los agentes educativos corregir a tiempo los problemas existentes para que todo alumno o alumna alcance los objetivos marcados en dichas competencias.

El modelo de evaluación

Al ser una evaluación censal y llevarse a cabo en dos niveles (4º de Primaria y 2º de Secundaria), permite un seguimiento longitudinal del alumnado, pero también permite establecer un “mapa” completo de todos los centros educativos del sistema y su evolución año a año.
El modelo de evaluación es muy importante. Existen varios países y Comunidades que llevan a cabo Evaluaciones que podríamos denominar de diagnóstico: Francia, Andalucía… Pero existen al menos dos modelos de evaluación:
1. Interna con pruebas comunes: aplicada, corregida e interpretada por el profesorado, normalmente tienen como referencia los resultados de una evaluación muestral llevada a cabo al mismo tiempo por la Administración.
a. Ventajas: El trabajo lo realiza el profesorado, no se sienten fiscalizados.
b. Desventajas: los resultados no son comparables escuela a escuela porque no hay una aplicación y corrección estandarizadas y controladas. Las pruebas pasan a ser públicas y no pueden repetirse, con lo que se impide ver si existe mejora o no.
2. Externa estandarizada: aplicada corregida e interpretada por un equipo externo a las escuelas con pruebas que no son públicas.
a. Ventajas: los resultados son fiables, comparables y permiten a los centros conocer su situación con respecto a, por ejemplo, escuelas del mismo nivel socioeconómico. Además pueden compararse los resultados de un año a otro. De este modo, el reparto de recursos se hace sobre una base objetiva y puede observarse la mejora de modo longitudinal. Permite entregar informes individuales que ofrezcan un resultado fiable al alumnado y a las familias, lo cual es motivador.
b. Desventajas: la aplicación es costosa y complicada, algunos profesores pueden sentirse fiscalizados, puede dar lugar, si no se toman medidas, a “rankings” injustos (que no tengan en cuenta el tipo de alumnado o entorno) de escuelas en medios de comunicación etc.
El País Vasco ha optado por un modelo doble y una implicación global:
1. Entregar modelos de pruebas a los centros educativos para que lleven a cabo, voluntariamente, evaluaciones internas.
2. Y además aplicar pruebas externas todos los años que les proporcionen datos fiables y comparables del grado de adquisición de las competencias básicas. Otra característica importante: se entregarán informes individuales para localizar y personalizar los problemas.
3. Por último estarán implicados, además del ISEI-IVEI, también la Inspección Técnica y los Servicios de Apoyo (asesores pedagógicos) de modo que cada centro educativo establezca un plan de mejora y lo lleve adelante.
Todo ello se llevará a cabo teniendo en cuenta que la normativa establece la prohibición de hacer “rankings” de centros y que se tomarán las medidas para asegurarlo. Cada centro recibirá sus informes y sus comparaciones por nivel socioeconómico. Solamente el propio centro y el inspector y asesor de zona tendrán el resultado del mismo.
El volumen de alumnado a evaluar anualmente es relativamente pequeño, comparando con otros países, pero supone un gran reto para nosotros evaluar 35.000 alumnos y alumnas cada año.
¿Qué competencias se evaluarán cada año? Habrá tres invariables: Competencia Matemática y las Competencias en Comunicación Lingüística (lengua vasca y española) y una irá cambiando anualmente para evaluar las 8 citadas. El primer año se evaluará la Competencia en cultura Científica. Después vendrán el resto.
En definitiva, una evaluación censal, centrada en la mejora y no en la publicación de los resultados, diagnóstica pero no final, ya que se hace dos años antes de terminar la etapa, interna y externa a los centros educativos y movilizando a todos los servicios de la Administración educativa.

Referencias

• Council of Europe. “Common European Framework of Reference for Languages” . 2001. Strasbourg.
• OECD. “PISA 2006, Vol. 2”. 2007. Paris
• Gerard F.M. “L’évaluation de la qualité des systèmes de formation » Mesure et Evaluation en Education, 2001, vol. 24, nos 2-3, 53-77. Québec.
• Barber M, Mourshed M. “How de world’s best performing school-systems come out on top”. McKinsey&Co. 2007

• Canadian Teachers’ Federation. « Accountability in Education.Background Paper”. 2005. Edmonton. http://www.teachers.ab.ca/NR/rdonlyres/F07B25F6-23C7-4964-95D1-AB18326C7580/0/AccountabilityDiscussionPaper.pdf

• Hershberg et Al. “The School Administrator, dec. 2004, p. 10”. Philadelphia.

• OECD. “The Definition and Selection of Key Competences. Executive Summary”. 2005. Paris

• European Commission. “KEY COMPETENCES FOR LIFELONG LEARNING A EUROPEAN REFERENCE FRAMEWORK. NOVEMBER 2004. IMPLEMENTATION OF “EDUCATION AND TRAINING 2010” WORK PROGRAMME. Bruxelles. http://ec.europa.eu/education/policies/2010/doc/basicframe.pdf

One thought on “El Sistema Educativo Vasco: de la ausencia de datos a la Evaluación de Diagnóstico

Utzi erantzun bat

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Aldatu )

Twitter picture

You are commenting using your Twitter account. Log Out / Aldatu )

Facebook photo

You are commenting using your Facebook account. Log Out / Aldatu )

Google+ photo

You are commenting using your Google+ account. Log Out / Aldatu )

Connecting to %s