El problema más incómodo del modelo: cuando no hay respuesta correcta única, ¿qué se evalúa? La respuesta de Aldea: nunca la conclusión, siempre el rigor del razonamiento. Cómo una rúbrica hace visible lo invisible. Referencia a Sadler sobre evaluación formativa y criterios.
En el artículo anterior argumenté que una calificación numérica que llega tarde no le enseña nada al estudiante. Pero dejé sin contestar la pregunta más difícil, la que cualquier profesor haría con razón: si el trabajo del estudiante no tiene una sola respuesta correcta, ¿qué demonios se evalúa?
No es una pregunta retórica. En un examen de matemáticas donde la derivada da 3x² o no da 3x², el problema de la evaluación es logístico, no conceptual. Hay una respuesta. Se compara con lo que el estudiante puso. Punto. Pero en cuanto el trabajo tiene más de una solución posible — un análisis de caso, una propuesta de diseño, un argumento ético, un diagnóstico donde la información es incompleta — el profesor está en un terreno donde no puede contar aciertos. Tiene que juzgar calidad. Y juzgar calidad sin criterios explícitos es exactamente tan arbitrario como suena.
D. Royce Sadler publicó en 1989 un artículo en Instructional Science que, treinta y cinco años después, sigue siendo la referencia más precisa sobre este problema. Lo que Sadler planteó es que su teoría de evaluación formativa se aplica donde haya múltiples criterios usados para juzgar la calidad de las respuestas del estudiante, y que tiene menos relevancia cuando las respuestas pueden evaluarse simplemente como correctas o incorrectas.
Esa distinción es la que la mayoría de los sistemas educativos trata como si no existiera. Usan las mismas herramientas de evaluación —exámenes de opción múltiple, listas de cotejo binarias, calificaciones numéricas— para los dos tipos de trabajo. Y el resultado es predecible: cuando intentas evaluar un argumento con una lista de cotejo, terminas calificando si el argumento tiene introducción, desarrollo y conclusión, no si el razonamiento es sólido. Evalúas la forma porque no tienes herramientas para evaluar el fondo.
Lo que Sadler propuso es un modelo con tres condiciones para que la retroalimentación sea efectiva. El estudiante necesita, primero, poseer un concepto del estándar al que aspira: saber cómo se ve el trabajo bien hecho, no en abstracto sino con suficiente concreción como para reconocerlo. Segundo, ser capaz de comparar su propio trabajo con ese estándar. Y tercero, tomar acción para cerrar la distancia entre donde está y donde debería estar.
Las tres condiciones parecen obvias hasta que uno se detiene a pensar cuántas veces se cumplen en la práctica. En la mayoría de los cursos que conozco, el estudiante recibe el encargo, lo ejecuta con su mejor criterio, lo entrega, y se entera de qué tan bien lo hizo cuando el profesor le devuelve una calificación. El estándar nunca se compartió antes del trabajo. La comparación la hizo el profesor solo, en su escritorio, sin que el estudiante participara. Y la acción correctiva llega demasiado tarde, cuando el curso ya avanzó al siguiente tema. Cero de tres.
Aquí es donde entra la rúbrica, y donde necesito distinguir entre lo que la mayoría de la gente entiende por rúbrica y lo que Sadler describe como juicio cualitativo.
La versión más común de rúbrica que he visto en mi carrera es una tabla donde la primera columna dice "Excelente / Bueno / Regular / Insuficiente" y las celdas describen algo como "el estudiante demuestra comprensión completa del tema" para Excelente y "el estudiante demuestra comprensión parcial del tema" para Bueno. Eso no es una rúbrica. Es el mismo juicio subjetivo del profesor disfrazado de tabla. La diferencia entre "comprensión completa" y "comprensión parcial" solo la puede determinar alguien que ya sabe la respuesta, que es exactamente la persona que no necesita la rúbrica.
Una rúbrica que cumple las tres condiciones de Sadler hace algo distinto. Describe, en cada nivel, qué hace el estudiante con el conocimiento, no cuánto sabe. La diferencia entre un nivel y el siguiente no es "más" o "menos" comprensión: es un cambio observable en lo que el estudiante puede hacer. Un nivel aplica un procedimiento conocido a un caso familiar. El siguiente aplica el mismo procedimiento a un caso nuevo. El siguiente identifica cuándo el procedimiento no aplica y propone una adaptación. Eso se puede observar, señalar y discutir con el estudiante. "Comprensión parcial" no.
Sadler hizo una observación que me parece la más importante y la menos citada de todo el artículo: para que el estudiante mejore, debe desarrollar la capacidad de monitorear la calidad de su propio trabajo durante la producción misma. No después, cuando recibe la retroalimentación del profesor. Durante. La meta de la evaluación formativa bien hecha no es que el profesor le diga al estudiante qué tan bien lo hizo: es que el estudiante aprenda a juzgar su propio trabajo con criterios parecidos a los del profesor.
Esto tiene una implicación que incomoda a muchos profesores: si la rúbrica no se comparte antes del trabajo, no cumple su función. Compartir la rúbrica antes no es "regalar las respuestas". En un problema con múltiples soluciones válidas, saber qué criterios se van a usar no te dice qué respuesta dar: te dice qué tipo de razonamiento se espera. Y eso es exactamente lo que el estudiante necesita saber para poder automonitorear su trabajo mientras lo produce.
Hay una objeción que escucho con frecuencia y que merece una respuesta directa: "si les doy la rúbrica antes, solo van a hacer lo mínimo para cumplir". Es una objeción que dice más sobre el diseño de la rúbrica que sobre el estudiante. Si la rúbrica describe niveles donde el máximo es "cumple con todos los requisitos", entonces sí, el estudiante hará exactamente eso y nada más. Pero si el nivel más alto de la rúbrica describe algo que el estudiante todavía no sabe hacer —un salto cognitivo que requiere ir más allá de lo que se enseñó— entonces la rúbrica no limita: señala hacia dónde crecer. El estudiante que llega al nivel más alto no cumplió una lista: resolvió algo que no le pidieron explícitamente, usando lo que aprendió de formas que no le enseñaron.
En Aldea, cada rúbrica tiene cuatro niveles, y el más alto siempre está un nivel de Bloom por encima de lo que se enseñó en clase. Si la jornada enseñó a aplicar un método, el nivel máximo de la rúbrica pide evaluar cuándo ese método no es el adecuado. Si enseñó a analizar, el nivel máximo pide crear una alternativa. El estudiante que quiera el nivel máximo tiene que pensar más allá de lo que se cubrió. La rúbrica no es un techo: es una escalera donde el último peldaño siempre está un poco fuera de alcance inmediato.
Hay otro problema práctico que no quiero esquivar. Evaluar con múltiples criterios cualitativos toma más tiempo que evaluar con una lista de cotejo. Un examen de opción múltiple se puede calificar con una plantilla. Un análisis de caso evaluado con cuatro criterios en cuatro niveles requiere que el profesor lea el trabajo, lo piense, y tome decisiones que no siempre son obvias. Escalar esto a cuarenta estudiantes por grupo y tres grupos por profesor es un problema real, no una queja.
No tengo una solución completa para esto. Lo que sí he encontrado es que dos cosas ayudan más de lo que parecen. La primera: la evaluación entre pares, donde los estudiantes evalúan el trabajo de un compañero usando la misma rúbrica que el profesor usará después. No para reemplazar la evaluación del profesor, sino para desarrollar exactamente la capacidad que Sadler describe: la habilidad de juzgar la calidad de un trabajo que no es el tuyo, usando criterios que compartes con el evaluador experto. El estudiante que aprende a evaluar a otro aprende a evaluarse a sí mismo.
La segunda: no calificar todo. No cada tarea, no cada ejercicio, no cada entrega. Mucho del trabajo formativo no necesita un número: necesita una observación específica. "Tu argumento tiene una premisa que no sostuviste" le enseña algo al estudiante. "75/100" no. Y si el profesor no tiene que asignar un número a cada trabajo, puede dedicar el tiempo que ahorra a escribir las observaciones que sí enseñan.
Sadler tenía razón en 1989 y sigue teniendo razón hoy: el juicio cualitativo que se requiere para evaluar trabajo complejo no se puede reducir a una fórmula aplicable por no expertos. Eso significa que formar profesores para evaluar bien es tan importante como formar profesores para enseñar bien, y probablemente más difícil. Un profesor que explica mal un tema puede ser corregido por un buen libro de texto. Un profesor que evalúa mal no tiene corrección automática: el estudiante simplemente aprende a producir lo que ese profesor premia, sea o no sea lo que debería aprender.
Evaluar lo que no tiene una sola respuesta correcta es más difícil, más lento y más incómodo que poner un examen de opción múltiple. También es lo único honesto cuando el trabajo que pediste admite más de una respuesta. Usar herramientas de evaluación simples para trabajo complejo no simplifica la evaluación: simplifica lo que el estudiante produce para que quepa en la herramienta. Y eso es exactamente al revés de lo que queremos.
Referencias
- Sadler, D. R. (1989). Formative assessment and the design of instructional systems. Instructional Science, 18(2), 119–144.
- Sadler, D. R. (1998). Formative assessment: Revisiting the territory. Assessment in Education: Principles, Policy & Practice, 5(1), 77–84.
- Black, P., & Wiliam, D. (1998). Assessment and classroom learning. Assessment in Education: Principles, Policy & Practice, 5(1), 7–74.