Profesores Como Evaluadores=Éxito
Recibimos llamadas de escuelas de todo el país todos los días. Pero esta era diferente.
"¿Qué le has hecho a Marie-Pierre?" preguntó el director. "Es una profesora totalmente diferente. Su aula está tan viva y su programa está creciendo. Lo que sea que estés haciendo está funcionando."
Al principio, la pregunta desconcertó a Maury Ennis, quien gestiona a nuestros evaluadores como Marie-Pierre. No habían hecho nada especial con Marie-Pierre, simplemente la habían pasado por el programa de conexión de evaluadores para que pudiera calificar con precisión las respuestas de habla y escritura de STAMP 4S. Y ciertamente no le habían dicho cómo enseñar francés.
Por otro lado, la esencia de la enseñanza basada en estándares es un conjunto de resultados comúnmente entendidos. Calificar miles de respuestas de habla y escritura de estudiantes le había dado a Marie-Pierre una comprensión profunda y concreta de cómo se ve realmente la competencia. Durante años había leído las palabras en papel — "situaciones familiares" "generalmente comprensible" "discurso conectado" — pero no fue hasta que se sentó a calificar todas esas respuestas en francés que los conceptos abstractos cobraron vida. Calificar estas respuestas de estudiantes diversos la obligó a alinearse con otros alrededor del país.
Las Calificaciones de Proficiencia Confiables Son Nuestra Misión
"Nuestra misión y nuestro negocio dependen de proporcionar calificaciones de competencia confiables para cada estudiante. Todos nuestros evaluadores tienen que estar en la misma página", dice nuestro fundador David Bong.
"Calificamos alrededor de 500,000 respuestas al año", dice Maury. "Mi trabajo es asegurarme de que todas sean calificadas rápidamente y con precisión".
Con estudiantes y evaluadores dispersos por todo el mundo, ella tiene un trabajo difícil. Para hacerlo posible, nuestros ingenieros de software se unieron a Maury para construir Rater Connection, que se basó en un prototipo del Centro de Estudios de Segunda Lengua Aplicada (CASLS) de la Universidad de Oregón. Rater Connection es un sistema en línea para la formación, certificación y supervisión de los evaluadores que califican esas medio millón de respuestas por año.
Echemos un vistazo detrás de la cortina para ver cómo Maury y su equipo logran esta hazaña monumental. El sistema consta de cuatro componentes clave: aprendizaje, práctica, certificación y monitoreo.
Los Cuatro Elementos para Calificar la Competencia Lingüística
Aprendizaje: Haciendo criterios específicos
Maury comienza orientando a los nuevos evaluadores sobre los criterios de STAMP 4S, que se derivan de los estándares nacionales de competencia de EE. UU. Al igual que la capacitación de OPI (Oral Proficiency Interview) proporciona a los evaluadores técnicas y criterios no expresados directamente en los estándares, Avant proporciona a los evaluadores criterios específicos para hacer los estándares abstractos más concretos. Por ejemplo, los estándares para Intermedio-Alto indican que los estudiantes deben producir "oraciones conectadas en párrafos utilizando un número limitado de dispositivos cohesivos". Esto puede significar muchas cosas para muchas personas, por lo que Maury presenta a los evaluadores una regla general que es más fácil de interpretar de manera consistente: Una respuesta debe contener cláusulas dependientes. Esto distingue entre oraciones como "Mi amigo y yo fuimos a la tienda. Compramos helado. Lo comimos en el camino a casa." (No hay cláusulas dependientes. No cumple con el criterio de "oraciones conectadas".), y "Mi amigo y yo comimos el helado que compramos en la tienda." (Incluye una cláusula dependiente. Cumple parte del criterio de "oraciones conectadas".)
Practicando: Aplicando los criterios a las respuestas de los estudiantes
Una vez que los evaluadores comprenden los criterios, comienzan a aplicar ese conocimiento a los elementos de práctica. Cada vez que califican una respuesta, reciben retroalimentación inmediata sobre si la puntuaron correctamente y una explicación de la calificación correcta. Repitiendo este proceso a través de cientos de respuestas, los evaluadores internalizan los criterios. La excelencia se convierte en un hábito.
Certificación: Asegurando la calidad de los evaluadores
Cuando estén listos, los nuevos evaluadores pueden tomar una prueba de certificación. Si califican correctamente al menos el 90% de las respuestas de los estudiantes, se convierten en evaluadores certificados de Avant. Si no logran alcanzar el nivel del 90%, pueden volver, practicar un poco más y tomar la prueba de certificación nuevamente.
Monitoreo: Manteniendo la excelencia
Incluso después de ser certificados, los evaluadores de Avant tienen que seguir demostrando que son consistentes y confiables. Rater Connection inserta un elemento ancla — acordado por los evaluadores maestros — en cada lote de 25 respuestas reales. Esto le muestra a Maury cómo diferentes evaluadores puntúan ese elemento ancla y asegura que se mantengan fieles al estándar con el tiempo. Además, uno de cada cinco elementos es elegido al azar para una doble calificación. Si los dos primeros evaluadores no están de acuerdo, el elemento pasa a un tercer evaluador con los evaluadores maestros revisando cuidadosamente todas las decisiones de desempate.
Proporcionar calificaciones precisas basadas en la competencia a los estudiantes de idiomas a un costo razonable es una de nuestras contribuciones al campo. Pero el mayor valor de este sistema es que podría usarse para mejorar la enseñanza y el aprendizaje. Esto es lo que le sucedió a Marie-Pierre.
"Por supuesto, estábamos emocionados de escuchar eso", dice Maury. "Pero fue una consecuencia no intencionada. Después de todo, somos una empresa de evaluación y una empresa de desarrollo profesional."
En la próxima entrada del blog, aprende cómo hemos pasado de la Conexión Rater a ADVANCE, una herramienta que las escuelas, distritos y universidades utilizan para ayudar a sus profesores a transformar su enseñanza como Marie-Pierre.
