¿Cómo Califica Avant las Respuestas de Habla y Escritura?

¿Quién Califica las Pruebas STAMP?

Las respuestas evaluadas por humanos en el Avant STAMP, PLACE, Examen de Competencia en Árabe (APT), y los exámenes de Lengua Heredada Española son calificadas por Evaluadores Certificados de Avant, quienes son educadores/hablantes de idiomas que cumplen con los siguientes requisitos mínimos:

1. HABILIDAD LINGÜÍSTICA: Los evaluadores deben mantener un nivel avanzado o superior de habilidades lingüísticas (determinado por entrevista telefónica o puntuación de prueba de una evaluación aprobada, es decir, STAMP4S, OPI, Entrevista ILR, MOPI, o certificación de maestro de Praxis/estado.)
2. EDUCACIÓN: Los evaluadores deben tener una licenciatura o superior
3. FORMACIÓN & CERTIFICACIÓN: Los evaluadores deben completar el Programa de Formación de Evaluadores de Avant específico para su idioma y obtener un 90% de coincidencia en la evaluación de certificación.
4. DISPONIBILIDAD: Los evaluadores deben estar disponibles para calificar un número especificado de ítems (respuestas de los estudiantes) cada semana (determinado por el Gerente de Calificación del idioma específico y el evaluador)

¿Cómo se Entrenan los Evaluadores Certificados de Avant?

Todos los evaluadores deben completar el Programa de Capacitación de Evaluadores de Avant y aprobar una prueba de certificación antes de que se les permita calificar las respuestas de los estudiantes. El proceso de capacitación incluye cinco pasos y generalmente requiere alrededor de 11-13 horas de trabajo individual y alrededor de 2-3 horas con un Gerente de Capacitación de Evaluadores para completar.

1. PREPARACIÓN ACADÉMICA: Los candidatos a evaluadores estudian los materiales de formación de Avant Rater que explican los niveles de competencia basados en los estándares nacionales de competencia de los EE. UU. y los Descriptores de Competencia ILR, y aprenden cómo Avant aplica estos niveles a las respuestas de los examinados. El objetivo de este paso es orientar a los candidatos a evaluadores sobre los problemas experimentados al calificar elementos de respuesta construidos (hablar y escribir) y delinear el rango de calificaciones que el sistema de Avant puede asignar a las respuestas de los examinados. El paso 1 es una fase de estudio independiente con un compromiso de tiempo esperado de 3-5 horas.
2. REVISIÓN GUIADA E INTRODUCCIÓN AL SISTEMA DE CONEXIÓN DE EVALUADORES (RC): El candidato a evaluador se reúne con su Gerente de Formación de Evaluadores asignado para discutir y aclarar los elementos clave de los materiales de formación, incluyendo los niveles de competencia y los detalles que se utilizan para identificar los diversos niveles. El Gerente de Formación de Evaluadores luego asiste al evaluador prospecto en el acceso al Software de Conexión de Evaluadores en línea de Avant (ver Paso 3) y les guía a través de varias respuestas, mostrando cómo usar el Sistema de Conexión de Evaluadores. El Paso 2 generalmente se realiza como una reunión virtual entre el candidato a evaluador y el Gerente de Formación de Evaluadores con un compromiso de tiempo esperado de 2-3 horas.
3. PRÁCTICA CON EL SISTEMA DE CONEXIÓN CON EVALUADORES (RC): El RC de Avant permite al candidato a evaluador calificar las respuestas de entrenamiento/ancora seleccionadas y recibir retroalimentación inmediata sobre su calificación de cada respuesta. El propósito de esta etapa del proceso de entrenamiento es exponer al candidato a evaluador a muchas respuestas de los examinados que han sido previamente calificadas por los Evaluadores Maestros de Avant. Cada respuesta de entrenamiento incluye una anotación detallada o explicación de por qué el ítem fue calificado de la manera en que lo fue. Este proceso permite al candidato a evaluador evaluar una variedad de respuestas en todos los niveles con retroalimentación inmediata para internalizar y aplicar los criterios de calificación. El paso 3 es una sesión de práctica en línea independiente con un compromiso de tiempo esperado de 4-5 horas o más si es necesario, para completar los bancos de práctica de respuestas.
4. ANÁLISIS GUIADO DE LA PRÁCTICA DE CONEXIÓN DEL EVALUADOR: Una vez que el candidato a evaluador ha completado las respuestas de entrenamiento en el RC, el candidato se reúne con su Gerente de Entrenamiento de Evaluadores asignado para discutir y aclarar los problemas que surgieron durante la sesión de puntuación de práctica. Específicamente, se revisan las respuestas que no se puntuaron correctamente y se responden las preguntas sobre los criterios de puntuación y las descripciones de los niveles y su aplicación a las respuestas. El Gerente de Entrenamiento de Evaluadores puede ver con qué criterios tuvo dificultades el evaluador prospectivo y puede identificar rápidamente las áreas que necesitan más apoyo o entrenamiento. En este punto, el Gerente de Entrenamiento de Evaluadores puede decidir si hacer que el Evaluador prospectivo repita el Paso 3 del Programa de Entrenamiento de Evaluadores de Avant o pasar al Paso 5 para la certificación. El Paso 4 generalmente se lleva a cabo como una reunión virtual entre los candidatos a evaluadores y el Gerente de Entrenamiento de Evaluadores con un compromiso de tiempo esperado de una o más horas dependiendo del número de áreas que deben revisarse.
5. CERTIFICACIÓN: El último paso en el Programa de Capacitación de Evaluadores de Avant consiste en que el candidato a evaluador apruebe una prueba de certificación obteniendo un acuerdo del 90% o más en la calificación con los Evaluadores Maestros de Avant. Para completar esta prueba, el candidato a evaluador accede al Sistema de Conexión de Evaluadores y califica un banco de certificación de respuestas en un proceso que replica la experiencia que tendrán cuando califiquen las respuestas de los estudiantes en el sistema en vivo. El banco de certificación consta de respuestas previamente calificadas por los Evaluadores Maestros de Avant, pero sin las anotaciones o comentarios proporcionados durante las sesiones de capacitación. Al concluir la prueba de certificación, se notifica al candidato a evaluador su puntuación. Luego, el Gerente de Capacitación de Evaluadores se reúne con el candidato a evaluador para identificar problemas de calificación, involucrándolos en actividades de reciclaje según sea necesario. Los candidatos a evaluadores, que logran un acuerdo del 90% o más con los Evaluadores Maestros de Avant, son designados como Evaluadores Certificados de Avant que están calificados para calificar las respuestas activas de la prueba STAMP.
6. CALIFICACIÓN EN VIVO: Después de que el candidato a evaluador ha completado todos los elementos de formación y ha aprobado la prueba de certificación, se le da acceso a las respuestas en vivo en el Sistema de Conexión de Evaluadores. Luego se instruye al Evaluador Certificado recién formado para que ingrese al sistema y califique un lote (25 respuestas), informando a su Gerente de Evaluadores cuando complete el lote. El Gerente de Evaluadores luego ingresa al sitio de Administración para revisar cada ítem calificado por el Evaluador Certificado para verificar que las puntuaciones sean precisas. Cuando el Gerente de Evaluadores está satisfecho con la precisión de la calificación de las respuestas del nuevo Evaluador Certificado, el Evaluador puede continuar calificando. El Gerente de Evaluadores continúa supervisando de cerca al nuevo Evaluador Certificado durante las primeras semanas de calificación.
7. Este Programa de Evaluadores Avant ha sido desarrollado y perfeccionado para satisfacer las demandas de establecer altos niveles de calidad y precisión en todos los evaluadores Avant. La formación puntual también ocurre de manera continua, ya que los Gerentes de Evaluadores específicos de idioma de Avant revisan la fiabilidad y las estadísticas de precisión entre evaluadores cada día. El sistema de calificación STAMP facilita el monitoreo constante de las tendencias de puntuación y alerta a los Gerentes de Evaluadores sobre problemas y anomalías en la puntuación para que pueda llevarse a cabo una reentrenamiento justo a tiempo.

¿Cómo se califican las pruebas STAMP?

La calificación humana de las respuestas a los elementos de prueba de Avant STAMP se realiza en el entorno en línea de Rater Connection. Los elementos de prueba de lectura y escucha (opción múltiple) son calificados por computadora. Las respuestas construidas (hablar y escribir) son calificadas por los Calificadores Certificados de Avant a través de una interfaz basada en la web. Específicamente, el sistema de calificación distribuido en línea de Avant, el Sistema de Conexión de Calificadores, gestiona todas las respuestas de los estudiantes y facilita la calificación distribuyendo colas de 25 respuestas escritas o habladas a los Calificadores Certificados de Avant cuando inician sesión en el sistema. Los calificadores puntúan cada respuesta en un proceso de asistente paso a paso, considerando cuidadosamente cada uno de los cuatro elementos de calificación o criterios.

Los Cuatro Elementos de Puntuación Para las Pruebas de Competencia Lingüística de Avant ...

1. ¿Es la respuesta calificable y en la tarea?
2. ¿Qué tipo de texto o cantidad de lenguaje específico de nivel es evidente?
3. ¿Cuál es la calidad del texto en términos de la comprensibilidad general?
4. ¿Cuál es la precisión general de la respuesta?

El sistema de puntuación rastrea y calcula todas las calificaciones y luego genera una puntuación compuesta para cada respuesta, basada en estos criterios de evaluación.

¿Qué es la Confiabilidad Inter-Jueces (IRR) y cómo se supervisa?

Inter-Rater Reliability (IRR)) es una medida de cuán consistentes son los Evaluadores Certificados al aplicar los criterios de puntuación de Avant a las respuestas de los estudiantes. Avant se esfuerza por mantener un alto nivel de Inter-Rater Reliability a través de la comparación constante de calificaciones y la entrega de formación continua según sea necesario. Específicamente, la Inter-Rater Reliability se rastrea en el sistema ya que el 20% de todas las respuestas se entregan a un segundo evaluador para una segunda calificación a ciegas de esa respuesta. Esto significa que en cada cola de 25 respuestas (el número de respuestas de estudiantes calificadas en un lote) hay 5 respuestas que han sido previamente calificadas por otro Evaluador Certificado. El sistema luego monitorea cómo un segundo Evaluador Certificado califica estas respuestas. Si hay una diferencia de niveles asignados entre el primer y segundo Evaluador Certificado, el RC envía esa respuesta a un tercer Evaluador Certificado que arbitra la puntuación. Los Gerentes de Evaluadores pueden ver qué respuestas han recibido dos puntuaciones y, más importante aún, aquellas respuestas que recibieron tres puntuaciones y pueden rastrear cómo cada respuesta fue calificada a través de los tres evaluadores diferentes. Los Gerentes de Evaluadores pueden ver tendencias en la puntuación y dirigir la formación just-in-time a cualquier Evaluador Certificado que necesite reentrenamiento. Los Gerentes de Evaluadores luego recopilan y utilizan estas respuestas "desafiantes" para las sesiones de entrenamiento.

¿Cómo mide Avant la Confiabilidad Inter-Jueces (IRR)?

Avant utiliza una rúbrica de dos criterios para asignar puntuaciones a las respuestas habladas y escritas. Los dos criterios, como se indicó anteriormente, son el Tipo de Texto (cantidad de lenguaje) y la Precisión (comprensibilidad). Para nuestros propósitos, damos un mayor peso al criterio de Tipo de Texto para los niveles 1-6 (Principiante-Low through Intermediate-High) y luego un peso más equilibrado para los niveles 7 y 8 (Advanced-Low and Mid). A medida que los Evaluadores Certificados evalúan las respuestas de los estudiantes a la expresión oral y escrita, primero determinan la puntuación del tipo de texto con las siguientes posibles selecciones:

• No Calificable (0)
• Palabras (1)
• Frases (2)
• Oraciones Simples (3)
• Cadenas de Oraciones (4)
• Frases Conectadas (5)
• Párrafo Emergente (6)
• Estructura de Párrafo (7)
• Párrafo Extendido (8)

Una vez que se ha determinado el criterio de Tipo de Texto, el RC dirige al evaluador para determinar la Precisión/Comprensibilidad de la respuesta con las siguientes opciones para la puntuación específica del Tipo de Texto: por debajo de la media, media o por encima de la media. RC combina las puntuaciones de ambos criterios para determinar la puntuación/nivel final para esa respuesta. Avant entonces puede revisar el acuerdo de los Evaluadores Certificados en cada idioma para determinar el porcentaje de IRR para cualquier idioma en cualquier período de tiempo.

¿Cómo Mide Avant la Precisión de la Calificación y Monitorea el Desplazamiento?

Igualmente importante para la Confiabilidad entre Evaluadores es el constructo de Precisión. Lo ideal es que todos los evaluadores estén de acuerdo produciendo una alta IRR, pero si hay alguna desviación de los estándares (puntuando las respuestas demasiado alto o demasiado bajo), necesitamos saber sobre esa situación también. Para abordar la desviación, Avant inyecta elementos de anclaje (pasajes que han sido seleccionados y pre-puntuados por cada Gerente de Evaluadores de Idiomas) en las colas de evaluación, luego los Gerentes de Evaluadores monitorean cómo los Evaluadores Certificados puntúan estas respuestas especiales. Al igual que las respuestas IRR, estas se entregan a los evaluadores de manera ciega para que los evaluadores no puedan identificar estas respuestas de ninguna manera. Los Gerentes de Evaluadores pueden entonces ver si los evaluadores se están desviando de los estándares. Basándose en esta información, los Gerentes de Evaluadores pueden abordar cualquier desviación a través de sesiones de reentrenamiento y apoyo. Esta es una característica importante de nuestro Sistema de Conexión de Evaluadores y se puede configurar para entregar elementos de anclaje en intervalos predeterminados.

¿Cómo Se Derivan y Reportan Los Niveles Finales Para Cada Habilidad?

La prueba Avant STAMP proporciona tres indicaciones de habla y tres de escritura a cada persona que realiza la prueba que se le asigna esa área o fase de la prueba, es decir, hablar o escribir. La puntuación final reportada se calcula en base a las dos puntuaciones más altas de las tres muestras. Por lo tanto, el nivel final asignado considera cada respuesta que fue enviada y calificada por los Evaluadores Certificados de Avant y determina el nivel que el examinado pudo mantener a lo largo de las tres tareas.

Por ejemplo:

Un examinado que recibe un 3 (Principiante-High) para su primera respuesta, un 4 (Intermedio-Bajo) para su segunda respuesta, y un 3 (Principiante-High) para su tercera respuesta recibirá una puntuación final de 3 (Principiante-High) para ese dominio. Esto indica que como MÍNIMO el estudiante fue capaz de mantener el nivel 3 (Principiante-High) de competencia. Sin embargo, en este caso, una respuesta fue calificada en realidad a un nivel superior y por lo tanto se incluye una barra azul en el informe para indicar que este estudiante puede estar acercándose al siguiente nivel superior y anima al profesor a mirar esa respuesta específica. Debido a que la puntuación final o nivel se deriva del resultado de las tres respuestas, el sistema es capaz de manejar cualquier respuesta individual que pueda haber sido calificada incorrectamente o a la que el examinado simplemente no haya podido responder y mantener un informe preciso para la capacidad general del examinado para cada dominio.

Por lo tanto, el proceso de utilizar las dos puntuaciones más altas de habla o escritura para asignar el nivel final de habla o escritura del estudiante se emplea para minimizar la notificación de calificaciones falsas negativas o falsas positivas para la puntuación global del dominio.