Как Avant оценивает ответы на устные и письменные вопросы?

Кто оценивает тесты STAMP?

Оценки, выставленные людьми, в Авант STAMP, PLACE, Тесте на знание арабского языка (APT), и тестах на испанский язык для носителей, оцениваются сертифицированными оценщиками Avant, которые являются преподавателями/носителями языка и соответствуют следующим минимальным требованиям:

1. НАВЫКИ ЯЗЫКА: Оценщики должны обладать продвинутым или более высоким уровнем языковых навыков (определяется по результатам телефонного интервью или теста от утвержденной оценки, например, STAMP4S, OPI, Интервью ILR, MOPI, или сертификация учителя Praxis/штата.)
2. ОБРАЗОВАНИЕ: Оценщикам необходимо иметь степень бакалавра или выше
3. ОБУЧЕНИЕ И СЕРТИФИКАЦИЯ: Оценщикам необходимо пройти специализированную Программу обучения оценщиков Avant и набрать 90% согласия в оценке сертификации
4. ДОСТУПНОСТЬ: Оценщикам необходимо быть доступными для оценки определенного количества элементов (ответов студентов) каждую неделю (определяется конкретным менеджером по оценке языка и оценщиком)

Как проходит обучение сертифицированных оценщиков Avant?

Все оценщики должны пройти программу обучения оценщиков Avant и сдать сертификационный тест, прежде чем им будет разрешено оценивать ответы студентов. Процесс обучения включает в себя пять шагов и обычно занимает около 11-13 часов индивидуальной работы и около 2-3 часов с менеджером по обучению оценщиков для завершения.

1. ACADEMIC PREPARATION: Rater candidates study Avant Rater Training materials that explain the proficiency levels based on US national proficiency standards and ILR Proficiency Descriptors and learn how Avant applies these levels to test-taker responses. The goal of this step is to orient the rater candidates to the issues experienced in rating constructed response items (speaking and writing) and outline the range of scores that Avant’s system can assign to test-taker responses. Step 1 is an independent study phase with an expected time commitment of 3-5 hours.
2. РУКОВОДСТВО ПО ОБЗОРУ И ВВЕДЕНИЕ В СИСТЕМУ СВЯЗИ С ОЦЕНЩИКАМИ (RC): Кандидат в оценщики встречается со своим назначенным менеджером по обучению оценщиков, чтобы обсудить и прояснить ключевые элементы учебных материалов, включая уровни владения и детали, которые используются для определения различных уровней. Затем менеджер по обучению оценщиков помогает потенциальному оценщику получить доступ к онлайн-системе связи с оценщиками Avant (см. Шаг 3) и проводит их через несколько ответов, показывая, как использовать систему связи с оценщиками. Шаг 2 обычно проводится в виде виртуальной встречи между кандидатом в оценщики и менеджером по обучению оценщиков с ожидаемым временем участия от 2 до 3 часов.
3. ПРАКТИКА С СИСТЕМОЙ СВЯЗИ С ОЦЕНЩИКОМ (RC): RC от Avant позволяет кандидату на роль оценщика оценивать выбранные обучающие/якорные ответы и получать немедленную обратную связь по их оценке каждого ответа. Цель этого этапа процесса обучения - познакомить кандидата на роль оценщика с множеством ответов тестируемых, которые ранее были оценены Мастер-оценщиками Avant. Каждый обучающий ответ включает подробную аннотацию или объяснение, почему элемент был оценен именно так. Этот процесс позволяет кандидату на роль оценщика оценивать разнообразие ответов на всех уровнях с немедленной обратной связью, чтобы усвоить и применить критерии оценки. Шаг 3 - это самостоятельная онлайн-практика, на которую ожидается затратить от 4 до 5 часов или дольше, если это необходимо, для завершения практических банков ответов.
4. РУКОВОДСТВО ПО АНАЛИЗУ ПРАКТИКИ СВЯЗИ ОЦЕНЩИКА: После того как кандидат в оценщики завершил обучающие ответы в RC, кандидат встречается со своим назначенным менеджером по обучению оценщиков, чтобы обсудить и прояснить вопросы, возникшие во время сессии практического оценивания. В частности, рассматриваются ответы, которые были оценены некорректно, и отвечаются вопросы о критериях оценки и описаниях уровней и их применении к ответам. Менеджер по обучению оценщиков может видеть, с какими критериями потенциальный оценщик столкнулся, и быстро определить области, которые требуют дополнительной поддержки или обучения. На этом этапе менеджер по обучению оценщиков может решить, стоит ли потенциальному оценщику повторить Шаг 3 программы обучения оценщиков Avant или перейти к Шагу 5 для сертификации. Шаг 4 обычно проводится в виде виртуальной встречи между кандидатами в оценщики и менеджером по обучению оценщиков с ожидаемым временным обязательством одного или более часов в зависимости от количества областей, которые необходимо рассмотреть.
5. СЕРТИФИКАЦИЯ: Завершающим этапом в программе обучения оценщиков Avant является прохождение кандидатом на оценщика сертификационного теста, получив при этом согласие на оценку 90% или выше от главных оценщиков Avant. Для прохождения этого теста, кандидат на оценщика получает доступ к системе связи оценщиков и оценивает банк сертификационных ответов в процессе, который повторяет опыт, который они получат при оценке ответов студентов в рабочей системе. Банк сертификации состоит из ответов, ранее оцененных главными оценщиками Avant, но без аннотаций или комментариев, предоставленных во время учебных сессий. По завершении сертификационного теста, кандидату на оценщика сообщается его оценка. Затем менеджер по обучению оценщиков встречается с кандидатом на оценщика, чтобы определить проблемы с оценкой, при необходимости привлекая их к дополнительным обучающим мероприятиям. Кандидаты на оценщика, которые достигают согласия 90% или выше с главными оценщиками Avant, получают статус сертифицированных оценщиков Avant, которые имеют право оценивать активные ответы на тест STAMP.
6. ЖИВОЙ РЕЙТИНГ: После того, как кандидат в оценщики прошел все элементы обучения и сдал тест на сертификацию, ему предоставляется доступ к живым ответам в Системе Связи Оценщиков. Затем новопрошедшему сертификацию Оценщику дают указания войти в систему и оценить пакет (25 ответов), сообщив своему Менеджеру Оценщиков, когда они завершат пакет. Менеджер Оценщиков затем входит на административный сайт, чтобы проверить каждый элемент, оцененный Сертифицированным Оценщиком, и убедиться в точности оценок. Когда Менеджер Оценщиков удовлетворен точностью оценки ответов новопрошедшего сертификацию Оценщика, Оценщик может продолжить оценку. Менеджер Оценщиков продолжает тщательно наблюдать за новопрошедшим сертификацию Оценщиком в течение первых нескольких недель оценки.
7. Эта программа Avant Rater была разработана и отточена для удовлетворения требований по установлению высоких уровней качества и точности всех оценщиков Avant. Также регулярно проводится точечное обучение, поскольку менеджеры оценщиков Avant, специализирующиеся на конкретном языке, ежедневно просматривают статистику надежности и точности межоценщика. Система оценки STAMP обеспечивает постоянный контроль за тенденциями оценки и предупреждает менеджеров оценщиков о проблемах с оценкой и аномалиях, чтобы можно было провести переобучение вовремя.

Как Оцениваются STAMP Тесты?

Оценка человеком ответов на тестовые задания Avant STAMP проводится в онлайн-среде Rater Connection. Тестовые задания по чтению и аудированию (выбор ответа из нескольких вариантов) оцениваются компьютером. Составные ответы (устные и письменные) оцениваются сертифицированными оценщиками Avant через веб-интерфейс. В частности, онлайн-система распределенной оценки Avant, система Rater Connection, управляет всеми ответами студентов и облегчает оценку, распределяя очереди из 25 письменных или устных ответов сертифицированным оценщикам Avant при входе в систему. Оценщики оценивают каждый ответ пошаговым процессом, тщательно рассматривая каждый из четырех элементов оценки или критериев.

Четыре Оцениваемых Элемента Тестов на Знание Языка Avant

1. Ответ оцениваемый и по заданию?
2. Какой тип текста или количество языка, специфического для уровня, очевидно?
3. Каково качество текста с точки зрения общей понятности?
4. Какова общая точность ответа?

Система подсчета отслеживает и вычисляет все оценки, а затем генерирует совокупный балл для каждого ответа на основе этих критериев оценки.

Что такое надежность оценки между экспертами (IRR) и как она контролируется?

Надежность оценки между экспертами (IRR)) - это мера того, насколько последовательно Сертифицированные Оценщики применяют критерии оценки Avant к ответам студентов. Avant стремится поддерживать высокий уровень надежности оценки между экспертами через постоянное сравнение оценок и проведение постоянного обучения по мере необходимости. В частности, надежность оценки между экспертами отслеживается в системе, поскольку 20% всех ответов направляются второму оценщику для слепой второй оценки этого ответа. Это означает, что в каждой очереди из 25 ответов (количество ответов студентов, оцененных в одной партии) есть 5 ответов, которые были ранее оценены другим Сертифицированным Оценщиком. Затем система отслеживает, как второй Сертифицированный Оценщик оценивает эти ответы. Если есть разница в присвоенных уровнях между первым и вторым Сертифицированным Оценщиком, RC отправляет этот ответ третьему Сертифицированному Оценщику, который арбитражно определяет оценку. Менеджеры Оценщиков могут видеть, какие ответы получили две оценки и, что более важно, те ответы, которые получили три оценки, и могут отслеживать, как каждый ответ был оценен тремя разными оценщиками. Менеджеры Оценщиков могут видеть тенденции в оценке и направлять обучение в реальном времени любому Сертифицированному Оценщику, нуждающемуся в переобучении. Затем Менеджеры Оценщиков собирают и используют эти "сложные" ответы для тренировочных сессий.

Как Avant измеряет надежность оценки между экспертами (IRR)?

Avant использует двухкритериальную рубрику для присвоения оценок устным и письменным ответам. Два критерия, как указано выше, - это Тип текста (количество языка) и Точность (понятность). Для наших целей мы придаем больший вес критерию Тип текста для уровней 1-6 (от Новичка-Низкого до Среднего-Высокого) и затем более сбалансированный вес для уровней 7 и 8 (Продвинутый-Низкий и Средний). Когда сертифицированные оценщики оценивают устные и письменные ответы студентов, они сначала определяют оценку типа текста по следующим возможным вариантам:

• Неподлежащий оценке (0)
• Слова (1)
• Фразы (2)
• Простые предложения (3)
• Строки Предложений (4)
• Связанные предложения (5)
• Возникающий Параграф (6)
• Структура Параграфа (7)
• Расширенный абзац (8)

После определения критерия Типа Текста, RC направляет оценщика определить Точность/Понятность ответа, предлагая следующие варианты для конкретного балла Типа Текста: ниже среднего, средний или выше среднего. RC объединяет баллы по обоим этим критериям, чтобы определить окончательный балл/уровень для этого ответа. Затем Avant может просмотреть согласованность Сертифицированных Оценщиков на каждом языке, чтобы определить процент IRR для любого языка за любой период времени.

Как Avant измеряет точность рейтинга и контролирует дрейф?

Равно важным для межоценщиковой надежности является конструкция точности. Идеально, чтобы все оценщики были единодушны, что обеспечивает высокую IRR, но если есть какое-либо отклонение от стандартов (слишком высокая или низкая оценка ответов), нам нужно знать об этой ситуации. Чтобы устранить отклонения, Avant вводит якорные элементы (отрывки, которые были выбраны и предварительно оценены каждым менеджером оценщиков языка) в очереди оценки, затем менеджеры оценщиков следят за тем, как сертифицированные оценщики оценивают эти специальные ответы. Так же, как и ответы IRR, они предоставляются оценщикам в слепом порядке, чтобы оценщики не могли каким-либо образом идентифицировать эти ответы. Затем менеджеры оценщиков могут увидеть, отклоняются ли оценщики от стандартов. На основе этой информации менеджеры оценщиков могут устранить любые отклонения через повторное обучение и сессии поддержки. Это важная функция нашей системы связи с оценщиками и может быть настроена на предоставление якорных элементов на предопределенных интервалах.

Как Вычисляются и Отчитываются Финальные Уровни для Каждого Навыка?

Тест Avant STAMP предоставляет три устных и три письменных задания каждому участнику теста, которому назначена эта область или фаза теста, то есть, устная или письменная. Итоговый отчетный балл рассчитывается на основе двух наивысших баллов из трех образцов. Таким образом, итоговый присвоенный уровень учитывает каждый ответ, который был представлен и оценен сертифицированными оценщиками Avant, и определяет уровень, который участник теста смог поддерживать на протяжении трех заданий.

Например:

Тестируемый, который получает 3 (Начальный-Высокий) за свой первый ответ, 4 (Средний-Низкий) за свой второй ответ и 3 (Начальный-Высокий) за свой третий ответ, получит итоговую оценку 3 (Начальный-Высокий) по этой области. Это указывает на то, что КАК МИНИМУМ студент смог поддерживать уровень 3 (Начальный-Высокий) владения. Однако, в данном случае, один ответ был оценен на более высоком уровне, и поэтому в отчет включена синяя полоса, указывающая на то, что этот студент может приближаться к следующему более высокому уровню, и это побуждает учителя обратить внимание на этот конкретный ответ. Поскольку итоговый балл или уровень определяется исходя из результатов всех трех ответов, система способна справиться с любым отдельным ответом, который мог быть оценен неверно или на который тестируемый просто не смог ответить, и поддерживать точность отчетности по общей способности тестируемого по каждой области.

Таким образом, процесс использования двух наивысших оценок за говорение или письмо для определения окончательного уровня студента в говорении или письме используется для минимизации сообщений о ложноотрицательных или ложноположительных оценках для общего балла по домену.