Учителя как Оценщики=Успех
Мы получаем звонки от школ со всей страны каждый день. Но этот был особенным.
"Что вы сделали с Мари-Пьер?" спросил директор. "Она совершенно другой учитель. Ее класс так жив и ее программа растет. Что бы вы ни делали, это работает."
Сначала вопрос смутил Мори Энниса, который управляет нашими оценщиками, такими как Мари-Пьер. Они не делали ничего особенного с Мари-Пьер, просто провели ее через программу подключения оценщиков, чтобы она могла точно оценивать ответы на говорение и письмо STAMP 4S. И они определенно не говорили ей, как преподавать французский.
С другой стороны, суть обучения на основе стандартов - это набор общепринятых результатов. Оценка тысяч устных и письменных ответов студентов дала Мари-Пьер глубокое и конкретное понимание того, что на самом деле представляет собой профессионализм. На протяжении многих лет она читала слова на бумаге - «знакомые ситуации», «в общем понятно», «связное повествование» - но только когда она села оценивать все эти французские ответы, абстрактные концепции ожили. Оценка этих ответов от разнообразных студентов вынудила ее согласовать свои действия с другими по всей стране.
Надежные оценки профессиональной квалификации - наша миссия
"Наша миссия и наш бизнес зависят от предоставления надежных оценок квалификации каждого студента. Все наши оценщики должны быть на одной волне", - говорит наш основатель Дэвид Бонг.
"Мы оцениваем около 500 000 ответов в год", говорит Мори. "Моя работа состоит в том, чтобы убедиться, что все они оцениваются быстро и точно."
Со студентами и оценщиками, разбросанными по всему миру, у нее нелегкая работа. Чтобы сделать это возможным, наши программисты объединились с Мори, чтобы создать Rater Connection, который был основан на прототипе от Центра прикладных исследований второго языка Университета Орегона (CASLS). Rater Connection - это онлайн-система для обучения, сертификации и мониторинга оценщиков, которые оценивают полмиллиона ответов в год.
Давайте заглянем за кулисы, чтобы увидеть, как Мори и ее команда справляются с этим грандиозным достижением. Система состоит из четырех ключевых компонентов: обучение, практика, сертификация и мониторинг.
Четыре Элемента Оценки Владения Языком
Обучение: Создание конкретных критериев
Мори начинает с ориентации новых оценщиков на критерии STAMP 4S, которые основаны на национальных стандартах профессиональной подготовки США. Так же как тренировки по OPI (Oral Proficiency Interview) дают оценщикам методики и критерии, которые не прямо указаны в стандартах, Avant предоставляет оценщикам конкретные критерии, чтобы сделать абстрактные стандарты более конкретными. Например, стандарты для Intermediate-High говорят, что студенты должны формировать "связные предложения в абзацы, используя ограниченное количество когезивных устройств". Это может означать многое для многих людей, поэтому Мори представляет оценщикам простое правило, которое легче трактовать последовательно: ответ должен содержать придаточные предложения. Это позволяет отличить такие предложения, как "Мой друг и я пошли в магазин. Мы купили мороженое. Мы съели его по дороге домой." (Нет придаточных предложений. Не соответствует критерию "связные предложения".), и "Мой друг и я съели мороженое, которое мы купили в магазине." (Включает придаточное предложение. Соответствует части критерия "связные предложения".)
Практика: Применение критериев к ответам студентов
Как только оценщики понимают критерии, они начинают применять эти знания к практическим элементам. Каждый раз, когда они оценивают ответ, они получают немедленную обратную связь о том, правильно ли они его оценили, и объяснение правильной оценки. Повторяя этот процесс сотни раз с различными ответами, оценщики усваивают критерии. Совершенство становится привычкой.
Сертификация: Гарантия качества оценщиков
Когда они готовы, новые оценщики могут пройти тест на сертификацию. Если они оценивают правильно по крайней мере 90% ответов студентов, они становятся сертифицированными оценщиками Avant. Если им не удается достичь уровня 90%, они могут вернуться, попрактиковаться еще и снова пройти тест на сертификацию.
Мониторинг: Поддержание превосходства
Даже после того, как они получают сертификацию, оценщики Avant должны продолжать доказывать, что они стабильны и надежны. Rater Connection вставляет один якорный элемент — согласованный мастер-оценщиками — в каждую партию из 25 реальных ответов. Это показывает Мори, как разные оценщики оценивают этот якорный элемент и гарантирует, что они со временем остаются верными стандарту. Кроме того, один из пяти элементов случайным образом выбирается для двойной оценки. Если первые два оценщика не согласны, элемент отправляется третьему оценщику, при этом мастер-оценщики тщательно рассматривают все решения по разрешению споров.
Предоставление точных оценок, основанных на уровне владения языком, студентам по доступной цене - один из наших вкладов в данную область. Но наибольшую ценность этой системы представляет то, что ее можно использовать для улучшения преподавания и обучения. Именно это произошло с Marie-Pierre.
"Конечно, мы были в восторге, услышав это," говорит Мори. "Но это было непреднамеренным последствием. В конце концов, мы - компания по оценке и профессиональному развитию."
В следующем посте блога узнайте, как мы перешли от Rater Connection к ADVANCE, инструменту, который школы, округа и университеты используют, чтобы помочь своим учителям преобразить свое преподавание, как Мари-Пьер.
