Jak Avant ocenia odpowiedzi mówione i pisane?

Kto Ocenia Testy STAMP?

Oceny przyznawane przez ludzi w Avant STAMP, PLACE, Test Biegłości w Języku Arabskim (APT) oraz testach języka hiszpańskiego dla osób z hiszpańskim dziedzictwem językowym, są oceniane przez certyfikowanych oceniających Avant, którzy są edukatorami / mówcami języka spełniającymi następujące minimalne wymagania:

1. UMIEJĘTNOŚCI JĘZYKOWE: Oceny muszą utrzymywać zaawansowany lub wyższy poziom umiejętności językowych (ustalony podczas rozmowy telefonicznej lub na podstawie wyników testów zatwierdzonych ocen, tj. STAMP4S, OPI, Wywiad ILR, MOPI, lub certyfikacja nauczyciela Praxis/stanu.)
2. EDUKACJA: Oceniający muszą posiadać tytuł licencjata lub wyższy
3. SZKOLENIE I CERTRYFIKACJA: Oceniarki muszą ukończyć językowo-szczegółowy Program Szkolenia dla Oceniarek Avant i uzyskać 90% zgodności w ocenie certyfikacyjnej.
4. DOSTĘPNOŚĆ: Oceniający muszą być dostępni do oceny określonej liczby elementów (odpowiedzi uczniów) każdego tygodnia (ustalonej przez konkretnego Menedżera Oceny Języka i oceniającego)

Jak Są Szkoleni Certyfikowani Oceniacy Avant?

Wszyscy oceniający muszą ukończyć Program Szkolenia Oceniących Avant i zdać test certyfikacyjny, zanim będą mogli oceniać odpowiedzi uczniów. Proces szkolenia obejmuje pięć etapów i zazwyczaj zajmuje około 11-13 godzin indywidualnej pracy oraz około 2-3 godzin z Menadżerem Szkolenia Oceniących do ukończenia.

1. PRZYGOTOWANIE AKADEMICKIE: Kandydaci na oceniających studiują materiały szkoleniowe Avant Rater, które wyjaśniają poziomy biegłości oparte na amerykańskich krajowych standardach biegłości i deskryptorach biegłości ILR oraz uczą się, jak Avant stosuje te poziomy do odpowiedzi osób przystępujących do testu. Celem tego kroku jest zorientowanie kandydatów na oceniających w problemach napotykanych podczas oceniania skonstruowanych odpowiedzi (mówienie i pisanie) oraz zarysowanie zakresu wyników, które system Avant może przypisać odpowiedziom osób przystępujących do testu. Krok 1 to faza samodzielnej nauki z przewidywanym zaangażowaniem czasowym od 3 do 5 godzin.
2. PRZEWODNIK PO RECENZJI I WPROWADZENIE DO SYSTEMU POŁĄCZENIA Z RECENZENTEM (RC): Kandydat na recenzenta spotyka się ze swoim przypisanym Menedżerem Szkolenia Recenzentów, aby omówić i wyjaśnić kluczowe elementy materiałów szkoleniowych, w tym poziomy biegłości i szczegóły, które są używane do identyfikacji różnych poziomów. Menedżer Szkolenia Recenzentów następnie pomaga potencjalnemu recenzentowi w dostępie do internetowego oprogramowania Avant’s Rater Connection (zobacz Krok 3) i prowadzi go przez kilka odpowiedzi, pokazując, jak korzystać z Systemu Połączenia z Recenzentem. Krok 2 zazwyczaj jest przeprowadzany jako wirtualne spotkanie między kandydatem na recenzenta a Menedżerem Szkolenia Recenzentów, z oczekiwanym zaangażowaniem czasowym wynoszącym 2-3 godziny.
3. ĆWICZ Z SYSTEMEM POŁĄCZENIA Z OCENIAJĄCYM (RC): System RC firmy Avant umożliwia kandydatowi na oceniającego ocenianie wybranych odpowiedzi treningowych/kluczowych i otrzymywanie natychmiastowego feedbacku na temat ich oceny każdej odpowiedzi. Celem tego etapu procesu szkolenia jest zapoznanie kandydata na oceniającego z wieloma odpowiedziami osób przystępujących do testu, które zostały wcześniej ocenione przez Mistrzów Oceny firmy Avant. Każda odpowiedź treningowa zawiera szczegółową adnotację lub wyjaśnienie, dlaczego element został oceniony w ten sposób. Proces ten pozwala kandydatowi na oceniającego oceniać różnorodne odpowiedzi na wszystkich poziomach z natychmiastowym feedbackiem, aby wewnętrznie przyswoić i zastosować kryteria oceny. Krok 3 to niezależna sesja praktyki online z oczekiwanym zaangażowaniem czasowym wynoszącym 4-5 godzin lub dłużej, jeśli to konieczne, aby ukończyć banki odpowiedzi do ćwiczeń.
4. ANALIZA POD KIERUNKIEM PRZEPŁYWU PRACY OCENIAJĄCEGO: Po zakończeniu odpowiedzi na szkolenie przez kandydata na oceniającego w RC, kandydat spotyka się z przypisanym Menedżerem Szkolenia Oceniających, aby omówić i wyjaśnić problemy, które pojawiły się podczas sesji praktycznego oceniania. Konkretnie, odpowiedzi, które nie zostały ocenione poprawnie, są przeglądane, a pytania dotyczące kryteriów oceny i opisów poziomów oraz ich zastosowania do odpowiedzi są udzielane. Menedżer Szkolenia Oceniających jest w stanie zobaczyć, z którymi kryteriami potencjalny oceniający miał problemy i szybko zidentyfikować obszary, które wymagają dalszego wsparcia lub szkolenia. W tym momencie Menedżer Szkolenia Oceniających może zdecydować, czy kazać potencjalnemu Oceniającemu powtórzyć Krok 3 Programu Szkolenia Oceniających Avant, czy przejść do Kroku 5 w celu certyfikacji. Krok 4 zwykle przeprowadzany jest jako wirtualne spotkanie między kandydatami na oceniających a Menedżerem Szkolenia Oceniających, z oczekiwanym zaangażowaniem czasowym wynoszącym jedną lub więcej godzin, w zależności od liczby obszarów, które muszą być przejrzane.
5. CERTYFIKACJA: Ostatnim krokiem w Programie Szkolenia Oceny Avant jest zdanie przez kandydata na oceniającego testu certyfikacyjnego, uzyskując 90% lub wyższą zgodność w ocenie z Głównymi Oceniaczami Avant. Aby ukończyć ten test, kandydat na oceniającego uzyskuje dostęp do Systemu Połączenia Oceniaczów i ocenia bank odpowiedzi certyfikacyjnych w procesie, który odwzorowuje doświadczenie, jakie będą mieli, gdy będą oceniać odpowiedzi uczniów w systemie na żywo. Bank certyfikacyjny składa się z odpowiedzi wcześniej ocenianych przez Głównych Oceniaczów Avant, ale bez adnotacji lub komentarzy dostarczanych podczas sesji szkoleniowych. Na zakończenie testu certyfikacyjnego, kandydat na oceniającego jest informowany o swoim wyniku. Menedżer Szkolenia Oceniaczów spotyka się następnie z kandydatem na oceniającego, aby zidentyfikować problemy z oceną, angażując go w razie potrzeby w działania szkoleniowe. Kandydaci na oceniających, którzy osiągną 90% lub wyższą zgodność z Głównymi Oceniaczami Avant, są uznawani za Certyfikowanych Oceniaczów Avant, którzy są uprawnieni do oceny aktywnych odpowiedzi na test STAMP.
6. OCENA NA ŻYWO: Po tym, jak kandydat na oceniającego ukończył wszystkie elementy szkolenia i zdał test certyfikacyjny, otrzymuje dostęp do odpowiedzi na żywo w Systemie Połączenia Oceniających. Nowo Certyfikowany Oceniający otrzymuje wtedy instrukcje, aby wejść do systemu i ocenić partię (25 odpowiedzi), informując swojego Menedżera Oceniających, gdy zakończy ocenę partii. Menedżer Oceniających wchodzi następnie na stronę Admina, aby przejrzeć każdy element oceniony przez Certyfikowanego Oceniającego i sprawdzić, czy wyniki są poprawne. Gdy Menedżer Oceniających jest zadowolony z dokładności oceny odpowiedzi przez nowo Certyfikowanego Oceniającego, Oceniający może kontynuować ocenianie. Menedżer Oceniających nadal monitoruje nowo Certyfikowanego Oceniającego szczególnie uważnie podczas pierwszych tygodni oceniania.
7. Ten program Avant Rater został opracowany i doszlifowany, aby sprostać wymaganiom ustanowienia wysokich standardów jakości i precyzji we wszystkich oceniających Avant. Szkolenia punktowe odbywają się również na bieżąco, gdy menedżerowie oceniających specyficznych dla języka Avant przeglądają codziennie statystyki niezawodności i precyzji między oceniającymi. System oceniania STAMP umożliwia ciągłe monitorowanie trendów w ocenach i informuje menedżerów oceniających o problemach i anomalii w ocenach, dzięki czemu można przeprowadzić szkolenie dokładnie w odpowiednim momencie.

Jak są oceniane testy STAMP?

Ocena ludzka odpowiedzi na elementy testu Avant STAMP jest przeprowadzana w środowisku online Rater Connection. Elementy testu z czytania i słuchania (testy wielokrotnego wyboru) są oceniane przez komputer. Skonstruowane odpowiedzi (mówienie i pisanie) są oceniane przez certyfikowanych oceniających Avant za pośrednictwem interfejsu internetowego. Konkretnie, online, rozproszony system oceniania Avant, Rater Connection System, zarządza wszystkimi odpowiedziami uczniów i ułatwia ocenianie poprzez dystrybucję kolejek 25 pisemnych lub mówionych odpowiedzi do certyfikowanych oceniających Avant, kiedy logują się do systemu. Oceniający oceniają każdą odpowiedź w procesie krok po kroku, starannie rozważając każdy z czterech elementów oceny lub kryteriów.

Cztery Elementy Oceny dla Testów Biegłości Językowej Avant ...

1. Czy odpowiedź jest ocenialna i zgodna z zadaniem?
2. Jakiego rodzaju tekst lub ilość języka specyficznego dla danego poziomu jest widoczna?
3. Jaką jakość ma tekst pod względem ogólnej zrozumiałości?
4. Jaką jest ogólną dokładność odpowiedzi?

System punktacji śledzi i oblicza wszystkie oceny, a następnie generuje łączny wynik dla każdej odpowiedzi, oparty na tych kryteriach oceny.

Co to jest Niezawodność Międzyoceniająca (IRR) i jak jest monitorowana?

Zgodność między oceniającymi (IRR)) jest miarą, która pokazuje, jak spójnie Certyfikowani Oceniający stosują kryteria oceny Avant do odpowiedzi uczniów. Avant dąży do utrzymania wysokiego poziomu Zgodności między Oceniającymi poprzez ciągłe porównywanie ocen i dostarczanie bieżącego szkolenia w razie potrzeby. Konkretnie, Zgodność między Oceniającymi jest śledzona w systemie, ponieważ 20% wszystkich odpowiedzi jest przekazywanych do drugiego oceniającego w celu uzyskania ślepej drugiej oceny tej odpowiedzi. Oznacza to, że w każdej kolejce 25 odpowiedzi (liczba odpowiedzi uczniów ocenianych w jednej partii) jest 5 odpowiedzi, które zostały wcześniej ocenione przez innego Certyfikowanego Oceniającego. System następnie monitoruje, jak drugi Certyfikowany Oceniający ocenia te odpowiedzi. Jeśli istnieje różnica między poziomami przypisanymi przez pierwszego i drugiego Certyfikowanego Oceniającego, RC wysyła tę odpowiedź do trzeciego Certyfikowanego Oceniającego, który arbitruje wynik. Menedżerowie Oceniających mogą zobaczyć, które odpowiedzi otrzymały dwie oceny i, co ważniejsze, te odpowiedzi, które otrzymały trzy oceny, i mogą śledzić, jak każda odpowiedź była oceniana przez trzech różnych oceniających. Menedżerowie Oceniających mogą zauważyć trendy w ocenach i kierować szkolenia na czas do każdego Certyfikowanego Oceniającego potrzebującego przeszkolenia. Menedżerowie Oceniających następnie zbierają i wykorzystują te "trudne" odpowiedzi podczas sesji szkoleniowych.

Jak Avant mierzy wiarygodność między oceniającymi (IRR)?

Avant wykorzystuje rubrykę opartą na dwóch kryteriach do przyznawania punktów za odpowiedzi mówione i pisemne. Dwa kryteria, jak wskazano powyżej, to Typ Tekstu (ilość języka) i Dokładność (zrozumiałość). Dla naszych celów, przykładamy większą wagę do kryterium Typu Tekstu dla poziomów 1-6 (Novice-Low do Intermediate-High), a następnie bardziej zrównoważoną wagę dla poziomów 7 i 8 (Advanced-Low i Mid). Kiedy Certyfikowani Oceniacy oceniają odpowiedzi mówione i pisemne uczniów, najpierw ustalają wynik typu tekstu z następującymi możliwymi wyborami:

• Nieoceniane (0)
• Słowa (1)
• Zwroty (2)
• Proste zdania (3)
• Ciągi Zdań (4)
• Połączone Zdania (5)
• Powstający Akapit (6)
• Struktura Akapitu (7)
• Rozszerzony Paragraf (8)

Po określeniu kryterium Typu Tekstu, RC kieruje oceniającego do określenia Dokładności/Zrozumiałości odpowiedzi, dając następujące wybory dla konkretnego wyniku Typu Tekstu: poniżej średniej, średnia lub powyżej średniej. RC łączy wyniki z obu tych kryteriów, aby określić końcowy wynik/poziom dla tej odpowiedzi. Avant jest następnie w stanie przejrzeć zgodność Certyfikowanych Oceniających w każdym języku, aby określić procent IRR dla dowolnego języka w dowolnym okresie czasu.

Jak Avant mierzy dokładność oceny i monitoruje dryf?

Równie ważna jak Wzajemna Zgodność Oceniających jest konstrukcja Dokładności. Ideałem jest, aby wszyscy oceniający byli zgodni, co skutkuje wysokim WZ, ale jeśli nastąpi jakiekolwiek odstępstwo od standardów (ocenianie odpowiedzi zbyt wysoko lub zbyt nisko), musimy o tym wiedzieć. Aby poradzić sobie z odstępstwami, Avant wprowadza do kolejek oceniania elementy kotwiczne (fragmenty, które zostały wybrane i wstępnie ocenione przez każdego Menedżera Oceny Języka), a następnie Menedżerowie Oceny monitorują, jak Certyfikowani Oceniacy oceniają te specjalne odpowiedzi. Podobnie jak odpowiedzi WZ, są one dostarczane oceniającym w sposób niewidoczny, tak aby oceniający nie byli w stanie w żaden sposób zidentyfikować tych odpowiedzi. Menedżerowie Oceny są wtedy w stanie zobaczyć, czy oceniający odstępują od standardów. Na podstawie tych informacji, Menedżerowie Oceny mogą poradzić sobie z jakimikolwiek odstępstwami poprzez ponowne szkolenia i sesje wsparcia. Jest to ważna funkcja naszego Systemu Połączenia Oceniacych i może być ustawiona tak, aby dostarczać elementy kotwiczne w ustalonych odstępach czasu.

Jak Są Wyprowadzane I Raportowane Końcowe Poziomy Dla Każdej Umiejętności?

Test Avant STAMP dostarcza trzy polecenia do mówienia i trzy do pisania dla każdego zdającego, który jest przypisany do tej domeny lub etapu testu, tj. mówienia lub pisania. Końcowa raportowana ocena jest obliczana na podstawie dwóch najwyższych wyników spośród trzech próbek. W ten sposób końcowy przydzielony poziom uwzględnia każdą odpowiedź, która została przesłana i oceniona przez certyfikowanych oceniających Avant i określa poziom, który zdający był w stanie utrzymać przez trzy zadania.

Na przykład:

Osoba przystępująca do testu, która otrzyma 3 (Novice-High) za swoją pierwszą odpowiedź, 4 (Intermediate-Low) za drugą odpowiedź i 3 (Novice-High) za trzecią odpowiedź, otrzyma końcową ocenę 3 (Novice-High) dla tej dziedziny. Wskazuje to, że MINIMUM uczniowi udało się utrzymać poziom 3 (Novice-High). Jednak w tym przypadku jedna odpowiedź została oceniona na wyższym poziomie, dlatego w raporcie umieszczony jest niebieski pasek, który wskazuje, że uczeń może zbliżać się do następnego wyższego poziomu i zachęca nauczyciela do przyjrzenia się tej konkretnej odpowiedzi. Ponieważ końcowa ocena lub poziom wynika z wyniku wszystkich trzech odpowiedzi, system jest w stanie poradzić sobie z dowolną pojedynczą odpowiedzią, która mogła zostać oceniona nieprecyzyjnie lub na którą osoba przystępująca do testu mogła po prostu nie być w stanie odpowiedzieć i utrzymać dokładne raportowanie ogólnej zdolności osoby przystępującej do testu dla każdej dziedziny.

Zatem, proces wykorzystania dwóch najwyższych wyników mówienia lub pisania do przypisania ostatecznego poziomu mówienia lub pisania ucznia jest stosowany, aby zminimalizować raportowanie błędnych ocen negatywnych lub pozytywnych dla całkowitej oceny domeny.