Nauczyciele jako oceniający = sukces
Codziennie otrzymujemy telefony od szkół z całego kraju. Ale ten był inny.
"Co zrobiłeś Marie-Pierre?" zapytał dyrektor. "Jest zupełnie inną nauczycielką. Jej klasa jest tak żywa, a program się rozwija. Cokolwiek robisz, działa".
Na początku pytanie to zaskoczyło Maurę Ennis, która zarządza naszymi oceniającymi, takimi jak Marie-Pierre. Nie zrobili nic specjalnego z Marie-Pierre, po prostu przeprowadzili ją przez program łączący raterów, aby mogła dokładnie ocenić STAMP 4S odpowiedzi w mowie i piśmie. I z pewnością nie powiedzieli jej, jak uczyć francuskiego.
Z drugiej strony, istotą nauczania opartego na standardach jest zestaw powszechnie rozumianych wyników. Ocenianie tysięcy odpowiedzi uczniów w mowie i piśmie dało Marie-Pierre głębokie i konkretne zrozumienie tego, jak naprawdę wygląda biegłość. Przez lata czytała słowa na papierze - "znane sytuacje" "ogólnie zrozumiałe" "powiązany dyskurs" - ale dopiero gdy usiadła, by ocenić wszystkie te francuskie odpowiedzi, abstrakcyjne pojęcia ożyły. Ocenianie tych odpowiedzi od różnych uczniów zmusiło ją do dostosowania się do innych w całym kraju.
Wiarygodne oceny biegłości to nasza misja
"Nasza misja i nasza działalność zależy od zapewnienia wiarygodnych ocen biegłości dla każdego ucznia. Wszyscy nasi oceniający muszą być na tej samej stronie" - mówi założyciel David Bong.
"Oceniamy około 500 000 odpowiedzi rocznie" - mówi Maury. "Moim zadaniem jest upewnienie się, że wszystkie są oceniane szybko i dokładnie".
Z uczniami i oceniającymi rozproszonymi po całym świecie, ma ona trudne zadanie. Aby było to możliwe, nasi inżynierowie oprogramowania połączyli siły z Maury, aby zbudować Rater Connection, który został oparty na prototypie z University of Oregon's Center for Applied Second Language Studies (CASLS). Rater Connection to internetowy system szkolenia, certyfikacji i monitorowania osób oceniających, które oceniają pół miliona odpowiedzi rocznie.
Zajrzyjmy za kurtynę, aby zobaczyć, jak Maury i jej zespół dokonują tego monumentalnego wyczynu. System składa się z czterech kluczowych elementów: nauki, praktyki, certyfikacji i monitorowania.
Cztery elementy oceny biegłości językowej
Nauka: Określanie kryteriów
Maury starts by orienting new raters to the STAMP 4S criteria, which are derived from US national proficiency standards. Just as OPI (Oral Proficiency Interview) training gives raters techniques and criteria not directly stated in the standards, Avant gives raters specific criteria to make the abstract standards more concrete. For example, the standards for Intermediate-High state that students must produce “connected sentences into paragraphs using a limited number of cohesive devices.” This can mean many things to many people, so Maury introduces raters to a rule of thumb that is easier to interpret consistently: A response should contain dependent clauses. This distinguishes between sentences such as “My friend and I went to the store. We bought ice cream. We ate it on the way home.” (No dependent clauses. Does not meet the “connected sentences” criterion.), and “My friend and I ate the ice cream that we bought at the store.” (Includes a dependent clause. Meets part of the “connected sentences” criterion.)
Praktyka: Zastosowanie kryteriów do odpowiedzi uczniów
Gdy oceniający zrozumieją kryteria, zaczną stosować tę wiedzę w praktyce. Za każdym razem, gdy oceniają odpowiedź, otrzymują natychmiastową informację zwrotną o tym, czy ocenili ją poprawnie i wyjaśnienie prawidłowej oceny. Powtarzając ten proces przez setki odpowiedzi, oceniający internalizują kryteria. Doskonałość staje się nawykiem.
Certyfikacja: Zapewnienie jakości osób oceniających
Kiedy są gotowi, nowi oceniający mogą przystąpić do testu certyfikacyjnego. Jeśli poprawnie ocenią co najmniej 90% odpowiedzi uczniów, staną się certyfikowanymi oceniającymi Avant . Jeśli nie uda im się osiągnąć poziomu 90%, mogą wrócić, poćwiczyć jeszcze trochę i ponownie przystąpić do testu certyfikacyjnego.
Monitorowanie: Utrzymanie doskonałości
Nawet po uzyskaniu certyfikatu, osoby oceniające Avant muszą stale udowadniać, że są spójne i wiarygodne. Rater Connection wstawia jeden element kotwiczący - uzgodniony przez głównych oceniających - do każdej partii 25 rzeczywistych odpowiedzi. Pokazuje to Maury, jak różni oceniający oceniają ten element kotwicy i zapewnia, że pozostają wierni standardowi w czasie. Ponadto jeden z pięciu elementów jest losowo wybierany do podwójnej oceny. Jeśli dwaj pierwsi oceniający nie zgadzają się ze sobą, przedmiot trafia do trzeciego oceniającego, a główni oceniający dokładnie sprawdzają wszystkie decyzje o remisie.
Dostarczanie dokładnych ocen opartych na biegłości osobom uczącym się języka za rozsądną cenę jest jednym z naszych wkładów w tę dziedzinę. Jednak największą wartością tego systemu jest to, że można go wykorzystać do poprawy nauczania i uczenia się. To właśnie przydarzyło się Marie-Pierre.
"Oczywiście byliśmy podekscytowani, gdy to usłyszeliśmy" - mówi Maury. "Ale była to niezamierzona konsekwencja. W końcu jesteśmy firmą zajmującą się oceną i rozwojem zawodowym".
W następnym wpisie na blogu dowiesz się, w jaki sposób przekształciliśmy Rater Connection w ADVANCEnarzędzie, z którego korzystają szkoły, okręgi i uniwersytety, aby pomóc nauczycielom przekształcić ich nauczanie tak jak Marie-Pierre.
