איך Avant מדרגת תגובות של דיבור וכתיבה?

מי מדרג את מבחני ה-STAMP?

תגובות מדורגות על ידי אנשים ב-Avant STAMP, PLACE, מבחן הכשרת הערבית (APT), ובמבחני השפה המורשת של הספרדית מדורגות על ידי מדרגים מוסמכים של Avant שהם מורים/דוברים של שפה שמקיימים את הדרישות המינימליות הבאות:

1. יכולת שפה: מדרגים חייבים לשמור על רמת שליטה מתקדמת או גבוהה יותר בשפה (כפי שנקבע בראיון טלפוני או בתוצאת מבחן ממערכת מאושרת, כלומר, STAMP4S, OPI, ראיון ILR, MOPI, או הסמכת מורה של Praxis/מדינה.)
2. השכלה: על המדרגים להחזיק בתואר לימודים ראשוני או גבוה מכך
3. הכשרה והסמכה: על הדירוגים להשלים את תוכנית ההכשרה של Avant Rater Training Program שמתאימה לשפה שלהם ולקבל ציון של 90% הסכמה במבחן ההסמכה.
4. זמינות: נדרש שהמדרגים יהיו זמינים לדרוג מספר מסוים של פריטים (תגובות של סטודנטים) בכל שבוע (כפי שנקבע על ידי מנהל הדירוג בשפה המסוימת והמדרג)

איך מתאמנים מדרגים מוסמכים של Avant?

כל המדרגים חייבים להשלים את תוכנית ההכשרה של Avant Rater ולעבור בחינת הסמכה לפני שהם מורשים לתת ציונים לתגובות התלמידים. תהליך ההכשרה כולל חמישה שלבים ובדרך כלל לוקח כ-11-13 שעות של עבודה אישית וכ-2-3 שעות עם מנהל ההכשרה של Rater Training Manager כדי להשלים.

1. הכנה אקדמאית: מועמדים לדירוג מלמדים את חומרי ההכשרה של Avant Rater, שמסבירים את רמות היידוע בהתאם לתקנים הלאומיים של ארה"ב ולתיאורי היידוע של ILR ולומדים כיצד Avant מיישמת את הרמות האלה לתגובות הבוחנים. מטרת השלב הזה היא להכווין את מועמדי הדירוג לבעיות שנתקלים בהן בדירוג פריטים שנבנו בתגובה (דיבור וכתיבה) ולציין את הטווח של הציונים שמערכת Avant יכולה להקצות לתגובות הבוחנים. שלב 1 הוא שלב של לימוד עצמאי עם מחויבות זמן משוערת של 3-5 שעות.
2. סקירה מודרכת והקדמה למערכת החיבור למדרג (RC): מועמד המדרג מפגש את מנהל ההכשרה שלו למדרגים כדי לדון ולהבהיר את היסודות המרכזיים של חומרי ההכשרה, כולל רמות היודעין והפרטים שמשמשים לזיהוי הרמות השונות. מנהל ההכשרה למדרגים אז מסייע למדרג העתידי לגשת לתוכנת החיבור למדרג של אוונט באינטרנט (ראה שלב 3) ומוביל אותו דרך מספר תגובות, מראה לו איך להשתמש במערכת החיבור למדרג. שלב 2 בדרך כלל מתבצע כמפגש וירטואלי בין מועמד המדרג ומנהל ההכשרה למדרגים, עם מחויבות זמן משוערת של 2-3 שעות.
3. תרגל עם מערכת החיבור למדרג (RC): RC של Avant מאפשרת למועמד המדרג לתת ציון לתגובות אימון/עוגן נבחרות ולקבל משוב מיידי על הדירוג שלו לכל תגובה. המטרה של שלב זה בתהליך האימון היא לחשוף את מועמד המדרג למגוון תגובות של מבחנים שכבר דורגו על ידי מדרגי Avant המובילים. כל תגובת אימון כוללת הסבר מפורט או פירוש של מדוע הפריט דורג כפי שהוא דורג. תהליך זה מאפשר למועמד המדרג להעריך מגוון תגובות בכל הרמות עם משוב מיידי כדי להפנים וליישם את קריטריוני הדירוג. שלב 3 הוא מפגש אימון מקוון עצמאי עם מחויבות זמנית משוערת של 4-5 שעות או יותר אם נדרש, כדי להשלים את בנקי התגובות לאימון.
4. ניתוח מודרך של תרגול חיבור המדרג: לאחר שהמועמד למדרג השלים את תגובות ההכשרה ב-RC, המועמד נפגש עם מנהל ההכשרה שלו לדיון והבהרת בעיות שהתעוררו במהלך המפגש של תרגול הדירוג. במיוחד, תגובות שלא דורגו באופן מדויק נבחנות מחדש ושאלות לגבי קריטריונים של דירוג ותיאורים של רמות והיישום שלהם לתגובות מקבלות תשובה. מנהל ההכשרה של המדרג מסוגל לראות אילו קריטריונים המדרג הממתין קשה עמם ויכול לזהות במהירות אזורים שזקוקים לתמיכה נוספת או הכשרה. בשלב זה, מנהל ההכשרה של המדרג יכול להחליט להחזיר את המדרג הממתין לשלב 3 של תוכנית ההכשרה של מדרג Avant או לעבור לשלב 5 לקבלת הסמכה. שלב 4 בדרך כלל מתבצע כמפגש וירטואלי בין מועמדים למדרג ומנהל ההכשרה של המדרג עם מחויבות זמנית משוערת של שעה או יותר, תלוי במספר האזורים שיש לבחון אותם.
5. הסמכה: השלב האחרון בתוכנית ההכשרה של Avant Rater מתבצע כאשר מועמד לדירוג מעביר בהצלחה מבחן הסמכה על ידי השגת הסכמה של 90% או יותר בדירוג עם דיירי Avant הראשיים. כדי להשלים את המבחן הזה, מועמד הדירוג מתחבר למערכת החיבור של הדייר ומדרג בנק הסמכה של תגובות בתהליך שמשקף את החוויה שהם יהיו להם כאשר הם מדרגים תגובות של סטודנטים במערכת החיה. בנק ההסמכה מורכב מתגובות שהודרגו בעבר על ידי דיירי Avant הראשיים, אך ללא ההערות או ההערות שניתנו במהלך המפגשים המאמנים. בסיום מבחן ההסמכה, מועמד הדירוג מודע לתוצאתו. מנהל ההכשרה של הדייר אז נפגש עם מועמד הדירוג כדי לזהות בעיות בדירוג, מעריך אותם בפעילויות ההכשרה מחדש כשצריך. מועמדים לדירוג, שמשיגים הסכמה של 90% או יותר עם דיירי Avant הראשיים, מוקצים כדיירי Avant מוסמכים שמאושרים לדרג תגובות בדיקה פעילות STAMP.
6. דירוג חי: לאחר שמועמד לדירוג משלים את כל אלמנטי ההכשרה ועובר את מבחן ההסמכה, הוא מקבל גישה לתגובות חיות במערכת החיבור לדירוג. הדירוג המוסמך החדש מורה להיכנס למערכת ולדרג קבוצה (25 תגובות), ולהודיע למנהל הדירוג שלהם כאשר הם משלימים את הקבוצה. מנהל הדירוג אז נכנס לאתר הניהול כדי לבחון כל פריט שנדרג על ידי הדירוג המוסמך כדי לוודא שהציונים מדויקים. כאשר מנהל הדירוג מרוצה מדיוק הדירוג של הדירוג המוסמך החדש של התגובות, הדירוג יכול להמשיך לדרג. מנהל הדירוג ממשיך לפקח על הדירוג המוסמך החדש באופן מרובה במהלך השבועות הראשונים של הדירוג.
7. תוכנית Avant Rater הזו פותחה והושלמה כדי לעמוד בדרישות של הקמת רמות גבוהות של איכות ודיוק בכל הדירוגים של Avant. הדרכה ממוקדת מתבצעת גם באופן מתמיד כאשר מנהלי הדירוג המקומיים של Avant בודקים את האמינות והדיוק של הדירוגים בין הדירוגים כל יום. מערכת הדירוג STAMP מאפשרת ניטור תמידי של מגמות הדירוג ומעוררת את תשומת לב מנהלי הדירוג לבעיות וחריגות בדירוג, כך שניתן לבצע הדרכה מחודשת בזמן הנכון.

איך מדרגים מבחנים של STAMP?

דירוג אנושי של תגובות לפריטי המבחן של Avant STAMP מתבצע בסביבה המקוונת של Rater Connection. פריטי המבחן של הקריאה וההאזנה (בחירה מרובה) מנותחים על ידי המחשב. התגובות שנבנו (דיבור וכתיבה) מדורגות על ידי דירוג מאושר של Avant דרך ממשק מבוסס אינטרנט. בפרט, מערכת הדירוג המקוונת והמבוזרת של Avant, מערכת Rater Connection, מנהלת את כל תגובות התלמידים ומקלה על הניקוד על ידי הפצת תורים של 25 תגובות כתובות או מדוברות לדירוג מאושר של Avant כאשר הם מתחברים למערכת. הדירוגים מנתחים כל תגובה בתהליך אשף שלב-אחר-שלב, שם הם שוקלים בקפידה את כל אחד מארבעת אלמנטי הניקוד או הקריטריונים.

ארבעת הגורמים למדידת התוצאות במבחני רמת שפה של Avant ...

1. האם התגובה ניתנת לדירוג והאם היא עוסקת במשימה?
2. איזה סוג טקסט או כמות של שפה מסוימת לרמה מוכחת? ...
3. מהי איכות הטקסט מבחינת הניבנוב הכללי?
4. מהי הדיוק הכללי של התגובה?

מערכת הניקוד מעקבת ומחשבת את כל הדירוגים ואז מייצרת ציון מורכב לכל תגובה, בהתאם לקריטריונים אלו של הערכה. ...

מהי אמינות בין-מדדים (IRR) ואיך מבצעים את מעקבה?

אמינות בין-מדרגים (IRR)) היא מדד של עקביות שבה מדרגים מוסמכים מחילים את קריטריוני הדירוג של Avant לתגובות התלמידים. Avant שואפת לשמר רמה גבוהה של אמינות בין-מדרגים דרך השוואה עקבית של דירוגים ומתן הדרכה מתמדת לפי הצורך. במיוחד, אמינות בין-מדרגים מנוהלת במערכת כאשר 20% מכל התגובות מועברות למדרג שני לדירוג שני עיוור של התגובה. זה אומר שבכל תור של 25 תגובות (מספר התגובות של התלמידים שנדרגו באצווה) יש 5 תגובות שכבר דורגו מראש על ידי מדרג מוסמך אחר. המערכת אז מבחינה איך מדרג מוסמך שני מדרג את התגובות האלה. אם יש הבדל ברמות שהוקצו בין המדרג המוסמך הראשון לשני, ה-RC שולח את התגובה למדרג מוסמך שלישי שמשפט את הציון. מנהלי המדרגים יכולים לראות אילו תגובות קיבלו שני ציונים ו, יותר חשוב, את התגובות שקיבלו שלושה ציונים ולעקוב אחר איך כל תגובה נדרגה על ידי שלושת המדרגים השונים. מנהלי המדרגים יכולים לראות מגמות בדירוג ולהפנות הדרכה בזמן הנכון לכל מדרג מוסמך שזקוק להדרכה מחדש. מנהלי המדרגים אז אוספים ומשתמשים בתגובות ה"מאתגרות" האלה למפגשי הדרכה.

איך Avant מודדת את אמינות הדירוג הבינ-דירגנית (IRR)?

Avant משתמשת במדד דו-קריטריוני להקצאת ציונים לתגובות מדוברות וכתובות. השניים הקריטריונים, כפי שצוין לעיל, הם סוג הטקסט (כמות השפה) ודיוק (בהירות). למטרות שלנו, אנו מקנים משקל גבוה יותר לקריטריון סוג הטקסט עבור הרמות 1-6 (מתחיל-נמוך עד ביניים-גבוה) ואז משקל מאוזן יותר עבור הרמות 7 ו-8 (מתקדם-נמוך ובינוני). כאשר מדרגים מוסמכים מעריכים תגובות דיבור וכתיבה של סטודנטים, הם קובעים תחילה את ציון סוג הטקסט עם האפשרויות הבאות:

• לא ניתן לדירוג (0)
• מילים (1)
• ביטויים (2)
• משפטים פשוטים (3)
• מחרוזות של משפטים (4)
• משפטים מחוברים (5)
• פיסקה מתפתחת (6)
• מבנה פסקה (7)
• פיסקה מורחבת (8)

לאחר שקריטריון סוג הטקסט נקבע, ה-RC מנהל את המדרג לקביעת דיוק/בניית המשמעות של התגובה עם האפשרויות הבאות לציון סוג הטקסט המסוים: מתחת לממוצע, ממוצע או מעל הממוצע. ה-RC משלב את הציונים משני הקריטריונים הללו כדי לקבוע את הציון/הרמה הסופיים עבור התגובה הזו. אז Avant יכולה לבחון את ההסכמה של המדרגים המוסמכים בכל שפה כדי לקבוע את אחוז ה-IRR עבור כל שפה בכל תקופת זמן.

איך Avant ממדדת את דיוק הדירוג ומנטרת ... עבור ניכול?

חשוב באותה מידה כמו אמינות בין מדרגים היא המבנה של דיוק. האידאלי הוא שכל המדרגים יהיו מסכימים, מה שמייצר אמינות גבוהה בין המדרגים, אך אם ישנה כל סטייה מהתקנים (דירוג התגובות גבוה מדי או נמוך מדי), אנחנו צריכים לדעת על המצב הזה גם כן. כדי להתמודד עם סטיות, Avant מזרימה פריטים עוגנים (קטעים שנבחרו וקיבלו דירוג מראש מכל מנהל מדרגי השפה) לתוך תורי הדירוג, ואז מנהלי המדרגים מבחינים איך המדרגים המוסמכים מדרגים את התגובות המיוחדות האלה. כמו התגובות של אמינות בין המדרגים, גם אלה מועברות למדרגים באופן עיוור, כך שהמדרגים לא מסוגלים לזהות את התגובות האלה בשום צורה. מנהלי המדרגים אז מסוגלים לראות אם המדרגים מסטים מהתקנים. על פי מידע זה, מנהלי המדרגים יכולים להתמודד עם כל סטייה דרך הדרכה מחודשת ומפגשי תמיכה. זו תכונה חשובה של מערכת החיבור שלנו למדרגים וניתן להגדירה להעביר פריטים עוגנים במרווחי זמן מוגדרים מראש.

איך מובנות ומדווחות הרמות הסופיות עבור כל מיומנות? ...

מבחן ה-STAMP של Avant מספק שלושה משימות של דיבור ושלושה משימות של כתיבה לכל מבחן שמוקצה לתחום או לשלב מסוים של המבחן, כלומר, דיבור או כתיבה. הציון הסופי שמדווח הוא מחושב על פי שני הציונים הגבוהים ביותר מתוך שלושת הדגימות. כך שהרמה הסופית שהוקצתה מתחשבת בכל תגובה שהוגשה ונבדקה על ידי המדרגים המוסמכים של Avant וקובעת את הרמה שהמבחן הצליח לשמור עליה במהלך שלושת המשימות.

לדוגמה:

מבחן שמקבל 3 (מתחיל-גבוה) עבור התגובה הראשונה שלו/שלה, 4 (בינוני-נמוך) עבור התגובה השנייה שלו/שלה, ו-3 (מתחיל-גבוה) עבור התגובה השלישית שלו/שלה, יקבל ציון סופי של 3 (מתחיל-גבוה) לאותו התחום. זה מציין שלפחות התלמיד הצליח לשמור על רמה 3 (מתחיל-גבוה). עם זאת, במקרה זה, אחת התגובות דורגה למעשה ברמה גבוהה יותר ולכן מוסיף בר כחול בדוח לציון שהתלמיד עשוי להתקרב לרמה הבאה וממליץ למורה להסתכל על התגובה הספציפית הזו. מאחר והציון הסופי או הרמה נגזרים מהתוצאה של כל שלוש התגובות, המערכת מסוגלת להתמודד עם כל תגובה בודדת שיכולה להידרג באופן לא מדויק או שלא הצליח המבחן להגיב ולשמור על דיווח מדויק של היכולת הכוללת של מבחן לכל תחום.

לכן, התהליך של השימוש בשני הציונים הגבוהים ביותר של הדיבור או הכתיבה כדי להקצות את רמת הדיבור או הכתיבה הסופית של התלמיד מופעל כדי למזער את הדיווח על דירוגים שליליים שגויים או חיוביים שגויים לציון התחום הכולל. ...