كيف يقيم Avant الردود المتعلقة بالتحدث والكتابة؟

من يقيم اختبارات STAMP؟

تتم تقييم الردود التي تم تقييمها من قبل البشر في Avant STAMP, PLACE, اختبار الكفاءة في اللغة العربية (APT), واختبارات اللغة الإسبانية للمتحدثين الأصليين من قبل المقيمين المعتمدين من Avant الذين هم معلمو/متحدثو اللغة الذين يستوفون الحد الأدنى من المتطلبات التالية:

1. مهارة اللغة: يجب على المقيمين الحفاظ على مستوى متقدم أو أعلى من مهارات اللغة (يتم تحديده بواسطة مقابلة هاتفية أو درجة اختبار من تقييم معتمد، أي STAMP4S، OPI، مقابلة ILR، MOPI، أو شهادة معلم الولاية / Praxis.)
2. التعليم: يجب على القيّمين أن يحملوا درجة البكالوريوس أو أعلى
3. التدريب والشهادة: يجب على المقيمين إكمال برنامج تدريب مقيمي Avant الخاص باللغة والحصول على معدل موافقة 90% في تقييم الشهادة.
4. التوفر: يجب أن يكون المقيمون متاحين لتقييم عدد محدد من العناصر (ردود الطلاب) كل أسبوع (يتم تحديده بواسطة مدير تقييم اللغة الخاص والمقيم)

كيف يتم تدريب مقيمي Avant المعتمدين؟

يجب على جميع المقيمين إكمال برنامج تدريب المقيمين Avant واجتياز اختبار الشهادة قبل أن يُسمح لهم بتقييم إجابات الطلاب. يتضمن عملية التدريب خمس خطوات وتستغرق عادة حوالي 11-13 ساعة من العمل الفردي وحوالي 2-3 ساعات مع مدير تدريب المقيمين لإكمالها.

1. الإعداد الأكاديمي: يدرس المرشحون للتقييم مواد تدريب Avant Rater التي تشرح مستويات الكفاءة بناءً على المعايير الوطنية للكفاءة في الولايات المتحدة ووصفات الكفاءة ILR ويتعرفون على كيفية تطبيق Avant لهذه المستويات على ردود الأشخاص الذين يخضعون للاختبار. الهدف من هذه الخطوة هو توجيه المرشحين للتقييم إلى المشكلات التي يتعرضون لها عند تقييم العناصر المتكونة من الردود (التحدث والكتابة) وتحديد نطاق الدرجات التي يمكن أن تعينها نظام Avant لردود الأشخاص الذين يخضعون للاختبار. الخطوة 1 هي مرحلة الدراسة المستقلة مع التزام زمني متوقع يتراوح بين 3-5 ساعات.
2. مراجعة موجهة ومقدمة لنظام الربط بالمقيم (RC): يلتقي المرشح للتقييم مع مدير تدريب المقيم المعين له لمناقشة وتوضيح العناصر الرئيسية لمواد التدريب بما في ذلك مستويات الكفاءة والتفاصيل التي تُستخدم لتحديد المستويات المختلفة. ثم يساعد مدير تدريب المقيم المرشح المحتمل في الوصول إلى برنامج الربط بالمقيم عبر الإنترنت الخاص بـ Avant (انظر الخطوة 3) ويقودهم خلال عدة ردود، معرضاً كيفية استخدام نظام الربط بالمقيم. عادة ما يتم إجراء الخطوة 2 كاجتماع افتراضي بين المرشح للتقييم ومدير التدريب بالمقيم مع التزام زمني متوقع يتراوح بين 2-3 ساعات.
3. التدريب مع نظام الاتصال بالمقيم (RC): يتيح نظام RC التابع لـ Avant للمرشح المقيم تقييم الردود المختارة للتدريب/الردود المرجعية وتلقي ردود فعل فورية على تقييمه لكل رد. الغرض من هذه المرحلة من عملية التدريب هو تعريض المرشح المقيم للعديد من ردود المتقدمين للاختبار التي تم تقييمها مسبقًا بواسطة المقيمين الرئيسيين في Avant. يتضمن كل رد تدريبي توضيحًا مفصلاً أو تفسيرًا لسبب تقييم العنصر بالطريقة التي تم فيها. يتيح هذا العملية للمرشح المقيم تقييم مجموعة متنوعة من الردود عبر جميع المستويات مع تلقي ردود فعل فورية من أجل استيعاب وتطبيق معايير التقييم. الخطوة 3 هي جلسة تدريب عبر الإنترنت مستقلة مع التزام زمني متوقع يبلغ 4-5 ساعات أو أطول إذا لزم الأمر، لإكمال بنوك الردود التدريبية.
4. التحليل الموجه لممارسة الاتصال بالمقيم: بمجرد أن يكمل المرشح للتقييم الردود التدريبية في الRC، يلتقي المرشح مع مدير التدريب المعين له لمناقشة وتوضيح القضايا التي ظهرت خلال جلسة التقييم التدريبية. على وجه التحديد، يتم مراجعة الردود التي لم يتم تقييمها بدقة ويتم الإجابة على الأسئلة حول معايير التقييم ووصف المستويات وتطبيقها على الردود. يتمكن مدير التدريب للمقيمين من رؤية أي المعايير التي واجه المقيم المحتمل صعوبة فيها ويمكنه تحديد المناطق التي تحتاج إلى دعم أو تدريب إضافي بسرعة. في هذه المرحلة، يمكن لمدير التدريب للمقيمين أن يقرر إما أن يكرر المقيم المحتمل الخطوة 3 من برنامج تدريب المقيمين في أفانت أو الانتقال إلى الخطوة 5 للحصول على الشهادة. يتم عادة إجراء الخطوة 4 كاجتماع افتراضي بين مرشحي المقيمين ومدير التدريب للمقيمين مع التزام بالوقت المتوقع لساعة أو أكثر حسب عدد المناطق التي يجب مراجعتها.
5. الشهادة: الخطوة النهائية في برنامج تدريب Avant Rater تتألف من اجتياز المرشح للتقييم اختبار الشهادة بالحصول على نسبة موافقة 90% أو أعلى في التقييم مع Avant Master Raters. لإكمال هذا الاختبار، يدخل المرشح للتقييم إلى نظام Rater Connection ويقوم بتقييم مجموعة من الردود في عملية تعكس التجربة التي سيكون لديه عندما يقوم بتقييم ردود الطلاب في النظام المباشر. تتألف مجموعة الشهادة من الردود التي تم تقييمها سابقًا بواسطة Avant Master Raters، ولكن بدون التعليقات أو التوضيحات المقدمة خلال جلسات التدريب. في نهاية اختبار الشهادة، يتم إبلاغ المرشح للتقييم بنتيجته. بعد ذلك، يجتمع مدير تدريب المقيمين مع المرشح للتقييم لتحديد مشكلات التقييم، ويشركهم في أنشطة التدريب المعادة حسب الضرورة. المرشحون للتقييم، الذين يحققون نسبة موافقة 90% أو أعلى مع Avant Master Raters، يتم تعيينهم كمقيمين معتمدين من Avant الذين مؤهلون لتقييم ردود اختبار STAMP النشطة.
6. التقييم المباشر: بعد أن يكمل المرشح للتقييم جميع عناصر التدريب ويجتاز اختبار الشهادة، يتم منحه الوصول إلى الردود المباشرة في نظام الاتصال بالمقيم. يتم بعد ذلك تعليم المقيم المعتمد حديثًا للدخول إلى النظام وتقييم دفعة (25 رد)، معلمًا مدير المقيم عندما يكمل الدفعة. يدخل مدير المقيم بعد ذلك إلى الموقع الإداري لمراجعة كل عنصر تم تقييمه بواسطة المقيم المعتمد للتحقق من دقة الدرجات. عندما يكون مدير المقيم راضيًا عن دقة تقييم المقيم المعتمد حديثًا للردود، يمكن للمقيم متابعة التقييم. يستمر مدير المقيم في مراقبة المقيم المعتمد حديثًا بعناية خلال الأسابيع القليلة الأولى من التقييم.
7. تم تطوير وصقل برنامج Avant Rater هذا لتلبية متطلبات تحقيق مستويات عالية من الجودة والدقة في جميع مقيمي Avant. كما يتم التدريب الفوري بشكل مستمر حيث يقوم مديرو المقيمين المتخصصين في اللغة في Avant بمراجعة إحصائيات الثبات بين المقيمين والدقة كل يوم. يسهل نظام التقييم STAMP المراقبة المستمرة للاتجاهات في التقييم وينبه مديري المقيمين إلى مشكلات التقييم والأخطاء بحيث يمكن إجراء التدريب المناسب في الوقت المناسب.

كيف يتم تقييم اختبارات STAMP؟

يتم إجراء تقييم البشر لاستجابات عنصر الاختبار STAMP من Avant في بيئة Rater Connection عبر الإنترنت. يتم تسجيل عناصر الاختبار القراءة والاستماع (اختيار من متعدد) بواسطة الكمبيوتر. يتم تقييم الاستجابات المنشأة (التحدث والكتابة) بواسطة مقيمي Avant المعتمدين من خلال واجهة على الويب. بشكل خاص، يدير نظام التقييم الموزع عبر الإنترنت لـ Avant، نظام Rater Connection، جميع استجابات الطلاب ويسهل التسجيل بتوزيع طوابير من 25 استجابة مكتوبة أو محكية إلى مقيمي Avant المعتمدين عند تسجيل دخولهم إلى النظام. يقوم المقيمون بتسجيل كل استجابة في عملية ساحرة خطوة بخطوة، مع النظر بعناية في كل من أربعة عناصر أو معايير التسجيل.

العناصر الأربعة لتسجيل النقاط في اختبارات كفاءة اللغة لـ Avant

1. هل يمكن تقييم الرد وهل هو ضمن المهمة؟
2. ما هو نوع النص أو الكمية المحددة للغة المستوى التي تظهر؟ حافظ على ... بالضبط.
3. ما هي جودة النص من حيث القابلية العامة للفهم؟
4. ما هو الدقة الإجمالية للرد؟

نظام التقييم يتتبع ويحسب جميع التقييمات ثم يولد درجة مركبة لكل رد، استنادًا إلى هذه المعايير التقييمية. ...

ما هو الاعتماد المتبادل بين المقيمين (IRR) وكيف يتم مراقبته؟

الثبات بين المقيمين (IRR)) هو مقياس لمدى تناسق المقيمين المعتمدين في تطبيق معايير التقييم من Avant على ردود الطلاب. تسعى Avant للحفاظ على مستوى عالٍ من الثبات بين المقيمين من خلال المقارنة المستمرة للتقييمات وتقديم التدريب المستمر حسب الحاجة. بشكل محدد، يتم تتبع الثبات بين المقيمين في النظام حيث يتم توصيل 20% من جميع الردود إلى مقيم ثاني للحصول على تقييم ثاني أعمى لذلك الرد. هذا يعني أنه في كل قائمة من 25 رد (عدد ردود الطلاب التي تم تقييمها في دفعة) هناك 5 ردود تم تقييمها مسبقاً من قبل مقيم معتمد آخر. يراقب النظام بعد ذلك كيف يقيم المقيم المعتمد الثاني هذه الردود. إذا كان هناك اختلاف في المستويات المعينة بين المقيم المعتمد الأول والثاني، يرسل RC الرد إلى مقيم معتمد ثالث يحكم في النتيجة. يمكن لمديري المقيمين رؤية الردود التي تلقت تقييمين و، أكثر أهمية، تلك الردود التي تلقت ثلاث تقييمات ويمكنهم تتبع كيف تم تقييم كل رد عبر المقيمين الثلاثة المختلفين. يمكن لمديري المقيمين رؤية الاتجاهات في التقييم وتوجيه التدريب في الوقت المناسب إلى أي مقيم معتمد بحاجة إلى إعادة التدريب. ثم يجمع مديري المقيمين ويستخدمون هذه الردود "التحدي" لجلسات التدريب.

كيف يقيس Avant موثوقية التقييم بين المقيمين (IRR)?

تستخدم Avant معيارين لتحديد الدرجات للردود المنطوقة والمكتوبة. المعيارين، كما هو مشار إليه أعلاه، هما نوع النص (كمية اللغة) والدقة (القابلية للفهم). لأغراضنا، نضع وزنًا أعلى على معيار نوع النص للمستويات من 1-6 (مبتدئ-منخفض إلى متوسط-مرتفع) ثم وزنًا متوازنًا أكثر للمستويات 7 و 8 (متقدم-منخفض ومتوسط). عندما يقوم المقيمون المعتمدون بتقييم ردود الطلاب المنطوقة والمكتوبة، يحددون أولاً درجة نوع النص مع التحديدات الممكنة التالية: ...

• غير قابل للتقييم (0) ...
• كلمات (1)
• عبارات (2)
• جمل بسيطة (3)
• سلاسل الجمل (4)
• جمل متصلة (5)
• الفقرة الناشئة (6)
• بنية الفقرة (7)
• الفقرة الموسعة (8)

بمجرد تحديد معيار نوع النص، يوجه RC المقيم لتحديد دقة / فهم الرد مع الخيارات التالية للدرجة الخاصة بنوع النص: أقل من المتوسط، المتوسط أو أعلى من المتوسط. يجمع RC الدرجات من كلا المعيارين لتحديد الدرجة / المستوى النهائي لذلك الرد. بعد ذلك، تتمكن Avant من مراجعة اتفاق المقيمين المعتمدين في كل لغة لتحديد نسبة IRR لأي لغة خلال أي فترة زمنية.

كيف يقيس Avant دقة التقييم ويتابع التغيرات؟

من الأمور المهمة بقدر الثبات بين المقيمين هو بناء الدقة. الأمثل هو أن يتفق جميع المقيمين مما ينتج عنه ثبات عالي بين المقيمين، ولكن إذا كان هناك أي انحراف عن المعايير (تقييم الردود عاليًا أو منخفضًا جدًا)، نحتاج إلى معرفة ذلك الوضع أيضًا. لمعالجة الانحراف، تدخل Avant عناصر الرسوم المرجعية (anchor items) (المقاطع التي تم اختيارها وتقييمها مسبقًا بواسطة كل مدير مقيم للغة) في طابور التقييم، ثم يراقب مديرو المقيمين كيف يقوم المقيمون المعتمدون بتقييم هذه الردود الخاصة. تمامًا مثل ردود الثبات بين المقيمين، يتم تقديم هذه إلى المقيمين بطريقة عشوائية بحيث لا يتمكن المقيمون من التعرف على هذه الردود بأي شكل من الأشكال. يتمكن مديرو المقيمين بعد ذلك من معرفة ما إذا كان المقيمون ينحرفون عن المعايير. استنادًا إلى هذه المعلومات، يمكن لمديرو المقيمين معالجة أي انحراف من خلال جلسات إعادة التدريب والدعم. هذه ميزة مهمة في نظام Rater Connection System الخاص بنا ويمكن ضبطها لتقديم عناصر الرسوم المرجعية في فترات محددة مسبقًا.

كيف يتم اشتقاق وتقديم التقارير عن المستويات النهائية لكل مهارة؟ ...

يقدم اختبار Avant STAMP ثلاث مواضيع للتحدث وثلاثة مواضيع للكتابة لكل شخص يتم تكليفه بذلك المجال أو المرحلة من الاختبار ، أي التحدث أو الكتابة. يتم حساب الدرجة النهائية المبلغ عنها بناءً على أعلى درجتين من بين الثلاث عينات. وبالتالي ، يأخذ المستوى النهائي المعين بعين الاعتبار كل رد تم تقديمه وتقييمه بواسطة مقيمي Avant المعتمدين ويحدد المستوى الذي كان الشخص الذي يختبر قادرًا على الحفاظ عليه عبر الثلاث مهام.

على سبيل المثال:

المتقدم للاختبار الذي يحصل على 3 (مبتدئ-مرتفع) لأول رد له/لها، و 4 (متوسط-منخفض) للرد الثاني له/لها، و 3 (مبتدئ-مرتفع) للرد الثالث له/لها، سيحصل على الدرجة النهائية 3 (مبتدئ-مرتفع) لهذا المجال. هذا يشير إلى أن الطالب كان قادرًا على الأقل على الحفاظ على مستوى 3 (مبتدئ-مرتفع) من الكفاءة. ومع ذلك، في هذه الحالة، تم تقييم أحد الردود على مستوى أعلى وبالتالي يتم تضمين شريط أزرق في التقرير للإشارة إلى أن هذا الطالب قد يكون على وشك الوصول إلى المستوى الأعلى التالي ويشجع المعلم على النظر في هذا الرد المحدد. نظرًا لأن الدرجة النهائية أو المستوى مشتق من نتيجة الثلاثة أجوبة، فإن النظام قادر على التعامل مع أي رد فردي قد يكون تم تقييمه بشكل غير دقيق أو أن المتقدم للاختبار قد لم يتمكن فقط من الرد عليه والحفاظ على التقارير الدقيقة لقدرة المتقدم للاختبار العامة لكل مجال.

بالتالي، يتم استخدام عملية استغلال أعلى نتيجتين للتحدث أو الكتابة لتحديد المستوى النهائي للتحدث أو الكتابة للطالب للحد من التقارير الخاطئة سلبيًا أو إيجابيًا للتقييم العام للمجال ....