您的语言评估数据准确且可靠吗?
语言技能的价值正在增加。
学习者和教育者都发现,能够展示出精通多种语言的能力的个人,提高了他们获得大学录取、获得好工作以及提高收入潜力的机会。评估是确定熟练程度的最有效手段。
当您依赖语言能力评估时,您如何知道其结果的准确性和可靠性呢?事实证明,并非所有评估都是平等创建的。
为什么语言评估的准确性和可靠性很重要。
评估数据和熟练度结果通常是以下内容的基础:...
- 语言程序质量评级
- 关于程序资金的决定
- 员工招聘和晋升
- 像州和全球双语能力印章这样的Credentials
- 大学学分
- 个体学习者的进步
无论使用何种评估方式,语言学习者及其信赖的程序必须确信他们收到的分数是准确且可靠的。当各种评估都在测试相同的技能时,是什么使它们有所不同?又或者,是什么使一个比另一个更好?
在一个项目或者语言教学领域内的常见做法,可能会对某种评估方式达成共识,并认为其结果适用。然而,这些评估可能并未满足某些评级的准确性和可靠性要求。如果一个不准确的温度计显示你有发热,但实际上你并没有,你可能会因为错误的诊断而服用药物。
准确性和可靠性在决定是否授予语言技能证书,公司是否雇佣,或者一个项目是否获得资金等关键决策时都至关重要。
您如何判断分数是否准确和可靠?
Avant最近关于Avant STAMP评估的写作和口语部分评分的研究展示了Avant如何应用严格的标准和评分质量检查,以在Avant测试的所有40多种语言中实现高度的准确性和可靠性。该研究检查了以下组成部分:
- 评分员培训
- 评级过程,使用人类评级者以及两个评级者对评级意见不一致时的处理程序
- 如何确定最终得分
- 以下的统计测量:
- 完全一致
- 完全+相邻一致
- 二次加权卡帕 (QWK)
- 标准化均值差异 (SMD)
- 斯皮尔曼等级相关系数 (p)
- 2个STAMP级别之间(非相邻一致性的测量)
这些措施可以进行三角测量,以确保Avant STAMP结果的最高可能的准确性和可靠性。
结果显示,无论在哪个级别,Avant STAMP 4S和STAMP WS的写作和口语反馈评级都非常一致。美国教育委员会(ACE)对Avant的评级流程、准确性和可靠性进行了广泛的审查。基于他们的审查,ACE推荐Avant STAMP用于大学学分。关于Avant对口语和写作反馈评级的准确性和可靠性的更多统计细节,请阅读关于Avant对STAMP口语和写作反馈评级的准确性和可靠性的完整白皮书。
在评估语言熟练度测试的评分准确性和可靠性时,检验测试是否适合您的项目至关重要。随着测试和记录语言技能的风险增加,问题是:你能否承受不这样做的代价?