교사들이 평가자=성공
우리는 매일 전국의 학교들로부터 전화를 받습니다. 하지만 이번 전화는 다르더군요.
“당신이 Marie-Pierre에게 무엇을 한 건가요?” 교장이 물었습니다. “그녀는 완전히 다른 선생님이 되었습니다. 그녀의 교실은 너무나 활기차고 그녀의 프로그램은 성장하고 있습니다. 당신이 하는 것이 무엇이든 효과가 있습니다.”
처음에는 이 질문이 마우리 엔니스를 당황시켰습니다. 그는 마리-피에르와 같은 우리의 평가자들을 관리합니다. 그들은 마리-피에르와 특별히 무언가를 한 것이 아니었습니다, 그저 그녀가 정확하게 STAMP 4S의 말하기와 쓰기 반응을 점수 매길 수 있도록 평가자 연결 프로그램을 통해 그녀를 실행시켰을 뿐입니다. 그리고 그들은 분명히 그녀에게 프랑스어를 가르치는 방법을 알려주지 않았습니다.
반면에, 표준 기반 교육의 본질은 공통적으로 이해되는 결과들의 집합입니다. 수천 명의 학생들의 말하기와 글쓰기 반응을 평가함으로써, Marie-Pierre는 능숙함이 실제로 어떤 것인지에 대해 깊고 구체적인 이해를 얻었습니다. 그녀는 수년 동안 종이 위의 단어들을 읽었습니다 - "익숙한 상황", "일반적으로 이해 가능", "연결된 담론" - 그러나 그녀가 모든 프랑스어 반응을 평가하기 위해 앉아서야 추상적인 개념들이 생명을 얻었습니다. 이러한 다양한 학생들로부터의 반응을 평가하는 것은 그녀에게 전국의 다른 사람들과 일치하도록 강요했습니다.
믿을 수 있는 능력 평가는 우리의 임무입니다 ...
"우리의 임무와 사업은 모든 학생에 대한 신뢰할 수 있는 능력 평가를 제공하는 데에 달려있습니다. 우리 모든 평가자들이 같은 생각을 가져야 합니다,"라고 우리의 창립자 David Bong이 말합니다.
"우리는 매년 약 50만 개의 응답을 평가합니다,"라고 Maury가 말합니다. "내 업무는 그들이 모두 빠르고 정확하게 채점되는 것을 확인하는 것입니다."
학생들과 평가자들이 전 세계에 흩어져 있어 그녀의 업무는 매우 힘듭니다. 이를 가능하게 하기 위해, 우리의 소프트웨어 엔지니어들은 Maury와 함께 오리건 대학의 응용 제2언어 연구 센터 (CASLS)의 프로토타입을 기반으로 Rater Connection을 구축하였습니다. Rater Connection은 매년 수십만 개의 응답을 점수 매기는 평가자들을 교육하고, 인증하며, 모니터링하는 온라인 시스템입니다.
우리가 어떻게 Maury와 그녀의 팀이 이 거대한 업적을 이루는지 커튼 뒤를 살펴보자. 시스템은 네 가지 주요 구성요소로 이루어져 있습니다: 학습, 연습, 인증, 그리고 모니터링.
언어 능력 평가의 네 가지 요소
학습: 기준을 구체적으로 만들기
마우리는 미국 국가 능력 표준에서 파생된 STAMP 4S 기준에 새로운 평가자들을 안내하며 시작합니다. OPI (Oral Proficiency Interview) 훈련이 표준에 직접 명시되지 않은 기법과 기준을 평가자들에게 제공하는 것처럼, Avant는 평가자들에게 추상적인 표준을 더 구체적으로 만드는 특정 기준을 제공합니다. 예를 들어, 중급-고급 수준의 표준은 학생들이 "제한된 수의 연결 장치를 사용하여 문장을 단락으로 연결해야 한다"는 것을 명시하고 있습니다. 이는 많은 사람들에게 다양한 의미를 가질 수 있으므로, 마우리는 평가자들에게 일관성 있게 해석하기 쉬운 경험 법칙을 소개합니다: 응답에는 종속 절이 포함되어야 합니다. 이는 "나와 친구가 가게에 갔습니다. 우리는 아이스크림을 샀습니다. 우리는 집으로 가는 길에 그것을 먹었습니다." (종속 절이 없음. "연결된 문장" 기준을 충족하지 않음.)과 "나와 친구가 가게에서 산 아이스크림을 먹었습니다." (종속 절이 포함됨. "연결된 문장" 기준의 일부를 충족함.)과 같은 문장을 구별합니다.
연습: 학생들의 응답에 기준 적용하기
일단 평가자들이 기준을 이해하면, 그들은 그 지식을 실습 항목에 적용하기 시작합니다. 그들이 응답을 평가할 때마다, 그들은 정확하게 점수를 매겼는지에 대한 즉각적인 피드백을 받고, 올바른 평가에 대한 설명을 받습니다. 수백 개의 응답을 통해 이 과정을 반복하면, 평가자들은 기준을 내면화합니다. 우수성은 습관이 됩니다.
인증: 평가자의 품질을 보장합니다 ...
그들이 준비가 되었을 때, 새로운 평가자들은 인증 테스트를 볼 수 있습니다. 학생들의 응답을 적어도 90% 정확하게 평가한다면, 그들은 인증된 Avant 평가자가 됩니다. 만약 90%의 수준에 도달하지 못한다면, 그들은 다시 돌아가서 더 연습하고 인증 테스트를 다시 볼 수 있습니다.
모니터링: 탁월함을 유지하기
인증을 받은 후에도 Avant 평가자들은 지속적이고 신뢰할 수 있는 평가자임을 계속 증명해야 합니다. Rater Connection은 마스터 평가자들이 합의한 한 개의 앵커 항목을 25개의 실제 응답 배치마다 삽입합니다. 이것은 Maury에게 다른 평가자들이 그 앵커 항목을 어떻게 점수 매기는지 보여주고, 그들이 시간이 지나도 표준에 충실하게 남아있음을 보장합니다. 또한, 5개 항목 중 하나는 무작위로 더블 평가를 위해 선택됩니다. 첫 두 평가자가 의견이 일치하지 않으면, 그 항목은 세 번째 평가자에게 전달되며, 마스터 평가자들은 모든 판정의 결정을 신중하게 검토합니다.
언어 학습자에게 합리적인 비용으로 정확한 능력 기반의 평가를 제공하는 것은 우리가 이 분야에 기여하는 방법 중 하나입니다. 하지만 이 시스템의 가장 큰 가치는 교육과 학습을 향상시키는 데 사용될 수 있다는 것입니다. 이것이 바로 Marie-Pierre에게 일어난 일입니다.
"당연히, 우리는 그 소식을 듣고 매우 기뻤습니다,"라고 Maury가 말합니다. "하지만 그것은 의도하지 않은 결과였습니다. 결국, 우리는 평가 회사이며 전문 개발 회사입니다."
다음 블로그 게시물에서 Rater Connection에서 ADVANCE로 전환한 방법을 배우십시오. 이 도구는 학교, 학군, 대학이 Marie-Pierre처럼 교사들이 자신의 가르침을 변화시키는 데 도움을 줍니다.
