Os Dados da Sua Avaliação de Idioma São Precisos e Confiáveis?

Os Dados da Sua Avaliação de Idioma São Precisos e Confiáveis?

O valor das habilidades linguísticas está aumentando.

Tanto os alunos quanto os educadores estão descobrindo que indivíduos que podem demonstrar proficiência em mais de um idioma melhoram suas chances de conseguir admissão na universidade, garantir um bom emprego e aumentar seu potencial de ganhos. A avaliação é o meio mais eficiente de determinar a proficiência.

Quando você confia em uma avaliação de proficiência em idiomas, como sabe se os resultados são precisos e confiáveis? Acontece que, nem todas as avaliações são criadas iguais.

Por que a precisão e confiabilidade da avaliação de idiomas são importantes.

Dados de avaliação e resultados de proficiência são frequentemente a base para:

• Classificações de qualidade de programas de idiomas
• Decisões sobre o financiamento do programa
• Contratação e promoção de funcionários
• Credenciais como Selos Estaduais e Globais de Bilinguismo
• Crédito universitário
• Progresso dos alunos individuais

Independentemente de qual avaliação é usada, é essencial para os aprendizes de idiomas e seus programas confiáveis estarem confiantes de que as notas que recebem são precisas e confiáveis. Quando várias avaliações estão testando as mesmas habilidades, o que as torna diferentes? Ou, o que faz uma ser melhor que a outra?

Práticas comuns dentro de um programa, ou mesmo dentro do campo de ensino de idiomas, podem concordar com uma prática de avaliação e considerar seus resultados adequados. No entanto, as avaliações podem não estar atendendo a certos requisitos de precisão e confiabilidade de classificação. Se um termômetro impreciso indica que você tem febre, mas você não tem, você pode acabar tomando medicamentos para o diagnóstico errado.

A precisão e a confiabilidade importam quando podem ser decisivas na concessão de uma credencial para habilidades linguísticas, na decisão de uma empresa de contratar, ou se um programa recebe financiamento ou não.

Como você pode saber se as pontuações são precisas e confiáveis?

Pesquisa recente da Avant sobre a avaliação das seções de Escrita e Fala dos testes Avant STAMP demonstra como a Avant aplica padrões rigorosos e verificações de qualidade de avaliação para alcançar um alto grau de precisão e confiabilidade em todas as 40+ línguas que a Avant testa. A pesquisa examinou os seguintes componentes:

• Treinamento de avaliadores
• O processo de avaliação, utilizando avaliadores humanos e os procedimentos quando dois avaliadores discordam de uma avaliação
• Como a pontuação final é determinada
• As seguintes medidas estatísticas:
  1. Concordância Exata
  2. Concordância Exata + Adjacente
  3. Kappa Ponderado Quadrático (QWK)
  4. Diferença Média Padronizada (SMD)
  5. Correlação de Ordem de Posto de Spearman (p)
  6. 2 STAMP Níveis Distintos (uma medida de concordância não adjacente)

Essas medidas podem ser trianguladas para garantir o mais alto grau possível de precisão e confiabilidade nos resultados do Avant STAMP.

Os resultados mostram que, em todos os níveis, a avaliação das respostas de escrita e fala do Avant STAMP 4S e STAMP WS é altamente consistente. O Conselho Americano de Educação (ACE) realizou uma revisão extensa dos processos de avaliação, precisão e confiabilidade da Avant. Com base em sua revisão, o ACE recomenda o Avant STAMP para crédito universitário. Para mais detalhes estatísticos sobre a precisão e confiabilidade da avaliação da Avant das respostas de fala e escrita, leia o artigo completo sobre a precisão e confiabilidade da avaliação da Avant das respostas de fala e escrita do STAMP.

Verificar a precisão e confiabilidade da classificação em um teste de proficiência em idiomas é de extrema importância ao avaliar se o teste é apropriado para o seu programa. À medida que as exigências aumentam para testar e documentar habilidades linguísticas, a questão é: você pode se dar ao luxo de não fazer isso?

Artigos que você também pode gostar:

Descubra o Potencial de Seus Programas de Idiomas com os Dados Avant STAMPDados são a Chave para Proficiência em IdiomasConfiabilidade e Validade do Teste