숙련 및 미숙련 평가자들의 총체적, 분석적 및 진단적 채점기준을 활용한 영작문 평가 방식의 비교 분석 연구 (An Investigation of Experienced and Novice Raters’ Holistic, Analytic, and Diagnostic Assessment Methods in ESL Writing)

목적 본 연구는 영작문 교수 및 평가 경력에 의하여 숙련 및 미숙련으로 구분되는 평가자 집단이 총체적, 분석적 및 진단적 채점기준을 사용하여 학습자들의 영작문을 평가하였을 때 나타나는 평가자 엄격성 및 변이성과 다양한 채점기준에 관한 숙련 및 미숙련 평가자들의 인식을 조사하고자 하였다.
방법 이를 위하여 영작문 교수 및 평가 경력이 3년 이상인 영어 원어민 교수 5명과 영작문 교수 및 평가 경력이 3년 미만인 영어원어민 교수 4명이 각각 숙련 및 미숙련 평가자 집단을 구성하였으며, 두 평가자 집단은 다양한 채점기준을 사용하여 30개의 영작문답안을 평가하고 설문에 응하였다.
결과 미숙련 평가자 집단은 모든 채점기준을 사용함에 있어서 학습자들의 영작문을 숙련된 평가자 집단보다 관대하게 평가하는 것으로 나타났다. 또한, 두 평가자 집단이 개별 영작문 답안에 대하여 부여한 점수의 표준 편차를 비교한 결과, 숙련된 평가자들은 총체적 및 분석적 채점기준의 과제 수행 척도를 사용하였을 때에 미숙련 평가자들보다 높은 표준 편차를 보여 주었다. 하지만, 분석적채점기준의 응집력 및 일관성 척도에서는 두 집단 간의 차이가 발견되지 않았으며, 미숙련 평가자들은 분석적 채점기준의 어휘력과문법 및 정확성 척도, 그리고 진단적 채점기준을 사용하였을 때에는 오히려 숙련된 평가자들에 비하여 높은 표준 편차를 나타내었다.
마지막으로, 다양한 채점기준에 관한 숙련 및 미숙련 평가자들의 선호도를 조사한 결과, 숙련된 평가자 집단은 총체적 채점기준을, 미숙련 평가자 집단은 분석적 채점기준을 가장 선호하는 것으로 나타났다. 이에 반하여 두 평가자 집단은 모두 진단적 채점기준을가장 선호하지 않는 것으로 밝혀졌다.
결론 제2언어 쓰기 평가에서 평가자들은 평가의 목적, 평가자 변인 및 평가 상황에 따라 적절한 채점기준을 활용하여 학습자들의영작문을 평가하는 것이 평가의 효율성을 높일 수 있는 가장 합리적인 방안이다.

Objectives This study aimed to investigate experienced and novice raters’ assessment behaviors when they used holistic, analytic, and diagnostic rating scales in ESL writing assessments. It also closed examined how the two groups of raters perceived the different rating scales.
Methods The experienced and novice rater groups consisted of five native English-speaking professors with more than three years of experience teaching and assessing ESL writing and four native English-speaking professors with less than three years of experience teaching and assessing ESL writing. Both groups of raters assessed 30 ESL compositions using the three different rating scales and completed an assessor questionnaire.
Results The findings indicated that the novice raters were more lenient in assessing ESL writing across the three rating scales. The experienced raters also showed more variance in their scores than the novice raters when they used the holistic and analytic (i.e., task fulfillment) rating scales. In contrast, the novice raters showed more variance in their scores than the experienced raters when they used the analytic (i.e., lexical and grammar) and diagnostic rating scales. While the experienced raters preferred the holistic rating scale, the novice raters preferred the analytic rating scale. Both groups liked the diagnostic rating scale the least.
Conclusions Based on these findings, this study proposes that raters should consider the assessment purpose and context and rater variability when choosing an appropriate rating scale.