Article

수준설정의 타당성 검증을 위한 평정자 기대 정답률의 예측오차 분석

박인용1, 송미영2,, 김성숙3,
In-Yong Park1, Mi-Young Song2,, Sungsook Kim3,
Author Information & Copyright
1한국교육과정평가원
2한국교육과정평가원
3한국교육과정평가원
1Associate Research Fellow, Korea Institute for Curriculum and Evaluation
2Research Fellow, Korea Institute for Curriculum and Evaluation
3Senior Research Fellow, Korea Institute for Curriculum and Evaluation
Corresponding Author : Mi-Young Song, E-mail : mysong@kice.re.kr

ⓒ Copyright 2014, Korea Institute for Curriculum and Evaluation. This is an Open-Access article distributed under the terms of the Creative Commons Attribution NonCommercial-ShareAlike License (http://creativecommons.org/licenses/by-nc-sa/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Aug 29, 2014 ; Revised: Sep 30, 2014 ; Accepted: Oct 13, 2014

Published Online: Nov 30, 2014

요약

이 연구는 앙고프(Angoff) 방법에 의한 수준설정의 절차적 측면에서 타당성을 점검하는 연구로, 평정자의 기대 정답률 예측에 대한 라운드별 예측 정확성을 탐색하였다. 2010년 중·고등학교 학업성취도 평가의 수준설정에서 라운드별 평정자가 각 문항별로 예측한 기대 정답률 자료와 문항 응답 자료를 활용하여 기대 정답률 예측의 정확성 지수를 문항 난이도, 문항 유형별로 산출한 결과, 수준설정 라운드가 진행됨에 따라 평정자들의 기대 정답률과 실제 정답률간 오차가 점차 감소하여 절차적 측면에서의 타당성 증거를 확인하였다. 평정자들은 문항이 쉬울 경우 기대 정답률을 과소 추정하였고, 문항이 어려울 경우 과대 추정하는 경향을 보였으며, 문항 유형에 따라서는 학교급, 교과, 성취수준별로 라운드에 따른 오차 경향이 다양하게 산출되었다. 이러한 결과에 기반하여 내용 전문가의 문항 정답률 예측을 필요로 하는 수준설정 방법을 적용할 때 기대 정답률 예측에 대한 평정자 훈련의 고려사항을 제언하였다.

Keywords: 수준설정; 앙고프 방법; 기대 정답률; 절차적 타당성