Article

문항의 배점 결정 요인 및 타당성 분석 - 2009학년도 의학교육입문검사를 중심으로 -

김주훈1,, 동효관2, 송미영3, 남민우2, 김미영2, 최원호2, 이재봉2, 주지은4, 이은경4, 김지윤5
Joohoon Kim1,, Hyokwan Dong2, MiYoung Song3, Minwoo Nam2, Miyoung Kim2, Wonho Choi2, Jaebong Lee2, Jieun Joo4, Eunkyung Lee4, JiYoon Kim5
Author Information & Copyright
1한국교육과정평가원 수석연구귀원
2한국교육과정평가원 부연구위원
3한국교육과정평가원 연구위원
4한국교육과정평가원 위촉연구원
5한국교육과정평가원 위촉연구조원
1Chief Research Fellow, Korea Institute for Curriculum and Evaluation
2Associate Research Fellow, Korea Institute for Curriculum and Evaluation
3Research Fellow, Korea Institute for Curriculum and Evaluation
4Research Assistant, Korea Institute for Curriculum and Evaluation
5Research Assistant, Korea Institute for Curriculum and Evaluation
Corresponding Author : Joohoon Kim, E-mail : jhk321@kice.re.kr

ⓒ Copyright 2010, Korea Institute for Curriculum and Evaluation. This is an Open-Access article distributed under the terms of the Creative Commons Attribution NonCommercial-ShareAlike License (http://creativecommons.org/licenses/by-nc-sa/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Apr 19, 2010 ; Revised: Jun 07, 2010 ; Accepted: Jun 17, 2010

Published Online: Jul 31, 2010

요약

본 연구는 문항의 차등 배점을 적용할 경우 합리적 방안이 무엇인지 규명하고자 하였다. 이를 위해 각종 국가 고사의 배점 방식을 조사하고, 이 중 2009학년도 의학교육입문검사를 대상으로 내 용 전문가들의 판단에 의한 차등 배점 부여 시 적용되는 논리의 일관성과 타당성을 경험적으로 분 석하였다. 분석 결과, ‘예상 정답률, 문항 풀이 시간, (교육과정상의) 중요도’ 등 3가지의 차등 배 점 요인이 추출되었다. 또한 전문가 판단의 논리적 타당성을 검증하기 위해 전문가들의 문항 평정 일치도를 분석한 결과, 평가 영역별로 차이가 있었으며 전반적으로 낮은 일치도를 나타내었다. 차 등 배점의 효과를 분석한 결과, 관찰된 검사 점수의 수는 동등 배점 시보다 2배 이상 증가하여 동 점자 해소의 효과가 있었으나 그 외의 효과는 긍정적이지 않았다. 이러한 분석 결과를 바탕으로 본 연구에서는 차등 배점 방식을 합리적으로 적용하기 위한 방안을 제시하였다. 첫째, 차등 배점의 장 단점에 대한 명확한 이해가 선행되어야 하며, 검사의 성격과 목적을 고려하여 차등 배점 적용 여부 를 판단해야 한다. 둘째, 전문가 판단에 의한 차등 배점 방식을 적용할 때에는 반드시 전문가들에 대한 사전 교육 및 연수가 선행되어야 한다. 셋째, 동점자 해소 방안의 하나로 차등 배점 방식을 고려할 수는 있으나 차등 배점의 효과가 그리 크지 않을 수 있다는 점을 유의해야 한다. 넷째, 최 소 배점과 최대 배점 간의 차이가 3배 미만으로 설정해야 전문가 집단뿐만 아니라 시험 관련 이해 당사자들 간의 논란을 최소화할 수 있다.

Keywords: 문항 배점 방식; 차등 배점