Journal of Curriculum and Evaluation
Korea Institute for Curriculum and Evaluation
Article

사례수 차이가 검사동등화의 집단불변성 원칙 검증에 미치는 영향

김희경1
HeeKyoung Kim1
1한국교육과정평가원 부연구위원
1Associate Research Fellow, Korea Institute for Curriculum and Evaluation

ⓒ Copyright 2009, Korea Institute for Curriculum and Evaluation. This is an Open-Access article distributed under the terms of the Creative Commons Attribution NonCommercial-ShareAlike License (http://creativecommons.org/licenses/by-nc-sa/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: May 01, 2009 ; Revised: Jun 03, 2009 ; Accepted: Jun 17, 2009

Published Online: Jul 31, 2009

요약

집단불변성(population invariance)이란 검사동등화에 있어 필수 불가결한 원칙이다. 이 원칙에 따르면 동등화 결과는 어떤 집단을 사용하는지에 상관없이 항상 유일해야한다. 성별, 인종, 능력, 그밖에 여러 가지 중요한 특성에 따라 구분된 집단들이 검사동등화의 집단불변성 원칙을 충족하는 지 검증하는 많은 선행 연구들이 수행되었다. 이러한 집단불변성 원칙 관련 연구에서 집단 간 동등 화 차이를 수치로 나타내기 위해 REMSD(Root Expected Mean Square Difference)가 빈번히 계산 되었다. 하지만 비교하려는 집단들 간 사례수가 크게 차이나는 경우 REMSD값은 작아지는 경향이 있고 따라서 집단불변성 원칙의 평가가 실제와 다르게 판단될 수 있다는 우려가 제기되었다. 따라서 REMSD와 같은 오차 통계치를 판단 기준으로 사용하여 집단불변성 원칙을 평가하고자 할 때 사례수의 변화에 따라 얼마나 민감하게 영향을 받는지 검증할 필요가 있다. 본 연구는 집단의 사례 수가 REMSD 계산에 실제로 얼마나 민감한 영향을 끼치는가를 분석하였다. 또한 REMSD 계산과 정에서 각 집단에 부과되는 가중치(weight)를 결정할 때 여러 가지 방법을 사용하여 가중치를 부여 하여 사례수에 보다 덜 민감한 REMSD값을 구할 수 있는지 조사하였다. 연구 결과, 집단 간 사례 수 차이에 따라 오차 통계치(RMSD)의 값이 원래보다 커지거나 작아지기도 하는 것을 확인하였다. 따라서 비교하려는 집단 간 크기가 서로 비슷하지 않고 불균형한 경우 REMSD값을 사용하여 집단 불변성 원칙을 평가하고자 하는 것에 대해 유의해야 할 것이며, 사례수의 영향을 받지 않는 판단 기준을 개발해야 할 필요성을 강조하였다.

Keywords: Test equating; Population invariance property; Equipercentile equating; REMSD; RMSD