Article

사례수 차이가 검사동등화의 집단불변성 원칙 검증에 미치는 영향

김희경 1
HeeKyoung Kim 1
Author Information & Copyright
1한국교육과정평가원 부연구위원
1Associate Research Fellow, Korea Institute for Curriculum and Evaluation

ⓒ Copyright 2009, Korea Institute for Curriculum and Evaluation. This is an Open-Access article distributed under the terms of the Creative Commons Attribution NonCommercial-ShareAlike License (http://creativecommons.org/licenses/by-nc-sa/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: May 01, 2009 ; Revised: Jun 03, 2009 ; Accepted: Jun 17, 2009

Published Online: Jul 31, 2009

요약

집단불변성(population invariance)이란 검사동등화에 있어 필수 불가결한 원칙이다. 이 원칙에 따르면 동등화 결과는 어떤 집단을 사용하는지에 상관없이 항상 유일해야한다. 성별, 인종, 능력, 그밖에 여러 가지 중요한 특성에 따라 구분된 집단들이 검사동등화의 집단불변성 원칙을 충족하는 지 검증하는 많은 선행 연구들이 수행되었다. 이러한 집단불변성 원칙 관련 연구에서 집단 간 동등 화 차이를 수치로 나타내기 위해 REMSD(Root Expected Mean Square Difference)가 빈번히 계산 되었다. 하지만 비교하려는 집단들 간 사례수가 크게 차이나는 경우 REMSD값은 작아지는 경향이 있고 따라서 집단불변성 원칙의 평가가 실제와 다르게 판단될 수 있다는 우려가 제기되었다. 따라서 REMSD와 같은 오차 통계치를 판단 기준으로 사용하여 집단불변성 원칙을 평가하고자 할 때 사례수의 변화에 따라 얼마나 민감하게 영향을 받는지 검증할 필요가 있다. 본 연구는 집단의 사례 수가 REMSD 계산에 실제로 얼마나 민감한 영향을 끼치는가를 분석하였다. 또한 REMSD 계산과 정에서 각 집단에 부과되는 가중치(weight)를 결정할 때 여러 가지 방법을 사용하여 가중치를 부여 하여 사례수에 보다 덜 민감한 REMSD값을 구할 수 있는지 조사하였다. 연구 결과, 집단 간 사례 수 차이에 따라 오차 통계치(RMSD)의 값이 원래보다 커지거나 작아지기도 하는 것을 확인하였다. 따라서 비교하려는 집단 간 크기가 서로 비슷하지 않고 불균형한 경우 REMSD값을 사용하여 집단 불변성 원칙을 평가하고자 하는 것에 대해 유의해야 할 것이며, 사례수의 영향을 받지 않는 판단 기준을 개발해야 할 필요성을 강조하였다.

Keywords: Test equating; Population invariance property; Equipercentile equating; REMSD; RMSD