모의실험에 의한 가교피험자설계의 조건에 따른 동등화 방법 비교¹⁾

검사 비밀이 유지되어야 할 필요가 있거나 다른 실제적인 이유 때문에 동등화할 두 검사를 동시에 실시할 수 없을 때 비 동등집단 가교검사설계가 유용하다. 특히 두 피험자 집단이 동질적이지 못할 때 난이도를 비롯한 검사 특성의 차이와 피험자 능력의 차이가 혼동되지 않도록 하기 위하여 이 설계가 사용된다. 일반적으로 동등화할 두 검사가 동시에 실시되는 경우보다는 실시 간격이 있고, 두 피험자 집단의 동질성을 가정할 수 없는 경우가 많기 때문에 이 방법이 가장 현실적인 설계이다. 이 설계에서 가교 검사의 역할이 매우 크다. 가교 검사는 동등화 검사의 축소판이어야 한다. 즉 동등화 검사 X와 Y의 문항 모집단과 가교 검사의 문항 모집단은 같아야 한다(Klein & Jarjoura, 1985). 두 개의 동등화 검사 내에서 가교 검사 문항은 기능을 똑같이 해야 한다. 따라서 문항 내의 단어나 답지의 순서 등이 달라져서는 안되며 문항의 순서와 위치가 동일해야 한다. 집단 간 능력 차이가 지나치게 크다든지 가교 검사 문항 수가 전체 문항 수의 20% 이하로서 내용 대표성을 확보하지 못할 때 동등화 오차가 커진다(Cook et al, 1988).

하지만 현실적으로 동등화할 두 검사의 가교 역할을 하는 가교문항이 여의치 않을 때에는 가교피험자설계(Anchor Persons Design)를 통하여 동등화할 수 있다(Hambleton & Swaminathan, 1985; 남현우, 2001). 두 검사 모두를 치른 피험자 중 전집을 대표할 수 있는 피험자들의 능력 모수를 기준으로 두 검사 문항 모수치들의 재척도화를 수행할 수 있다. 가교검사설계(Anchor Item Design)와 가교피험자설계(Anchor Persons Design)를 비교하면 다음과 같다.

그림 Ⅱ-1. 가교검사설계(左)와 가교피험자설계(右)

Download Original Figure

검사점수의 동등화는 사용하는 함수에 따라 고전검사이론에 의한 동등화 방법과 문항반응 이론에 의한 동등화 방법으로 나누어지는데, 자료 수집 설계에 따라 동등화 방법의 결과가 다르게 나타난다. Lord(1975)는 비동등집단 가교검사 설계를 제외한 다른 설계에서는 고전적 동등화 방법들도 문항반응이론 동등화 방법만큼 좋은 동등화 결과를 보여준다고 하였다.

본 연구에서는 고전검사이론에 기초한 동등화의 대표적인 방법으로 선형 방법과 동백분위 방법을 사용하였고, 동백분위 방법은 이변량 점수 분포의 완곡화를 함에 있어 모형의 적용이 상대적으로 용이하다(Hanson, 1991; Holland & Thayer, 2000; Shin, 2011; Wang, 2011)고 평가를 받는 로그-선형 방법(log-linear method)을 포함하였다. 한편, von Davier, Holland, & Thayer(2004)는 동등화 함수를 직선 요소와 곡선 요소로 분해할 수 있고 곡선 요소를 위한 방법으로 Circle-Arc 방법을 사용할 수 있다고 제안하였으며, Livingston & Kim(2009)은 4지선다형을 사용한 검사 상황에서 Circle-Arc 방법이 다른 동등화 방법보다 적절하다고 보고함에 따라 Circle-Arc 동등화 방법을 포함하였다. 문항반응이론 동등화 방법 중에서 진점수 동등화 방법은 검사가 동형검사가 아닐 때, 동등화의 기본 가정인 공정성, 집단 불변성, 대칭성의 조건들을 충족시키는 것으로 보고된(Cook & Eignor, 1983; Lord, 1980) 문항반응이론 진점수 동등화 방법이 함께 비교되었다.

본 연구에서는 모의실험을 진행하기 위한 실험의 조건들을 설정하기 위해 34회·35회 한국어능력시험 자료에 대한 분석을 진행하였다. 한국어능력시험의 전체 문항 수는 50문항이며, 총점은 100점으로 하여 모의자료를 생성하였다. 한국어능력시험처럼 다양한 능력의 피험자가 충분히 많은 경우에는 피험자의 능력이 정규분포한다(이상하, 박도영, 2012)는 가정하에 피험자의 능력수준은 N(0, 1) 분포를 이용하여 응답반응 자료를 생성하였다. 두 시험의 응시집단은 유사한 능력을 가진 것으로 가정하였다. 문항모수 분포는 한국어능력시험 문항모수의 실제 분포를 참조하여 변별도 모수(a)는 최솟값과 최댓값이 0.5, 2.8을 모수로 하는 균일분포(U(.5, 2.8)), 난이도 모수(b)는 평균과 표준편차가 -0.5, 1인 정규분포(N(-.5, 1)), 추측도 모수(c)는 최솟값과 최댓값이 0.05, 0.3을 모수로 하는 균일분포(U(.05, .3))에서 추출하였다.

한국어능력시험의 분석 결과를 바탕으로 난이도 극단값 조건, 난이도 극단값 문항의 비율, 전체 피험자 수, 가교피험자 비율의 4가지 조건을 설정하였다.

동등화 표준편차는 동등화 결과의 양호성에 직접적 영향을 끼치기 때문에 상황에 적합한 설계 및 방법을 선택하는 하나의 중요한 기준으로 작용한다(Kolen & Brennan, 2004; 최성열, 이규민, 박아청, 2007). 동등화 결과의 상대적 적절성을 확인하기 위해서 동등화 이후 동등화 오차를 확인하는 과정은 필수적인 요소라고 할 수 있다. 각각의 실험 조건에 따라 수행된 동 등화 방법들의 결과는 이전의 연구(Harris & Kolen, 1990; Harris & Crouse, 1993; 김현철, 2000; 이용민, 2010)에서 동등화 결과의 평가를 위한 일반적 지수들로 사용된 지수인 평균제곱오차의 제곱근(Root of Mean Squared Error; RMSE)를 사용하여 비교하였다.

평균제곱오차의 제곱근은 동등화된 점수와 동등화된 점수의 평균의 차이 제곱을 각 점수의 관측 도수로 가중평균한 제곱근의 값으로 다음 식에 의해 산출된다.

이는 모형 또는 추정식에 의해 추정된 값과 실제 값 간의 차이를 비교하기 위해 자주 사용되는 통계량으로 값이 작다면 동등화의 결과는 그만큼 정확하고 양호도가 좋은 것을 의미한다.

<표 Ⅳ-1>에서 검사 자료의 기술 통계치를 보면 실험 조건 별 검사 X와 검사 Y의 평균과 표준편차에서 차이를 보였다. 그 중에서 뚜렷한 차이를 보이는 것은 전체 피험자 수가 10,000 명일 때 난이도 극단값이 -2인 문항이 10%, 20% 섞여 있는 경우, 검사 Y의 평균 점수가 더 높았으나, 난이도 극단값이 +2인 문항이 10%, 20% 섞여 있는 경우, 검사 X의 평균 점수가 더 높음을 알 수 있다. 그리고 전체 피험자 수가 30,000명일 때 난이도 극단값이 -2인 문항이 20% 섞여 있는 경우에는 검사 Y의 평균 점수가 더 높았으나, 난이도 극단값이 +2인 문항이 10%, 20% 섞여 있는 경우에는 검사 X의 평균이 더 높음을 알 수 있다.

<표 Ⅳ-2>의 동등화 오차(RMSE)에 대한 분산분석 결과에 의하면, 유의수준이 .05일 경우 주효과가 유의한 조건은 동등화 방법(E), 문항의 난이도 극단값(D), 문항의 난이도 극단값 비율(R), 공통 피험자 비율(P)이었다. 상호작용 효과가 유의한 조건은 동등화 방법(E)과 문항의 난이도 극단값(D), 동등화 방법(E)과 문항의 난이도 극단값 비율(R), 문항의 난이도 극단값(D)과 문항의 난이도 극단값 비율(R), 문항의 난이도 극단값(D)과 전체 피험자 수(N), 문항의 난이도 극단값(D)과 공통 피험자 비율(P), 문항의 난이도 극단값 비율(R)과 전체 피험자 수(N), 문항의 난이도 극단값 비율(R)과 공통 피험자 비율(P), 전체 피험자 수(N)과 공통 피험자 비율(P)임을 알 수 있다.

다음 <표 Ⅳ-3>와 <표 Ⅳ-4>에는 분산분석에 의하여 유의한 것으로 판정된 동등화 방법들과 조건 간의 상호작용 효과 해석을 위하여 RMSE 크기가 제시되었다. <표 Ⅳ-3>에는 동등화 방법(E)과 문항의 난이도 극단값(D)의 상호작용 결과가 제시되었다. 이 표에 의하면 문항의 난이도 극단값 조건에서 난이도 극단값이 +2일 때가 난이도 극단값이 -2일 때보다 오차가 매우 컸다. 이는 두 개의 검사의 난이도 차이가 주원인으로 보인다. 난이도 극단값의 모든 조건에서 Circle-Arc 동등화 방법의 오차가 가장 작았고, 사전완곡화(로그 선형) 동백분위 동등화 방법의 오차가 가장 컸음을 알 수 있다.

<표 Ⅳ-4>에는 동등화 방법(E)과 문항의 난이도 극단값 비율(R)의 상호작용 결과가 제시되었다. 이 표에 의하면 문항의 난이도 극단값 비율이 커질수록 IRT 진점수 방법, 선형 방법, Circle-Arc 방법은 오차가 커졌으나, 비완곡화 동백분위 방법과 사전완곡화(로그 선형) 동백분위 방법은 난이도 극단값 문항의 포함 비율이 20%일 때보다 10%일 때의 오차가 더 컸다. 난이도 극단값 비율의 모든 조건에서 Circle-Arc의 오차가 가장 작았고, 사전완곡화(로그 선형) 동백분위 방법의 오차가 가장 컸음을 알 수 있다.

다음 <표 Ⅳ-5>부터 <표 Ⅳ-10>에는 분산분석의 결과가 유의한 것으로 나타나는 실험 조건 간의 상호작용 효과 해석을 위하여 RMSE 크기가 제시되었다. <표 Ⅳ-5>에는 문항의 난이도 극단값(D)과 문항의 난이도 극단값 비율(R)의 상호작용 결과가 제시되었다. 이 표에 의하면 문항의 난이도 극단값 -2가 포함된 조건에서는 난이도 극단값 포함 비율이 커질수록 오차가 감소하였으나, 문항의 난이도 극단값 +2가 포함된 조건에서는 난이도 극단값 포함 비율이 커질수록 오차가 커졌다. 이에 대한 원인은 응시자의 능력이 -2 또는 +2에 가까운 분포로 인한 오차 발생이거나, 가교 피험자의 능력이 평균보다 낮았던 것이 원인으로 작용하였던 것으로 보인다.

<표 Ⅳ-6>에는 문항의 난이도 극단값 조건(D)과 전체 피험자 수 조건(N)의 상호작용 결과가 제시되었는데, 전체 피험자 수 모든 조건에서 난이도 극단값이 +2일 때가 난이도 극단값이 -2일 때보다 오차가 매우 컸다. 난이도 극단값 조건에서 전체 피험자 수가 30,000명일 때가 10,000명일 때보다 오차가 감소하였다.

<표 Ⅳ-7>에는 문항의 난이도 극단값 조건(D)과 가교피험자 비율 조건(P)의 상호작용 결과가 제시되었는데, 가교피험자 비율의 모든 조건에서 난이도 극단값이 +2일 때가 난이도 극단값이 -2일 때보다 오차가 매우 컸다. 난이도 극단값이 -2일 경우에는 가교피험자 비율이 1%일 때 오차가 가장 컸으며, 난이도 극단값이 +2일 경우에는 가교피험자 비율 조건에서 큰 차이를 보이지 않았다.

<표 Ⅳ-8>에는 문항의 난이도 극단값 비율(R)과 전체 피험자 수 조건(N)의 상호작용 결과가 제시되었는데, 전체 피험자 수 모든 조건에서 난이도 극단값 비율이 커질수록 오차가 컸으며, 난이도 극단값 조건에서 전체 피험자 수가 30,000명일 때 10,000명일 때보다 오차가 감소하였다.

<표 Ⅳ-9>를 보면 난이도 극단값 비율이 0%일 때 가교피험자 비율의 모든 조건에서 오차가 가장 작았다. 그리고 난이도 극단값 비율이 20%일 때 가교피험자 비율의 대부분 조건에서 오차가 가장 컸으나, 난이도 극단값 비율이 10%이고, 가교피험자 비율이 1%일 때의 경우에만 난이도 극단값 비율이 20%일 때에 비하여 오차가 컸다.

<표 Ⅳ-10>을 보면 전체 피험자 수가 10,000명일 때와 30,000명 일 때 모두 공통 피험자 비율이 1%일 때 오차가 가장 컸으며, 5%, 10%, 15%, 20%일 때의 오차는 비슷하였다. 그리고 전체 피험자 수가 30,000명일 때는 10,000명일 때보다 가교피험자 비율 조건에서 모두 오차가 작았다.