국가수준 학업성취도 평가의 표집설계 개선 방안 연구¹⁾

국가수준 학업성취도 평가(이하 학업성취도 평가)는 매년 학생의 학력 수준을 파악하고 변화 추이를 점검함으로써 국가 교육과정이 학교 현장에서 적용된 이후 학생에 미치는 교육적 성과를 체계적으로 점검하는데 그 목적이 있다. 따라서 학업성취도 평가 결과는 1998년 기본 계획 수립 이후 지속적으로 학교 교육의 질 관리, 기초학력 점검, 교육과정 개선, 단위학교의 교수·학습 방법 개선, 교육정책 결정 등의 기초 자료로 활용해왔다. 자료 수집을 위하여 1986년 전수평가로 시작하였으나 1998년 ‘국가수준 교육성취도 평가 기본 계획(김명숙 외, 1998)’이 수립되면서 시행의 효율성과 경제성을 위하여 표집 평가로 시행되었다. 이후 학생들의 기초학력 보장을 위한 정책이 강화되면서 2008년 전수평가로 전환된 이후 2016년까지 전수체제가 유지되었다.

그러나 2017년 6월 전국 시·도교육감 협의회는 전수체제의 학업성취도 평가가 시‧도 및 학교를 서열화하고 계층화하는 자료로 남용되고 있다고 비판하면서 표집 평가로 전환할 것을 제안하였다. 이에 국정기획자문위원회는 학업성취도 평가의 원래 취지에 부합되도록 2017년 학업성취도 평가부터 표집평가 방식으로 전환하되, 표집학교 이외의 모든 학교는 자율에 따라 시행할 것을 교육부에 제안하였으며, 교육부에서는 이러한 제안을 받아들여 2017년을 기점으로 전수평가를 폐지하고, 중학교 3학년, 고등학교 2학년 표집 학교는 의무시행, 이외의 학교는 시‧도교육청에서 자율적으로 시행하도록 결정하였다(교육부, 2017.06.14.). 결과적으로 2017년 6월 학업성취도 평가의 표집 시행이 전면 도입되면서 시행령 개정을 추진하여 개별 학교의 학업성취도 평가 결과를 공시하지 않고 시‧도교육청별 결과 발표도 폐지되었으며, 결과적으로 국가수준의 평가 결과만을 발표하기로 하였다(교육부, 2017.06.14.).

본 연구는 학업성취도 전수 평가 체제 하에서도 별도의 표집 평가 시행을 병행해 왔기 때문에 기존의 표집 설계 방식의 개선안을 모색하는데서 출발하였다. 다만 전수평가 체제에서의 표집 시행 결과는 전수 결과의 변화 추이 파악, 전수 학생 서답형 문항 채점의 표준화 등 평가 결과 산출의 안정성 확보 차원에서 약 1.5%의 학생을 별도로 표집하고 이 결과를 동등화 및 채점 기준 검점에 활용해 왔다는 측면에서 그 목적과 취지가 일반적인 표집평가와는 차이가 있다. 따라서 본 연구는 동등화를 위한 목적으로 활용되었던 기존의 표집 설계 방식을 검토하고, 표집 방법 및 표집 규모의 조건을 다양화하여 모의자료를 생성하고 그에 따른 표본 통계 결과의 정확성과 안정성을 비교·분석해 봄으로써 표집자료에 근거한 학업성취도 평가 결과가 국가수준의 학력수준을 진단하는데 있어 타당하고 유용한 정보로 활용될 수 있도록 그 토대를 마련하는데 주요 목적이 있다. 본 연구 결과는 국가단위의 표집 평가 및 조사 연구를 수행하고자 하는 일반 연구자들에게 평가 결과의 정확성 및 시행의 효율성을 고려하여 적정한 표집 설계 방법을 선정하는데 실증적인 데이터 및 가이드라인을 제공한다는 측면에서 그 의의가 있다.

표집체제 하에서 학업성취도 평가의 제 기능을 유지할 수 있는 적정 규모의 표집방법과 표집규모를 탐색하기 위하여 기존 학업성취도 평가의 표집설계에서의 표집방법과 표집규모의 조건을 달리하여 시뮬레이션 분석을 수행하였다. 먼저 2016년 학업성취도 평가 전수자료를 활용하여, 다양한 표집 방법과 표집 규모의 조건에 따라 반복적으로 표집학생을 선정하고, 각 조건별 표집 분석 결과와 모집단 분석 결과를 비교함으로써 표집 방법과 표집 규모에 따른 결과의 정확성과 대표성을 점검하고자 하였다.

반복적으로 표집학생을 선정하기 위해 모집단으로 2016년 중학교 3학년, 고등학교 2학년 학업성취도 평가 교과별 전수자료를 활용하였다. 표집 규모는 현재 검사지 유형별 표집 학생인 2,000명을 기준으로 4개 유형의 총 약 8,000명을 표집 규모로 활용하는 현행 방식(이는 모집단 학생 수의 약 1.5%에 해당)과 더불어 표집을 통한 평가 결과의 정확성 제고를 위해 현실 적용 가능한 범위 안에서 표집 규모를 약 3%, 5%, 10%로 확대하는 방안을 고려하였다.

표집 방법은 현행 표집 방법에서 고려되는 군집 방법의 설정, 외층의 설정, 기준학급의 크기 설정을 변화시키며 표집하였다. 먼저 군집 방법의 경우 현행 방식인 학교, 학급을 고려한 다단계 임의 표집 방식을 적용하였다. 다만 학교 내 표집 학급수를 현행 방식은 1학급 고정에서 학교 내 학급 수를 늘리는 방안이 고려하였다(단, 시행 상의 어려움과 교사 설문과의 직접 연계를 위해 학교 내 학생 임의표집은 고려하지 않음).

외층 설정의 경우 현행 방식에서는 시·도 교육청을 외층으로 설정하고 있으며, 이 연구에서는 시·도 교육청 외층 방식과 더불어 시·도 교육청과 지역규모의 교차 층을 외층으로 설정하여 외층의 세분화가 표집 오차에 주는 영향력을 탐색하고자 하였다.

기준학급 크기(학급 당 또는 학교 당 기준학생)는 현행 방식의 경우 목표 표집 학교 수 결정을 위해 35명을 기준으로 하고 있다. 즉, 현행 방식은 1학교에 1학급을 무선 추출하는 방식이기 때문에 각 시도별로 표집 학교 수를 결정하기 위해 1학급 포함되는 기준 학생 수를 35명으로 설정하여 산출되는 학교 수 만큼을 표집하는 것이다. 이러한 방식은 현재 우리나라의 학생 수가 줄어들고 있으며, 외층에 따라 실제 학급 당 학생 수를 반영하기 어려운 제한점이 있어 이 연구에서는 현행 방식의 35명과 더불어 우리나라 전체 학급 당 학생 수의 평균을 활용하는 방안과 외층별로 학급 당 학생 수의 평균을 활용하는 방안으로 표집 결과의 정확성을 점검하고자 하였다.

모집단을 토대로 표집 조건에 따라 각 100회를 시행하며, 시뮬레이션 절차는 다음과 같다.

이상의 시뮬레이션 절차를 통한 데이터 생성 설계와 데이터 생성 조건을 요약하면 다음과 같다.

이 연구에서 활용한 모집단에서의 성취수준 비율과 학교 간 차이를 보여주는 ICC는 <표 6> 과 같다.

모집단은 3,094개 중학교의 512,807명이며 국어, 수학, 영어의 기초학력 미달 학생 비율은 각각 2.0%, 4.9%, 4.0%로 나타났다. 또한, 전체분산에서 학교 간 분산(학교 간 차이)의 비율의 지표인 ICC는 각각 9.0%, 14.8%, 16.7%로 나타나 학교 간 차이가 전체 차이 대비 영어에서 가장 큰 것을 볼 수 있다. 고등학교의 경우 모집단은 1,780개 학교의 456,091명이며, 국어, 수학, 영어의 기초학력 미달 학생 비율은 각각 3.4%, 5.4%, 5.4%이었다. 또한, 전체분산에서 학교 간 분산(학교 간 차이)의 비율은 각각 27.5%, 28.3%, 31.9%로 나타나 고등학교에서의 학교 간 차이가 비교적 크게 나타난 것을 볼 수 있다.

이 연구에서는 <표 6> 의 모집단에서 표집 방법과 표집 규모에 따라 학교 및 학생을 표집하였으며, 반복적으로 추출된 학교 수는 <표 7> 과 같다.

다른 조건이 동일할 경우, 전반적으로 시도외층보다는 교차외층 적용 시 보다 많은 학교가 표집되었다(예, 학급당 학생 수 35명 기준에서 표집 규모 1.5% 적용 시, 시도외층에서는 236개 학교, 교차외층에서는 242개교가 산출됨). 또한, 학급당 학생 수의 기준을 35명으로 할 경우에 비해 실제 학급당 평균 학생 수를 반영한 경우 보다 많은 학교가 표집되는 것을 볼 수 있다(예, 시도외층, 표집 규모 1.5% 적용 시, 35명 방식은 236개교가 표집되었고 전체평균 방식은 281개교가 표집됨). 다만 학급당 학생 수의 기준을 전체평균 방식과 외층평균 방식을 적용하여 산출된 표집 학교 수는 거의 유사하였다.

외층 변인과 기준학급 크기 조건이 동일하고 표집 규모만 증가시킬 경우, 학교 전체를 군집 표집하는 경우 필요로 하는 표집 학교 수가 현저히 낮은 것을 볼 수 있다. 또한, 동일 조건에서 1학급 방식과 N학급 방식을 비교하면, 표집 규모가 커지면 1학급 방식에서는 필요로 하는 학교 수도 커지지만, N학급 방식은 학교 내 표집되는 학급 수만 증가하여 학교 수는 동일하게 유지되고 있다.

표집 방법과 표집 규모에 따라 반복적으로 추출된 학생 수는 <표 8> 과 같다.

시·도 교육청 외층 방법을 적용할 경우 시·도 교육청별로 학생을 추출하되, 시·도 교육청별로 표집해야 할 학생 수는 모집단에서의 시·도교육청별 학생 비율에 따라 산정된다. 이러한 방식으로 시·도 교육청별 표집 학생 수가 결정되면, 해당 학생 수를 추출하기 위한 학교 수 산출이 필요하다. 학교 수 산출은 기준 학급 크기(학급 당 기준 학생 수)와 군집방법에 따라 다르게 산출되는데, 대체로 기준 학급 크기가 35명일 경우 가장 적게 표집 되었으며, 전체 평균, 외층 평균 순으로 나타났다. 또한, 군집 방법에 따라 1학급의 경우 학교 당 1학급, N학급의 경우 학교 당 여러 학급, 학교 군집 표집에서는 학교 전체 학생을 표집하는데, 대체로 군집방법으로 학교 당 1학급으로 할 경우 가장 작은 수의 학생이 표집되었고, N학급, 학교 순으로 나타났다. 표집 방식의 예를 들면, 전체 표집 규모가 1,000명이고 A시도의 학생이 전체 모집단에서 10%에 해당한다면, 시·도 교육청 외층은 시도A에서 100명을 표집하며, 이를 위해 학교 수를 결정해야 된다. 100명을 표집하기 위한 표집학교 수 결정에 있어, 기준 학급 크기를 35명으로 하고, 군집방법을 1학급으로 할 경우 각 학교에서 1개의 학급 학생만 표집되기 때문에, 표집학교 수는 3개(100÷35) 학교가 되며, 각 3개의 학교에서 1학급을 임의추출하여 표집학생을 선정한다.

시·도 교육청 외층에 학급 당 학생 수 기준을 35명으로 하고 학교 당 1학급을 추출할 경우, 표집규모 1.5% 적용 시 7,152명이 표집되었으며, 3%인 경우에는 약 2배에 해당하는 14,063명이 표집되었다. 시·도교육청 외층에 학급 당 학생 수 기준을 전체 학급의 평균 학생 수로 하고 학교당 1학급을 표집할 경우, 표집규모가 1.5%인 경우에는 약 8,513명, 3%일 경우에는 16,785명이 표집되어, 학급 당 학생 수 35명 기준보다는 약간 더 많은 학생이 표집되었다. 표집 방법에 따른 학교와 학생 수를 종합적으로 정리하면, 먼저 외층 방법에서는 시도외층 대비 교차외층 적용 시 추출된 학교 수 및 학생 수가 다소 증가하였다.

기준 학급 크기의 경우 다른 조건이 동일할 경우, 현재 적용 중인 학급당 학생 수 35명 기준 표집 방법보다는 실제 학급당 평균 학생 수를 반영한 표집 방안 적용 시, 학교 수 및 학생 수 모두 좀 더 많은 표집을 필요로 하였다. 기준 학급 크기에 따른 차이가 학생 수 보다는 학교 수에서 상대적으로 크게 나타났으나, 전체평균 방식과 외층평균 방식에는 커다란 차이를 보이지 않았다. 군집 방법에서는 학교 군집 표집 시, 학교당 1학급 표집 또는 학교 당 여러 학급 표집방법에 비해 학교 수는 현저하게 작게 표집되지만, 학생 수는 학교의 전체학생을 표집 대상으로 하기 때문에 다른 두 방법에 비해 매우 크게 나타났다.

이 연구에서는 학업성취도 평가 전수 학생을 모집단으로 하여 산출된 국가수준에서의 성취수준 비율, 학교수준에서의 성취수준 비율과 ICC를 시뮬레이션을 통해 표집 방법과 표집 규모에 따라 반복 추출된 표집 자료에서의 결과를 비교하기 위하여 다음의 준거지표를 적용하여 대표성과 정확성을 검증하였다.

R: 반복 횟수, τ: 모집단의 결과(성취수준 비율, ICC), $\widehat{\tau }$: 표집에서의 결과

BIAS는 표집 결과를 통한 추정 결과의 정확성을 보여주는 지표이며, SEE는 표집 결과를 통한 추정 결과의 안정성을 보여주는 지표이다. RMSE는 이 두 가지 지표를 종합적으로 고려한 것으로 RMSE² = BIAS² + SEE² 의 관계를 가지고 있다. 이 연구에서는 표집 방법에 따라 표집학생들을 통한 학교별 성취수준 비율의 정확성을 탐색하고자 하였으며, 이에 따라 모집단에서의 학교별 성취수준 비율과 표집 방법에 따른 학교별 성취비율의 추정의 정확성을 보고자 하였다. 이를 위해 다음과 같은 지표를 통해 학교별 정확성과 안정성을 종합적으로 확인하였다.

R: 반복 횟수, Ns_r: r 번째 반복에서의 학교 수, r_i: r번째 반복의 i 학교, τ_i : i 학교의 모집단 결과(학교의 성취수준 비율), ${\widehat{\tau }}_{r_i}$: 번째 반복의 학교 결과

RMMSE는 학교별 정확성과 안정성을 종합적으로 고려한 지표로 R은 반복 표집 횟수를 의미하며, Ns_r 는 r 번째 반복에서의 학교 수를 의미한다. r_i 는 r 번째 반복에서의 i번째 학교를 의미한다. 즉, RMMSE는 모집단의 i 학교에서의 결과와 i 학교가 표집되었을 때의 산출되는 결과의 전반적인 평균 차이를 보여주고 있다.

시뮬레이션을 통해 군집 방법, 즉 1개 학교의 1개 학급, 1개 학교의 여러 개 학급, 1개 학교의 모든 학급의 학생 표집한 학생을 통한 추정치의 정확성은 <표 9>, [그림 1]과 같다. RMSE는 추정의 정확성 지표인 BIAS(편의성)와 추정의 안정성 지표인 SEE(추정치 표준편차)가 결합된 종합적인 지표이므로, RMSE를 중심으로 결과표를 제시하였다. 이에 <표 9> 에서는 모집단 분석 결과 대비 표집 조건별 추정치에 대한 RMSE(평균제곱근 오차)값을 제시하였다.

그림 1. 군집 방법에 따른 성취수준 비율의 RMSE 평균

Download Original Figure

군집 방법에 따른 RMSE 평균값을 비교한 결과, 과목이나 학교급에 관계없이 학교 내 1학급 표집 방식(현행)이 다른 방법에 비해 국가수준에서의 성취수준 비율과 ICC의 RMSE가 가장 작았으나, 학교단위 군집 표집에서 RMSE 평균값이 가장 크게 나타났다. 이러한 결과는 학교 내 1개 학급 표집 방식이 국가수준의 성취수준 비율을 산출하는 데는 적합하나, 개별 학교별로 성취수준 비율을 추정 할 경우 추정의 정확성이 낮은 것을 보여준다. 또한, 전반적으로 RMSE 평균값이 중학교에 비해 고등학교에서 상대적으로 크게 나타났는데, 이는 학교 간 차이의 영향으로 중학교 결과의 정확성이 높은 것을 시사하고 있다. 학교별 성취수준 비율의 RMMSE 경우, 1학급 표집보다는 N학급 표집에서 RMSE가 상대적으로 작게 나타나, 학교 단위의 성취수준 비율의 추정을 위해서는 학교 내에서 여러 학급을 표집하는 것이 유리한 것을 볼 수 있다.

학업성취도 평가의 표집 방식에서는 외층으로 시·도교육청을 활용하여 시·도교육청별로 학생을 표집하였다. 이 연구에서는 시·도교육청 내에 있는 지역규모를 추가적으로 고려하기 위해 시·도교육청과 지역규모의 교차 외층을 통해 정확성을 점검하고자 하였다. 시·도교육청과 시·도교육청 및 지역규모의 교차 외층 설정별 표집학생을 통한 추정치의 정확성은 <표 10>, [그림 2]와 같다.

그림 2. 외층 설정에 따른 성취수준 비율의 RMSE 평균

Download Original Figure

시·도 교육청 외층 표집 방식(현행)과 시·도 교육청과 지역규모를 반영한 교차외층 방식을 통한 분석 결과, 성취수준 비율 및 ICC 각각에 대하여 교과 및 학교급에 상관없이 교차외층 방식에서 RMSE 평균값이 작게 나타났으며, 전반적으로 RMSE 평균값이 중학교에 비해 고등학교에서 크게 나타났다. 반면, 학교별 성취수준 비율의 RMMSE 경우, 두 방식 간 커다란 차이를 보이지 않았다. 이러한 결과는 국가수준에서의 추정치를 활용하기 위해서 현행 표집 방법에서 시·도교육청과 지역규모의 교차 외층의 설정을 통해 추정치의 정확성을 보다 높일 수 있는 방안으로 고려될 수 있는 가능성을 보여주고 있다.

학업성취도 평가에서는 표집학교 선정을 위해 학급 당 기준 학생 수를 35명으로 설정하고 있다. 이 연구에서는 학급 당 기준 학생 수 현실화와 학교의 대표성 제고를 위해 학급 당 학생 수의 전체 평균, 외층별 평균으로 기준 학생 수를 설정하여 표집한 후 결과를 비교하였으며, 정확성 결과는 <표 11>, [그림 3]과 같다.

그림 3. 학급당 기준 학생 수 산정에 따른 성취수준 비율의 RMSE 평균

Download Original Figure

<표 11> 과 [그림 3]의 결과를 보면, 학급당 기준 학생 수 산정 방식 간 RMSE 평균값의 차이가 거의 없음을 확인할 수 있다. 다만 매우 근소한 차이지만 중학교에서는 전체 평균 방식의 RMSE가 가장 작았고, 고등학교에서는 반대로 외층 평균 방식이 가장 작게 나타났다. 또한, 학교별 성취수준 비율의 RMMSE 또한, 세 가지 방식 간 커다란 차이를 보이지 않은 것을 확인할 수 있다.

<표 11> 과 [그림 3]에서 나타난 결과는 중학교에서는 전체 평균 방식이 미미하지만 정확성을 높이는데 기여함을 알 수 있고, 고등학교에서는 외층에 따라 학급 당 학생 수가 차이로 인해 외층별 평균을 활용하는 방식이 정확성을 높이는데 기여하는 것을 알 수 있다.

현행 학업성취도 평가에서는 추이 분석의 안정성을 위해 각 검사유형별로 2,000명을 표집하고 있으며, 총 8,000명을 표집하고 있다. 이는 모집단의 약 1.5%에 해당하는 비율로 이 연구에서는 국가수준의 추정치의 정확성을 높이기 위해 표집 규모의 설정에 대한 기초자료를 확보하기 위해 표집 규모를 점차 늘려가며 정확성을 확인하고자 하였다. 표집 규모에 따른 추정치의 정확성은 <표 12> 와 [그림 4]에 제시하였다.

그림 4. 표집 규모에 따른 성취수준 비율의 RMSE 평균

Download Original Figure

국가수준의 성취수준 비율을 기준으로 표집 규모가 증가할수록 RMSE 평균값이 점차 감소하고, 그 감소폭은 표집규모가 1.5%(현행)에서 3% 증가 시 가장 크게 나타나는 것을 볼 수 있다. 또한, 중학교에 비해 고등학교에서 RMSE 평균값이 크게 나타났으며, 과목 간 차이의 경우 중학교에서는 RMSE 평균값이 국어가 가장 낮고 영어가 가장 높았다. 고등학교에는 국어가 가장 낮고, 수학과 영어에서의 RMSE 평균값이 비교적 유사하였다. 학교별 성취수준 비율 기준의 RMMSE 비교에서도 유사한 결과를 보이고 있었다. 이러한 결과는 표집 규모가 증가할수록 일반적으로 모수에 대한 추정의 정확성이 높아지는데, 그 정도는 대체로 1.5%에서 3%로 증가할 경우 크게 증가하는 것을 의미하고 있다.