과학 교과의 세부 영역별 학업 성취에 영향을 미치는 학생 및 학교 변인¹⁾

평가의 최근 동향은 ‘학습을 위한 평가(assessment for learning)’를 강조하며, 학생 간의 경쟁을 심화하기보다는 세부 영역에서의 강점 및 취약점을 산출하여 제공하는 등 평가의 교육적인 기능을 강조하는 분석 방법을 탐색할 필요성이 증가하고 있다(김희경 외, 2014, p.6). 이러한 관점에서 정혜경 외(2018)의 연구에서는 학업성취도 평가 결과 산출 시 교과 내 세부 학습영역에 대한 학업성취 특성을 산출하는 방안을 모색한 바 있다. 정혜경 외(2018)는 2017년 국가수준 학업성취도 평가의 과학 교과의 세부 영역을 [그림 1]과 같이 8개 영역으로 설정하고 인지진단모형(cognitive diagnostic model)을 적용하여 분석하였다. 분석 결과, 우리나라 학생들이 가장 우수한 과학 교과 세부 영역은 ‘현상에 포함된 과학 원리 설명하기’였고, 가장 취약한 영역은 ‘증거에 기반하여 논증하기’였다.

그림 1. 2017년 국가수준 학업성취도 평가의 과학 교과 8개 세부 학습영역 출처: 정혜경 외(2018, p.220)에서 발췌함.

Download Original Figure

또한, 국제 수준 평가인 PISA에서도 유사한 교과 세부 영역에 대한 평가 결과 산출 연구가 수행되었다. 특히, PISA 2015의 주 영역은 과학이었으며 과학적 역량의 3개 세부 영역을 ‘현상을 과학적으로 설명하기’, ‘과학적 탐구를 설계하고 평가하기’, ‘자료 및 증거를 과학적으로 해석하기’로 정의하였다(OECD, 2016). 이러한 과학 세부 역량에 대한 PISA 참여국들의 상대적인 강약점을 파악한 결과, ‘과학적 탐구를 설계하고 평가하기’ 영역이 강점인 참여국은 싱가포르, 뉴질랜드, 벨기에, 미국 등이었으며, 우리나라는 ‘자료 및 증거를 과학적으로 해석하기’에 강점을 보였다.

[그림 1]에 제시된 학업성취도 평가에서의 과학 교과 세부 영역별 학업성취도, 그리고 PISA 2015에서 수행한 과학 교과 세부 영역 학업성취도 분석을 통한 구체적인 강약점 분석은 영역별로 균형적인 학업성취를 위한 교수‧학습을 설계하는 데 유용한 정보가 될 수 있다.

평가 결과와 연계한 교육맥락변인 분석 연구는 학생의 학업성취에 영향을 주는 학생, 교사, 학교의 특성을 탐색하고자 하는 연구이다. 이러한 연구는 학생의 학습 향상을 위한 교수·학습 개선, 교육 정책의 시사점 도출을 위해 필요하므로 관련하여 다양한 연구가 이루어졌다.

박인용 외(2017)는 국어, 수학, 영어 교과를 중심으로 교과의 학업성취와 관련된 요인을 탐색하고자 2016년 학업성취도 평가 자료를 분석하였다. 이에 주요 연구 결과로 학생 특성과 관련하여 교과 공통적으로 부모와의 대화, 학생의 적극적인 수업 참여도, 스스로 공부하는 자기주도학습 시간, 높은 학업적 효능감이 학생의 학업성취와 정적인 관련성이 있음을 확인하였다. 또한 교사 특성 중에서 교과 및 학교급에 따라 차별적으로 학업성취와 관련성을 보이는 변인을 확인하였는데, 숙제에 대한 교사의 피드백(중학교 수학)이나 수준별 학습자료 개발 및 활용(고등학교 영어) 등의 변인이 학업성취에 대한 긍정적인 관련성이 있음을 확인하였다. 이 연구는 학업성취와 관련 있는 교사 요인을 교과와 학교급에 따라 차별적으로 밝혀낸 것에 의미가 깊다고 할 수 있다.

이신영과 김현정(2021)은 PISA 2018 과학 영역의 인지적 성취와 관련된 교육맥락변인의 영향력을 분석하였다. 이들의 연구 결과에 따르면 부모의 학력과 가계소득 수준이 학업성취와 관련된 결정적인 요인이었으며, 이외에도 부모의 정서적 지원이 학생의 성취에 유의하게 긍정적인 영향을 미치고 있음을 확인하였다. 또한 구자옥, 한정아, 김성숙(2015)은 PISA 2012 상위국(대한민국, 싱가포르, 일본, 핀란드)의 과학 성취에 미치는 교육맥락변인 영향력을 분석하였는데, 방과 후 숙제를 위해 할애하는 시간은 대한민국, 일본, 싱가포르 순으로 크게 영향을 미치는 것으로 나타났다. 또한 학습 활동에 대한 태도는 특히 대한민국과 일본의 학생들의 과학 성취에 긍정적인 영향을 미치는 것으로 나타났다. 교사-학생 간 관계 같은 학교 분위기는 특히 여학생들의 과학 성취에 더 영향을 주는 것으로 나타났다.

또한 과학 성취도와 관련된 변인을 탐색하는 연구로 곽영순(2018), 곽영순과 박상욱(2018)은 TIMSS 2015 결과에서 과학 성취도에 영향을 주는 교육맥락변인을 분석하였다. 연구 결과에 따르면, 학생들의 과학 성취도는 가정의 도서 보유량, 학생의 과학 수업에 대한 인식, 과학 학습에 대한 흥미, 학교의 학업 강조 풍토 등에 유의한 영향을 받는 것으로 나타났다. 이들 연구 결과 중에서 과학 교과에 대한 정의적 특성이 과학 성취도에 유의한 영향을 미친다는 것은 시사하는 점이 크다고 볼 수 있다.

교육 환경 개선 및 교수‧학습 개선, 더 나아가 교육 정책 수립을 위한 시사점을 도출하기 위한 실증적 자료를 제공하기 위한 목적으로 학업성취와 관련된 교육맥락변인을 밝혀내기 위한 다양한 연구들이 수행되어 왔다. 그러나 살펴보았듯이 대부분의 선행 연구는 총점에 기반한 영향요인을 분석한 연구였기 때문에 교과의 세부 학습영역마다 달리 기능하는 영향요인을 밝혀낼 수 없다는 한계가 있다. 따라서 세부 학습영역에서의 학생 성취 특성을 학생-교사-학교장 설문 결과와 연계하여 분석하고자 하는 본 연구는 선행연구와 차별성을 갖는다.

본 연구에서 사용한 자료는 2017년 학업성취도 평가 자료 중에서 중학교 3학년 과학과의 평가 자료이다. 정혜경 외(2018)에서는 학업성취도 평가 결과의 활용도 제고를 위해 교과 내 세부 학습영역에 대한 학업성취 특성을 산출하는 방법을 시도하였고, 이를 통하여 중학교 3학년 과학 교과의 세부 학습영역 8개를 추출하였다. 중학교 3학년 과학 교과의 8개 세부 학습영역과 그에 대한 설명은 <표 1>과 같다.

앞서 언급하였듯이, 정혜경 외(2018)에서는 2017년 중학교 3학년 과학 교과의 선다형(32문항)과 서답형(8문항) 문항이 결합된 평가도구를 분석하기 위하여, 인지진단모형 중 서답형 문항 분석이 가능한 ‘다분점수 Fusion 모형’을 적용하였고, 그 결과 6,645명 학생의 8개 세부 학습영역에 대한 성취율(posterior probability of mastery, 이하 PPM)을 추정하였다. 인지진단모형은 평가 도구에서 측정하고자 하는 것을 총체적으로 분석하는 것이 아니라 세부적인 영역(attribute)에 대한 학생의 능력모수를 추정하는 측정학적 방법이다(DiBello et al., 1995, p.132; Tatsuoka, 1985, p.71). 인지진단모형을 통해 추정되는 세부 영역별 능력모수는 각 학생이 해당 학습영역을 숙달하고 있을 확률을 추정한 값이며, 0∼1 범위의 확률로 산출된다. 정혜경 외(2018)는 세부 영역별 능력모수를 ‘세부 학습영역별 성취율’로 지칭하였으며, 본 연구에서도 동일하게 지칭하였다.

본 연구에서는 이상에서 설명한 과학 교과의 세부 학습영역별 성취율을 종속변수로 활용하였다. 구체적으로, 랜덤 포레스트 분석에서는 PPM 자체를 종속변수로 사용한 반면, 다층모형 분석에서는 PPM을 로짓 변환(logit transformation)하여 정규성 가정을 충족할 수 있도록 하였다. 학생들의 세부 학습영역에서의 성취율 평균은 ‘1. 현상에 대한 과학 원리 설명하기’가 가장 높아 학생들이 가장 쉬워하는 영역인 것으로 나타났다. 반면 ‘8. 증거에 기반하여 논증하기’에서 가장 낮은 평균 성취율을 보여 학생들이 가장 어려워하는 영역인 것을 알 수 있다.

다음으로, 2017년 학업성취도 평가에서 수집된 설문 자료(학생, 교사, 학교장 대상)를 독립변수로 사용하였다. 랜덤 포레스트 분석 시에는 데이터 마이닝 기법의 장점을 살리기 위하여 최대한 많은 변수를 투입하였다. 최종적으로 활용된 문항 수는 학생 101개, 교사 78개, 학교장 62개 문항이었다. 이들 독립변수를 하위영역 수준에서 정리하면 <표 3>과 같다.

과학 교과 세부 학습영역에 대한 학생 성취율과 설문조사 결과를 연계함으로써 우리나라 학생의 과학 교과에서의 성취도를 향상시키기 위한 교육환경 및 교수‧학습 개선 방안을 탐색하고자 하였다. 이를 위하여 우선적으로 학업성취도 설문 자료와 과학 교과 세부 학습영역의 전반적인 관련성을 살펴보기 위하여 데이터 마이닝 기법의 하나인 랜덤 포레스트를 활용하였다. 즉, 랜덤 포레스트 분석을 활용하여 학업성취도 평가 설문 자료와 2017년도 중학교 과학과 세부 학습영역 성취율 간의 전반적인 관련성을 탐색함으로써, 이후 다층모형 분석에서 투입할 변수를 선별할 때 기초적인 정보로 사용하고자 하였다. 다음 단계로 다층모형 분석을 활용하여 과학 교과 세부 학습영역별 성취 정도가 학교별로 차이가 있는지를 파악하고자 학교별 분포를 살펴보고, 세부 학습영역별 성취율과 교육 맥락 변인과의 관련성이 학교별로 차이가 있는지 등을 파악하였다.

랜덤 포레스트는 수백 그루 이상의 의사결정 나무(decision tree)의 결과를 종합하여 제시하는 기법이다. 랜덤 포레스트에서는 개별 의사결정 나무를 분석하기 위하여 전체 자료의 일부를 임의로 표집하는데, 이 데이터를 훈련 자료(training data)이라고 할 수 있다. 그리고 이때 표집되지 않은 자료를 OOB(out-of-bag) 자료라고 하며 이를 시험 자료(test data)로 사용한다. 그리고 훈련 자료와 시험 자료의 성능(performance)을 비교하여 과적합(overfitting) 여부를 파악할 수 있다. 과적합이란 모형의 성능이 훈련 자료를 설명하는 데 맞추어져 있어 다른 자료(예: 시험 자료)를 잘 설명하지 못하는 현상을 의미한다(Mutasa, Sun, & Ha, 2020). 본 연구에서는 이러한 과적합의 발생을 살펴보기 위하여 훈련 자료와 시험 자료의 설명력을 비교하였다. 두 자료에 대한 설명력에 크게 차이가 없으면 과적합이 발생하지 않은 것으로 간주할 수 있다. 설명력을 비교한 이유는 본 연구에서 사용한 모형이 랜덤 포레스트 회귀 모형이었기 때문이다.

랜덤 포레스트의 분석 결과 중에서는 전체 변수의 상위 약 10%에 해당하는 변수를 주요한 변수로 정의하였다. 일반적으로, 랜덤 포레스트를 적용한 다양한 연구(박소영, 정혜원, 2020; 최인희, 김미림, 2023; 홍지혜 외, 2022)에서는 상위 10~30개의 중요한 변수를 중심으로 연구 결과를 해석하였다. 이러한 연구들을 참고하여, 본 연구에서도 전체 변수의 상위 약 10%에 해당하는 변수를 중요한 변인으로 간주하여 다층모형 분석의 설명변수로 사용하였다. 이에 따라 학생은 상위 10개(총 101개), 교사는 상위 8개(총 78개), 학교는 상위 6개(총 62개) 변수를 추출하였다. 이상의 분석을 위하여 R 패키지인 randomForest(Liaw & Wiener, 2002)를 사용하였다.

다음으로, 다층모형 분석에서는 랜덤 포레스트 분석에서 “주요한” 변수로 간주된 변수만을 설명변수로 사용하였다. 분석 시에는 학생 수준의 설명변수 중 범주형이 아닌 경우를 제외하고 모두 전체 평균 교정(grand mean centering)을 실시하였다. 앞서 언급한 것처럼 다층모형의 종속변수는 PPM을 로짓 변환하여 사용하였다. 이상의 다층모형 분석을 위하여 R 패키지인 lme4(Bates et al., 2015)를 사용하였다.

독립변수의 영향력을 알아보기에 앞서, 독립변수를 투입하지 않은 기초모형을 분석하여 전체 분산 중 학생 수준 분산과 학교 수준의 분산을 추정하고, 이를 통하여 ICC(intraclass correlation)을 산출하였다(<표 8> 참조). 참고로 ICC는 전체 분산 중에서 학교 수준의 분산이 차지하는 비율을 나타내는 지수이다. ICC의 범위는 .050~.064로 나타났다. 2번(과학적 원리를 실제 생활에 적용하기) 세부 학습영역의 ICC가 .050으로 가장 작았고, 5번(수집된 자료를 분석하고 해석하기) 세부 학습영역의 ICC가 .064로 가장 높았다.

다층모형 분석 결과를 학생, 교사, 학생 수준으로 나누어 <표 9>∼<표 11>에 요약하여 정리하였다. 학생 수준 변인의 세부 학습영역에 대한 영향력 분석 결과는 <표 9>와 같다. 아버지의 최종 학력과 과학 공부에 대한 흥미는 모든 세부 학습영역에 대해 유의한 영향력이 없는 것으로 나타났다. 학생 수준 설문 문항 중에서 6개의 문항은 8개 세부 학습영역 모두에 유의하게 긍정적인 영향력이 있었다. 구체적으로 가정의 도서 보유량, 수업 집중도, 스스로 공부하는 자기주도학습 시간, 사교육 시간, 과학 교과 학습에 대한 자신감(나는 친구에게 과학 원리를 설명할 수 있다), 과학 교과 학습의 가치 인식(과학 공부를 하면 일상생활에 도움이 될 것이다)은 긍정적인 영향력을 있음을 확인하였다.

한편 과학에 대한 태도에 해당하는 문항인 ‘과학 수업 시간에 배우는 내용이 어렵다’와 과학 교과 학습 자신감 중에서 ‘노력해도 나에게 과학은 여전히 어렵다’는 모든 세부 학습영역의 성취에 부정적인 영향력을 보였다. 이를 통해 학생이 과학 교과 학습에 대해 어렵다는 인식을 가지고 수업 중 위축된 태도를 가지고 있거나 자신감이 결여된 경우, 전반적인 과학 교과 성취 향상에 어려움이 발생할 수 있음을 알 수 있다.

또한 수업 집중, 방과 후 학습 시간, 자기효능감뿐만 아니라 학생의 과학 교과에 대한 정의적 특성(태도, 자신감, 흥미, 가치)이 과학 세부 학습영역 성취에 전반적으로 영향을 끼치는 주요 요인이라는 것을 확인할 수 있다.

교사 수준의 다층모형 분석 결과는 <표 10>에 요약 정리하였다. 학생 수준의 결과와 달리, 대부분의 문항에서 그 영향력이 크지 않음을 확인하였다. 특이한 것은, 수업 활동 빈도에 관련된 설문 문항 가운데 과학적 개념, 원리, 법칙을 암기하게 하는 수업활동 빈도는 과학 교과의 모든 세부 학습영역에 부적인 영향을 미치고 있다는 것이다. 개념이나 법칙을 암기하는 것은 어느 정도 필요하나 암기 위주의 수업 활동 빈도가 높으면 장기적이고 포괄적인 성취도 향상을 이끌어내지 못한다는 것을 알 수 있다.

또한 교사가 평가 결과를 학생의 수행 수준을 진단하기 위해 활용하는 경우, 대부분의 세부 학습영역에 정적인 영향을 미치고 있다는 점도 특기할 만하다. 교사가 학생의 수준을 파악하는 만큼 그 수준에 알맞은 수업 내용과 방법을 적용할 것이므로 학생의 과학 교과 세부 학습영역 성취를 향상시키는 데 효과적일 것이다.

학교 수준의 다층모형 분석 결과는 <표 11>에 요약 정리하였다. 학생 및 교사 수준의 결과에 비하여 대부분의 문항에서 그 영향력이 크지 않음을 확인하였다. 학교를 구성하는 학생들이 학업성취를 높이고자 하는 의지가 높은 학생풍토를 가진 경우에 7번(탐구 문제에 대한 결론 및 해결 방안 제시) 세부 학습영역 성취 향상에 긍정적인 영향이 있었다.