랜덤 포레스트를 활용한 학생과 교사의 피드백 경험 예측요인 탐색¹⁾

교실 환경에서의 피드백은 학생이 수행한 과제에 대해 정·오답 또는 등급을 제공하거나 구체적인 의견을 제시하는 것까지 학습에 도움이 되는 모든 활동을 포함한다(Shute, 2008). 피드백은 학생의 지식과 기술을 향상시키고 학습 동기를 높이는 결정적인 요인(Bangert-Drowns et al., 1991; Narciss & Huth, 2004)이며, 구체적인 피드백은 학습을 강화하는 데에도 도움을 준다(Finn, Thomas, & Rawson, 2018). 피드백은 교사와 학생이 상호작용하는 과정에서 나타나므로(Black & Wiliam, 1998) 피드백 경험은 교사 또는 학생의 두 가지 관점에서 살펴볼 수 있다. 교사의 피드백 제공 경험에 초점을 둔 연구에 따르면, 교사가 적절한 지식과 기술을 갖추고 피드백을 수행하는 것이 교육적 효과와 직접적인 관련성을 갖는다고 보았다(Heritage, 2007). 따라서 다수의 연구는 교사를 대상으로 피드백을 제공하는 정도나 빈도를 조사함으로써, 효과적인 피드백 제공을 위한 교사의 역할을 강조하였다(김신영, 2014; 지은림, 2009).

하지만 최근에는 피드백의 주체인 학습자의 능력이나 피드백 수용성 등 학습자의 개인적 특성에 따라서 피드백의 효과가 달라질 수 있다는 주장이 제기되면서(Lipnevich, Berg, & Smith, 2016), 학생이 피드백을 받은 경험에 초점을 맞춘 연구도 다수 수행되고 있다. 예를 들면, 학생이 인식한 피드백 경험이 학생의 정의 및 인지적 요인에 미치는 영향을 조사하거나(박민애, 손원숙, 2017), 학생의 피드백 경험에 대한 잠재프로파일을 도출한 연구(박현정, 손윤희, 홍유정, 2018; 손원숙, 2017)가 수행되기도 하였다. 일부 최근 연구에서는 교사와 학생 인식을 종합적으로 고려하여 학습을 위한 평가(박정, 2017) 또는 교정 피드백 유형(이은혜, 구재명, 조정민, 2018)에 대한 인식을 비교하기도 했다.

교사 또는 학생의 피드백 경험을 파악하는 것은 피드백의 효과를 높이기 위해 중요한 역할을 한다. 따라서 교사와 학생의 피드백 경험을 예측하는 요인을 탐색하고 비교한다면 피드백의 긍정적인 효과를 극대화할 수 있을 것이다. 본 연구에서는 교사가 제공한 피드백 경험과 학생이 피드백을 인식한 경험을 각각 교사의 피드백 경험, 학생의 피드백 경험으로 정의하고 연구를 수행하고자 한다.

학생의 피드백 경험에 영향을 미치는 요인은 매우 다양하며, 일반적으로 학생 특성, 가정 특성, 교사 및 학교 특성의 맥락에서 고려해볼 수 있다. 먼저, 학생 특성 요인으로는 인지적, 정의적 요인을 모두 고려할 수 있다. 인지적 요인으로는 학업에 대한 이해도가 높거나 학습전략 등을 잘 활용하는 학생들이 피드백 상황을 제대로 파악하여 피드백을 적극적으로 활용하는 경향이 있다(박민애, 손원숙, 2020). 다음으로 학생의 정의적 특성 중 학업 태도나 학습 동기 등도 적극적인 피드백 참여에 영향을 미치는 것으로 보고된다(Winstone et al., 2017). 이외에도 성취목표지향성을 고려할 수 있는데, 보편적으로 숙달목표를 가진 학생들은 피드백을 수용하는 태도가 긍정적인 경우가 많다. 반면 수행목표를 지닌 학생들은 피드백 수용성이 낮다는 연구, 수행접근 목표의 학생들은 피드백을 긍정적으로 인식한다는 연구 등 결과가 혼재되어 있다(조영민, 손원숙, 2018; 함은혜, 2018; Ames & Archer, 1988). 이외에도 실수에 대한 도전적 태도(함은혜, 2018)는 긍정적인 평가 인식을 높이는 것으로 밝혀졌으며, 성별에 따라서도 피드백 인식이 차별적인 것으로 나타났다(박현정 외, 2018).

다음으로 가정 특성이 피드백 경험에 미치는 직접 효과를 살펴본 연구는 드물지만, 일부 연구로부터 긍정적 가정 특성이 피드백 경험을 높일 것이라 예상해볼 수 있다. 긍정적 가정 특성은 학생들이 학교생활에 적응하도록 하고, 긍정적 정서를 유발하며 학생의 성취도를 높이는 데 기여한다. 구체적으로 부모의 기대교육수준, 학습지도, 사교육 참여는 아동의 인지적 성취에 긍정적 영향을 미칠 수 있다(유지혜, 2015; 황여정, 장희원, 김경근, 2014). 특히, 부모의 자율성 지지는 학생의 수업 참여를 높이고 수업 이탈은 낮추는 효과를 가지는 것으로 밝혀졌다(김종렬, 이은주, 2012; 임성애, 이은주, 2020). 이처럼 가정 특성이 학생의 성취 또는 수업 참여와 관련이 있다는 점을 고려해보았을 때, 피드백 인식 또한 가정 특성과 관련이 있을 것으로 예상된다.

마지막으로 교사 및 학교 특성은 학생의 피드백 경험에 영향을 미칠 수 있다. 우선 교사의 수업 요인은 피드백과 밀접한 관련이 있다. 교사가 학생들의 참여를 이끌어내는 수업을 많이 할수록, 그리고 수업 중 의사소통이 활발할수록 피드백 작용도 많이 일어나는 경향이 있다(윤정은, 김도연, 권오남, 2015; Carless, 2015). 다음으로 긍정적인 교사학생관계는 학생의 도움 요청 행동을 유발하는 것으로 밝혀졌다(조홍식, 정병근, 2008). 또한 학습 환경이 도전적이라고 느끼면 학습자는 도움 요청을 더 많이 하였다(남인수, 2015). 한편 박현정 외(2018)의 연구에서 다양한 학교 특성을 고려하였는데, 학급 크기가 작을수록, 수업내용 자율권이 높을수록, 기자재가 잘 구비되어있을수록 피드백을 많이 인식하는 집단에 속할 확률이 높았다.

교사의 피드백 경험에 영향을 미치는 요인으로는 크게 학생 , 교사 그리고 학교 특성으로 구분할 수 있다. 먼저, 학생 특성이 교사 피드백 경험에 미치는 영향에 관한 연구는 소수이지만, 학생의 흥미나 태도 등에 따라 교사가 수업을 조절하고 적절한 교수방식을 취한다는 점을 미루어볼 때(McMillan, 2013) 학생의 태도가 교사의 피드백 경험에 영향을 미칠 가능성이 있다.

다음으로 교사 피드백 경험에 영향을 미치는 요인에는 수업 방법, 교수 효능감, 숙제 가치, 교사 기본 특성 등이 있다. 먼저, 교사의 수업방식은 평가와도 밀접한 관련이 있다. 따라서 수업 전에 과제를 검토하거나 다양한 자료를 준비하는 등의 수업 개선을 위한 노력은 교사의 활발한 피드백 수행을 촉진시킨다(McMillan, 2013). 교수 효능감은 수업계획, 활동, 평가 등 전반적인 수업 과정에서의 자신감을 의미하는 것으로, 높은 교수 효능감은 수업의 참여를 유도하며 활발한 피드백 및 평가 수행으로 이어진다(김난옥 외, 2018; 손원숙 외, 2015). 이는 교육 효과에 강한 믿음을 가진 교사들이 형성평가를 더 많이 사용한다(Black & Wiliam, 1998)는 주장과 일관적이다. 이 외에도 교사의 기본적인 특성인 담당 과목, 연령대 등에 따라서도 피드백 제공의 정도가 달라지는 것으로 밝혀졌다(지은림, 2009). 예를 들면, 예체능 계열 교사는 인문사회 계열 교사보다 피드백 수행을 많이 하는 것으로 나타나기도 했다(오문정, 박용한, 2020).

마지막으로 학교 특성은 교사 피드백 경험에 영향을 미칠 수 있다. 학교 특성에서 가장 활발하게 연구되어온 변인은 동료 교사와의 협력이다. 동료 교사와 협력을 많이 할수록 수업 활동을 개선하려고 노력하며(박주호, 송인발, 이전이, 2016), 평가를 보다 활발하게 활용하는 것으로 나타났다(손원숙 외, 2015). 이뿐만 아니라, 학교 만족도(김난옥 외, 2018), 혁신적인 학교 분위기(안희상, 손원숙, 2017)는 피드백 활용을 높였다. 또한, 교장이 교사들의 업무수행을 점검하고 업무 결과에 대한 분명한 평가를 포함하는 과업적 지도성은 교사의 수업 활동에 긍정적인 영향을 미쳤다(이동배, 고장완, 김용련, 2014).

본 연구에서는 학생과 교사의 피드백 경험에 따른 집단분류에 영향을 미치는 변인을 파악하기 위하여 2019대구교육종단연구 자료의 고등학교 학생 패널과 교사 패널을 활용하였다. 대구미래교육연구원에서는 대구교육의 현 상태를 진단하고 미래 교육의 방향을 정립하기 위하여 2017년 당시 초4, 중1, 고1 패널을 구축하여 데이터를 수집 및 연구하고 있다. 본 연구는 고1 패널의 3차년도 자료로서 2019년에 고3이 된 학생들의 자료를 활용하였다. 교사의 경우 표집 학생의 담임교사와 교과 담당교사를 표집 대상으로 하고 있다. 이 연구에서는 피드백 경험과 관련한 문항에 응답하지 않은 학생과 교사는 분석에서 제외하였다. 최종 분석에는 교사 411명, 학생은 2,382명(남학생 1,238명, 여학생 1,144명)이 포함되었다.

본 연구에서 활용할 변인은 2019대구교육종단연구 학생 설문지와 교사 설문지에서 추출하였으며 세부적인 내용은 <표 1>, <표 2>와 같다.

본 연구는 교사와 학생의 피드백 경험 정도에 따른 집단을 분류하는 데 영향을 미치는 변인을 탐색하기 위해 머신러닝 기법인 랜덤 포레스트 기법을 활용하였다. 랜덤 포레스트는 Breiman(2001)에 의해서 개발된 모형으로 의사결정나무 모형에 기반하여 붓스트랩 표본을 다수 생성한 후 그 결과를 종합하는 앙상블 방법(ensemble methods)이다. 의사결정나무 모형이란 종속변수를 잘 설명하는 설명변수들로 가지를 뻗어나가도록 하여 최적의 설명변수를 찾아내는 방법이며 앙상블 방법이란 주어진 자료로부터 여러 개의 모형을 학습한 후 여러 모형의 예측 결과를 종합하여 예측 시에 정확도를 높이는 방법이다. 의사결정나무의 경우 예를 들면 [그림 1]과 같다. [그림 1]은 학생의 피드백 저인식/고인식집단을 분류하는 모형을 만들기 위하여 본 연구자료 2,382명의 학생에 대하여 278개의 설명변수로 코딩한 자료를 의사결정 나무 모형으로 분류한 결과이다. 1번 마디(node)인 숙제피드백이 가장 중요한 변수로 선택되었으며 숙제피드백이 3점(보통)이하인 경우 왼쪽 마디로, 초과인 경우 오른쪽 마디로 구분이 된다. 이후 수업인식 등 7개의 설명변수를 기준으로 다시 구분되게 된다. 집단분류에 최적인 설명변수를 찾아내기 위하여 의사결정나무 모형에서는 지니지수(Gini index), 엔트로피 지수(entropy index), 불순도 측도(impurity measures) 등이 이용된다(유진은, 2015).

그림 1. 의사결정나무 예시

Download Original Figure

의사결정나무는 직관적으로 이해하기 쉽고 모형 설명력이 높은 편이라는 장점이 있다. 그러나 훈련자료와 시험자료로 나누어 교차타당화를 거침에도 불구하고 모형 안정성이 떨어지며 예측력이 떨어진다는 단점이 있다(박창이 외, 2013; 유진은, 2015). 이러한 단점을 극복하고자 개발된 모형인 랜덤 포레스트는 의사결정나무 모형을 다수 만들어 예측 정확성과 안정성을 높인 기법이라 할 수 있다(김미림, 박민호, 2019; 유진은, 2015).

본 연구의 분석을 위하여 R 4.0 프로그램과 Liaw와 Wiener(2002)가 개발한 randomForest R 패키지를 활용하였다. 구체적인 분석 절차는 다음과 같다. 먼저 본 연구의 분석을 시작하기 전, 자료의 결측치는 Breiman(2003)의 제안에 따라 연속 변수에 대해서는 중앙값(median)으로 대체하였으며 명목 변수에서는 최빈치(mode)로 대체하였다. 본 연구에서는 랜덤 포레스트 분석 결과를 평가하기 위하여 일반적으로 많이 사용되는 7:3의 비율로 훈련자료와 시험자료로 나누어 각 자료의 정분류율(accuracy), 민감도(sensitivity), 특이도(specificity)를 산출하여 모형의 분류 정확도와 과적합 여부를 판단하였다. 랜덤 포레스트는 표본과 변수를 무작위로 선택해 의사결정트리를 생성하는 과정을 반복한다. 본 연구에서는 최대 500개의 의사결정트리를 생성하도록 설정하였다. 각 의사결정나무 모형의 마디에서 사용하는 변수 개수의 최적화 값은 Brieman(2001)이 제시한 예측변수 채택 방식($\sqrt{\text{설명변수의}\text{개수}}$)에 따라 설정하였다. 분류에 영향을 미치는 변인 선별은 중요도 지수를 활용하고, 중요도 지수 순으로 상위 10%의 결과를 제시하였다. 마지막으로 이 변인들에 대한 부분 의존성 도표를 제시하여 각 변인의 수준에 따른 피드백 고경험집단에 속할 확률의 변화를 시각화하였다. 부분 의존성 도표는 설명변수 값이 종속변수 예측에 어떻게 영향을 보여주는지 나타낸 그래프로 부분 의존성 도표를 통해 설명변수와 결과변수 관계를 직관적이고 상세하게 이해할 수 있다(유진은, 2015; Géron, 2017).

교사와 학생을 피드백 경험 평균에 따라 각각 저경험집단(저인식/저제공)과 고경험집단(고인식/고제공)으로 구분한 결과는 <표 3>과 같다. 학생의 피드백 경험 전체 평균은 3.26, 표준편차 .71이었으며, 교사의 피드백 경험 전체 평균은 3.02, 표준편차 .72였다. 피드백 경험에 따른 집단별 기술통계치를 살펴보면 학생 피드백 저인식집단과 고인식집단의 평균(표준편차)는 2.81(.43), 3.96(.45)이었고, 교사 피드백 저제공집단과 고제공집단의 평균(표준편차)는 2.54(.47), 3.65(.46)였다. 집단 크기를 비교해보면 전반적으로 학생과 교사 모두 피드백을 적게 인식(61.0%)하고 적게 제공(56.2%)하였다고 응답한 인원이 그렇지 않은 집단에 비해 상대적으로 많은 것으로 나타났다.

학생과 교사의 훈련자료와 시험자료의 랜덤 포레스트 분류 결과는 <표 4>와 같다. 먼저 학생의 경우 훈련자료 및 시험자료의 정분류율은 .7264, .7116으로 실제 집단과 예측 집단의 일치 비율이 높은 것으로 나타났다. 본 연구에서의 민감도는 피드백 저인식/저제공집단의 정분류율을 의미하는데, 훈련자료와 시험자료 각각 .7390, .8623으로 나타났다. 특이도는 고인식/고제공집단의 정분류율을 의미하며, 훈련자료 .6901, 시험자료 .4822로 나타났다. 다음으로 교사의 분류 정확도를 살펴보면 훈련자료 및 시험자료의 정분류율은 .6451, .6400으로 실제 집단과 예측 집단의 일치 비율이 높은 것으로 나타났다. 민감도는 훈련자료와 시험자료 각각 .6573, .7143으로 나타났다. 특이도는 훈련자료 .5981, 시험자료 .5455로 나타났다. 시험자료를 모형에 투입한 결과 정분류율, 민감도, 특이도가 훈련자료에서 도출된 값과 큰 차이를 보이지 않는 것으로 나타났다. 따라서 훈련자료에 대한 과적합이 발생하지 않음을 알 수 있다.

학생의 피드백 경험을 분류하는 데 있어 중요도 지수가 높은 변인을 살펴본 결과는 <표 5>와 같다. 본 연구에서 예측모형에 투입한 총 278개의 설명 변인 중 약 10%인 28개의 변인을 제시하였다.

분석 결과를 살펴보면, 먼저 학생이 인식한 교사 특성 중 교사의 수업 및 평가와 관련한 변인(예: 숙제 활용, 수업인식, 수업방법, 협력학습 등)이 중요도 지수가 높은 28개 변수 중 약 60.7%(17개)를 차지하는 것으로 나타났다. 특히 교사가 평소에 숙제를 제시한 후 이를 다양하게 활용하고, 교사와 활발한 의사소통이 이루어지도록 수업하며 학생이 주체적으로 수업에 참여하는 것과 관련된 변인이 중요도가 높은 상위 10개 변인 중 9개의 변인으로 나타났다. 따라서 피드백 경험에 따른 집단을 분류하는 데 있어 교사의 숙제 활용, 학생주도의 수업 진행, 상호작용 등이 중요한 역할을 하고 있음을 확인할 수 있다.

다음으로 수업 외 요인이지만 교사 특성에 해당하는 교사의 지지와 학교 특성에 해당하는 학교 만족도와 관련된 변인이 중요도 지수가 높은 28개의 변인 중 약 14.3%(4개)로 나타났다. 이는 선생님에 대해 학생이 느끼는 지지 정도, 편안함, 학교 환경에 대한 만족도 등이 피드백 경험을 분류하는 데 주요한 역할을 하는 것을 나타낸다. 한편, 학생 개인적 특성 또한 집단분류에 기여하는 것을 알 수 있다. 수업에 적극적으로 참여하는 태도나 평소에 학습하는 방법, 개인의 성향 등이 중요도 지수 상위 30개의 변인 중 25%(7개)를 차지하는 것으로 나타났다.

학생 주요 설명 변인의 부분 의존성 도표를 [그림 2]에 제시하였다. 부분 의존성 도표의 x축은 각 변수의 범주, y축은 부분 의존성을 의미한다. 먼저 부분 의존성 도표는 모두 비선형을 나타냈다. 유사한 패턴을 보이는 문항끼리 함께 살펴보면 다수의 문항이 ‘보통이다’라고 응답한 경우까지는 피드백 고인식집단으로 분류될 가능성이 낮다가 ‘보통이다’ 이상부터 급격하게 증가하는 양상을 보였다. 교사의 수업과 관련한 문항인 숙제활용(Y3_26_2, Y3_26_3)과 협력학습(Y3_25_1, Y3_25_3, Y3_25_4), 수업인식(Y3_24_1, Y3_24_4, Y3_24_5), 수업방식(Y3_23_3, Y3_23_4)이 대표적이며, 학생의 학습방법(Y3_28_1, Y3_28_3), 학교 만족도(Y3_29_4), 수업태도(Y3_22_4), 교사의 지지(Y3_41_15)도 유사하게 나타났다.

그림 2. 학생 주요 변인 부분 의존성 도표

Download Original Figure

다음으로 중립, 부정적으로 응답한 경우 완만하게 감소하다가 ‘보통’ 이상부터 피드백 고인식집단으로 분류될 가능성이 급격히 증가하는 양상을 보이는 문항으로는 수업인식(Y3_24_2, Y3_24_3, Y3_24_6), 수업방식(Y3_23_2), 학교 만족도(Y3_29_1), 협력학습(Y3_25_5), 만족감(Y3_42_9)과 학습방법(Y3_28_4)이 있다. 이와 유사하지만 숙제활용(Y3_26_4, Y3_26_1), 학교만족도(Y3_29_2)는 피드백 고인식집단으로 분류될 가능성이 부정 응답에서는 완만하게 감소하다 중립까지는 완만한 증가, 중립 응답부터 긍정 응답으로는 급격한 증가 양상을 보였다. 마지막으로 일부 문항(Y3_22_3, Y3_37_6)의 경우 ‘보통’까지는 피드백 고인식집단으로 분류될 가능성이 급격히 감소하다 ‘보통’부터 다시 급격하게 증가하는 양상을 보이기도 했다. 구체적인 양상은 다소 다르게 나타나는 경향이 있으나 대체적으로 긍정 응답으로 인식할수록 피드백 고인식집단으로 분류될 확률이 높아지는 것으로 나타났다.

교사의 피드백 경험을 분류하는 데 있어 중요도 지수가 높은 변인을 살펴본 결과는 <표 6>과 같다. 본 연구에서 예측모형에 투입한 총 184개의 설명 변인 중 약 10%인 18개의 변인을 제시하였다.

분석 결과를 살펴보면, 먼저 교사 특성 중 교사의 수업 및 평가와 관련한 변인(숙제활용, ICT활용, 수업개선, 수업방법, 수행활용, 연수참여 등)이 중요도 지수가 높은 18개 변인 중 약 66.7%(12개)를 차지하는 것으로 나타났다. 특히 평소에 수업자료를 다양하게 활용하는 등 다양한 수업 방법을 사용하며, 과제를 확인하고, 수업 개선을 위한 노력하는지와 관련된 변인이 중요도가 높은 상위 10개 변인 중 6개의 변인으로 나타났다. 따라서 교사의 피드백 경험에 따른 집단을 분류하는 데 있어 교사의 다양한 수업 방법과 이를 위한 노력이 중요한 역할을 하고 있음을 확인할 수 있다.

다음으로 수업과 평가 외 요인이지만 교사 요인 중 정의적인 변인(교직만족도, 교사효능감, 교사소진)이 중요도 지수가 높은 18개의 변인 중 약 22.2%(4개)로 나타났다. 즉, 교직에 만족하는 정도, 교사의 수업과 관련한 효능감과 교직과 관련한 소진 정도가 피드백 경험을 분류하는 데 주요한 역할을 하는 것을 나타낸다. 이외에 학교장의 리더십이나 학생의 생활 태도 또한 집단분류에 기여하는 것을 알 수 있다. 수업자료를 확보할 수 있도록 지원해주는지, 학생이 예의 바른 지 등과 관련한 변인이 중요도 지수 상위 18개의 변인 중 약 11.1%(2개)를 차지하는 것으로 나타났다.

주요 설명 변인의 부분 의존성 도표는 [그림 3]과 같다. 부분 의존성 도표의 x축은 각 변인의 범주를, y축은 부분 의존성을 의미하며, 모든 부분 의존성 도표는 비선형의 특징을 보였다. 유사한 패턴을 보이는 문항끼리 함께 살펴보면 먼저 숙제활용 문항(Y3_19_1, Y3_19_4, Y3_19_3)의 경우 ‘보통이다’라고 응답한 경우까지는 피드백 고제공집단에 속할 확률이 낮다가 이후 급격하게 증가하는 양상을 보였다. 이러한 양상은 수업개선(Y3_23_8), 교직만족도(Y3_27_7), 수업방법(Y3_15_4, Y3_15_3), 학교장리더십(Y3_12_1)에서도 유사하게 나타났다.

그림 3. 교사 주요 변인 부분 의존성 도표

Download Original Figure

다음으로 피드백 고제공집단에 속할 확률이 완만한 감소를 나타내다가 급격한 증가를 나타내는 문항이 있었다. ICT활용(Y3_17_1)은 ‘그렇지 않다’, 교사소진(Y3_28_2)은 ‘보통이다’, 교사효능감(Y3_26_2)은 ‘그렇다’까지 완만한 감소를 나타내다 급격한 증가로 바뀌었다. 피드백 고제공집단에 속할 확률이 급격한 감소와 급격한 증가 양상을 보이는 문항으로는 연수참여(Y3_24_6, Y3_24_4, Y3_24_5)가 대표적이며 교직 만족도(Y3_27_2), ICT활용(Y3_17_1)도 유사한 양상을 보였다. 마지막으로 수행활용(Y3_20_5)의 경우 ‘매우 그렇지 않다’에서부터 피드백 고제공집단에 속할 가능성이 급격히 상승하는 양상을 보였다. 구체적인 양상은 다소 다르게 나타났으나 긍정 응답으로 인식할수록 피드백 고제공집단으로 분류될 확률이 높아지는 것으로 나타났다.