교육평가

초중등 학생용 피드백 환경 척도(K-FESS)의 타당화1)

김재욱1,*, 손원숙2,**
Jae-uk Kim1,*, Won-Sook Sohn2,**
Author Information & Copyright
1경북대학교 박사과정
2경북대학교 교수
1Graduate Student, Kyungpook National University
2Professor, Kyungpook National University
*제1저자: facingme@naver.com
**교신저자: wsohn@knu.ac.kr

© Copyright 2020, Korea Institute for Curriculum and Evaluation. This is an Open-Access article distributed under the terms of the Creative Commons Attribution NonCommercial-ShareAlike License (http://creativecommons.org/licenses/by-nc-sa/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Apr 06, 2020; Revised: May 01, 2020; Accepted: May 14, 2020

Published Online: May 31, 2020

요약

본 연구의 목적은 우리나라 초중등 학생용 피드백 환경 척도(Feedback Environment Scale for Student: K-FESS)를 타당화하는 것이다. 피드백 환경은 일상의 비형식적 상호작용까지 포함하는 피드백 과정의 상황 맥락적 측면으로 학생의 피드백 수용과 행동 반영에 중요한 영향을 미치는 피드백 지향적 문화를 뜻한다. Steelman 등(2004)이 개발한 FES 척도를 우리나라 초, 중, 고 학생을 대상으로 타당화 하였으며 학교급에 따른 구인동일성을 검증하였다. 본 연구에서는 초, 중 고 학생을 대상으로 예비검사(141명) 및 본 검사(673명)를 실시하였으며 문항과 척도의 신뢰도 및 타당도를 점검하기 위하여 탐색적 요인분석, 상관분석, 다집단 확인적 요인분석을 실시하였다. 연구결과 첫째, 번역 및 내용 타당화 과정을 거쳐 원척도의 1개 문항을 제외한 23개 문항, 5개 하위요인으로 타당화되었다. 둘째, 문항 및 척도 수준의 양호도 및 타당도는 모두 적합한 것으로 나타났다. 셋째, 학교급별 구인동일성이 확인되었다. 넷째, 피드백 환경의 5개 요인에 대한 잠재평균은 초등학교가 중학교와 고등학교에 비해 모두 높은 것으로 나타났다. 마지막으로 피드백 환경의 중요성 및 척도의 의의와 교육적 시사점을 제시하였다.

ABSTRACT

The main purpose of this study was to validate the Korean version of the Feedback Environment Scale for Students(K-FESS). The feedback environment is a contextual aspect of the feedback process and the feedback-oriented culture influences considerably the learner's acceptance of feedback and whether they reflect this in their behavior. Nevertheless, there are few research related to the effects of the feedback environment in the classroom assessment of Korea. Therefore, in this study, we utilized the Feedback Environment Scale for Students(Steelman et al., 2004), and validated it for use with elementary, middle, and high school students in Korea. We also investigated construct equivalence of this scale across the school levels. For this study, reliability analysis, confirmatory factor analysis (CFA), correlation analysis, and multi-Group CFA were applied to check the psychometric properties of the K-FESS. First, the K-FESS with 23 items was accepted that only one item had been excluded from the original version through translation and content validation procedure. Second, the five-factor solution was produced by CFA and it exhibited good reliability and validity. Third, the construct equivalence of the K-FESS across the school levels was confirmed. This means that the K-FESS can be used as a common scale for all school levels. Fourth, the latent mean analyses revealed that the elementary school students had significantly higher feedback environment perceptions than those in other school levels. However the latent mean differences between middle and high school students were inconsistent across the subscales. Finally, implications for the applied use of the K-FESS in Korea are discussed.

Keywords: 피드백 환경; K-FESS; 교사 신뢰도; 교사 가용성; 피드백 전달; 피드백 질; 피드백 추구 촉진
Keywords: feedback environment; K-FESS; teacher credibility; feedback quality; feedback delivery; teacher availability; promotes feedback seeking; AFL

I. 서 론

‘환경’은 사전적 의미로 유기체에게 직·간접적으로 영향을 주는 조건이나 상황을 뜻한다. 듀이 (1937)는 환경과 유기체가 따로 존재하는 것이 아니라 맥락적 전체(contextual whole)로서, 끊임없이 움직이는 운동체로서 성립한다고 주장한다. 이러한 관점에서 교육환경이란 학습자와 분리되어 있지 않고 학습자와 교육환경 간의 관계적 상호작용을 하나의 활동으로 하는 맥락적 전체로 볼 수 있다(정해일, 2009). 교육평가 연구에서도 최근 이러한 관점에 따라 평가가 더 이상 교사의 일방적 주도로 이루어지는 서열 매기기 또는 학생 선발의 수단이 아니라 학생이 주체적으로 평가의 전 과정에 참여함으로써 활발한 상호작용을 통해 그들의 학습을 향상시키는 목적으로 사용되어야 한다는 점을 강조한다(Black & Wiliam, 2009; Leahy et al., 2005). 2015 개정 교육과정에서 이른바 ‘과정 중심평가’라는 용어가 도입된 것도 이러한 학습을 위한 평가(Assessment for learning : 이하, AFL)로의 패러다임 전환 맥락에서 이해된다(한국교육과정평가원, 2018).

AFL관점에서 피드백은 학습자의 성장을 촉진 시키는 가장 강력한 도구로 알려져 있다. 선행연구 (노현종, 손원숙, 2015; 허가은, 신항균, 2017; 박민애, 손원숙, 2017; 이빛나, 손원숙, 2017; Black et al., 2006; Shute, 2008)에 의하면 피드백은 학생의 자기조절학습을 촉진하고 과제가치나 교과 태도에 긍정적 영향을 미친다. 또한, 피드백은 학생이 학습과 평가의 주체가 되게 함으로써 학생의 자기효능감과 기본심리욕구를 충족시키고 학업참여를 높여 궁극적으로는 학업성취에 긍정적인 영향을 미친다. 하지만 피드백 효과가 항상 긍정적인 결과를 보이는 것은 아니다(Atwater & Brett, 2005). 이는 피드백의 효과가 피드백 과정의 다양한 요인들에 의해 영향을 받을 수 있음을 시사한다.

이러한 이유로 피드백의 효과를 조절하는 다양한 요인들이 여러 연구를 통해 탐색돼 왔다. 최근 연구는 주로 학습자 측면에서 이루어졌는데 피드백 수용성(감민영, 2017), 인지적 정서전략(이현주, 2016), Grit(이수란 외, 2016), 성취목표 지향성(김효원, 박완성, 2014) 등이 피드백 효과에 대해 유의한 조절효과를 보였다. 이빛나, 손원숙(2018)은 최근 10년간의 연구물을 바탕으로 메타분석을 실시했는데 피드백 효과에 영향을 주는 유의한 조절변인으로 피드백 특성 중 피드백 기간, 주당평균 빈도, 시기, 제공주체, 전달방식과 학습자 특성 중 학교급, 집단크기, 성취수준 등이 있음을 확인하였다. 하지만 피드백이 효과적으로 이루어지기 위해서는 교사와 학생의 긍정적 상호작용이 필수적이고 (Black & Wiliam, 2009) 피드백은 상황과 목적에 따라 항상 조절(Brookhart, 2008, p. 26)될 수 있기 때문에 개별 조절변인 연구와 더불어 피드백 과정의 상황 맥락이 파악되어야 피드백 효과에 대한 설명이 명확해질 수 있다. 이에 연구자는 피드백 과정의 상황 맥락을 설명해 줄 수 있는 요인에 초점을 맞추었다.

피드백 과정의 상황 맥락적 요인에 주목한 연구는 상대적으로 제한적이었다. 관련 연구로는 교사-학생 관계(이빛나, 손원숙, 2017)에 따른 피드백 효과 조절연구가 대표적이다. 하지만 유의한 조절 효과가 없다는 결과에서도 볼 수 있듯 교사-학생 관계 요인은 피드백 특수적 맥락이라기보다 학교생활 전반에 걸친 일반적 맥락 요인이기 때문에 피드백 효과의 조절 변인으로 활용되기에는 제한적이다. 따라서 본 연구에서는 피드백 과정 전반에 걸쳐 영향을 주는 상황 맥락적 요인으로서 피드백의 질을 향상시키고 피드백의 중요성을 강조하며 구성원들이 원활하게 피드백을 주고받으며 상호작용하도록 지원하는 피드백 지향적 문화를 피드백 환경(Feedback Environment)으로 정의한 Steelman, Levy & Snell(2004)의 연구에 주목했다. 피드백 환경은 피드백 과정에서 개인이 피드백 원천과 활발한 상호작용을 할 수 있도록 얼마나 피드백 지향적인 문화를 조성하는가에 따라 결정 된다(Gregory, Levy, & Jeffers, 2008). 이는 내재적이고 관계적인 교육환경론의 관점, AFL 평가 패러다임과 일맥상통하는 것으로 학습 장면에서 피드백 과정과 피드백 효과를 이해하는 도구로서 그 활용가치가 충분할 것이다.

이를 위해 연구자는 Steelman 외(2004)가 개발한 피드백 환경 척도를 우리나라 초, 중, 고 학생을 대상으로 타당화 했다. 구체적으로 원척도를 교육맥락에 맞게 번안하고 전문가 회의를 통해 내용 타당화 과정을 거치며 조직문화와 대상의 특성 차이를 고려했다. 또한, 예비조사와 본 조사를 통해 데이터를 수집하여 척도의 양호도를 확인하고 내적 구조에 기초한 구인타당도의 증거를 확보하였다. 추가적으로 선행연구(Anseel, Beatty, Shen, Lievens, & Sackett, 2015; Gabriel, Frantz, Levy, & Hilliard, 2014; Jang et al., 2010; Schroeder et al., 2011; Steelman et al., 2004)에 따라 피드백 환경과 학습자의 정의적 측면과의 정적인 관련성에 기반하여 관련 변인과의 관계를 통한 타당도를 검증하였다. 형성적 피드백 인식, 기본심리욕구, 학업참여를 관련 변인으로 설정한 구체적 근거는 다음과 같다. 먼저 질 높은 피드백을 사려 깊게 전달하는 피드백 환경에서는 교사의 형성적 피드백에 대한 학생의 인식이 강화될 것이다. 다음으로 자신이 믿을 수 있는 교사와 쉽게 상호작용할 수 있고 자율성 높은 피드백 추구자를 지지하는 피드백 환경에서는 학생의 기본심리욕구가 강화될 것이다. 또한, 교사의 질 높은 피드백을 받을 수 있고 쉽게 교사 자원을 활용할 수 있으며 피드백 추구 행동을 장려하는 피드백 환경에서는 학생들의 학업참여가 높을 것이다. 끝으로, 학교급에 관계없이 동일하게 측정이 가능한지 검증함으로써 일반화에 기초한 타당도를 입증했다.

본 연구를 통해 피드백 자체에 대한 방법론에 집중되어 있던 교육현장의 관심을 피드백 과정의 상황맥락으로 확장하고 교사들에게 피드백 환경의 중요성을 부각시키며 좋은 피드백 환경에 대한 관점을 부여해줌으로써 학생들이 의미 있고 참된 학습의 경험을 쌓아 21C 미래역량을 기르는 질 높은 교육환경이 만들어지는데 기반이 되기를 기대한다.

II. 이론적 배경

1. 피드백 환경의 정의와 구성요인

Steelman 외(2004)는 피드백 과정이 일어나는 조직 일상의 비형식적 상호작용까지 모두 포함한 피드백 환경 개념을 제시하였다. 이 때 ‘피드백 환경’이란 ‘피드백 문화’와 바꾸어 사용할 수 있는데 (Gregory et al., 2008) 피드백의 질을 향상시키고 피드백의 중요성을 강조하며 구성원들이 원활하게 피드백을 주고받고 상호작용하도록 지원하는 피드백 지향적 문화로 정의된다(Steelman et al., 2004; Whitaker et al., 2007).

Steelman 외(2004)는 피드백 환경을 6개 구성요인으로 정의하였으나, 본 연구에서는 긍정/부정적 피드백 빈도를 제외한 5개 요인 구성을 가정하였다. 이는 피드백 환경의 상황 맥락적 측면에 초점을 맞추기 위해 두 하위요인을 통제한 선행연구에 기반한다(Sparr & Sonnentag, 2008). 또한, 학생들이 다양한 원천(교사, 동료, 부모, 책, 학생본인, 경험)으로부터 피드백 정보를 받는 것은 분명하지만 (Hattie & Timperley, 2007) 학습장면에서 가장 빈번하게 발생하고 중요한 정보를 제공하는 원천이 교사이기 때문에 본 연구에서는 교사 원천에 대한 피드백 환경을 측정하여 연구에 활용하였다. 다음은 피드백 환경의 5개 구성요소에 대한 세부적인 내용과 기존 교육 분야 유사 변인과의 관련성에 대한 설명이다.

가. 교사 신뢰도

교사 신뢰도(Credibility)는 교사의 전문성(학생의 학업에 필요한 지식, 학습 결과 및 학업 수준을 정확하게 판단하는 능력 등)과 신뢰성(Trustworthiness-학생이 학습정보를 제공하는 교사 개인을 믿는지 여부)으로 정의된다. 좋은 피드백 환경에서는 교사에 대한 신뢰도를 바탕으로 학습자가 피드백을 받아들이고 행동에 반영하는 정도가 높아 피드백의 긍정적 효과가 강화된다. 또한, 경험적 연구(Shute, 2008; Tata, 1999)에 의하면 학생이 교사를 신뢰할수록 부정적 피드백을 신뢰하고 수용하고자 하는 태도가 증가한다고 보고되었다. 반면, 교사가 불공평하게 대우한다고 느끼는 학생들은 교사의 학습 채점과정을 신뢰하지 않아 채점 결과에 대해 부정적으로 판단하는 경향이 나타났다.

교사 신뢰도와 관련된 국내연구는 이숙정, 한정신(2004)의 교사 신뢰 척도가 대표적이다. 교사 신뢰 척도는 개방성, 능력, 성실성, 돌봄, 믿음, 친밀감의 6개 요인으로 구성돼 있다. 이숙정(2006)은 학교급에 따라 학생들이 인식하는 교사 신뢰 수준에 유의한 차이가 있다는 결과를 보고했다. 구체적으로 중학생에 비해 고등학생이 교사를 더 신뢰하는 것으로 나타났다. 또 다른 유사변인으로 교실정의를 들 수 있다. 교실정의는 평가 기준의 공정성과 관련된 절차적 정의, 상호작용 과정에서 학생에 대한 공정한 대우와 관련된 관계적 정의, 상대평가 등의 상황에서 좋은 성적의 공정한 분배와 관련된 분배적 정의로 구성된다(Chory & Westerman, 2009). 김정아 외(2019)의 연구에 따르면 교실정의가 확보되지 않은 상태에서는 부정적 피드백에 대한 수용이 낮은 것으로 보고되었다.

나. 피드백 질

피드백 질(Feedback Quality)은 피드백의 일관성과 유용성 측면에서 정의된다. 좋은 피드백 환경에서는 피드백 과정에서 학습자가 교사의 피드백 질이 높다(=항상 일관되고 유용하다)고 판단하여 피드백을 보다 쉽게 수용하게 된다. 교육 분야 유사연구로 수업의 질을 주목할 필요가 있는데 Pianta 외(2016)는 수업의 질을 정서적 지원, 학급조직, 학습지원 등 교사-학생 간 상호작용을 다차원적으로 측정해야 한다고 제안했다. 이 중 학습지원의 하위요인으로 피드백의 질이 포함되는데 학습자가 교사 수업의 질이 높다고 인식하면 수업에 적극적으로 참여하는 것으로 보고되었다(Schroeder et al., 2011).

다. 피드백 전달

피드백 전달(Feedback Delivery)은 피드백 과정에서 학습자가 인식하는 교사의 피드백 의도와 내용에 대한 전달 방식으로 정의된다. 좋은 피드백 환경에서는 교사가 학습자를 더 고려하고 배려하여 피드백을 전달함으로써 정보의 명확성을 극대화(Winstone et al., 2017)하고 수용자로 하여금 피드백 유용성 및 피드백 그 자체에 대한 만족을 높이는데 긍정적인 영향을 준다(Ilgen et al., 1981). 교육 분야 유사연구로는 Geddes & Linnehan(1996)의 부정적 피드백 전달방식에 관한 연구를 들 수 있다. 이들은 부정적 피드백 전달방식을 건설적 비판과 파괴적 비판으로 구분하고 건설적 비판은 공감과 직면으로 파괴적 비판은 공격으로 설명하였다. 박경환(2019)의 연구에 따르면 공감과 직면의 피드백 전달방식은 자아존중감의 손상 없이 피드백을 수용하고 자기 결정성 동기로 활용하는 데 도움을 준다.

라. 교사 가용성

교사 가용성(Availability)은 학생이 교사와 교류한 정도 및 피드백을 쉽게 얻을 수 있는 정도에 따라 결정된다. 좋은 피드백 환경에서는 학생이 학습 목표를 달성하기 위해 쉽게 교사와 의사소통을 하여 정보를 이용할 수 있다고 판단함으로써 피드백 수용 결과에 대한 긍정적 기대를 높인다. 교육 분야 유사연구로 교사지지를 주목할 필요가 있는데 교사지지는 크게 정서적 지지, 물질적 지지, 정보적 지지, 평가적 지지의 4개 하위요인을 포함한다(Malecki & Demaray, 2003). 정보적 지지는 필요한 정보나 지식을 제공받는 것을 의미하고 정서적 지지는 심리적 안정감을 통해 소속감을 느끼게 해주는 것을, 물질적 지지는 금전이나 물건 등 필요한 것을 직접 제공해주는 것을 의미하며 평가적 지지는 자신의 구체적인 평가정보에 대해 제공받고 스스로 평가할 수 있게끔 하는 것을 의미한다. 교사지지는 학생의 기본심리욕구 만족을 매개로 수업참여에 영향을 미치는 것으로 보고된다(Fredricks, Blumenfeld, & Paris, 2004).

마. 피드백 추구촉진

피드백 추구 촉진(Promotes Feedback Seek)은 학생이 피드백을 얻기 위해 격려(지지)받는 정도와 자신의 학습 결과를 묻기 편한 정도로 결정된다. 좋은 피드백 환경에서는 교사가 학생들이 피드백 추구 행동을 지지하는 사회적 역학을 마련함으로써 학생들이 적극적인 피드백 추구자가 된다. 하지만 교사가 학생들을 적극적인 피드백 추구자가 되게 하는 방법에 대한 구체적인 정보는 아직 제한적이다(Winstone et al., 2017).

교육 분야 유사연구로 자율성 지지를 들 수 있다. 자율성을 지지하는 교육환경은 학생의 외적 조절을 내재화하여 내재동기를 증진시키고 학생들에게 긍정적인 피드백 정보를 제공하며 학생들의 관점을 고려하는 환경을 의미한다(Ryan & Deci, 2000). 자율성 지지는 학생들의 기본심리욕구와 높은 상관이 있는 것으로 보고된다(Jang et al., 2010). 허예빈, 김아영(2012)에 의하면 교사의 자율성지지 환경이 학생의 기본심리욕구를 매개로 자기주도학습 능력에 유의한 영향을 미치는 것으로 보고됐다. 또 다른 유사변인으로 교실목표구조 중 숙달목표구조를 들 수 있다. 교실목표구조는 크게 숙달목표구조와 수행목표구조로 나뉘는데 숙달목표구조의 교실에서는 성적보다는 새로운 지식 습득이 궁극적인 학습의 목표로 인식되며 결과보다는 과정과 노력이 강조되는 교실문화가 주를 이룬다(Ames, 1992). 선행연구를 통해 숙달목표구조를 인식하고 있는 학생들이 적극적으로 도움요청을 하는 것으로 밝혀졌다(Federici & Skaalvik, 2016). 또한 숙달목표구조는 학습자의 자기효능감을 증진시키는 한편 학습자가 긍정적인 성취정서를 강하게 느낄 가능성이 높은 것으로 드러났다(Roeser, Midgley, & Urdan,, 1996). 전훈, 봉미미, 김성일(2010)의 연구에 따르면 교실숙달목표구조를 강하게 인지하는 학생일수록 숙달목표지향성이 강했고 부정적 성취정서가 낮은 것으로 나타났다.

2. 피드백 과정에서 피드백 환경의 역할

피드백 과정은 개인(피드백 지향성)과 조직(피드백 환경)의 횡적 영향 관계 속에서 크게 3단계로 진행된다. 이러한 피드백 과정에서 개인 차원의 피드백 지향은 조직의 피드백 환경에 따라 조절되어 피드백을 추구하고 수용하는 태도 및 행동에 영향을 미친다(London & Smither, 2002). 피드백 과정 3단계에 따른 구체적인 피드백 환경의 역할은 다음과 같다.

우선 피드백에 대한 인지, 정서적 반응 단계에서 피드백 전달이 얼마나 수용자의 심리, 정서를 고려하여 그 의도를 명확히 하였는가에 따라 긍정적/부정적 반응으로 나타날 수 있다. 좋은 피드백 환경에서는 학습자의 심리 및 정서를 고려하고 피드백 의도를 명확히 전달함으로써 학습자가 피드백에 대해 긍정적 반응을 보일 확률이 높아진다. 두 번째 단계인 피드백 수용 과정은 대표적 인지 이론인 기대-가치 이론(Eccles & Wigfield, 2002)을 통해 설명될 수 있다. 피드백을 받은 학습자는 피드백에 대해 인지적 평가를 내리는데 이는 피드백을 수용하여 원하는 결과를 이끌 수 있는가에 대한 기대와 피드백을 수용하는 일이 얼마나 유용하고 중요한지를 판단하는 주관적 가치를 기준으로 한다. 이때 좋은 피드백 환경에서는 교사에 대한 신뢰도와 가용성을 높게 인식함으로써 피드백을 수용한 결과에 대해 높은 기대를 가질 것이라 추론할 수 있다. 또한, 피드백 자체에 대한 질을 높다고 인식함으로써 피드백 수용이 자신에게 유용하고 중요하다고 판단하여 피드백 수용에 대한 가치도 높일 것이라 예상할 수 있다. 마지막 단계에서는 수용한 피드백을 행동으로 옮기게 되는데 이때 좋은 피드백 환경에서는 피드백 추구 행동을 지속적으로 지지받게 되는데 이러한 환경의 학습자일수록 보다 능동적이고 쉽게 피드백을 활용하여 학업성취에 필요한 행동을 할 수 있다. 따라서 좋은 피드백 환경에서는 학생의 피드백 추구행동 및 피드백 수용성이 증가하여 학생이 행동의 변화에 피드백을 사용하게 함으로써 피드백 효과가 높을 것으로 예상된다. 이상의 내용을 종합하면 피드백 과정에서 학생이 중요한 학습상황에서 받은 피드백을 수용하고 의식해서 활용하는 과정에 교실문화 차원의 피드백 환경이 중요한 상황 맥락요인으로 작용한다고 할 수 있다.

III. 연구 방법

1. 연구대상

본 연구는 D지역에 소재한 학교급별(초, 중, 고) 3개 학교, 총 9개 학교에 재학 중인 학생들을 대상으로 실시하였다(<표 1> 참조). 예비검사는 초등 1개교 7개 학급 총 148명을 대상으로, 본 검사는 9개교 36개 학급 673명을 대상으로 실시하였다. 원척도가 성인을 대상으로 개발된 점을 감안하여 연구의 효율성을 높이기 위해 예비검사에서는 성인과 연령차가 가장 큰 초등학생에게 설문함으로써 학생용 척도로서의 적합성을 검토하였다.

표 1. 연구대상 분포(%)
구분 학교급 학년 남(%) 여(%) 전체(%)
예비조사 초등 초5 43 (30.5) 40 (28.4) 83 (58.9)
초6 25 (17.7) 33 (23.4) 58 (41.1)
전체 7개 학급 68 (48.2) 97 (51.8) 141 (100)
본조사 초등 초5 60 (8.9) 61 (9.1) 277 (41.2)
초6 76 (11.3) 80 (11.9)
중등 중1 21 (3.1) 27 (4.0) 200 (29.7)
중2 36 (5.3) 40 (5.9)
중3 37 (5.5) 39 (5.8)
고등 고1 36 (5.3) 102 (15.2) 196 (29.1)
고2 15 (2.2) 43 (6.4)
전체 36개 학급 281 (41.8) 392 (58.2) 673 (100)
Download Excel Table
2. 측정도구
가. 피드백 환경

피드백 환경 원척도는 원천 신뢰도, 피드백 질, 피드백 전달, 원천 가용성, 피드백 추구촉진, 긍정적/부정적 피드백 빈도의 6개 하위요인을 포함하고 있으며 하위요인별 4∼5개 문항, 총 31개 문항으로 구성되었다. 미국 성인 405명을 대상으로 한 Steelman 외(2004)의 연구에서 신뢰도 계수는 척도별로 .82∼.92 수준이었으며 응답 양식은 7점 Likert식 척도로 ‘매우 그렇지 않다’=1점에서 ‘매우 그렇다’=7점으로 이루어졌다.

본 연구에서는 선행연구(Sparr & Sonnentag, 2008)를 기반으로 피드백 빈도를 측정하는 하위요인(긍정적 피드백, 부정적 피드백)을 제외함으로써 피드백 과정의 상황 맥락 측면에 초점을 맞춰 측정하였다. 또한 원척도에서 가정한 피드백 원천은 관리자와 동료 두 차원이었으나 본 연구에서는 교실맥락에서 가장 빈번하게 피드백을 주고받는 교사 원천에 대한 피드백 환경을 측정했다. 이에 하위 요인의 명칭을 ‘원천 신뢰도’→‘교사 신뢰도’, ‘원천 가용성’→‘교사 가용성’으로 수정하였다. 각 문항은 ‘전혀 그렇지 않다’ 1점에서 ‘매우 그렇다’ 5점의 Likert 응답 척도가 사용되었으며 최종 문항은 [그림 1]에 제시되어 있다. 본 검사 자료에 의해 산출된 척도의 전체 신뢰도(초/중/고)는 .942(.931/ .921/.932)였으며 하위요인별로는 교사 신뢰도 .871(.855/.854/.846), 피드백 질 .936(.927/.929/ .931), 피드백 전달 .812(.781/.793/.823), 교사 가용성 .744(.672/.646/.827), 피드백 추구 촉진 .655(.622/.600/.625)로 나타났다.

나. 형성적 피드백

형성적 피드백이란 교사가 학습자의 현재 성취수준과 학습자가 성취하고자 하는 학습목표 간의 차이에 대한 정보를 제공하고 이 격차를 줄이기 위한 안내의 역할을 하는 것을 말한다(Sadler, 1989). 본 연구에서는 박민애, 손원숙(2018)이 타당화한 단축형 학습을 위한 평가 척도를 통해 측정되었다. 이 척도의 문항은 모니터링 7문항(예: 선생님은 내가 어떻게 해야 과제를 더 잘할 수 있을지 곰곰이 생각하도록 격려해 주신다), 스캐폴딩 5문항(예: 내가 어떤 내용에 대해 이해하지 못하면 선생님은 다른 방식으로 설명해주려고 노력하신다)으로 구성되어 있으며 각 문항은 ‘전혀 그렇지 않다’ 1점에서 ‘매우 그렇다’ 5점의 Likert 응답척도가 사용되었다. 척도의 신뢰도(초/중/고)는 .939(.929/.939/.940)으로 나타났다.

다. 기본심리욕구

기본심리욕구는 자율성(자신이 행동에 대한 주체이고 조절자라는 신념), 유능감(사회 환경과의 상호작용 속에서 자신이 유능하다고 느끼는 정도), 관계성(다른 사람들과 관심을 주고 받는다는 느낌)으로 구성된다(Ryan & Deci, 2000). 본 연구에서는 이명희, 김아영(2008)이 개발하고 타당화한 한국형 기본심리욕구 척도를 통해 측정되었다. 이 척도의 문항은 자율성 6문항(예: 나는 대체로 내 생각과 의견을 자유롭게 표현할 수 있다고 느낀다), 유능감 6문항(예: 나는 내 자신이 매우 효율적이라고 느낀다), 관계성 6문항(예: 나는 내가 만나는 사람들과 잘 지낸다)으로 구성되어 있으며 각 문항은 ‘전혀 그렇지 않다’ 1점에서 ‘매우 그렇다’ 5점의 Likert 응답 척도가 사용되었다. 척도의 신뢰도(초/중/고)는 .917(.923/.905/.918)으로 나타났다.

라. 학업참여

학업참여란 충만해 있는 지속적이고 긍정적인 인지-정서적 상태를 말하며 열정(공부에 대한 의지나 어려움에 직면했을 때의 지속성), 헌신(공부에 대한 중요성, 자신감, 도전), 몰두(공부에 완전히 집중한 상태)로 구성된다(Schaufeli et al., 2002). 본 연구에서는 추헌택, 손원숙(2011)이 타당화한 한국형 학생용 학업참여 척도를 통해 측정되었다. 이 척도의 문항은 열정 6문항(예: 나는 아침에 일어나면 학교에 수업 들으러 가고 싶다), 헌신 4문항(예: 나에게 공부는 힘들지만 도전할 만한 것이다), 몰두 5문항(예: 나는 공부할 때 시간이 정말 빨리 지나간다)으로 구성되어 있으며 각 문항은 ‘전혀 그렇지 않다’ 1점에서 ‘매우 그렇다’ 5점의 Likert 응답척도가 사용되었다. 척도의 신뢰도(초/중/고)는 .953(.945/.954/.953) 으로 나타났다.

3. 분석절차
가. 예비검사 문항 번안과 타당화 절차

우선 산업맥락의 척도를 교육맥락에 적용하는 것이 적절한지에 대해 연구자 소셜 네트워크를 통해 원척도 개발자에게 자문을 구했고 긍정적 답변을 받았다. 이후 문항의 번안을 위하여 연구자 1인이 먼저 문항을 번안한 뒤 구인에 대한 이해가 있는 교육철학 박사 1인, 교육평가 박사 1인, 교육경력 10년 이상의 교사 2인이 내용이 어색하거나 모호한 부분을 검토, 수정하였다. 그리고 번역의 질을 확인하기 위해 역번역 과정을 거쳤다. 문항의 내용 타당도를 검증하기 위하여 내용 전문가에 의해 문항의 적절성 및 대표성 검증을 실시하였고 그 결과를 토대로 예비검사 문항을 선정하였다. 예비문항은 먼저 기술통계와 신뢰도 분석을 통해 문항의 양호도를 점검하였다. 이후 확인적 요인분석을 통해 내적 구조를 살펴보았으며, 분석결과들을 상호보완적으로 검토하여 최종 본 검사 문항을 확정하였다.

나. 본 검사 문항의 타당화 절차

K-FESS를 타당화하기 위하여 본 검사에서는 아래와 같은 분석절차를 거쳤으며 이를 위해 SPSS Statistics 20.0, AMOS 20.0 프로그램이 사용되었다.

첫째, 내적 구조에 기초한 구인타당도의 증거를 확보하기 위하여 확인적 요인분석 모형(confirmatory factor analysis: CFA)을 적용하였다. 우선, 모수 추정을 위해서 최대우도법을 사용하였다. 각 모형과 자료 간의 적합도를 평가하기 위하여 χ2을 기본적으로 고려하였으나, 이는 표본크기에 민감하다는 특성 때문에 기타 몇 가지의 적합도 지수도 상호보완적으로 활용하였다. 구체적으로 절대적 적합도 지수에 해당하는 RMSEA(.08 이하)와 상대적 적합도 지수에 해당하는 TLI(.90이상), CFI(.90이상)가 고려되었다(Kline, 2015). 둘째, 선행연구(Anseel, Beatty, Shen, Lievens, & Sackett, 2015; Gabriel, Frantz, Levy, & Hilliard, 2014; Jang et al., 2010; Schroeder et al., 2011; Steelman et al., 2004)에 따라 피드백 환경과 학습자의 정의적 측면과의 관련성을 고려하여 형성적 피드백 인식, 기본심리욕구, 학업참여를 관련변인으로 설정하고 피드백 환경과의 상관관계를 분석하여 K-FESS의 외적 타당도를 점검하였다. 마지막으로 학교급별 측정 자료에 대한 측정동일성 검증을 함으로써 K-FESS의 일반화에 기초한 타당도를 점검하였다. 이를 위해 구인동일성에 대한 위계적인 가설을 설정하였다. 즉, 측정모형의 형태, 측정, 척도, 및 요인분산의 동일성 가설을 마련하고 다집단 확인적 요인분석(multiple-group CFA)을 사용하여 위계적으로 적합도 차이를 검증하였다(Baumgartner & Steenkamp, 1998). 구인 동일성 모형 간 차이 검증을 위하여 △χ2을 산출하고 통계적으로 영가설이 수용되는지 확인하였다. 하지만 △χ2이 표본 수에 민감하여 1종 오류가 커지는 경향이 있는 점을 감안하여 표본 크기의 영향을 상대적으로 덜 받는 대안적인 모형 적합도 지수를 고려할 필요가 있는데 본 연구에서는 ΔRMSEA가 .015보다 작은 경우 구인동일성이 지지된 것으로 간주하였다(Cheung & Rensvold, 2002). 추가적으로 피드백 환경의 잠재평균이 초, 중, 고등학생에게 다르게 나타나는지 살펴보기 위하여 잠재평균 분석을 실시하였다. 보통 위계적 구인 동일성 검증 중 3단계인 척도 동일성이 충족되면 잠재평균의 비교가 가능해진다(Meredith, 1993). 그리고 요인분산 동일성이 만족된 경우, 공통의 표준편차를 사용하여 효과크기(Conhen's d)를 계산하는데 d값이 .20이면 작은 수준으로, .50이면 중간수준으로 .80이면 큰 수준으로 해석한다.(Cohen, 1988, pp. 25-26)

IV. 연구결과

1. 문항의 번안 및 내용타당도 검토

본 연구에서는 우선 연구자 1인이 먼저 문항을 번안한 뒤 구인에 대한 이해가 있는 교육철학 박사 1인, 교육평가 박사 1인, 교육경력 10년 이상의 교사 2인이 내용이 어색하거나 모호한 부분을 검토, 수정하였고 내용 전문가에 의해 문항의 적절성 및 대표성 검증을 실시하였다. 구체적으로 산업맥락 용어인 ‘supervisor’, ‘work’, ‘performance review’ 등을 교육맥락에 맞게 ‘선생님’, ‘학습’, ‘통지표’ 등으로 번안하였다. 이 과정에서 초등학교는 학급담임을 중심으로 학습활동이 이루어지나 중, 고등학교는 교과전담을 중심으로 학습활동이 이루어지는 차이를 반영하여 초등용 설문에서는 주어를 ‘담임 선생님’으로 중등용 설문에서는 ‘선생님들’로 번안하였다. 그리고 번역의 질을 확인하기 위해 역번역 과정을 거쳤다. 최종적인 조정 작업에는 교육심리 및 평가 분야의 전문가 1인이 참여하였다. 이 과정에서 피드백 전달 3번 문항(FD3)인 ‘선생님은 진지하지 않은 태도로 피드백을 주신다.’를 진지하지 않은 태도에 대한 학생들의 반응이 일관되지 않다는 판단 하에 삭제하였다.

2. 예비검사 자료 분석

총 23문항으로 구성된 예비검사 자료의 문항 분석 결과 각 문항의 평균과 표준편차의 값은 평균 3.81~4.81, 표준편차 .428~1.102로 비교적 양호한 수준을 보였다. 또한 각 문항의 왜도와 첨도를 검토한 결과 왜도는 -.539~-1.610, 첨도는 -.124~4.028로 양호였다. 변별도 역시 .363~.913의 범위로 양호한 수준을 보였다. 전체 문항의 신뢰도는 .910이었고 하위척도의 신뢰도는 .603~.912의 범위를 보였다. 끝으로 척도의 내적 구조를 살피기 위해 확인적 요인분석을 실시한 결과 χ2= 346.432 (p<.001), df= 219, TLI= .904, CFI= .917, RMSEA= .065로 적합한 수준을 나타내었다. 이 과정에서 피드백 환경 하위요인 내 문항 간 상관, 문항 내용의 중복성 및 수정 지수 등을 고려하여 SA3과 SA4, PS3과 PS4 문항의 측정 오차 간 상관을 부여하였다. 문항별 요인부하량은 .459~.905으로 모두 통계적으로 유의(p<.001)한 것으로 나타났다. 문항 양호도와 확인적 요인분석 결과를 상호보완적으로 적용하여 삭제 문항 없이 최종적으로 23문항을 선정하였다.

3. 본 검사 자료 분석
가. 문항분석 및 신뢰도 검사

예비검사를 통해서 확정된 23개 문항에 대해 본 조사를 실시하였고 문항별 기술 통계치와 문항-총점 간 상관, 신뢰도 등을 알아보았다. 평균은 3.47∼4.35의 범위를 나타냈으며 표준편차는 .726∼1.114의 범위를 보여 양호한 수준을 나타냈다. 문항-총점 간 상관은 .366∼.876으로 나타나 역시 양호한 수준을 보였다. 다음으로 표본의 정규성을 확인하기 위해 왜도와 첨도를 살펴봤다. 왜도는 –1.241∼-.239의 범위를 보였고 첨도는 -.697∼1.266 사이로 나타나 표본이 정규분포를 가정하는 것으로 확인되었다 (<표 2> 참조).

표 2. 피드백 환경 최종 척도의 학교급별 문항 분석 결과 (n= 673)
하위요인 문항 번호 평균 표준편차 변별도 신뢰도
전체 전체 전체 전체
교사 신뢰도 SC1 4.26 3.83 3.61 3.94 .754 .823 .813 .839 .729 .721 .641 .736 .855 .854 .846 .871
SC2 4.43 3.94 3.88 4.12 .741 .827 .792 .822 .709 .736 .716 .748
SC3 4.54 4.20 4.11 4.31 .616 .787 .722 .726 .647 .468 .586 .603
SC4 4.23 3.86 3.42 3.89 .924 .886 .917 .969 .628 .677 .618 .677
SC5 4.37 3.92 3.83 4.08 .718 .817 .738 .792 .677 .744 .732 .745
피드백 질 FQ1 4.29 3.90 3.74 4.01 .734 .817 .784 .809 .798 .850 .839 .843 .927 .929 .931 .936
FQ2 4.34 3.95 3.80 4.06 .737 .809 .789 .808 .864 .879 .848 .876
FQ3 4.38 4.03 3.85 4.12 .759 .786 .753 .797 .863 .836 .850 .862
FQ4 4.30 3.95 3.80 4.05 .822 .828 .828 .853 .763 .838 .858 .828
FQ5 4.48 4.00 3.94 4.18 .684 .919 .854 .847 .768 .679 .709 .740
피드백 전달 FD1 3.78 3.65 3.48 3.65 1.086 .862 .856 .965 .510 .687 .695 .603 .781 .793 .823 .812
FD2 3.99 3.62 3.35 3.69 .895 .954 .957 .968 .663 .633 .624 .669
FD4 4.32 3.80 3.77 4.01 .882 .977 .886 .950 .557 .468 .599 .570
FD5 4.19 3.86 3.60 3.92 .846 .815 .808 .862 .645 .654 .682 .685
교사 가용성 SA1 4.07 3.99 3.89 3.99 .904 .845 .825 .866 .414 .460 .595 .475 .672 .646 .872 .744
SA2 4.27 3.70 3.68 3.93 .783 .935 .831 .891 .412 .444 .648 .536
SA3 4.24 3.79 3.63 3.93 .934 .992 .954 .993 .557 .576 .712 .642
SA4 3.74 3.42 3.16 3.47 1.132 1.076 1.038 1.114 .527 .247 .590 .491
SA5 4.08 3.60 3.49 3.77 1.044 1.057 1.020 1.073 .260 .317 .593 .421
피드백 추구촉진 PS1 4.62 4.07 4.24 4.35 .652 .985 .765 .830 .499 .428 .451 .503 .622 .600 .625 .655
PS2 4.33 3.59 3.60 3.90 .842 1.117 1.084 1.064 .416 .355 .331 .423
PS3 3.81 3.50 3.52 3.63 1.075 1.012 1.015 1.048 .313 .322 .417 .366
PS4 4.39 3.93 4.15 4.18 .780 .902 .728 .826 .454 .431 .480 .488
Download Excel Table

한편 각 하위요인의 신뢰도는 .600∼.936 범위 안에 포함되어 양호한 수준이었으나 ‘교사 가용성’ 요인의 초, 중학교 결과와 ‘피드백 추구 촉진’ 요인 결과가 .600∼.672로 상대적으로 낮게 나타났다. 구체적으로 ‘교사 가용성’ 요인의 경우 고등학교 결과에 비해 초, 중학교 결과가 상대적으로 낮은데 이는 역문항 관계인 3번, 4번 문항에 대한 집단별 해석의 차이에 기인했을 가능성을 고려해 볼 수 있다. 또한, 5번 문항의 경우 초, 중학교에서의 변별도가 낮은 것을 볼 수 있는데 이는 ‘피드백’이라는 용어에 대한 학생들의 이해 수준이 다양하게 분포하여 문항에 대한 해석이 학생별로 일관되지 못했을 가능성을 고려할 수 있다. 전반적으로 이 두 요인의 문항 수가 상대적으로 작기 때문에 .60 이상의 신뢰도를 수용 가능한 수준(Taber, 2018)으로 해석하기로 했다.

나. 하위척도 간 상관분석 결과

하위 5개 요인 간의 상관을 살펴본 결과 하위요인 간에는 .571∼.835의 비교적 적절한 수준의 상관을 보여 하위척도 간 변별의 증거를 나타냈다. 한편, 전체 척도 총점과는 .709∼.907의 비교적 높은 상관을 보임으로써 수렴의 증거를 보였다. 학교급별 하위척도 간 상관은 초등 .565∼.837, 중등 .491∼.817, 고등 .486∼.783으로 초등학교에서 다소 높은 범위를 보였고 전체 척도 총점 간 상관은 초등 .776∼.902, 중등 .756∼.875, 고등 .755∼.863으로 학교급별 유사한 분포를 보였다.

다. 확인적 요인분석 결과: 내적타당도 검증

K-FESS의 내적구조에 기초한 타당도 분석을 위해 확인적 요인분석을 실시하였다.

피드백 환경 5요인 모형([그림 1] 참조)을 적용한 결과 모형 적합도는 χ2= 877.743(df=218)로 p<.001수준에서 유의하였다. TLI는 .936, CFI는 .946, RMSEA는 .058의 적합도를 보여 양호한 수준을 나타냈다. 이 과정에서 피드백 하위 요인 내 문항 간 상관, 문항내용의 중복성 및 수정 지수 등을 고려하여 SA3과 SA4, PS3과 PS4 문항의 측정 오차 간 상관을 부여하였다.

jce-23-2-203-g1
그림 1. 피드백 환경 5요인 모형(n=673)
Download Original Figure

잠재요인 간 상관은 .712~.936으로 나타났고 관찰변수의 요인부하량은 .466~.912로 모두 통계적으로 유의하게 나타났다(p<.001). 이와 같은 결과를 통해 본 연구의 모형이 잘 부합된다는 것을 확인할 수 있었다. 학교급별 확인적 요인분석 결과를 <표 3>에 제시하였다.

표 3. K-FESS의 학교급별 확인적 요인분석 결과
학교급 χ 2 df TLI CFI RMSEA(90% CI)
초등학교 413.555*** 218 .937 .947 .055(.046~.063)
중 학 교 577.761*** 218 .900 .913 .072(.063~.082)
고등학교 479.051*** 218 .912 .927 .067(.057~.076)
전 체 877.743*** 218 .936 .946 .058(.053~.062)
Download Excel Table
라. 관련 변인 간 상관분석 결과

관련 변인과의 상관을 통한 K-FESS의 타당도를 검증하기 위하여 피드백 환경과 형성적 피드백, 기본심리욕구, 학업참여와의 상관관계를 분석하였다(<표 4> 참조).

표 4. 피드백 환경과 관련 변인과의 상관분석 결과(n= 673)
교사신뢰도 피드백 질 피드백 전달 교사가용성 피드백 추구촉진 피드백 환경 전체
형성적 피드백 모니터링 .656**
(.675**/.582**/.595**)
.628**
(.640**/.515**/.623**)
.693**
(.663**/.644**/.694**)
.611**
(.635**/.507**/.569**)
.583**
(.634**/.494**/.544**)
.746**
(.763**/.665**/.736**)
스캐폴딩 .607**
(.596**/.567**/.607**)
.578**
(.563**/.490**/.625**)
.615**
(.572**/.587**/.645**)
.592**
(.594**/.520**/.600**)
.587**
(.611**/.524**/.589**)
.699**
(.688**/.651**/.745**)
전체 .672**
(.686**/.604**/.640**)
.642**
(.650**/.528**/.665**)
.697**
(.667**/.647**/.714**)
.640**
(.662**/.540**/.622**)
.621**
(.671**/.535**/.602**)
.769**
(.783**/.692**/.789**)
기본심리 욕구 자율성 .407**
(.302**/.430**/.484**)
.403**
(.351**/.394**/.425**)
.405**
(.336**/.417**/.444**)
.425**
(.341**/.450**/.468**)
.466**
(.424**/.467**/.451**)
.493**
(.411**/.521**/.551**)
유능감 .402**
(.334**/.429**/.416**)
.390**
(.376**/.347**/.405**)
.390**
(.333**/.378**/.424**)
.401**
(.424**/.378**/.346**)
.330**
(.437**/.272**/.218**)
.450**
(.445**/.436**/.442**)
관계성 .374**
(.383**/.423**/.382**)
.353**
(.422**/.342**/.301**)
.356**
(.399**/.347**/.342**)
.395**
(.406**/.486**/.341**)
.402**
(.475**/.412**/.284**)
.441**
(.488**/.484**/.400**)
전체 .467**
(.393**/.514**/.512**)
.452**
(.443**/.435**/.452**)
.454**
(.412**/.458**/.484**)
.481**
(.450**/.526**/.461**)
.473**
(.515**/.462**/.380**)
.546**
(.518**/.578**/.556**)
학업참여 열정 .464**
(.451**/.308**/.439**)
.442**
(.455**/.256**/.449**)
.432**
(.416**/.288**/.432**)
.402**
(.461**/.214**/.330**)
.344**
(.446**/.126/.268**)
.490**
(.522**/.290**/.467**)
헌신 .432**
(.368**/.299**/.492**)
.446**
(.437**/.254**/.522**)
.417**
(.382**/.271**/.475**)
.382**
(.386**/.213**/.386**)
.347**
(.454**/.124/.311**)
.476**
(.475**/.282**/.532**)
몰두 .294**
(.297**/.139*/.347**)
.294**
(.320**/.124/.347**)
.294**
(.270**/.165*/.363**)
.288**
(.299**/.180*/.284**)
.234**
(.321**/.038/.269**)
.331**
(.353**/.156*/.391**)
전체 .433**
(.403**/.273**/.467**)
.430**
(.438**/.232**/.481**)
.416**
(.386**/.265**/.464**)
.391**
(.414**/.223**/.365**)
.337**
(.442**/.105/.310**)
.472**
(.488**/.266**/.508**)

** p<.01, r=전체(초/중/고)

Download Excel Table

분석결과, 피드백 환경 및 하위요인들은 형성적 피드백, 기본심리욕구, 학업참여와 통계적으로 비교적 높은 유의한 정적상관(r=.337∼.769, p<.01)을 보임으로써 K-FESS의 관련 변인 간 상관을 통한 타당도의 증거를 확인하였다. 구체적으로 형성적 피드백과 피드백 환경의 상관을 살펴보면 r=.621∼.697(p<.01)로 높은 정적 상관을 보였다. 형성적 피드백 인식은 교사와 교사의 피드백에 대한 인식을 구성요소로 하는 피드백 환경과 높은 상관을 보일 것이라는 예상이 확인되었다. 다음으로 기본심리욕구와 피드백 환경의 상관을 살펴보면 r=.452∼.481(p<.01)으로 다소 높은 정적상관을 보였다. 학생의 자율성이 지지받고 교사 원천을 쉽게 활용할 수 있는 피드백 환경 속에서 학생의 기본심리욕구도 어느 정도 충족될 것이라는 예상이 확인됨에 따라 피드백 환경의 타당도가 확인되었다. 끝으로 학업참여는 피드백 환경과 r=.337∼.433(p<.01)로 통계적으로 유의한 정적상관을 보였다. 교사에 대한 신뢰가 높고 교사로부터 받는 피드백의 질이 높다고 인식하는 학생들은 학업참여도 어느 정도 높을 것이라는 예상이 확인됨에 따라 피드백 환경의 외적 타당도의 증거가 확인되었다.

마. 학교급별 구인동일성 검증 결과 : 일반화에 기초한 타당도 검증

학교급에 따른 피드백 환경의 구인동일성을 검증하기 위해 학교급간의 형태, 측정, 척도 및 요인분산 동일성이 확보되었는지를 다집단 확인적 요인분석을 통해 확인하였다. 동일성 검증은 내재적인 모형에 대한 위계적인 분석을 통해 이루어졌으며 그 결과는 <표 5>와 <표 6>에 제시되었다.

표 5. 동일성 검증 모형 적합도 지수
모형 χ 2 df TLI CFI RMSEA(90% CI)
모형1: 형태동일성 1401.167*** 648 .902 .916 .042(.039~.045)
모형2: 측정동일성 1460.873*** 684 .904 .914 .041(.038~.044)
모형3: 측정 및 척도동일성 1682.054*** 722 .888 .893 .045(.042~.047)
모형4: 측정, 척도 및 요인분산동일성 1816.801*** 760 .883 .883 .046(.043~.048)

*** p<.001

Download Excel Table
표 6. χ2검정 결과 및 대안적 적합도 변화량
모형 χ2 df p-value RMSEA 결정
측정동일성 검증 : 모형1 vs 모형2 59.706 36 .008 -.001 채택
측정 및 척도동일성 검증 : 모형2 vs 모형3 221.182 38 .000 .004 채택
측정, 척도 및 요인분산 동일성 검증 : 모형3 vs 모형4 134.747 38 .000 .001 채택
Download Excel Table

우선, 학교급에 따른 모형적합도(<표 3> 참조)를 살펴보면 초등학교의 경우 χ2 = 413.555 (p<.001), df= 218, TLI = .937, CFI = .947, RMSEA = .055로 모형적합도가 만족한 수준을 보였다. 중학교의 경우에도 χ2= 577.761(p<.001), df= 218, TLI = .900, CFI = .913, RMSEA = .072로 기준에 부합하였다. 마지막으로 고등학교의 경우 χ2= 479.051(p<.001), df = 218, TLI = .912, CFI = .927, RMSEA= .067로 모형적합도 기준을 만족하였다.

둘째, 형태동일성을 검증하기 위해 아무런 제약을 가하지 않은 기저모형의 적합도를 살펴봤다. χ2= 1401.167(p<.001), df = 648, TLI = .902, CFI = .916, RMSEA = .040로 양호한 수치(Kline, 2015)를 나타내어 형태동일성이 지지 되었다.

셋째, 측정동일성을 검증하기 위해 학교급별 요인계수가 동일하다는 제약을 가한 모형과 기저모형을 비교하여 유의한 차이가 없는지 확인하기 위해 χ2검정을 실시하였다. △χ2이 59.706이고 자유도 차이가 36으로 두 모형이 유의수준 .05에서 통계적으로 유의한 차이가 있는 것으로 나타나 영가설이 기각되었다. 그러나 △χ2검증은 표본의 크기에 민감하기 때문에 표본 크기에 상대적으로 영향을 덜 받는 △RMSEA를 고려했다. 그 결과 △RMSEA = -.001로 적합도가 더 좋아져서 측정동일성이 확보되었다고 판단하였다.

넷째, 척도동일성을 검증하기 위해 요인계수가 같다는 측정동일성 모형과 각 측정변수의 절편까지 동일화 제약을 가한 절편동일성 모형 간에 적합도 차이를 확인하였다. △χ2검증 결과 유의 수준 .05 수준에서 영가설이 기각되는 것으로 나타났다. 하지만 절편동일성 모형의 적합도가 수용 가능한 수준이고 △RMSEA 값이 .004로 동일성 수용 기준을 만족하므로 학교급에 따른 척도동일성이 성립한 것으로 본다.

바. 학교급 간 잠재평균 비교

척도동일성이 확인되면 관찰된 평균 차이가 잠재특성에 대한 집단 간 실제 차이를 반영한다고 간주할 수 있기 때문에 피드백 환경의 잠재평균이 학교급에 따라 달라지는지를 확인하기 위해 잠재평균 분석을 실시하였다(<표 7> 참조).

표 7. 피드백 환경 요인에 대한 학교급 간 잠재평균 차이 분석
요인 잠재평균 (초등학교) 효과크기(d1) ↔ 잠재평균 (중학교) 효과크기(d2) ↔ 잠재평균 (고등학교)
교사신뢰도 .444*** 1.042 0 .376 -.168*
피드백 질 .387*** .746 0 .287 -.149*
피드백전달 .318*** .774 0 .504 -.185**
교사가용성 .366*** .787 0 .319 -.122
피드백추구촉진 .529*** 2.290 0 .661 .152*

* p<.05

** p<.01

*** p<.001

d1: 초↔중 간 효과크기, d2: 중↔고 간 효과크기

Download Excel Table

구체적으로 중학교 집단을 참조집단으로 지정하여 중학교의 잠재요인 평균을 0으로 고정했을 경우에 초등학생과 고등학생 집단에 대한 잠재평균을 추정하였고 추정치의 차이가 통계적으로 유의미한지 검증하였다. 먼저, 잠재평균을 해석하기 위해 Cohen’s d값을 산출하는데 이때 집단별 통합된 요인분산을 적용하기 때문에 요인분산 동일성을 검증하였다. 척도동일성 모형에 비해 △RMSEA=.001로 동일성 검정 기준을 충족하여 요인분산 동일성도 만족한 것으로 보고 통합된 요인분산을 산출하였다.

분석 결과, 모든 요인에서 중학교에 비해 초등학교의 피드백 환경에 대한 잠재평균이 통계적으로 유의하게 큰 차이(d=.746∼2.290)로 높게 나타났다. 중학교와 고등학교의 잠재평균은 요인별로 결과가 상이했다. 교사 신뢰도(-.168, d=.376)와 피드백 질(-.149, d=.287) 요인은 중학교에 비해 고등학교의 잠재평균이 작은 차이로 낮게 나타났다. 피드백 전달은 중학교에 비해 고등학교의 잠재평균이 .185만큼 중간크기로 낮았다. 반면, 피드백 추구 촉진은 중학교에 비해 고등학교의 잠재평균이 .152만큼 중간크기로 높았다. 마지막으로 교사 가용성은 중학교와 고등학교 간 잠재평균이 통계적으로 유의한 차이가 없는 것으로 나타났다.

V. 요약 및 논의

본 연구는 현재 교육현장에 적용할 피드백 과정의 상황 맥락적 측면을 통합적으로 확인할 수 있는 척도가 없다는 문제의식에서 출발하였다. 이에 Steelman 외(2004)가 개발한 피드백 환경 척도를 번안하여 우리나라 초, 중, 고등학생을 대상으로 타당화 했다. 본 연구의 결과를 요약하고 연구의 시사점을 고찰하면 다음과 같다.

첫째, K-FESS 척도 타당화를 위해 문항 번안 과정을 거쳤으며 문항별 특성과 신뢰도를 확인하였다. 번안 과정에서 전문가의 최종 검토를 거친 결과 24개 문항 중 1개 문항이 제거되어 총 23개의 문항이 최종적으로 선정되었다. 번안 과정을 거친 23개의 문항을 분석한 결과 문항별 평균, 상관, 신뢰도 모두 적합한 수준을 보였다.

둘째, 확인적 요인분석을 실시하여 K-FESS의 요인구조를 살펴보았고 하위요인 간 상관관계를 확인하였다. 그 결과, K-FESS는 교사 신뢰도, 피드백 질, 피드백 전달, 교사 가용성, 피드백 추구 촉진의 5요인 구조로 구성되고 양호한 수준의 적합도를 보여 내적 구조에 기초한 타당도가 확보되었다고 판단하였다. 또한 피드백 환경 전체 및 하위요인 간 상관도 적절한 수준의 관련성을 보여 수렴 및 변별의 증거를 확인하였다.

셋째, 피드백 환경 척도 및 하위 5요인과 기본심리욕구, 학업참여, 형성적 피드백 간의 상관관계 분석을 통해 관련 변인 간 관계에 기초한 타당도를 확인하였다. 분석 결과, 피드백 환경 및 하위 5요인 모두 기본심리욕구, 학업참여, 형성적 피드백과 유의한 정적 상관관계를 맺고 있었다. 즉, 믿을 수 있는 교사와 쉽게 상호작용하고 질 높은 피드백을 자신을 고려하여 전달받으며 자발적인 피드백 추구 행동을 지지받는 피드백 환경 속 학습자일수록 기본심리욕구가 높고 학업참여도 활발하며 교사에게 형성적 피드백을 많이 받는다고 인식하는 것이다. 이는 피드백 과정에서 피드백 지향적 문화로서의 피드백 환경 구축이 학생의 다양한 정의적 요인과 긍정적 관련을 맺고 있음을 시사한다. 한편, 중학교의 경우 다른 학교급에 비해 학업참여와의 상관이 다소 낮은 결과를 보였다. 이는 발달과정 상의 시기적 차이에서 기인한다고 볼 수 있는데 중학교의 경우 사춘기를 거치면서 반항심이 커지고 초등학교보다 개인 간 학력의 차이가 뚜렷하게 나타나 무동기 학생이 증대(김아영, 2008)되는 특수한 시기이다. 따라서 중학생의 피드백 수용성이 초등학교나 고등학교에 비해 떨어질 것으로 예상되고 이러한 차이에 따라 피드백 환경과 학업참여의 상관이 다소 낮게 나타난 것으로 판단된다.

넷째, K-FESS의 일반화에 기초한 타당도를 점검하기 위해 다집단 확인적 요인분석을 통해 학교급별 구인동일성을 확인하였다. 그 결과 형태, 측정, 척도 동일성이 검증되어 K-FESS가 우리나라 초, 중, 고등학생에게 공통으로 활용할 수 있는 공용 척도로서의 역할을 할 수 있게 되었음을 확인하였다. K-FESS가 공용 척도로서 종단연구나 학교급별 비교연구에 활용된다면 더 나은 교육 여건 조성에 필요한 다양한 시사점을 얻을 수 있을 것이다.

다섯째, 본 연구가 국내 표본을 대상으로 처음으로 K-FESS를 타당화 했다는 점에서 의의를 가진다. 기존 교육 분야 피드백 연구는 피드백 효과에 영향을 주는 다양한 요인에 초점을 맞추어 왔으나 피드백 과정에서의 상황 맥락적 측면에 대한 연구가 상대적으로 부족했다는 한계를 보였다. 교사가 제공한다고 생각하는 AFL인식과 학생들이 받아들이는 AFL인식 사이에 차이가 있다(박정, 2017)거나 기존 피드백 효과와 관련된 연구들이 일관되지 못한 결과(이빛나, 손원숙, 2018; Shute, 2008)를 보이는 점 등의 한계는 피드백 환경이 어떠했는지에 대한 설명이 보완됨으로써 극복될 수 있을 것이다. 본 연구에서 타당화 된 K-FESS를 통해 피드백 과정의 상황 맥락적 측면을 고려함으로써 피드백 연구가 더욱 활성화되고 폭넓어지는 계기가 마련되기를 기대한다.

마지막으로, 피드백 환경의 잠재평균을 산출했는데 학교급에 따른 차이가 존재했다. 먼저, 중· 고등학교의 피드백 환경이 초등학교에 비해 낮음을 확인할 수 있었다. 초·중등학교의 교사의 피드백 인식 및 실제에 관한 연구(안희상, 손원숙, 2017)에 따르면 초등학교에 비해 중학교 교사들에게서 피드백이 소용없다는 부적절성 인식이 높았고 초등학교 교사들은 피드백 제공을 교사의 책무로 인식 하는 수준이 높게 나타났다. 성적에 대한 부담감이 상대적으로 낮은 초등학교에서 형성적 피드백이나 자기·동료 피드백을 더 활발하게 활용하고 있었는데 이러한 원인들로 인해 중, 고등학교에 비해 초등학교의 피드백 환경이 긍정적으로 인식되었을 가능성이 있다. 한편, 중학교와 고등학교의 피드백 환경은 구성요인별로 잠재평균 산출 결과가 상이했다. 교사와 얼마나 원활하고 빈번하게 상호작용 하는지에 관한 교사 가용성 측면에서는 통계적으로 유의한 차이가 없는 것으로 나타났는데 이는 교과 전담 교사제를 운영하는 구조적 유사성이 작용한 것으로 해석할 수 있다. 한편, 교사 신뢰도와 피드백 질은 중학교가 고등학교에 비해 통계적으로 유의하게 높았는데 중학교가 고등학교에 비해 상대적으로 대학 입시의 영향을 덜 받는 데서 그 원인을 찾을 수 있다. 최근 학생부 종합전형 등 입시 제도의 다양화, 성취평가제를 기반으로 한 고교학점제 등의 제도적 모색 역시 이러한 고등학교의 대학 입시로 인해 열악해진 교육 환경 개선의 움직임이라고 볼 수 있다. 피드백 추구 행동을 촉진하는 환경은 오히려 고등학교가 중학교에 비해 높게 나타났는데 이것은 피드백의 범위를 시험 문제에 관한 것으로 좁혔을 때 해석이 가능해진다. 고등학교에서는 학생들이 시험 문제에 대해 모르는 것을 질문하는 것에 더 허용적이라고 볼 수 있는데 이는 고등학교 교사들이 대입 시험에 대한 책무성을 더 높게 인식함으로써 피드백 추구 행동을 촉진시켰다고 생각해 볼 수 있다. 중학교와 고등학교의 피드백 환경 차이와 그 원인에 대해서는 추가적인 연구를 통해 보다 명확한 규명이 필요해 보인다.

본 연구의 제한점과 후속연구에 대해 제언하자면 다음과 같다. 첫째, 본 연구는 D지역의 초, 중, 고등학생들을 대상으로 타당화 검증이 이루어졌기 때문에 일반화에 한계가 있다. 따라서 전국 단위의 표집을 실시하여 다양한 표본을 대상으로 척도 타당화 후속 작업을 실시해야 할 것이다. 둘째, 본 연구에서는 듀이(1937)의 내재적이고 관계적인 환경론에 입각하여 교사-학생 간 상호작용에 따른 피드백 상황 맥락에 주목하였으나 후속 연구에서는 피드백 과정에 영향을 미칠 수 있는 물리적 맥락 요인(교과, 교실구조 등)에 대한 고려도 추가하여 피드백 환경에 대한 보다 확장된 개념을 측정할 수 있는 작업이 진행되어 할 것이다. 셋째, 피드백 환경을 학생 자기 보고식으로 측정하도록 하였다. 이는 학생의 특성(인지 수준 등)에 따라 응답 양식이 달라질 수 있는 한계점을 가진다. 따라서 본 척도의 측정 결과를 해석할 때 보수적 접근이 요구된다. 추후연구에서는 학생의 면담자료나 교수 언어에 대한 녹음 자료 등 질적 자료를 수집하여 실제성 높은 피드백 환경 측정 방안을 모색할 필요가 있을 것이다. 넷째, 본 연구에서는 피드백 환경 척도의 타당화에 주목하였으나 후속연구에서는 피드백 환경에 따라 피드백 효과가 차별적인지, 피드백 환경이 학생의 피드백 수용성이나 피드백 추구 행동, 학업성취 등 다양한 인지·정의적 측면에 직접적 영향을 미치는지 확인하거나 피드백 효과에 대한 피드백 환경과 개인 변인(피드백 리터러시 등)의 통합적 잠재 프로파일 도출 등을 확인하여 교육장면에서 피드백 환경의 기능이 보다 확대 규명되기를 기대한다. 다섯째, 본 연구에서는 교사 원천의 피드백 환경에만 국한시켜 측정하였다. 국내 피드백 효과에 대한 메타분석(이빛나, 손원숙, 2018)에서도 밝혔듯, 교사 피드백 뿐만 아니라 동료 피드백의 중요성도 부각되고 있는 점을 감안하여 후속연구에서는 동료, 부모 등의 다양한 원천에 대한 피드백 환경을 조사하여 학생 환경에 대한 이해의 폭을 높이고 피드백 연구가 보다 확장되기를 기대한다.

Notes

1) 본 연구는 김재욱(2019)의 석사학위 논문을 수정 및 보완하여 재구성한 것임.

참고문헌

1.

감민영(2017). 피드백 유형과 과제지속의 관계에 대한 피드백 수용성의 조절효과. 교육과정평가연구, 20(1), 143-163.

2.

김아영(2008). 한국 청소년의 학업동기 발달. 한국심리학회지: 문화 및 사회문제, 14(1), 111-134.

3.

김정아, 신종호, 이선영, 김소영(2019). 교실정의 유형과 공정성 조건이 부정적 피드백 수용에 미치는 영향. 학습자중심교과교육연구, 19(1), 1169-1190.

4.

김효원, 박완성(2014). 성취목표지향성과 수행피드백 제공방식이 대학생의 수업참여에 미치는 효과. 한국교원교육연구, 31(4), 443-466.

5.

노현종, 손원숙(2015). 교사의 숙제 피드백이 학생의 자기조절학습, 과제가치, 학습태도 및 학업성취도에 미치는 영향. 교육평가연구, 27(3), 879-902.

6.

박경환(2019). 상급자의 부정적 피드백 전달방식으로 공감, 직면, 공격이 피드백 효과성에 미치는 영향. 경영경제연구, 41(1), 29-61.

7.

박민애, 손원숙(2017). 초등 교실수업에서의 학습을 위한 평가와 정의 및 인지적 성취와의 관계. 초등교육연구, 30(3), 21-42.

8.

박민애, 손원숙(2018). Rasch 평정척도모형을 통한 학습을 위한 평가 척도(AFL-Q)의 단축형 개발 및 타당화. 교육평가연구, 31(2), 411-434.

9.

박정(2017). 학습을 위한 평가 (AFL) 실제에 대한 교사와 학생의 인식 차이 분석. 학습자중심교과 교육연구, 17, 409-428.

10.

안희상, 손원숙(2017). 초·중등학교의 학교풍토와 교사의 피드백 인식이 피드백 실제에 미치는 영향. 교육평가연구, 30, 445-465.

11.

이명희, 김아영(2008). 자기결정성이론에 근거한 한국형 기본 심리 욕구 척도 개발 및 타당화. 한국심리학회지: 사회 및 성격, 22(4), 157-174.

12.

이수란, 이슬비, 배은희, 손영우(2016). 부정적 피드백의 완충제, 투지 (Grit): 부정적 피드백에 대한 정서 반응에 투지가 미치는 영향. 한국심리학회지: 사회 및 성격, 30(3), 25-45.

13.

이숙정, 한정신(2004). 교사신뢰척도 (Trust Scale)의 개발 및 타당화 연구. 교육심리연구, 18(3), 23-39.

14.

이숙정(2006). 중·고생의 교사신뢰와 자아존중감, 학습동기, 학업성취 및 학급풍토간의 관계모형 검증. 교육심리연구, 20(1), 197-218.

15.

이빛나, 손원숙(2017). 초등교사의 형성적 피드백이 학생의 기본심리욕구와 수업참여에 미치는 영향: 교사-학생 관계의 조절효과. 교육평가연구, 30(1), 123-143.

16.

이빛나, 손원숙(2018). 피드백 효과에 대한 메타분석. 교육평가연구, 31(3), 501-529.

17.

이현주(2016). 부정적 피드백 상황에서 논리 및 창의적 사고 과제에 따라 성취목표와 인지적 정서조절전략이 과제흥미, 과제노력, 과제수행에 미치는 영향 비교. 교육학연구, 54(4), 45-72.

18.

전훈, 봉미미, 김성일(2010). 지각된 유능감과 교실목표구조에 의한 동기 변인 예측에 있어서 사회적 지지의 매개효과. 한국교육심리연구, 24(4), 999-1027.

19.

정해일(2009). 듀이의 교육환경론과 교실 민주주의. 박사학위논문, 경북대학교.

20.

추헌택, 손원숙(2011). 한국판 학업참여 척도 (UWES-S) 의 타당화. 교육평가연구, 24, 897-920.

21.

한국교육과정평가원(2018). 과정중심평가 내실화를 위한 교사의 평가전문성 신장방안 연구 (연구보고 RRE 2018-5). 충청북도: 한국교육과정평가원.

22.

허가은, 신항균 (2017). 상호피드백을 통한 형성평가가 수학 학업성취도 및 수학적 태도에 미치는 영향. 한국수학교육학회, 31(4), 409-432.

23.

허예빈, 김아영(2012). 학생이 지각한 교사의 자율성 지지와 자기주도 학습능력 간의 관계에서 기본심리욕구의 매개효과. 교육심리연구, 26(4), 1075-1096.

24.

Ames, C. (1992). Classrooms: Goals, structures, and student motivation. Journal of Educational Psychology, 84(3), 261-271.

25.

Anseel, F., Beatty, A. S., Shen, W., Lievens, F., & Sackett, P. R. (2015). How are we doing after 30 years? A meta-analytic review of the antecedents and outcomes of feedback-seeking behavior. Journal of Management, 41(1), 318-348.

26.

Atwater, L. E., & Brett, J. F. (2005). Antecedents and consequences of reactions to developmental 360 feedback. Journal of Vocational Behavior, 66(3), 532-548.

27.

Baumgartner, H., & Steenkamp, J. B. E. (1998). Multi-group latent variable models for varying numbers of items and factors with cross-national and longitudinal applications. Marketing Letters, 9(1), 21-35.

28.

Black, P., & Wiliam, D. (2009). Developing the theory of formative assessment. Journal of Personnel Evaluation in Education, 21(1), 5-31.

29.

Black, P., McCormick, R., James, M., & Pedder, D. (2006). Learning how to learn and assessment for learning: A theoretical inquiry. Research Papers in Education, 21(02), 119-132.

30.

Brookhart, S. M. (2008). Types of feedback and their purposes: How to give effective feedback to your students. Virginia: ASCD.

31.

Cheung, G. W., & Rensvold, R. B. (2002). Evaluating goodness-of-fit indexes for testing measurement invariance. Structural Equation Modeling, 9(2), 233-255.

32.

Chory, R. M., & Kingsley Westerman, C. Y. (2009). Feedback and fairness: The relationship between negative performance feedback and organizational justice. Western Journal of Communication, 73(2), 157-181.

33.

Cohen, J. (1988). Statistical power analysis for the behavioral sciences. England: Routledge.

34.

Dewey, J. (1937). Education and social change. Bulletin of the American Association of University Professors (1915-1955), 23(6), 472-474.

35.

Eccles, J. S., & Wigfield, A. (2002). Motivational beliefs, values, and goals. Annual Review of Psychology, 53(1), 109-132.

36.

Federici, R. A., Skaalvik, E. M. (2016). Relations between classroom goal structures and students’ goal orientations in mathematics classes: When is a mastery goal structure adaptive?. Social Psychology of Education, 19(1), 135-150.

37.

Fredricks, J. A., Blumenfeld, P. C., & Paris, A. H. (2004). School engagement: Potential of the concept, state of the evidence. Review of Educational Research, 74(1), 59-109.

38.

Gabriel, A. S., Frantz, N. B., Levy, P. E., & Hilliard, A. W. (2014). The supervisor feedback environment is empowering, but not all the time: Feedback orientation as a critical moderator. Journal of Occupational and Organizational Psychology, 87(3), 487-506.

39.

Geddes, D., & Linnehan, F. (1996). Exploring the dimensionality of positive and negative performance feedback. Communication Quarterly, 44(3), 326-344.

40.

Gregory, J. B., Levy, P. E., & Jeffers, M. (2008). Development of a model of the feedback process within executive coaching. Consulting Psychology Journal: Practice and Research, 60(1), 42-56.

41.

Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81-112.

42.

Ilgen, D. R., Peterson, R. B., Martin, B. A., & Boeschen, D. A. (1981). Supervisor and subordinate reactions to performance appraisal sessions. Organizational Behavior and Human Performance, 28(3), 311-330.

43.

Jang, H., Reeve, J., & Deci, E. L. (2010). Engaging students in learning activities: It is not autonomy support or structure but autonomy support and structure. Journal of Educational Psychology, 102(3), 588-600.

44.

Kline, R. B. (2015). Principles and practice of structural equation modeling 4th ed. New york: Guilford publications.

45.

Leahy, S., Lyon, C., Thompson, M., & Wiliam, D. (2005). Classroom assessment: minute by minute, day by day. Educational Leadership, 63(3), 18-24.

46.

London, M., & Smither, J. W. (2002). Feedback orientation, feedback culture, and the longitudinal performance management process. Human Resource Management Review, 12(1), 81-100.

47.

Malecki, C. K., & Demaray, M. K. (2003). What type of support do they need? Investigating student adjustment as related to emotional, informational, appraisal, and instrumental support. School psychology quarterly, 18(3), 231-252.

48.

Pianta, R. C., Hafen, C. A., Allen, J. P., Gregory, A., Mikami, A. Y., & Ruzek, E. A. (2016). How teacher emotional support motivates students: The mediating roles of perceived peer relatedness, autonomy support, and competence. Learning and Instruction, 42, 95-103.

49.

Roeser, R. W., Midgley, C., & Urdan, T. C. (1996). Perceptions of the school psychological environment and early adolescents' psychological and behavioral functioning in school: The mediating role of goals and belonging. Journal of Educational Psychology, 88(3), 408-422.

50.

Ryan, R. M., & Deci, E. L. (2000). Self-determination theory and the facilitation of intrinsic motivation, social development, and well-being. American Psychologist, 55(1), 68-78.

51.

Sadler, D. R. (1989). Formative assessment and the design of instructional systems. Instructional Science, 18(2), 119-144.

52.

Schaufeli, W. B., Salanova, M., González-Romá, V., & Bakker, A. B. (2002). The measurement of engagement and burnout: A two sample confirmatory factor analytic approach. Journal of Happiness Studies, 3(1), 71-92.

53.

Schroeder, S., Richter, T., McElvany, N., Hachfeld, A., Baumert, J., Schnotz, W., Horz, H., & Ullrich, M. (2011). Teachers’ beliefs, instructional behaviors, and students’ engagement in learning from texts with instructional pictures. Learning and Instruction, 21(3), 403-415.

54.

Shute, V. J. (2008). Focus on formative feedback. Review of Educational Research, 78(1), 153-189.

55.

Sparr, J. L., & Sonnentag, S. (2008). Feedback environment and well-being at work: The mediating role of personal control and feelings of helplessness. European Journal of Work and Organizational Psychology, 17(3), 388-412.

56.

Steelman, L. A., Levy, P. E., & Snell, A. F. (2004). The feedback environment scale: Construct definition, measurement, and validation. Educational and Psychological Measurement, 64(1), 165-184.

57.

Taber, K.S. (2018). The Use of cronbach’s Alpha When Developing and Reporting Research Instruments in Science Education. Res Sci Educ, 48, 1273–1296.

58.

Tata, J. (1999). Grade distributions, grading procedures, and students' evaluations of instructors: A justice perspective. The Journal of Psychology, 133(3), 263-271.

59.

Whitaker, B. G., Dahling, J. J., & Levy, P. (2007). The development of a feedback environment and role clarity model of job performance. Journal of Management, 33(4), 570-591.

60.

Winstone, N. E., Nash, R. A., Parker, M., & Rowntree, J. (2017). Supporting learners' agentic engagement with feedback: A systematic review and a taxonomy of recipience processes. Educational Psychologist, 52(1), 17-37.