Journal of Curriculum and Evaluation
Korea Institute for Curriculum and Evaluation
Article

피드백 유형과 과제지속의 관계에 대한 피드백 수용성의 조절효과1)

감민영1
Min—Yeong Kam1
1경북대학교 박사과정
1Doctoral student, Kyung Pook National University.
Corresponding Author : Min—Yeong Kam, E-mail : hainya0606@naver.com

ⓒ Copyright 2017, Korea Institute for Curriculum and Evaluation. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Jan 05, 2017 ; Revised: Feb 13, 2017 ; Accepted: Feb 14, 2017

Published Online: Feb 28, 2017

요약

본 연구의 목적은 피드백 유형과 과제지속의 관계에 대한 피드백 수용성의 조절효과를 확인하고 이를 통해 학습에 유용한 피드백 유형을 확인하는 것이다. 이를 위해 초등학교 4,5학년생을 대상으로 사전-사후 통제집단 설계에 의한 실험을 4주간 수행하였다. 실험집단은 세 집단으로 구성 하여 세 가지 유형의 피드백(규준참조피드백, 자기참조피드백, 정보피드백) 조건에 각각 할당하였다. 그리고 측정시기에 따른 과제지속을 종속변인으로 가정하여 피드백의 효과를 확인하였다. 분석결과 피드백 수용성을 고려하지 않은 조건에서는 세 가지 피드백 유형 모두가 과제지속에 긍정적 영향을 미치는 것으로 확인되었다. 반면 피드백 수용성의 조절효과를 고려할 경우 피드백 수용성 상위 집단에서는 세 가지 피드백 유형 모두가 하위 집단에서는 정보피드백만이 과제지속에 긍정적 영향을 미치는 것으로 나타났다. 그리고 피드백을 제시하지 않은 통제집단에서는 어떤 경우에도 유의미한 변화가 확인되지 않았다.

ABSTRACT

The purpose of this study was to investigate the effects of feedback acceptance on task persistance by three types of feedbacks. Three 5th grade and 5th classes were chosen to be assigned as experimental goroup 1, group 2, group 3 and control group, repectively. In experimental group 1, teacher provided normative feedback with students compaired by the levels of other students. Experimental group 2, student were received self-reference feedback which gives experiences of successful achievement about similar task. Experimental group 3, students were received informative feedback that contains solutions of given task. No feedback was offered to students in the control group. Feedback acceptance were examined at the end of experiment by using self-reported questionnaires. Task persistance was assessed by using of the workbook developed by experimenter. The result of this experiment reveals that high level group of feedback acceptance has positive effects of task persistance for all type of feedback but low level group only for in- formative feedback. This study presents two implications on how to choose feedback type for teaching. In the viewpoint of generality, informative feedback is more effictive feedback type for student`s task performance than other types of feedback. and the higher feedback acceptance of students the longer persistance of task.

Keywords: 피드백; 피드백 유형; 피드백 수용성
Keywords: feedback; feedback type; feedback acceptance

Ⅰ. 서론

최근 학습을 위한 평가(assessment for learning)의 개념이 확산됨에 따라 이의 실천적 형태인 형성평가에 대한 재조명이 이루어지고 있다(김진규, 2008). 피드백은 형성평가를 위한 학습증거의 수집과 수업조절을 위한 주요한 수단으로 주목받고 있으며(박정, 2013; Stiggins, 2005) 적절하게 제시된 피드백은 학습자의 지식과 기술을 증진시키고 학업적 성취와 학습의 동기화에 중요한 영향을 미치는 것으로 알려져 있다(Fodor & Carver, 2000; Schunk, Pintrich & Meece, 2008).

일반적으로 피드백은 학습자와 소통하는 정보로 정의된다(Hattie & Timperley, 2007). 교사는 학습자에게 전달할 정보를 선별하고 적절한 전달 방식과 유형 등을 선택하여 피드백을 제시하고 자신이 제시한 피드백의 효과를 기대한다. 하지만 학습자는 교사의 기대와 달리 피드백에 담긴 정보를 자신의 정보처리체계에 자동적으로 통합하지 않으며(Harks et al., 2013) 오히려 적극적인 해석을 통해 그 의미를 자신의 인지체계에 의식적으로 통합한다(Higgins, Hartley & Skelton, 2002). 따라서 적절한 피드백의 제시와 함께 ‘피드백이 학습자에게 정보로 서 받아들여지고 있는가?’ 혹은 ‘정보로서 받아들여졌다면 어느 정도까지 행동화 하려 하는 가?’와 같은 피드백에 대한 학습자의 심리적 반응 역시 고려될 필요가 있다(Anseel & Lievens, 2009). 그러나 피드백과 관련한 기존의 선행 연구들은 학습자의 인지, 정서, 동기 등 개인차 요인과 피드백 유형, 제시 시기 등의 외적 요인이 피드백 효과에 미치는 영향에 대한 연구가 주를 이루어 왔으며(성태제, 2014) 피드백이 제시되었을 때 이에 대한 학습자의 심리 적 반응에 기반을 두어 피드백의 효과를 설명하는 연구는 소수에 머무르고 있다(Atwater & Brett, 2005; Kinicki et al., 2004; Kluger & DeNisi, 1996). 하지만 피드백에 대한 학습자의 심리적 반응은 목표설정과 후속하는 수행에 영향을 미치고 있음이 확인되고 있으며(Hoska, 1993: Harks et al., 2013에서 재인용) 이와 같은 학업참여행동은 궁극적으로 학습자의 학업성취에 영향을 미치고 있음을 고려해볼 때(정정은, 이숙향, 2012) 피드백에 대한 학습자의 심리 적 반응에 초점을 두어 연구를 수행할 필요성이 있다. 이에 따라 본 연구에서는 피드백에 대한 학습자의 심리적 반응을 표상하는 변인으로 피드백 수용성(feedback acceptance)을 고려하였다.

피드백 수용성은 학습자가 피드백의 유용성을 평가하고 수용하는 내적 처리과정을 구조화 한 변인으로 정의되며(Ilgen, Fisher, & Taylor, 1979) 학습자의 심리적 반응을 인지, 정서 그리고 행동 측면에서 측정하고 있다(Anderson & Jones, 2000; Sweeney & Wells, 1990). 피드백 수용성과 학습자의 수행에 관련한 선행 연구들은 피드백 수용성과 수행이 정적 영향 관계에 있음을 보고하고 있다(Anseel & Lievens, 2009; Harks et al., 2013). 하지만 Harks 외 (2013)의 지적처럼 현재까지 진행된 피드백 수용성에 관한 연구는 이론적 구조의 체계화에 치중하고 있는 상황이며 실증적인 연구를 통한 타당화는 부족한 편이다. 또한 관련한 선행 연구들은 단일 유형의 피드백을 대상으로 수행되었거나 비학업적 상황에서 피드백 수용성의 영향을 탐색하는 연구가 주를 이루고 있어 이를 학습상황에 일반화시키기에는 제한점이 따른다. 따라서 본 연구에서는 학습자를 대상으로 다양한 유형의 피드백을 적용하여 피드백 수용성의 영향을 확인하고자 한다.

효과적인 피드백을 위해서는 학습자의 특성에 따른 개별화된 피드백이 제시되어야 하며(성태제, 2014) 이때 피드백 유형은 중요한 고려 요소로 볼 수 있다. 피드백 유형에 대한 선행 연구들은 유용한 정보를 제시하는 피드백 유형이 학습자의 수행과 성취에 긍정적 영향을 미치며(Hattie & Timperley, 2007) 학습자의 성취 및 수행을 외부 준거와 비교하는 피드백 유형은 후속 학습과 수행에 부정적인 영향을 미치는 것으로 보고하고 있다(McColskey & Leary, 1985). 하지만 일부의 연구에서는 외부 준거와 비교 정보를 제시하는 피드백 유형 역시 학습 자의 수행에 긍정적인 영향을 줄 수 있으며(Gilliland et al., 2001: Harks et al. 2013에서 재인용) 유용한 정보를 제시하는 피드백 유형이라 할지라도 무시할 수 없는 수준에서 부정적 영 향이 있음을 보고하고 있다(Kluger & DeNisi, 1996). 이처럼 피드백의 유형과 그 효과에 대한 연구 결과들은 일부분 상충하는 점이 확인되며 본 연구에서는 학습자의 심리적 반응에 기반을 두어 피드백 유형에 따른 효과를 확인하고자 한다.

본 연구의 목적을 요약하면 다음과 같다. 첫째, 피드백의 효과는 개인차가 존재하며 전통적으로 고려되는 개인차 요인 이외에도 피드백을 지각하고 행동화하려는 수준에 따라 학습자의 수행에 차이가 있을 것으로 가정하였다. 이러한 가정 아래 피드백에 대한 학습자의 심리적 반응을 피드백 수용성이라는 변인으로 정의하고 피드백과 과제지속의 관계에 대한 피드백 수용 성의 조절효과를 확인하고자 한다. 둘째, 학습에 유용한 피드백 유형으로 지지되고 있는 피드백 유형과 그에 따른 효과를 일반화하기에 앞서 학습자의 심리적 반응에 따른 효과의 변화를 확인하고자 한다. 최종적으로 이상의 연구 목적을 통해 학습에 유용한 피드백 유형과 피드백 수용성의 효과에 대한 이해를 제고하고자 한다.

Ⅱ. 이론적 배경

1. 피드백 수용성

피드백 수용성(feedback acceptance)의 고전적인 정의는 피드백이 자신의 수행을 정확히 나타내었는가에 대한 믿음으로 정의된다(Ilgen, Fisher & Taylor, 1979). Ilgen, Fisher & Taylor(1979)는 당시 연구가 진행되던 정보처리이론의 패러다임을 피드백 수용 과정에 적용 시켰다. 그들은 개인을 능동적인 정보의 처리자로 가정하고 [그림 Ⅱ-1]에 도식된 일련의 정보처리과정을 통해 피드백의 수용과 후속하는 수행을 결정한다고 보았다.

jce-20-1-143-g2_1
그림 Ⅱ-1. Ilgen, Fisher & Taylor(1979)의 피드백 수용 모형
Download Original Figure

모형에서 제시한 네 단계의 피드백 처리과정 중 피드백 수용(acceptance of feedback) 단계는 피드백 수용의 인지적 측면을 강조하는 Ilgen, Fisher & Taylor(1979) 모형의 핵심적인 단 계로 볼 수 있다. 이 단계에서 개인은 지각한 피드백의 정확성 수준에 따라 피드백의 수용 여 부를 판단하게 되며 그 과정에는 피드백 원천(source)의 전문성(experty)과 의도에 대한 지각 그리고 피드백과 관련된 과거의 경험 등의 요인이 복합적으로 작용한다고 가정하였다. 피드백 수용성에 대한 Ilgen, Fisher & Taylor(1979)의 제안은 피드백과 학습자의 행동 사이에 작 용하는 인지적 처리과정을 가정하고 이에 대한 개념적인 모델을 제시한 것에 의의를 찾을 수 있다. 그러나 실증적인 자료에 의한 검증이 없었고 정의적 요인의 중요성을 과소평가한 점 등이 연구의 제한점이 되었다. 이후 Kinicki 외(2004)는 피드백 수용성에 대한 Ilgen, Fisher & Taylor(1979)의 개념적 모델에 대해 검증을 수행하였으며 피드백과 수행의 관계에 대한 피드백 수용성의 매개효과를 확인하였다. 피드백 수용성에 관련한 초기의 연구들이 피드백에 대한 개인의 인지적 판단을 피드백 수용의 핵심요인으로 가정한 반면 이후의 연구자들은 피드백 수용에 관여하는 정의적 요인의 중요성에도 관심을 두어 연구를 진행하였다. 피드백 제시자에 대한 감정적 반응과 피드백 내용의 긍정성(London & Smither, 1995: Anseel et al., 2011 에서 재인용) 피드백과 관련하여 사전에 형성된 정서적 반응(Atwater & Brett, 2005) 등은 피 드백 수용에 영향을 미치는 정의적 요인으로 제안되어 이후의 연구에 반영되고 있다.

최근 연구자들은 피드백 수용성을 피드백에 대한 개인의 인지적(cognitive), 정의적 (affective) 그리고 행동적 반응(behavioral response) 측면에서 이해한다(Anderson & Jones, 2000). Anderson & Jones(2000)는 피드백 수용성과 관련한 선행 연구들을 검토하였으며 인지적, 정서적 반응과 함께 행동적 반응 역시 피드백 수용성의 개념에 포함되어야 한다고 주장하였다. 그들은 피드백을 목적적인 의사소통의 과정으로 정의했으며 따라서 피드백을 수용한 학습자는 행동에 대한 의지를 수립할 것으로 기대했기 때문이다. 피드백 수용성에 대한 Anderson & Jones(2000)의 관점은 Ilgen, Fisher & Taylor(1979)의 모델을 인지, 정서, 행동의 관점에서 간결 하게 재정의 하였다고 볼 수 있으며 피드백과 관련한 연구들에 적용되어 오고 있다. 예를 들어 Anseel & Lievens(2009)의 연구에서는 피드백 수용성을 과제 수행의 매개요인으로 보고하였으 며 고수일, 고은정(2004)의 연구에서는 피드백 수용성을 교원의 자기개발동기의 매개요인으로 보 고하는 등 다양한 연구에서 피드백 수용성이 높을수록 수행에 정적인 영향을 미치고 있음을 보 고하고 있다(김정진, 박경규, 2008; 박영석, 김기연 2007; Brett & Atwater, 2001; Sweeney & Wells, 1990).

하지만 일부의 연구에서는 피드백의 유형에 따라 피드백 수용성이 차이를 보이거나(서영진, 2012; 이영주, 2015) 피드백 제공자에 따라 피드백에 대한 반응이 상이할 수 있음을 보고하는 등(김찬종, 오필석, 전진구, 2005) 피드백과 피드백 수용성의 관계에 대한 불분명성이 존재하 고 있다. 이와 함께 일반적으로 잘 정의된 피드백은 학습자의 학습에 긍정적인 영향을 미친다는 선행 연구의 결과(Hattie & Timperley, 2007)를 고려해볼 때 피드백 수용성을 피드백과 수행의 관계를 조절하는 변인으로 가정하여 피드백 수용성의 효과를 탐색할 필요가 있다. 따라서 본 연구에서는 이러한 선행 연구의 결과에 근거해 피드백 수용성을 피드백과 수행을 조절하는 변인으로 가정하여 연구를 수행하였다. 본 연구에서 피드백 수용성의 조작적 정의는 피드백 수용자가 피드백 메시지의 유용성을 평가하여 자신의 이후 행동에 반영하는 정도로 정의하였으며 이의 측정은 Anderson & Jones(2000)이 제안한 관점을 적용하였다.

2. 피드백 유형

피드백은 이를 정의하는 관점에 따라 다양한 유형으로 구분할 수 있다. 행동주의에서는 피드백을 강화(reinforcement)의 형태로 정의하고 있으며 인지주의 관점에서는 정보적(informative), 교정적(corrective) 기능을 강조하고 있다. 또한 구성주의 관점에서는 피드백의 촉진적 기능을 강조하고 있다(지은림, 2009). 최근 강조되고 있는 형성평가와 관련하여 영국교육학회의 평가개혁단을 이끌었던 Black 외(2004)는 형성평가를 위한 피드백은 지시적(directive)이며 촉진적(facilitative) 성격을 갖추어야 하고 학습자들의 현재 수준과 더 나은 학습 향상을 위한 개선점에 대한 정보를 제시할 수 있어야 한다고 주장하였다. 이와 같은 맥락에서 Shute(2008)는 피드백을 학습개선을 위해 학습자의 사고나 행위의 수정을 목표로 하여 학습자와 소통하 는 정보로 정의하기도 하였다. 이처럼 다양한 관점에서 정의하는 피드백은 공통적으로 피드 백에 담긴 정보의 중요성을 강조하고 있으며(Hattie & Timperley, 2007) 이를 통해 학습자의 사고를 유발하려는 목적을 가진다(Black et al., 2004).

적절하게 제시된 피드백은 학습자의 실패를 생산적 실패(productive failure)로 변화시킬 수 있으며 강건한 지식 구조를 만들어 내는 역할을 수행할 수 있다(김종백, 신종호, 2016). 또한 피드백의 정보가 학습자의 노력에 귀인하면 학습자의 목표지향성에 영향을 미칠 수 있으며 (Bandura & Schunk, 1981: Shute, 2008에서 재인용) 학습자의 성취 정서에도 영향을 주어 학업참여 행동의 증진에 기여할 수 있다(Pekrun et al., 2014). 이와 같은 피드백의 긍정적 영향으로 인해 학습 현장에서는 피드백을 학습자의 학습개선과 교실수업 개선을 위한 필수적인 요소로 받아들이고 있으며(성태제, 2014) 특히 피드백의 유형은 학습자의 학습을 진전시킬 수도 혹은 정체시킬 수도 있는 요인으로 간주하고 있다(Black et al., 2004).

피드백 유형은 일반적으로 피드백의 기능에 따라 지시적(directive) 피드백과 촉진적(facili- tative) 피드백으로 구분하고 있으며(Black et al., 2004), 피드백이 제시하는 정보의 특성에 따라 확인(verification)과 정교화(elaboration)의 관점에서 구분하기도 한다(Mason & Bruning, 2001). 또한 피드백 제시자의 소재에 따라 내‧외적 피드백으로 유형을 구분하기도 하며(방선욱, 2013; Farr, 1993), 피드백에 담겨 있는 평가 정보의 소재에 따라 준거참조와 규준참조로 구분하기도 한다. 또한 Hattie & Timperley(2007)는 학습 맥락의 관점에서 ‘피드포워드(feedforward)’, ‘피드백(feed back)’, ‘피드업(feed up)’의 개념을 소개하기도 하였다. 최근에는 형성평가의 중요성에 대한 재인식이 확산됨에 따라 Shute(2008)는 형성평가를 위해 피드백이 갖 추어야 할 4가지 속성(비평가성, 지지성, 구체성, 적시성)을 제안하였고 McMillan(2014)은 이 러한 속성에 기반을 두어 4가지 유형의 피드백(목적참조 피드백, 자기참조 피드백, 스케폴딩 피드백, 기준참조 피드백)을 제안하기도 하였다. 이렇듯 피드백 유형에 대한 논의는 다양한 관점 에서 지속되고 있으며 선행 연구의 결과를 종합해보면 학습자의 수행에 관련한 구체적인 정보를 제시하는 피드백 유형, 학습자 내부의 준거와 비교하는 피드백 유형이 후속 학습에 긍정적인 영향을 주며 규준적 성격의 피드백은 부정적인 영향이 있는 것으로 정리할 수 있다.

하지만 일부의 연구에서는 이와는 상반되는 결과 또한 존재한다. 첫째, 학습자의 수행에 관련한 구체적인 정보를 제시하는 피드백 유형은 학습 과제와 수행에 대한 학습자의 인지 부하를 감소시키고 학습자의 현재 수준과 목표 수준간의 간격에 대한 불확실성을 제거해 학습자의 동기를 증진시키는 유형으로 확인되며(Locke & Latham, 1990: Hattie & Timperley, 2007에서 재인용), 이와 함께 학습자의 후속 활동에 대한 단서 제시의 기능을 수행하여 효과적인 피드백 유형으로 구분된다(Baron, 1993: Kluger & DeNisi, 1996에서 재인용). 하지만 이러한 긍정적 효과에 대한 기대와 달리 피드백이 제시하는 정보의 수준에 따라 그 효과는 상이하게 나타날 수 있으며(Mason & Bruning, 2001; Narciss, 2004) 피드백의 길이와 제시 시기에 따라서도 피드백이 전달하는 정보의 영향력은 차이를 보일 수 있다(Anderson et al., 1995). 이러한 결과들은 학습자에게 피드백을 통해 적절한 정보를 제시하였더라도 그것이 반드시 학습자의 학습 개선에 긍정적 영향을 미치는 것은 아니라는 점을 시사한다. 둘째, 자기개념 (self-concept)의 관점에서는 학습자가 과거 수행에 대한 부정적인 자기개념을 형성한 경우 이에 기반을 두어 제시하는 피드백은 긍정적 영향이 크지 않을 것으로 예견한다(Jussim, Yen, & Aiello, 1995). 부정적 자기개념은 자신의 수행에 대한 부정적 평가가 선행되었음을 의미한다(Markus & Wurf, 1987: Jussim, Yen & Aiello, 1995에서 재인용). 따라서 이에 기반을 두어 피드백을 제시하는 경우 학습자는 피드백을 부정적으로 지각할 수 있는 맥락에 놓이게 된다. 부정적인 피드백 내용과 학습자의 활동은 부적인 관계에 있음을 지적하는 선행 연구를 고려해 볼 때(Ilgen & Davis, 2000) 이와 같은 유형의 피드백이 지닌 영향에 대한 이해가 필요하다. 셋째, 타인의 수준이나 점수 등의 외부 규준에 기준해 학습자의 수준을 비교하는 피드백은 학습에 부정적인 영향력을 지닌 피드백 유형으로 평가받는다. 피드백이 ‘점수’와 관련이 되면 학습자의 ‘능력’에 귀인하게 되어 학습된 무력감 같은 부정적인 영향을 초래하기도 하며 (Schunk, Pintrich & Meece, 2008) 아울러 학습 개선을 위한 후속 활동에 대한 정보의 부재라는 점에 근거해 효과적인 피드백 유형으로 지지받지 못하고 있다(Wiliam, 2007). 하지만 일부의 연구에서는 외부 규준과의 비교 정보를 포함하는 피드백은 학습자가 지각하는 피드백의 정확성을 증진시켜 후속 수행에 긍정적인 영향이 있음을 예견하고 있기도 한다(Podsakoff & Farh, 1989: Kluger & Denisi, 1996에서 재인용).

따라서 본 연구에서는 피드백 유형에 관한 이상의 선행 연구들에 기반해 세 가지 유형의 피드백을 연구대상으로 선정하여 그 효과를 알아보고자 하였다. 학습자의 후속 수행에 구체적인 정보를 제시하는 피드백 유형을 ‘정보피드백’, 학습자의 수행 경험을 환류해주는 피드백 유형을 ‘자기참조피드백’ 그리고 규준 정보를 제시하는 피드백 유형을 ‘규준참조피드백’으로 정의하였으며 이들이 학습자의 수행에 미치는 영향을 피드백 수용성의 관점에서 확인하고자 한다(이하 도표에서는 규준참조피드백은 ‘규준참조’, 자기참조피드백은 ‘자기참조’, 정보피드백은 ‘정보’로 표기함)

Ⅲ. 연구방법

1. 실험대상

실험대상은 K지역에 위치한 B초등학교 4학년 3학급(59명), 5학년 3학급(65명)이 실험에 참가하였으며 부정확한 과제지속과 불성실한 설문답변을 제외한 102명을 최종 분석 대상으로 선정하였다. 실험대상 6개 학급은 모두 전담교사 1인이 지도하는 학급이며 해당교사에 의해 실험이 진행되었다. 실험 참가자는 Keppel, Saufley & Tokunaga(1992)가 개발한 무선할당표에 따라 실험집단과 통제집단에 무선 할당하였다. 실험집단은 피드백을 제시받는 조건이며 통제집단은 피드백을 제시받지 않은 조건을 의미한다. 집단구성은 <표 Ⅲ-1>과 같다.

표 Ⅲ-1. 실험집단 구성
구분 통제집단 실험집단 전체
규준참조 자기참조 정보
4학년 7 6 5 7 8 4 4 9 50
5학년 6 7 5 8 6 7 6 7 52
전체 26 25 25 26 102
Download Excel Table
2. 연구설계 및 절차

피드백 유형별 과제지속의 차이를 확인하기 위해 사전-사후 통제집단 설계(pretest-postt-est control group design)를 채택하였다. 실험은 4주간 실행되었으며 1주차에는 실험참가자를 대상으로 과제지속 사전검사를 수행하였다. 3주차에는 과제 해결전략을 연습할 수 있는 소과제 및 해법을 통제집단과 실험집단 모두에게 제시하였다. 실험처치와 과제지속 사후검사는 4주차에 수행하였으며 실험처치는 서면으로 작성된 피드백을 실험집단에 개별로 제시하였고 과제지속 사후검사는 실험처치에 연이어 수행하였다. 피드백 수용성은 사후검사 종료 후 설문을 통해 조사하였다. 통제집단은 실험처치를 하지 않았으며 사전검사와 사후검사 그리고 피드백 수용성만 조사하였다.

3. 연구도구
가. 피드백 수용성

본 연구에서 피드백 수용성의 조작적 정의는 피드백 수용자가 피드백 메시지의 유용성을 평가하여 자신의 이후 행동에 반영하는 정도이며 이의 측정은 Anderson & Jones(2000)에 의해 개발된 척도를 바탕으로 하여 Anseel 외(2011)의 연구에 사용된 5문항을 적용하였다. 피드백 수용성 척도의 하위 구인은 정의적, 인지적, 행동적 반응으로 구성하였으며 각각의 설문 문항은 리커르트 5점 척도로 측정하였다. 실험에 사용한 척도는 실험 참가자의 수준을 고려하여 국문으로 번안하였다. Anseel 외(2011)의 연구에서 내적일관성 신뢰도는 .82였으며 본 연구자료(N=102)의 내적일관성 신뢰도는 .88로 나타났다. 피드백 수용성 척도의 구성 내용 및 문항은 <표 Ⅲ-2>와 같다.

표 Ⅲ-2. 피드백 수용성 검사지 구성내용 및 문항수
하위 요인 속성 문항 문항수
인지적 반응 ㆍ피드백의 정확성에 대한 평가 1. 선생님의 도움 말씀은 내가 과제를 잘하고 있는지 아닌지 정확히 알려주고 있다. 2
ㆍ피드백 원천에 대한 신뢰성 평가 2. 선생님의 도움 말씀은 언제나 믿음이 간다.
정의적 반응 ㆍ피드백에 대한 감정적 반응 3. 나는 전체적으로 선생님의 도움 말씀에 만족 한다. 2
4. 나는 내가 받은 선생님의 도움 말씀에 매우 기분 좋다.
행동적 반응 ㆍ행동변화의 욕구 5. 선생님의 도움 말씀으로 내가 앞으로 어떻게 노력해야 할지 알 수 있다. 1
Download Excel Table
나. 피드백 유형

피드백 유형에 대한 조작적 정의는 다음과 같다. 규준참조피드백은 타인과 실험 참가자 간의 수행 수준에 대한 비교정보를 제시하는 유형, 자기참조피드백은 학습자의 과거 수행경험을 환류해주는 유형 그리고 정보피드백은 과제 수행과 관련한 직접적인 정보를 제시하는 유형으로 정의하였다. 이에 따라 규준참조피드백은 일반적인 4, 5학년 학생들이 과제 해결을 위해 평균적으로 시도하는 도전횟수를 내용으로 제시하였고 자기참조피드백은 실험참가자들이 3주차에 제시 받은 소과제의 수행경험을 환류해 주는 것으로 내용을 구성하였다. 그리고 정보피드백은 측정과제의 해결을 위한 구체적 해결 전략을 내용으로 구성하였다. 본 연구에 사용된 피드백 유형과 그 내용은 <표 Ⅲ-3>과 같다.

<표 Ⅲ-3>. 피드백 내용 및 속성
피드백유형 피드백 내용 피드백 속성
규준참조 이 문제는 보통 5번 정도 시도하면 절반 이상이 해결 가능한 문제야! 타인과 비교 정보 제공
자기참조 네 점 잇기 문제를 해결한 적이 있지? 이 문제는 그것과 같은 풀이 방법을 가지고 있어. 아마 같은 풀잇법이니 해결 할 수 있을 거야. 수행 경험의 상기
정보 이 문제를 해결하기 위해서는 점들이 만든 사각형 안에서 선을 그리면 않되. 사각형 밖으로 선을 그려서 풀어 봐. 과제 수행과 관련한 직접적인 정보 제시
Download Excel Table
다. 사전‧사후 측정과제

본 연구의 종속변인은 실험 참가자의 과제지속 수준으로 가정하였으며 이의 조작적 정의는 실험 참가자가 측정과제에 인지적으로 도전한 횟수로 정의하였다. 따라서 직선을 1회만 사용 한 경우 그리고 곡선을 사용한 경우는 실험 참가자의 인지적 참여 의도가 없는 것으로 가정하였으며 그러한 시도가 전체 도전 횟수에서 1/3 이상이 발견될 경우 분석에서 제외하였다.

측정과제는 16점 문제와 9점 문제에 기반을 두어 해결이 불가능하게 조작된 17점 문제와 10점 문제를 각각 사전 측정과제와 사후 측정과제로 하여 [그림 Ⅲ-1]과 같이 제시하였다. 해당 과제는 문제해결을 위한 높은 수준의 사전 지식이 필요하지 않으며 넓은 문제해결공간을 가지고 있는 특징이 있어 실험참가자가 해법을 찾기 위한 다양한 시도를 수행할 수 있는 장점이 있다(Weisberg & Alba, 1981). 실험참가자는 4개의 선분으로 한 붓 그리기를 하여 제시된 과제의 모든 점을 통과시켜야 하는 조건을 부여받았으며 측정과제가 100회 인쇄된 워크북을 각 측정시기별로 제공하여 과제 수행의 횟수를 측정하였다. 집단간 동질성 확인을 위하여 사전검사 점수를 대상으로 일원분산분석(one-way anova)을 수행하였으며 통제집단과 실험집단 모두는 유의수준 .05에서 유의한 차이가 없었으며(F(3, 98)= .35) 오차변량의 동질성 검증결과(Levene`s test) 유의수준 .05에서 실험집단과 통제집단 모두는 동질적임을 확인하였다 (F(3, 98)= .35).

jce-20-1-143-g3_1
그림 Ⅲ-1. 사전‧사후 측정과제
Download Original Figure
4. 분석방법

자료 분석은 피드백 유형, 피드백 수용성을 집단간 요인으로 측정시기를 집단내 요인으로 한 이요인내 반복측정 일요인 설계(one-factor experiment with repeated measurement on two factors)를 분석모형으로 설정하였다. 자료의 분석을 위해 반복측정 분산분석(Repeated measure ANOVA)을 수행하였으며 분석 도구는 SPSS 버전 18을 사용하였다.

Ⅳ. 연구결과

1. 피드백 유형에 따른 과제지속의 차이

피드백 유형에 따른 과제지속의 차이를 알아보기 위해 측정시기를 피험자내 변인으로 하고 피드백 유형을 피험자간 변인으로 하여 반복측정 분산분석을 수행하였다. 반복측정 분산분석의 가정 점검을 수행하였으며 본 연구의 반복측정 수준은 사전‧사후 측정 2수준으로 구성되어 있어 구형성(sphericity) 가정을 충족하는 것으로 확인하였다(권대훈, 2011). 또한 오차변량의 동질성 검증결과(Levene`s test) 사전검사와 사후검사는 유의수준 .05에서 각각 동질적임을 확인하였다(사전검사 F(3, 98)= .33, 사후검사 F(3, 98)= .58)

분석 대상의 평균과 표준편차는 <표 Ⅳ-1>, 측정시기와 실험조건에 따른 반복측정 분산분석 결과는 <표 Ⅳ-2>와 같다. 피드백 유형과 측정시기에 따른 과제지속 차이의 통계적 유의성을 검증한 결과 측정시기와 피드백 유형의 상호작용에 통계적으로 유의한 차이가 있음을 확인하였다(F(3, 98)= 3.64*, p< .05). 이는 사전‧사후 과제지속의 차이가 피드백 유형에 따라 상이할 수 있음을 의미하는 것으로 받아들일 수 있으며([그림 Ⅳ-1]참조) 따라서 단순효과분석(simple effects tests)의 방법을 통해 상호작용효과를 확인하였다.

표 Ⅳ-1. 피드백 유형 및 측정시기에 따른 기술통계
통제집단 실험집단 합계
규준참조 자기참조 정보
사전 평균 29.00 28.32 30.80 30.46 29.96
표준편차 14.91 13.32 16.23 15.36 16.46
사후 평균 35.81 39.20 49.32 53.12 44.36
표준편차 21.04 23.52 26.21 24.20 24.50
사례수 26 25 25 26 102
Download Excel Table
표 Ⅳ-2. 피드백 유형 및 측정시기에 따른 반복측정 분산분석
분산원 제곱합 자유도 평균제곱 F 부분η2
피험자간
 피드백 유형 3283.86 3 1094.62 1.79 .05
 오차 59652.63 98 608.70
피험자내
 측정시기 11039.42 1 11039.42 60.47*** .38
 측정시기x피드백 유형 1996.97 3 655.65 3.64* .10
 오차 17889.40 98 182.54
 합계 93862.28 203

*p<.05, **p<.01, ***p<.001.

Download Excel Table

상호작용효과의 통계적 검증 결과는 <표 Ⅳ-3>과 같으며 통제집단에 비해 피드백을 제시받은 실험집단 모두에서 사전‧사후 과제지속에 통계적으로 유의한 차이가 확인되었으나 통제집단에서는 확인되지 않았다(p<.05, p<.01). 효과크기(부분η2)는 정보피드백 > 자기참조피드백 > 규준참조피드백 순으로 모집단에 미치는 영향이 큰 것으로 확인되었다.

표 Ⅳ-3. 상호작용에 대한 단순효과분석
분산원 제곱합 자유도 평균제곱 F 부분η2
통제집단 602.48 1 602.48 3.30 .03
규준참조 1479.68 1 1479.68 8.11*** .07
자기참조 4287.38 1 4287.38 23.49** .19
정보 6671.56 1 6671.56 36.55*** .27
오차 17889.40 98 17889.40

*p<.05, **p<.01, ***p<.001.

Download Excel Table
jce-20-1-143-g4_1
그림 Ⅳ-1. 상호작용 도표
Download Original Figure
2. 피드백 수용성의 조절효과

피드백 수용성의 조절효과를 확인하기 위해 피드백 유형 및 피드백 수용성을 피험자간 변인, 측정시기를 피험자내 변인으로 하여 반복측정 분산분석을 수행하였다. 본 연구의 반복측정 수준은 사전‧사후 측정 2수준으로 구성되어 있으며 이에 따라 구형성(sphericity) 가정을 충족하는 것으로 확인하였다(권대훈, 2011). 오차변량의 동질성 검증결과(Levene`s test) 사전검사와 사후검사는 유의수준 .05에서 각각 동질적임을 확인하였다(사전검사 F(7, 94)= .33, 사후검사 F(7, 94)= 1.26) 평균과 표준편차는 <표 Ⅳ-4>, 반복측정 분산분석 결과는 <표 Ⅳ-5>와 같다.

표 Ⅳ-4. 피드백 유형, 측정시기, 피드백 수용성 상‧하에 따른 기술통계
통제집단 실험집단 합계
규준참조 자기참조 정보
피드백수용성상위집단 사 전 평균 29.57 28.20 29.18 31.85 29.70
표준편차 4.07 3.41 3.81 4.07 3.84
사 후 평균 35.78 42.65 56.37 51.57 46.59
표준편차 6.28 5.26 5.88 6.28 5.93
사례수 14 20 16 14 64
피드백수용성하위집단 사 전 평균 28.33 28.80 33.66 28.83 29.91
표준편차 3.81 6.82 5.08 4.40 5.03
사 후 평균 35.83 25.40 36.77 54.91 38.23
표준편차 6.79 10.52 7.84 6.79 7.99
사례수 12 5 9 12 38
Download Excel Table
표 Ⅳ-5. 피드백 유형, 측정시기, 피드백 수용성 따른 반복측정 분산분석
분산원 제곱합 자유도 평균제곱 F 부분η2
피험자간
 피드백 유형 3491.95 3 1163.98 1.87 .05
 피드백 수용성 726.45 1 726.45 1.16 .01
 유형x수용성 658.26 3 219.42 .03 .01
 오차 58435.03 94 621.64
피험자내
 측정시기 6937.90 1 6937.90 42.22*** .31
 측정시기x피드백 유형 2250.14 3 750.04 4.56** .12
 측정시기x피드백 수용성 801.04 1 801.04 4.87* .04
 측정시기x피드백 수용성x피드백 유형 1874.43 3 624.81 3.80* .10
 오차 15446.30 94 164.32
합계 90621.50 203

*p<.05, **p<.01, ***p<.001.

Download Excel Table

반복측정 분산분석 결과 측정시기, 피드백 수용성, 그리고 피드백 유형의 상호작용이 통계적으로 유의한 차이가 있음을 확인하였다(F(3, 94)= 3.80*, p< .05). 이는 피드백 유형에 따른 사전‧사후 과제지속의 차이가 피드백 수용성의 수준에 따라 상이할 수 있음을 의미하며([그림 Ⅳ-2]참조) 따라서 상호작용의 구체적인 효과를 확인하기 위해 피드백 수용성을 구획 변수로 설정하고, 중위 값을 기준으로 상위‧하위 집단으로 구분 후 단순효과분석을 수행하였다(<표 Ⅳ-6>참조).

표 Ⅳ-6. 상호작용에 대한 단순효과분석
분산원 제곱합 자유도 평균제곱 F 부분η2
피드백 수용성 상위집단 통제집단 270.32 1 270.32 1.65 .01
규준참조 2088.03 1 2088.03 12.71*** .11
자기참조 5913.28 1 5913.28 35.99** .27
정보 2720.52 1 2720.52 16.56*** .14
피드백 수용성 하위집단 통제 337.50 1 337.50 2.05 .02
규준참조 28.90 1 28.90 .18 .00
자기참조 43.56 1 43.56 .27 .00
정보 4082.04 1 4082.04 24.84*** .20
오차 15446.30 94 164.32

*p<.05, **p<.01, ***p<.001.

Download Excel Table
jce-20-1-143-g4_2
그림 Ⅳ-2. 상호작용 도표
Download Original Figure

단순효과분석 결과 피드백 수용성 상위 집단은 모든 피드백 유형에서 사전‧사후 과제지속의 차이가 통계적으로 유의하였다(p<.05, p<.01). 반면 피드백 수용성 하위 집단은 정보피드백 조건에서만 유의한 차이를 확인할 수 있었다(p<.01).

Ⅴ. 논의

본 연구의 주된 목적은 피드백에 대한 개인차 요인으로 피드백 수용성을 가정하여 피드백 유형과 과제지속의 관계에 대한 조절효과를 확인하고 이를 통해 교실수업에 유용한 피드백 유형에 대한 시사점을 제시하는 것이다. 이를 위해 K지역에 소재하는 초등학생(4학년 50명, 5 학년 52명)을 대상으로 사전‧사후 통제집단 설계에 의한 실험을 4주간 수행하였다. 실험집단은 세 가지 유형의 피드백(규준참조, 자기참조, 정보)을 제시받았고 통제집단은 피드백을 제시받지 않았다. 피드백의 효과는 시기별로 측정된 실험참가자의 과제지속 변화를 준거로 하였으며 측정결과는 반복측정 분산분석 및 단순효과분석을 통해 분석하였다.

본 연구의 결과를 요약하면 다음과 같다. 피드백 수용성을 고려하지 않은 조건에서는 세 가지 피드백 유형 모두가 과제지속에 긍정적 영향을 미치는 것으로 확인되었다. 반면 피드백 수용성의 조절효과를 고려할 경우 피드백 수용성 상위 집단에서는 세 가지 피드백 유형 모두가 하위 집단에서는 정보피드백만이 과제지속에 긍정적 영향을 미치는 것으로 나타났다. 그리고 피드백을 제시하지 않은 통제집단에서는 어떤 경우에도 유의미한 변화가 확인되지 않았다.

이상의 결과를 바탕으로 본 연구의 논의를 진행하고자 한다. 첫째, 본 연구에서는 규준참조피드백 조건의 실험 참가자들이 과제 수행에 유의한 차이를 보이고 있음이 확인되었다. 이는 규준참조피드백의 부정적 영향에 대한 선행 연구들의 결과와 차이를 보이는 부분이다 (Schunk, Pintrich & Meece, 2008; Wiliam, 2007). 이러한 결과와 관련하여 Bangert-Drowns 외(1991)는 피드백의 유형 보다는 피드백이 전달하는 정보에 주목하였다. 그는 어떠한 성격의 정보라도 피드백을 통해 제시되어야 학습자가 이를 해석하고 평가하여 이후의 학습에 활용할 수 있다고 주장하였다. 또한 임태민, 백석윤(2010)은 학습자의 태도에 따라 피드백을 긍정적으로 해석할 수 있음을 주장하였다. 이러한 연구 결과들은 피드백 유형과 그 효과를 이해함에 있어 피드백을 처리하는 학습자의 내적 맥락에 대한 중요성을 강조한 것으로 볼 수 있다. 이에 따라 본 연구에서는 피드백 수용성을 조절변인으로 가정하여 규준참조피드백의 효과를 확인하였으며 피드백 수용성이 높은 집단에서만 과제지속에 유의한 차이를 확인할 수 있었다. 이러한 결과는 학습자가 피드백의 유용성을 평가하고 이를 행동에 반영하려는 정도에 따라 피드백의 효과는 차이가 날 수 있음을 시사하는 것으로 볼 수 있으며 Bangert-Drowns 외(1991)임태민, 백석윤(2010)의 연구 결과와 상통하는 것으로 볼 수 있다. 따라서 학습 현장에서 성공적인 피드백의 사용을 위해서는 피드백 유형뿐만 아니라 피드백과 관련한 학습자의 내적인 심리상태에 대한 이해 역시 고려되어야 할 것으로 판단된다.

둘째, 본 연구에서는 피드백 유형별로 모집단에 미치는 영향의 크기에 차이가 있음을 확인 할 수 있었다. 연구결과 1에서는 정보피드백>자기참조피드백>규준참조피드백 순으로 차이가 있었으며 연구결과 2에서는 피드백 수용성 상위집단에서는 자기참조 피드백 그리고 하위집단에서는 정보피드백이 모집단에 미치는 영향이 큰 것으로 나타났다. 이와 같은 결과는 피드백이 담고 있는 정보의 구체성에 기인한 것으로 판단된다. 피드백의 정보 수준과 그 효과에 대한 연구들은 피드백의 정보가 구체적일수록 학습자의 수행에 긍정적 영향을 미치고 있음을 보고하고 있으며(Mason & Bruning, 2001; Narciss, 2004), Shute(2008)는 피드백의 효과를 결정짓는 요소로 피드백의 구체성을 주장하기도 하였다. 이러한 맥락에서 보면 규준참조피드백은 학습자가 활용할 정보가 가장 빈약한 피드백 유형으로 판단할 수 있으며(Wiliam, 2007) 정보피드백은 규준참조피드백에 비해 상대적으로 많은 양의 정보를 포함하는 피드백 유형으로 판단할 수 있어 이를 근거로 모집단에 미치는 영향의 차이를 설명할 수 있다. 그리고 피드백 수용성 상위집단에서 자기참조피드백의 효과크기는 정보피드백 보다 큰 것으로 확인된다. 이는 자기참조피드백의 효과에 기인한 것으로 판단된다. 자기참조피드백은 학습자의 성취를 노력에 귀인하게 하여 차후의 수행에 긍정적인 영향을 미치는 피드백 유형으로 알려져 있으며(Schunk, Pintrich & Meece, 2008) 학습자의 성취 정서에도 긍정적인 영향을 미치는 것으로 확인된다(Pekrun et al., 2014). 이러한 특성에 근거해 볼 때 피드백 수용성 상위집단의 학습자들은 단순 정보의 제시보다 자신의 수행에 기반을 둔 정보에 가치를 부여하고 있다고 판단할 수 있다. 하지만 자기참조피드백과 피드백 수용성의 관계에 대한 선행 연구를 확인할 수 없으며 후속 연구에서 이에 대한 추가적인 논의가 필요할 것으로 판단된다.

본 연구의 제한점과 후속 연구를 위한 제언은 다음과 같다. 첫째, 본 연구는 피드백과 과제지속의 관계에 대한 조절변인으로 피드백 수용성을 고려하였다. 국내외의 관련 연구들은 해당 변인을 비교적 안정적인 개인의 특징으로 가정하고 있는 것으로 판단되며 본 연구도 동일한 관점에서 수행되었다. 그러나 피드백 수용성의 하위 구인 중 정의적 측면은 피드백 상황의 맥락 혹은 피드백 제시자 등에 따른 변동의 가능성이 있는 요인으로 보는 것이 타당하다. 따라서 후속 연구에서는 이에 대한 추가적인 연구가 필요할 것으로 판단된다. 둘째, 본 연구의 종속변인은 측정시기에 따른 과제지속의 차이를 가정하였다. 이는 피드백 유형과 피드백 수용성의 효과를 양적인 변화의 관점에서 분석한 것으로 피드백에 따른 학습자의 질적인 변화는 확인하지 못한 제한점을 지닌다. 그러나 학습자는 교수-학습활동을 통해 학습 행위의 양적인 변화 뿐만 아니라 질적인 정교성 역시 변화를 경험하는 것이 사실이다. 따라서 후속 연구에서는 피드백 수용성의 조절효과가 피드백 유형과 학습자의 질적 변화의 관계에도 동일한 효과를 가지는지 확인이 필요하다.

각주

1.본 연구는 감민영(2015)의 석사학위 논문을 수정 및 보완하여 재구성한 것임.

참고문헌(References)

1.

고수일, 고은정(2004). 피드백 수용도의 결정 요인. 인적자원개발연구, 6(2), 21-44.

2.

권대훈(2011). 사회과학 연구를 위한 통계학. 서울: 학지사.

3.

김정진, 박경규(2008). 다면평가 피드백 수용도 결정요인과 결과에 관한 연구. 경영학연구, 37(4), 661-689.

4.

김종백, 신종호(2016). 학습실패가 기억 및 수행에 미치는 영향 테스트를 위한 애플리케이션 개발: 학습목표의 유형, 과제 난이도, 피드백 유무를 중심으로. 교육심리연구, 30(2), 429-446.

5.

김진규(2008). (김교수의) 형성평가 이야기. 서울: 강현.

6.

김찬종, 오필석, 전진구(2005). 연구논문: 피드백 제공자에 따른 초등학생들의 과학 학업 성 취도 차이 및 피드백에 대한 반응. 초등과학교육, 24(2), 111-122.

7.

박영석, 김기연(2007). 업무수행 피드백의 수용에서 성취 목표 지향성의 효과. 한국심리학회지: 산업 및 조직, 20(4), 511-528.

8.

박정(2013). 형성평가의 재등장과 교육 평가적 시사. 교육평가연구, 26(4), 719-738.

9.

방선욱(2013). 자기조절학습과 피드백의 관계 연구. 淸大學術論集, 20, 169-198.

10.

서영진(2012). 작문 활동에서 동료 피드백 유형별 타당도 및 수용도. 한국어교육학회 학술발표 논문집, 2012(단일호), 105-123.

11.

성태제(2014). 현대교육평가(4판). 서울: 학지사.

12.

이영주(2015). 블로그 학습 환경에서 학생들의 유용성 인식, 피드백 수용도, 과제 성과에 영 향을 주는 동료 피드백 유형 분석. 교육정보미디어연구, 21(2), 245-264.

13.

임태민, 백석윤(2010). 초등수학 수업에서의 피드백 유형 및 학생의 반응. 한국초등교육, 20(1), 37-54.

14.

정정은, 이숙향(2012). 자기결정교수학습모델(SDLMI)을 활용한 교수적 지원이 통합된 중학 교 장애학생의 과학과 수업참여행동 및 수행평가 성취도에 미치는 영향. 특수교육저널: 이론과 실천, 13(4), 183-205.

15.

지은림(2009). 교사의 피드백 수행을 위한 구성요인 및 특성에 관한 연구. 아시아교육연구, 10(3), 77-102.

16.

Anderson, J. R., Corbett, A. T., Koedinger, K. R., & Pelletier, R. (1995). Cognitive tutors: Lessons learned. The Journal of the Learning Sciences, 4(2), 167-207.

17.

Anderson, L. J., & Jones, R. G. (2000). Affective, behavioral, and cognitive acceptance of Feedback: Individual difference moderators. Emotions in the workplace: Research, Theory and Practice, 3(1), 130-140.

18.

Anseel, F., & Lievens, F. (2009). The Mediating Role of Feedback Acceptance in the Relationship between Feedback and Attitudinal and Performance Outcomes. International Journal of Selection & Assessment, 17(4), 362-376.

19.

Anseel, F., Van Yperen, N. W., Janssen, O., & Duyck, W. (2011). Feedback type as a Moderator of the Relationship between Achievement goals and Feedback reactions. Journal of Occupational and Organizational Psychology, 84(4), 703-722.

20.

Atwater, L. E., & Brett, J. F. (2005). Antecedents and consequences of reactions to Developmental 360 feedback. Journal of Vocational Behavior, 66(3), 532-548.

21.

Bandura, A., & Schunk, D. H. (1981). Cultivating competence, self-efficacy, and intrinsic interest through proximal self-motivation. Journal of personality and social psychology, 41(3), 586-602.

22.

Bangert-Drowns, R. L., Kulik, C. C., Kulik, J. A., & Morgan, M. (1991). The instructional effect of feedback in test-like events. Review of Educational Research, 61(2), 213-238.

23.

Baron, R. A. (1993). Criticism (informal negative feedback) as a source of perceived unfairness in organizations: Effects, mechanisms, and countermeasures. NJ:Lawewnce Erlbaum.

24.

Black, P., Harrison, C., Lee, C., Marshall, B., & Wiliam, D. (2004). Working inside the black box: Assessment for learning in the classroom. Phi Delta Kappan, 86(1), 8-21.

25.

Brett, J. F., & Atwater, L. E. (2001). 360 Feedback: Accuracy, Accuracy, Reactions, and Perceptions of Usefulness. Journal of Applied Psychology, 86(5), 930-942.

26.

Farr, J. L. (1993). Informal performance feedback: Seeking and giving. Personnel selection and assessment: Individual and Organizational Perspectives, 163-180.

27.

Fodor, E. M., & Carver, R. A. (2000). Achievement and Power Motives, Performance Feedback, and Creativity. Journal of Research in Personality, 34(4), 380-396.

28.

Gilliland, S. W., Groth, M., BAKER, R. C., Dew, A. E., Polly, L. M., & Langdon, J. C. (2001). Improving applicant`s reactions to Rejection Letters: an Application of Fariness Theory. Personnel Psychology, 54(3), 669-703.

29.

Harks, B., Rakoczy, K., Hattie, J., Besser, M., & Klieme, E. (2013). The effects of feedback on achievement, interest and self-evaluation: the role of feedback's perceived usefulness. Educational Psychology, 34(3), 269-290.

30.

Hattie, J., & Timperley, H. (2007). The Power of Feedback. Review of Educational Research, 77(1), 81-112.

31.

Higgins, R., Hartley, P., & Skelton, A. (2002). The conscientious consumer: reconsidering the role of assessment feedback in student learning. Studies in Higher Education, 27(1), 53-64.

32.

Hoska, D. M. (1993). Motivating learners through CBI feedback: Developing a positive learner perspective. NJ: Educational Technology Publication.

33.

Ilgen, D., & Davis, C. (2000). Bearing bad news: Reactions to negative performance feedback. Applied Psychology, 49(3), 550-565.

34.

Ilgen, D. R., Fisher, C. D., & Taylor, M. S. (1979). Consequences of individual feedback on behavior in organizations. Journal of Applied Psychology, 64(4), 349-371.

35.

Jussim, L., Yen, H., & Aiello, J. R. (1995). Self-Consistency, Self-Enhancement, and Accuracy in Reactions to Feedback. Journal of Experimental Social Psychology, 31(4), 322-356.

36.

Keppel, G., Saufley, W. H., & Tokunaga, H. (1992). Introduction to design and analysis: A student's handbook. Macmillan.

37.

Kinicki, A. J., Prussia, G. E., Bin, W., & McKee-Ryan, F. M. (2004). A Covariance Structure Analysis of Employees' Response to Performance Feedback. Journal of Applied Psychology, 89(6), 1057-1069.

38.

Kluger, A. N., & DeNisi, A. (1996). The effects of feedback interventions on performance: a historical review, a meta-analysis, and a preliminary feedback intervention theory. Psychological Bulletin, 119(2), 254-284.

39.

Locke, E. A., & Latham, G. P. (1990). A theory of goal setting & task performance. Englewood Cliffs, NJ: Prentice-Hall.

40.

London, M., & Smither, J. W. (1995). Can multi-source feedback change perceptions of goal accomplishment, self-evaluations, and performance-related outcomes? Theory-based applications and directions for research. Personnel Psychology, 48(4), 803-824.

41.

Markus, H., & Wurf, E. (1987). The dynamic self-concept: A social psychological perspective. Annual Review of Psychology, 38(1), 299-337.

42.

Mason, B. J., & Bruning, R. (2001). Providing feedback in computer-based instruction: What the research tells us. Retrieved February, 15, 2007.

43.

McColskey, W., & Leary, M. R. (1985). Differential effects of norm-referenced and self-referenced feedback on performance expectancies, attributions, and motivation. Contemporary Educational Psychology, 10(3), 275-284.

44.

McMillan, J. H. (2014). Classroom Assessment Principles and Practice for Effective Standards-Based Instruction. Pearson Higher Ed. 손원숙, 박정, 강성우, 박찬호, 김 경희 역(2016) 경기: 교육과학사.

45.

Narciss, S. (2004). The impact of informative tutoring feedback and self-efficacy on motivation and achievement in concept learning. Experimental Psychology, 51(3), 214-228.

46.

Pekrun, R., Cusack, A., Murayama, K., Elliot, A. J., & Thomas, K. (2014). The power of anticipated feedback: Effects on students' achievement goals and achievement emotions. Learning and Instruction, 29(2014), 115-124.

47.

Podsakoff, P. M., & Farh, J.-L. (1989). Effects of feedback sign and credibility on goal setting and task performance. Organizational Behavior and Human Decision Processes, 44(1), 45-67.

48.

Schunk, D. H., Meece, J. R., & Pintrich, P. R. (2008). Motivation in education: Theory, research, and applications. Pearson Higher Ed. 신종호 역(2013). 서울: 학지사.

49.

Shute, V. J. (2008). Focus on Formative Feedback. Review of Educational Research, 78(1), 153-189.

50.

Stiggins, R. (2005). From Formative Assessment to Assessment FOR Learning: A Path to Success in Standards-Based Schools. Phi Delta Kappan, 87(4), 324-328.

51.

Sweeney, P. D., & Wells, L. E. (1990). Reactions to Feedback about Performance: A Test of Three Competing Models1. Journal of Applied Social Psychology, 20(10), 818-834.

52.

Weisberg, R. W., & Alba, J. W. (1981). An examination of the alleged role of "fixation" in the solution of several "insight" problems. Journal of Experimental Psychology: General, 110(2), 169-192.

53.

Wiliam, D. (2007). Keeping learning on track. Second handbook of research on mathematics teaching and learning. The Australian Association of Mathematics Teachers Inc. 1053-1098.