교수학습・교사교육

플립러닝이 초등학생의 발달과 학업성취에 주는 효과의 메타분석

장봉석 1 , *
Bong Seok Jang 1 , *
Author Information & Copyright
1충청대학교 조교수
1Assistant Professor, Chungcheong University
*제1저자 및 교신저자, bsjang@ok.ac.kr

© Copyright 2018, Korea Institute for Curriculum and Evaluation. This is an Open-Access article distributed under the terms of the Creative Commons Attribution NonCommercial-ShareAlike License (http://creativecommons.org/licenses/by-nc-sa/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Apr 03, 2018 ; Revised: May 11, 2018 ; Accepted: May 18, 2018

Published Online: May 31, 2018

요약

본 연구에서는 학습자 중심의 수업을 실현하는 대안적 교수학습 방법인 플립러닝이 초등학생 발달과 학업성취에 주는 효과를 메타분석을 통해 체계적이며 과학적으로 정리하였다. 연구를 위해 국내에서 보고된 학술지 논문과 학위 논문 29편을 분석하였다. 본 연구의 수행을 위해 설정된 연구문제는 다음과 같다. 첫째, 플립러닝이 초등학생의 발달과 학업성취도에 미치는 전체 효과크기는 어느 정도인가? 둘째, 범주형 변인(출판 여부, 종속변인, 인지적 영역, 정의적 영역, 학업성취도 교과목, 학년, 학생 성취수준, 성별, 사전 학습자료, 성찰일지)에 따른 플립러닝의 효과크기는 얼마인가? 셋째, 연속형 변인(운영기간, 운영횟수, 사전학습 동영상 자료 시간)에 따른 플립러닝의 효과크기는 얼마인가? 연구 결과는 다음과 같다. 첫째, 플립러닝이 초등학생의 발달과 학업성취에 주는 전체 효과크기는 .559로 나타났으며, 이 결과는 중간 효과크기로 해석될 수 있다. 둘째, 학술지 논문의 효과크기가 학위논문의 효과크기 보다 작은 것으로 나타났다. 셋째, 플립러닝은 인지적 영역, 학업성취도, 정의적 영역의 순으로 효과크기가 큰 것으로 나타났다. 넷째, 교과목 유형에 따른 분석 결과, 음악, 사회, 슬기로운 생활, 영어, 국어, 수학, 영양, 과학, 실과 순으로 효과크기가 큰 것으로 나타났다. 다섯째, 성취수준에 따라 효과크기를 비교한 결과, 하, 중, 상의 순으로 나타났다. 여섯째, 메타회귀분석 결과 운영횟수가 많을수록 플립러닝의 효과가 큰 것으로 밝혀졌다. 마지막으로 연구결과에 대한 논의와 시사점 등이 제시되었다.

ABSTRACT

This study aims to investigate effects of flipped learning as a type of student-participatory class on elementary school students systematically. The researcher selected 29 primary studies including masters’ theses, doctoral dissertations, and peer-reviewed journal articles to calculate effect sizes. Research questions are as follows. First, what is the overall effect size of flipped learning on elementary school students? Second, what are effect sizes of sub-group analysis on variables such as publication type, dependent variable, cognitive domain, affective domain, subject area, grade level, student achievement level, gender, learning material before class, and reflective journal? Third, what are effect sizes of meta-regression analysis?

Results are as follows. First, the overall effect size was .559, which is medium. Second, unpublished master’s theses and doctoral dissertations showed higher effect size than articles published in peer-reviewed journals. Third, the effect of flipped learning was cognitive domain, academic achievement, and affective domain in order. Fourth, for subject areas, the effect was music, social studies, intelligent life, English, Korean, mathematics, nutrition, science, and practical arts in order. Fifth, for student achievement level, the effect of flipped learning was low, medium, and high in order. Sixth, meta-regression result showed that flipped learning was more effective as the number of instruction increased. Finally, the researcher discussed results and provided implications and recommendations.

Keywords: 플립러닝; 학생 참여형 수업; 교육과정 개발; 교수학습; 메타분석
Keywords: Flipped Learning; Student-Participatory Class; Curriculum Development; Teaching and Learning; Meta-Analysis

I. 서론

학생들이 학습의 주도성을 갖고 수업에 적극적으로 참여하게 하는 방법에 대한 논의는 교수학습 분야에서 지속적으로 강조되어 온 핵심 주제이다. 학습자 중심의 참여형 수업이 효과적으로 이루어지기 위해서는 교사와 학생간의 교육적 소통이 가장 중요한 요인이다(이정표, 이주영, 권동택, 2012). 이를 위해 교사는 학업성취 수준이 다른 학습자들의 특성을 이해하고, 교실 내에서 사회적 상호작용이 잘 이루어지도록 지원하며, 장소에 제한되지 않고 학습이 확장될 수 있도록 안내하는 역할을 수행할 수 있어야 한다. Lea, Stephenson과 Troy(2003)는 학생 중심의 학습이 이루어지기 위해서 학습자의 증가된 책임, 활동 중심, 교사와 학생간의 상호의존성, 학생 자율성, 깊이 있는 학습과 이해 등이 갖춰져야 한다고 설명하였다. 이와 관련하여 사전 학습 지식의 활성화, 학생 상호작용의 증가 등을 통해 학습자 중심의 수업을 실현하는 대안적 교수학습 방법인 플립러닝에 대한 관심이 최근 국내에서 고조되고 있다.

플립러닝은 2007년 미국의 교사들에 의해 처음 시도된 이후 다양한 교과에 적용되고 있다(Bergmann & Sams, 2016). 이를 좀 더 구체적으로 살펴보면, 교사는 학생들에게 주도성과 책임감을 부여하고, 기존의 교사주도 강의를 수업 전 가정학습으로 이동시킨다. 그리고 수업 중에 학생들과 더 많은 상호작용을 하는 동시에 학생 개개인의 학습을 지원하는 안내자의 역할을 수행한다. 이 과정을 통해 학습자들을 기존과는 달리 능동적으로 변화시킴으로서 보다 높은 수준의 인지적 활동이 발생하도록 수업의 분위기를 바꾸게 된다. 국내에서는 2014년 방영된 다큐멘터리 프로그램을 통해 대중적으로 알려진 이후 현장 교사들과 교육연구자들에 의해 그 효과에 대한 논의가 이루어지기 시작했다(KBS, 2014).

초등교육 분야에서 플립러닝에 대한 관심이 증가하면서 그 효과에 대한 연구도 활발해지기 시작했다. 그러나 선행연구 분석 결과 대부분의 연구들이 개별적 단위로 나타나고 있으며, 서로 다른 연구결과를 보고하는 경우도 발견되어 플립러닝의 효과를 일반화하여 주장하는데 어려움이 있는 것을 확인할 수 있었다. 예를 들어, 이승훈(2016)은 4학년 학생들을 대상으로 한 수업에서 플립러닝을 적용한 뒤 학업성취 수준이 높은 집단에서의 수학 평가 점수가 하락한 것을 발견하였다. 이정은과 정혜영(2017)도 영어 교과에서 6학년 학생들이 플립러닝 기반 수업에 참여한 후 창의성과 영어 학업성취도 수준이 낮아졌다고 설명하였다. 따라서 이 연구는 플립러닝의 적용 효과에 대한 종합적인 분석이 필요하다는 판단 하에 개별 연구들의 결과를 메타분석을 통해 정리하기 위해 실시되었다.

메타분석은 특정 분야의 효과를 파악하기 위해 많은 개별 연구들의 결과를 통계적 방법을 사용하여 종합적 결론을 도출하는 과정에서 사용하는 연구방법이다(Glass, 1976). 메타분석의 장점은 통계적인 방법을 적용하기 때문에 비교적 객관적이며 정확한 결론에 도달할 수 있고, 특정 주제와 관련되는 다수의 연구 결과들을 정보 자료로 사용할 수 있으며, 각각의 자료들이 지니는 결점들에 대한 편견을 통제할 수 있다는 것이다(Borenstein et al., 2009).

특히 이 연구는 초등학생을 대상으로 플립러닝 효과를 논의한 선행 연구들을 분석대상으로 한정하였는데, 그 구체적인 이유는 다음과 같다. 첫째, 초등 교육활동이 교과 특성과 연계되어 모둠 단위로 진행되는 경향이 높고, 사전 학습 자료만을 구성하여 활용한다면 플립러닝으로의 전환이 용이하다고 판단하는 교사들이 많아 상대적으로 참여가 활발하다(Bergmann & Sams, 2016). 둘째, 플립러닝 분야의 선행 연구 분석 결과 초등학생을 연구대상으로 한정하여 수행된 메타분석이나 체계적 문헌 고찰 자료가 없어 초등교육 현장에 제공하는 시사점을 찾기 어렵다.

따라서 본 연구는 초등학생을 대상으로 한 플립러닝의 효과와 관련된 국내 연구 동향과 교육적 의미를 탐구하기 위해 메타분석을 통해 체계적으로 기술하는데 그 목적이 있다. 연구의 목적을 달성하기 위해 다음과 같이 연구문제를 설정하였다. 첫째, 플립러닝이 초등학생의 발달과 학업성취도에 미치는 전체 효과크기는 어느 정도인가? 이 때 발달은 학업성취도와 인지적 영역을 비롯하여 정의적 영역 및 행동적 영역에 대한 효과를 의미하는 전인적 발달과 연계되는 개념이다. 둘째, 범주형 변인(출판 여부, 종속변인, 인지적 영역, 정의적 영역, 학업성취도 교과목, 학년, 학생 성취수준, 성별, 사전 학습자료, 성찰일지 작성)에 따른 플립러닝의 효과크기는 얼마인가? 셋째, 연속형 변인(운영기간, 운영횟수, 사전학습 동영상 자료 시간)에 따른 플립러닝의 효과크기는 얼마인가?

II. 선행연구 분석

1. 플립러닝

플립러닝은 2007년 미국의 교사들이 수업에 적용하고 긍정적 효과를 발견한 이후 많은 관심을 받게 된 교수학습 모형이다(Milman, 2012). 이를 위해 먼저 수업과 관련된 필수 개념을 읽기 자료나 동영상 등을 통해 사전에 학습한 이후에 교실에서는 토론과 토의 등의 상호작용에 기반하여 학생 위주의 의미 있는 경험을 통해 학습하게 된다(Bergmann & Sams, 2016). 플립러닝의 본질은 수업방식을 교사 중심의 강의식 수업에서 학생 참여형 수업으로 변화시킴으로서 교수학습 방법의 혁신을 이루어냈다는 점에 있다. 이 과정에서 학생들은 자기주도학습능력의 신장, 협동을 통한 문제해결능력 제고, 수업에서의 적극적이며 활기찬 자세 등의 긍정적 변화를 경험할 수 있다.

플립러닝의 특징을 구체적으로 제시하면 다음과 같다(Flipped Learning Network, 2018). 첫째, 플립러닝은 융통성 있는 환경에서 다양한 교수학습 방법을 적용한다. 학습자는 개별학습과 협력학습이 모두 가능하도록 최적화되고 물리적으로 재구성된 학습 공간에서 유연한 학습을 경험할 수 있다. 둘째, 전통적인 교사 중심의 수업 방식에서 탈피하여 학습자 중심의 수업 문화를 구축할 수 있다. 기존의 수업 모형에서는 정보의 원천이 되는 교사에게 집중하는 경향성이 높았지만, 플립러닝을 통해 학생들은 수업시간을 적극적으로 학습에 참여하여 유의미학습을 이루는 계기로 활용하게 된다. 셋째, 교사는 학생들이 수업의 핵심 개념을 이해하는데 효과적이며 효율적인 학습방법을 연구하게 된다. 이 과정에서 교사는 교과 내용을 정확하게 파악한 후 학생들이 수업 참여 이전에 자기주도적으로 관련 자료를 탐색하는데 최적화된 내용과 방법을 탐색하고, 그 구체적인 실행방안을 마련하여 수업에 적용한다. 넷째, 플립러닝을 통해 교사는 교육학적 지식과 전문적 소양을 함양한 교육 전문가의 역할을 수행한다. 교사는 사전학습과 교실 수업이 진행되는 동안 학습의 진행 상황을 관찰하며 피드백을 제공해야 하고 학생 과업에 대한 평가를 수행해야 한다. 그리고 교사가 이 모든 과정에서 적절한 역할을 수행하는 경우에만 계획한 교수목표의 달성이 가능하다.

플립러닝의 절차에 대한 연구는 다각적으로 이루어져 왔는데, 그 중 초등학생에게 적용해 볼 수 있는 교수학습 모형은 다음과 같다(이동엽, 2013; Bergmann & Sams, 2015). 이 모형은 수업요소 분석, 수업설계, 수업개발, 수업실행, 수업평가 및 성찰의 다섯 단계로 구성되어 있다. 첫째, 수업요소 분석 단계에서는 교수자 및 학생, 수업목표 및 내용, 수업환경에 대한 분석이 이루어진다. 둘째, 수업설계 단계에서는 수업 내용을 선정하고 재구성하며, 선행 학습을 위한 활동들을 선정한다. 그리고 교실 수업에서 적용될 활동이 구성되며, 플립러닝에 대한 효율적 전략이 수립된다. 셋째, 수업개발 단계에서는 선행 학습과 교실 수업을 위한 수업자료와 도구를 개발하고, 수업 단계에 부합하는 활동 전략을 마련한다. 넷째, 수업실행 단계에서는 수업자료를 준비하고 수업을 위한 환경을 조성하며, 수업을 실행하고, 학생 개개인에 적합한 피드백을 제공한다. 마지막으로 수업평가 및 성찰 단계에서는 수업 실행 과정과 결과를 평가하고 성찰하며, 플립러닝 활용 교수학습 모형을 평가하고 성찰한다.

2. 선행연구 고찰

초등학생을 대상으로 수행된 국내의 플립러닝 연구는 2015년부터 시작되었으며, 학업성취도를 비롯한 여러 발달 영역에서 주로 긍정적인 효과를 보고하는 것으로 나타났다(배진호 외, 2015; 이미진, 2017). 이를 간략하게 살펴보면, 먼저 플립러닝은 국어, 사회, 영어, 과학, 수학, 음악 등의 교과에서 학업성취도 향상에 도움이 된 것으로 나타났다(김은주, 2015; 김재환, 2017; 예민지, 2017; 김진성, 2016; 류현정, 2017; 형성아, 2016). 또한 인지적 능력도 제고되었는데, 예를 들면 배주희(2016)는 탐구능력이 향상되었음을 확인하였다. 이아영(2016) 역시 학생들의 자기주도학습능력 수준이 플립러닝을 통해 높아졌음을 보고하였다. 이와 함께 선행 연구를 통해 정의적 영역의 향상도 입증되었는데, 예를 들면 이승직(2016)은 플립러닝 참여 이후 학습동기와 학습성향의 수준이 높아졌음을 주장하였으며,김진성(2016)은 자아효능감 수준이 플립러닝을 통해 향상되었음을 보고하였다.

이와 함께 플립러닝의 효과를 종합적으로 정리한 연구도 발견되는데 그 내용을 구체적으로 살펴보면 다음과 같다. 첫째, 서미옥(2016)은 국내에서 초·중등학생과 대학생을 대상으로 적용된 플립러닝의 효과를 보고한 학위 논문과 학술지 논문 31편을 메타분석하였다. 그 결과 플립러닝의 전체 효과크기는 .47이며 이는 중간 효과크기인 것으로 나타났다. 플립러닝의 학업성취도에 대한 효과크기는 .30, 학습동기에 대한 효과크기는 .61, 학습태도에 대한 효과크기는 .63으로 나타났다. 그러나 이 메타분석에 초등학생을 연구대상으로 설정한 논문은 모두 15편만 포함되었고, 메타분석 결과를 학교급에 따라 별개로 보고하지 않았기 때문에 연구 결과를 초등교육 현장에서 활용하기에는 부족한 수준인 것으로 나타났다. 둘째, 박에스더와 박지현(2015)은 자신들이 개발한 플립러닝의 개념적 틀을 활용하여 대학생을 대상으로 수행된 국내 플립러닝 연구 20편에 대한 정리를 시도하였다. 그 결과 플립러닝에서 높은 효과를 보이는 변인으로 자기주도학습능력, 학습동기, 자기효능감, 수업만족도, 학업성취도를 제시하였다. 그러나 이들의 연구는 메타분석을 활용하여 수행된 것은 아니었다.

플립러닝과 관련된 해외의 문헌을 분석한 결과 메타분석에 기반하여 그 효과를 정리한 연구는 현재까지 보고되지 않은 것으로 나타났다. 그러나 플립러닝의 효과에 대한 체계적 고찰을 시도한 논문들이 발견되었는데 그 구체적 내용은 다음과 같다. 첫째, O'Flaherty와 Phillips(2015)는 플립러닝의 효과를 보고한 논문 28편을 분석하여 제시하였다. 그 결과 플립러닝은 학생들의 발달과 관련하여 인지적, 정의적, 심동적 영역에서 긍정적인 효과를 도출하는 교수학습 방법이라고 설명하였다. 둘째, Betihavas 외(2016)는 플립러닝을 간호학에 적용한 선행연구의 결과들을 정리하였다. 그 결과 학업성취도와 수업만족도에서 플립러닝의 긍정적 효과가 발견된 것으로 나타났다. 셋째, Karabulut-Ilgu, Cherrez와 Jahren(2017)은 플립러닝을 대학의 공학 교육에 적용한 후 나타난 연구 결과들을 종합하였다. 그 결과 분석 대상 연구물의 63%에서 플립러닝의 긍정적인 효과를 보고한 것으로 나타났으며, 26%는 효과가 없는 것으로, 10%는 부정적인 효과를 보고하였다. 마지막으로, Lo와 Hew(2017)는 초·중등학생들을 대상으로 적용된 플립러닝 연구 15편을 분석하였다. 그 결과 플립러닝 관련 연구는 주로 수학 교과를 대상으로 시행되는 것을 확인하였다. 그리고 양적 연구를 시도한 9편의 학술지 논문 중 5편에서 학업성취도에 대한 긍정적 효과를 발견하였다.

III. 연구방법

1. 분석대상

초등학생을 대상으로 적용된 플립러닝의 효과를 보고한 국내 연구를 검색하기 위해 한국교육학술정보원의 검색엔진(RISS)과 국회전자도서관을 이용하였다. 주제어는 ‘플립러닝’, ‘플립드 러닝’, ‘플립트 러닝’, ‘거꾸로 수업’, ‘거꾸로 교실’, ‘반전 학습’, ‘역전 학습’, ‘성취’, ‘효과’, ‘영향’을 사용하였다. 그 결과 일차적으로 수집된 논문은 학위논문 122편과 학술지논문 311편이었다. 이 중에서 원문을 제공하지 않은 논문 6편, 통제집단을 제시하지 않은 연구 368편, 학위 논문과 학술지 논문이 중복되는 경우 학위 논문 4편(학술지 논문의 결과만 분석에 포함), 초등학생 이외의 집단을 연구대상으로 선정한 26편을 제외한 연구만을 최종 분석대상에 포함하였다. 그 결과 29편이 분석대상 개별연구물로 선정되었으며, 이를 정리하면 다음과 같다.

표 III-1. 연도별 분석대상 논문 현황
2015년 2016년 2017년 합계
학위논문 2 10 5 17
학술지 4 6 2 12
합계 6 16 7 29
Download Excel Table
2. 분석대상 연구의 특징과 코딩

이 연구에서는 범주형 변수로서 출판여부, 종속변인, 인지적 영역, 정의적 영역, 학업성취도 교과목, 학년, 성취수준, 성별, 사전학습자료 유형, 성찰일지 작성 여부를 고려한 후 코딩을 실시하였다. 코딩 작업의 구체적인 절차는 다음과 같다. 먼저, 연구 참여자들의 협의를 통해 코딩지를 개발하였다. 둘째, 교육과정 연구자 1명, 교육공학 연구자 1명, 제 1저자가 함께 코딩을 실시하였다. 이 때 코딩자간에 의견이 불일치하는 경우에는 심층적 논의를 통해 결정하였다. 그럼에도 불구하고 참여자간 의견이 일치되지 못하는 경우에는 메타분석 전공 교수 1인의 의견을 통해 정리하였다. 이후에는 의견 불일치가 발생하지 않아 코딩자간의 일치도와 신뢰도는 추가적으로 계산하지 않았다.

최종 분석대상으로 선정된 개별연구물 29편에 대한 구체적인 특징을 정리하면 다음과 같다.

표 III-2. 개별연구의 특징
저자명 출판년도 출판유형 효과크기 분야 학년 운영기간 운영횟수 종속변인
김여진 2016 학위논문 0.265 실과 5 - 12회 정의
김은주 2015 학위논문 0.433 국어 5 4주 8회 인지, 학업성취도
김재환 2017 학위논문 1.188 사회 5 - - 정의
김진성 2016 학위논문 0.248 과학 5 4주 11회 정의, 학업성취도
류현정 2017 학위논문 1.607 수학 5 3주 13회 인지, 정의
박지민 2015 학위논문 0.199 수학 5 2주 8회 학업성취도
박희애 2016 학위논문 0.219 수학 4 - 13회 학업성취도
방운배 2016 학위논문 0.286 과학 6 8주 9회 인지, 정의
배주희 2016 학위논문 0.658 국어 2 12주 - 인지, 학업성취도
배진호 외 2015 학술지논문 0.183 과학 5 - 6회 인지, 정의
신영준 외 2016 학술지논문 0.258 과학 5, 6 - 8회 정의
신영준 외 2016 학술지논문 0.193 과학 5 - 7회 정의, 학업성취도
양혜림 2017 학위논문 1.261 음악 5 8주 12회 인지
예민지 2017 학위논문 0.119 영어 3 6주 - 학업성취도
이미진 2017 학위논문 0.374 영양 4 5주 5회 인지, 정의, 심동
이병희 외 2015 학술지논문 0.332 과학 6 8주 11회 정의, 학업성취도
이승직 2016 학위논문 0.338 수학 4 4주 9회 인지, 정의
이승훈 2016 학위논문 0.365 수학 4 - 10회 학업성취도
이아영 2016 학위논문 0.535 영어 5 10주 30회 인지, 학업성취도
이정은 외 2017 학술지논문 0.528 영어 6 12주 - 인지, 정의, 학업성취도
이희명 외 2017 학술지논문 0.445 수학 3 - 80주 학업성취도
이희숙 외 2015 학술지논문 0.556 사회 5 8주 10주 정의, 학업성취도
전정희 2016 학위논문 2.096 장애이해 6 7주 12주 정의
정민 외 2016 학술지논문 0.459 수학 6 - 5주 정의, 학업성취도
정진아 외 2015 학술지논문 1.504 과학 5 - 12주 정의, 학업성취도
진민혜 외 2016 학술지논문 0.384 과학 5 - - 인지
최정수 외 2016 학술지논문 0.900 수학 5 15주 - 학업성취도
하지훈 외 2016 학술지논문 0.214 과학 6 8주 9주 학업성취도
형성아 2016 학위논문 0.966 음악 4 3주 12회 인지
Download Excel Table
3. 효과크기 계산

효과크기는 개별연구에서 조사된 양적 연구결과를 의미하는 통계치이며, 상이한 연구결과를 표준화하여 제시한 값을 의미한다. 이를 위해 먼저 개별연구 결과들에 대한 효과크기를 계산한 후 전체 효과크기를 산출한다. 그리고 연구 특징에 따라 유목화된 변수에 대해 하위그룹 분석(sub-group analysis)을 실시하고, 연속변수인 경우에는 메타회귀분석(meta-regression analysis)을 실시한다.

실험집단과 통제집단의 사전검사와 사후검사의 효과크기 산출 공식은 다음과 같다(Lipsey & Wilson, 2001).

g t r t = Y t r t X t r t S x , g c r t = Y c r t X c r t S x

Ytrt 는 실험집단의 사후검사 평균을 의미하고, Xtrt 는 실험집단의 사전검사 평균값을 나타낸다. Ycrt 는 통제집단의 사후검사 평균을 의미하고, Xcrt 는 통제집단의 사전검사 평균값을 나타낸다. Sx는 실험집단과 통제집단의 사전검사 평균의 표준편차를 의미한다.

여기서 효과크기는 실험집단과 통제집단의 사전검사와 사후검사의 평균치 차이에 의해 다음의 공식 △=gtrtgcrt에 의해 계산되고, 측정된 효과크기의 분산은 다음과 같이 계산된다(Becker, 1988).

V a r ( g t r t ) = 4 ( 1 r t r t ) + ( g t r t ) 2 2 n t r t , V a r ( g c r t ) = 4 ( 1 r c r t ) + ( g c r t ) 2 2 n c r t

그리고 r은 실험집단과 통제집단의 사전검사와 사후검사 간 상관계수를 의미한다. 측정된 효과크기의 표준오차는 다음과 같이 분산의 제곱근을 통해 계산할 수 있다.

S E d = V d

연구대상의 사례수에 따라 가중치를 부여하기 위해 Hedge와 Olkin(1985)이 제시한 방법을 활용하였다. 그 이유는 사례수가 많은 연구의 결과가 더 명확하게 효과크기를 추정하는데 도움을 주기 때문에 전체효과크기를 계산하는데 있어 높은 비중으로 영향을 주게 하기 위함이다. 전체 효과크기의 계산을 위해 먼저 동질성 분석을 실행하는데, 동질성 검정에 대한 영가설은 개별연구 결과의 효과크기들이 동일한 모집단에서 추출되었다는 것이다. 따라서 영가설을 기각하지 못하는 경우에는 동일모집단에서 효과크기들이 추출된 것으로 고려하여 고정효과 모형(fixed-effects model)이 채택되고, 영가설을 기각하는 경우에는 표본오차 외에 랜덤오차까지 고려하는 랜덤효과 모형(random-effects model)이 채택된다. 본 연구에서는 표준화된 평균차 효과크기 분석을 위해 CMA 3.0 프로그램을 활용하였다.

동질성 검사를 실행한 결과, 선행연구에서 도출된 효과크기는 이질적인 것으로 나타났다(Q=823.031, df=291, p<.001). 따라서 본 연구에서는 전체 효과크기의 측정을 위해 랜덤효과 모형을 적용한 후 분석을 실행하였다.

표 III-3. 동질성 검정 결과
효과크기수 Q p I 2
292 823.031 .000 64.643
Download Excel Table

이와 함께 다음의 forest plot을 통해 그래프가 흩어져 있음을 확인함으로서 각 개별 연구들의 이질성을 확인할 수 있었다.

jce-21-2-79-g1
그림 III-1. Forest Plot
Download Original Figure

IV. 연구결과

1. 초등 플립러닝의 전체 효과크기

플립러닝이 초등학생의 발달과 학업성취에 주는 전체 효과크기는 .559로 나타났으며, 이에 대한 신뢰구간은 .436~.682였다. 이러한 결과는 Cohen(1988)이 제시한 기준에 따르면 중간 효과크기로 해석 가능하다.

표 IV-1. 전체 효과크기 분석 결과
연구수 효과크기 표준오차 −95%신뢰구간 +95%신뢰구간
29 0.559 0.063 0.436 0.682
Download Excel Table

출판 편향성 분석을 위해 산출된 funnel plot은 다음의 [그림 IV-1]과 같다. 이 때 데이터의 오류가 없다면, 좌우가 대칭인 모습을 보인다. 본 연구결과에서 좌우대칭의 모습을 보이지만, 효과크기와 표준오차가 밀집되어 있는 것도 확인할 수 있다. 이와 함께 Orwin(1983)의 방법으로 안전계수를 계산한 결과, 1,862로 나타났다. 누락된 연구수가 전체 효과크기 수보다 크기 때문에 출판 편의가 존재한다고 보기 어렵다.

jce-21-2-79-g2
그림 IV-1. Funnel Plot
Download Original Figure
2. 범주형 변수별 분석

초등교육 현장에서 플립러닝 효과의 차이를 초래하는 변수를 분석하기 위해 연구 특징 관련 변수가 범주형인 경우에는 하위그룹분석을 실시하였다. 이 때 각 하위그룹은 공통의 효과크기를 갖는다는 가정 하에 고정효과모형이 활용되었는데, 랜덤효과모형에 비해 통계적 검정력이 높아 중재변인의 효과 차이를 보다 더 명확하게 구분할 수 있다. 구체적인 연구 결과는 다음과 같다.

첫째, 메타분석에서는 출판 편의(publication bias) 검증이 요구되는데, 이는 출판 편의가 발견되면 전체 효과크기가 과대 추정되어 연구 결과의 타당성이 저해될 수 있기 때문이다(Cooper, 2009). 출판여부에 따라 효과크기를 계산한 결과, 학술지논문의 효과크기(.414)가 학위논문의 효과크기(.475) 보다 작아서 문제없는 것으로 나타났다.

둘째, 초등학생들을 대상으로 한 플립러닝의 효과를 알아보기 위해 각 개별연구의 종속변인들을 인지적 영역, 정의적 영역, 학업성취도로 구분하여 비교하였다. 그 결과 인지적 영역(.621), 학업성취도(.399), 정의적 영역(.386)의 순으로 나타났다.

셋째, 인지적 영역의 유형에 따라 효과크기를 비교한 결과, 개념이해(1.261), 자기주도학습능력(.644), 기초탐구능력(.643), 창의성(.457), 수업참여(.384), 디지털리터러시(.164)의 순으로 나타났다.

넷째, 정의적 영역의 유형에 따라 효과크기를 비교한 결과, 수학적 성향(1.102), 수학교과에 대한 태도(.728), 학습몰입(.548), 학습동기(.429), 과학적 태도(.272), 발명태도(.265), 자아효능감(.205)의 순으로 나타났다.

다섯째, 학업성취도 교과 유형에 따라 효과크기를 비교한 결과, 음악(1.098), 사회(.648), 슬기로운 생활(.643), 영어(.501), 국어(.468), 수학(.446), 영양(.374), 과학(.303), 실과(.265)의 순으로 나타났다.

여섯째, 학년에 따라 효과크기를 비교한 결과, 2학년(.658), 4학년(.54), 6학년(.489), 5학년(.433), 3학년(.176)의 순으로 나타났다.

일곱째, 초등학생들의 성취수준에 따라 효과크기를 비교한 결과, 하(.67), 중(.563), 상(.424)의 순으로 나타났다.

여덟째, 학생들의 성별에 따라 효과크기를 비교한 결과, 여자(1.142), 남자(.983), 남녀(.422)의 순으로 나타났다.

아홉째, 사전 학습 자료의 유형에 따라 효과크기를 비교한 결과, 교사가 직접 제작한 자료를 활용한 경우(.509), 인터넷 자료와 교사가 제작한 자료를 함께 활용한 경우(.474), 인터넷 자료를 활용한 경우(.392)의 순으로 나타났다.

마지막으로 사전 학습 자료를 예습한 후 성찰일지 작성 여부에 따라 효과크기를 비교한 결과, 작성한 경우(.495), 작성하지 않은 경우(.312)의 순으로 나타났다.

표 IV-2. 전체 효과크기 분석 결과
변수 하위요인 효과크기수 효과크기 표준오차 −95%신뢰구간 +95%신뢰구간
출판여부 학술지논문 151 0.414 0.019 0.376 0.452
학위논문 141 0.475 0.020 0.437 0.514
종속변인 인지적영역 100 0.621 0.028 0.566 0.676
정의적영역 142 0.386 0.018 0.351 0.421
학업성취도 49 0.399 0.034 0.333 0.465
인지적영역 개념이해 20 1.261 0.078 1.109 1.413
기초탐구능력 5 0.643 0.145 0.359 0.928
디지털리터러시 4 0.164 0.145 −0.119 0.448
수업참여 6 0.384 0.114 0.160 0.608
자기주도학습능력 33 0.644 0.046 0.554 0.734
창의성 28 0.457 0.049 0.360 0.553
정의적영역 과학적태도 27 0.272 0.047 0.180 0.364
발명태도 16 0.265 0.033 0.201 0.330
수학교과에대한태도 3 0.728 0.147 0.440 1.016
수학적성향 6 1.102 0.135 0.837 1.368
자아효능감 8 0.205 0.089 0.031 0.379
학습동기 48 0.429 0.031 0.368 0.490
학습몰입 24 0.548 0.054 0.441 0.654
학업성취도 교과 과학 103 0.303 0.024 0.257 0.349
국어 3 0.468 0.143 0.188 0.747
사회 14 0.648 0.058 0.535 0.762
수학 39 0.446 0.040 0.368 0.524
슬기로운생활 5 0.643 0.145 0.359 0.928
실과 16 0.265 0.033 0.201 0.330
영양 3 0.374 0.131 0.116 0.631
영어 72 0.501 0.031 0.441 0.561
음악 32 1.098 0.052 0.996 1.200
학년 2학년 8 0.658 0.114 0.434 0.882
3학년 4 0.176 0.107 -0.034 0.386
4학년 34 0.540 0.039 0.463 0.616
5학년 151 0.433 0.019 0.395 0.471
6학년 89 0.489 0.027 0.436 0.541
성취수준 20 0.424 0.066 0.293 0.554
15 0.563 0.072 0.422 0.704
20 0.670 0.067 0.538 0.802
성별 남녀 272 0.422 0.014 0.394 0.449
남자 10 0.983 0.104 0.778 1.187
여자 10 1.142 0.105 0.936 1.347
사전학습자료 인터넷자료 69 0.392 0.030 0.334 0.451
인터넷자료+교사제작 28 0.474 0.022 0.430 0.518
교사제작 128 0.509 0.034 0.442 0.576
성찰일지 작성 227 0.495 0.016 0.463 0.527
미작성 65 0.312 0.026 0.261 0.363
Download Excel Table
3. 메타회귀분석

연구특징 변수가 연속형인 경우에는 메타회귀분석을 통해 연속변수의 증감에 따른 효과크기의 변화를 측정하는데, 본 연구에서는 회귀모형의 잔여 이질성(residual heterogeneity)을 허용하는 랜덤효과 모형이 활용되었다.

초등학생을 대상으로 한 플립러닝의 효과와 연속변수의 관계를 분석한 결과는 다음과 같다. 운영기간이 짧을수록, 운영횟수가 많을수록, 사전 학습 자료가 동영상인 경우 그 시간이 길수록 플립러닝의 효과가 큰 것으로 밝혀졌다. 그러나 이 중 운영횟수의 회귀계수 값이 유일하게 통계적으로 유의한 수준으로 나타났다.

표 IV-3. 연속변수의 초등 플립러닝 효과와의 관계
구분 변수 기울기 표준오차 z p
운영기간 intercept 0.603 0.051 11.667 0.000
운영기간 −0.004 0.005 −0.863 0.387
운영횟수 intercept 0.309 0.032 9.624 0.000
운영횟수 0.010 0.002 3.964 0.000
동영상시간 intercept 0.450 0.105 4.276 0.000
동영상시간 0.014 0.010 1.385 0.165
Download Excel Table

V. 논의

1. 논의

본 연구에서는 플립러닝이 초등학생의 발달과 학업성취에 주는 효과를 메타분석을 통해 체계적이며 과학적으로 분석하였다. 연구를 위해 2018년 3월까지 국내에서 보고된 학술지 논문과 학위 논문 29편을 분석하였으며, 그 결과는 다음과 같다.

첫째, 플립러닝이 초등학생의 발달과 학업성취에 주는 전체 효과크기는 .559로 나타났으며, Cohen(1988)이 제시한 준거에 따라 중간효과크기로 해석된다. 이는 서미옥(2016)의 연구에서 보고된 플립러닝의 전체 효과크기 .47과 비교하였을 때 더 높은 수준이며, 초등학생에 대한 플립러닝의 효과가 상대적으로 큰 것임을 확인할 수 있었다. O'Flaherty와 Phillips(2015) 역시 플립러닝이 인지적 영역과 정의적 영역에서 긍정적인 효과를 나타낸다고 주장하였고, Karabulut-Ilgu, Cherrez와 Jahren(2017)의 연구에서도 플립러닝의 긍정적 효과가 발견되고 있다. Milman(2012)은 이러한 현상들이 모두 수업의 핵심 개념을 이해할 수 있도록 다양한 방법을 통해 학생들을 지원하고, 학생 중심의 수업 활동을 통해 이루어진 유의미학습의 결과라고 설명한다. Bergmann과 Sams(2016)도 교사가 사전 학습 자료를 효과적으로 구성하고 교실에서 학생 참여형 수업이 충실히 이루어지도록 노력한다면, 학생 발달이나 성취 수준에서의 긍정적인 변화는 충분히 예측 가능한 결과라고 주장한다. 그리로 이러한 과정을 통해 교사는 교육학적 지식과 전문적 소양을 함양한 실천가이며 교육전문가로 거듭날 수 있다(Schmidt & Ralph, 2016).

둘째, 출판여부에 따라 효과크기를 산출한 결과, 학술지 논문의 효과크기가 학위 논문의 효과크기 보다 작은 것으로 나타났다. 이는 O'Flaherty와 Phillips(2015)의 연구에서 학술지 논문의 효과크기가 상대적으로 더 큰 것으로 나타난 것과는 다른 결과였다. 한편, 이 연구에서 분석대상 학위 논문이 17편이고, 학술지 논문이 12편인 것으로 미루어보아 추후 초등학생에 대한 플립러닝의 효과가 학술지를 통해 더 축적되어야 함을 확인할 수 있었다.

셋째, 각 개별연구의 종속변인들을 유목화하여 비교한 결과 인지적 영역, 학업성취도, 정의적 영역의 순으로 효과크기가 큰 것으로 나타났다. 이러한 사실은 플립러닝의 효과크기가 인지적 영역에서 가장 크게 나타나며, 정의적 영역에서는 상대적으로 낮다고 설명한 박에스더와 박지현(2015)의 연구 결과와 유사하다. 서미옥(2016) 역시 정의적 영역 보다 인지적 영역에서의 플립러닝 효과가 더 큰 것으로 보고하고 있다. 이 연구에서 플립러닝의 효과크기가 인지적 영역과 학업성취도에서 높게 나타난 것은 추후 교육 현장에서 학생 학력 향상을 위한 실천 방안으로 플립러닝을 논의하는 중요한 근거가 될 수 있다. 그러나 전인적 교육의 관점에서 접근하는 경우, 플립러닝의 심리동작적 영역에 대한 효과가 국내에서 아직까지 보고되지 않은 것으로 나타났다. 학생 발달의 모든 영역에서 플립러닝 효과를 발견할 수 있다고 설명하면서 교사들의 관심이 요구된다는 Bergmann과 Sams(2012)의 의견을 고려한다면 추후 이 분야에 대한 연구 역시 필요할 것으로 판단된다.

넷째, 인지적 영역의 유형에 따라 효과크기를 비교한 결과, 개념이해, 자기주도학습능력, 기초탐구능력, 창의성, 수업참여, 디지털리터러시의 순으로 나타났다. 박에스더와 박지현(2015)은 인지적 영역에서 자기주도학습능력의 효과크기가 다른 요인들보다 더 큰 것으로 보고하였다. 이러한 현상은 학생들에게 주도성을 부여하고 그들이 수업에 적극적으로 참여하는 과정에서 파생된 결과로 해석될 수 있다(Milman, 2012).

다섯째, 정의적 영역의 유형에 따라 효과크기를 비교한 결과, 수학적 성향, 수학교과에 대한 태도, 학습몰입, 학습동기, 과학적 태도, 발명태도, 자아효능감의 순으로 나타났다. 이 결과는 정의적 영역에서 플립러닝의 효과가 자기효능감 및 학습동기와 긍정적인 관련이 있다고 보고한 선행연구의 결과와 유사하다(박에스더, 박지현, 2015). 이와 함께 서미옥(2016)은 학습동기와 학습태도에 대해 중간 효과크기로 보고하였는데 본 연구의 결과와 유사한 수준으로 나타났다. Schmidt와 Ralph(2016)는 플립러닝의 전 과정에서 학생들이 주도적으로 참여하고 동료 및 교사와 활발하게 상호작용하며 문제를 해결하는 과정에서 정의적 영역의 긍정적 변화 역시 자연스럽게 나타나는 현상이라도 설명하였다.

여섯째, 학업성취도 교과 유형에 따라 효과크기를 비교한 결과, 음악, 사회, 슬기로운 생활, 영어, 국어, 수학, 영양, 과학, 실과의 순으로 나타났다. 이는 국내외 플립러닝 관련 체계적 문헌 고찰 및 메타분석 논문을 검토한 결과 아직까지 발견되지 않았던 내용이다. 그리고 본 연구의 결과를 통해 국내에서의 플립러닝 적용이 해외보다 더 활발하게 이루어지고 있음을 확인하였다. 이와 관련하여 Lo와 Hew(2017)는 해외 플립러닝 연구가 주로 수학 교과를 중심으로 이루어지는 한계를 지적하였다. Bergmann과 Sams(2016)는 모든 교과목에서 플립러닝 적용이 가능하다고 설명하였는데, 이를 통해 추후 연구자들은 미술, 체육, 도덕 등의 영역에서도 플립러닝 활용 방안에 대한 논의와 실천이 필요할 것이다.

일곱째, 초등학생들의 성취수준에 따라 효과크기를 비교한 결과, 하, 중, 상의 순으로 나타났다. Bergmann과 Sams(2012)는 수업의 필수 개념을 미리 습득하고 교실에서는 상호작용을 통해 의미 있는 경험을 하는 학습의 반복적 특성으로 인해 성취 수준이 낮은 학생들에게 더 효과적일 수 있다고 설명하였다. Adams와 Gingras(2017)도 교실에서 이루어지는 참여형 수업에 학생들이 적극적으로 참여할 수 있도록 다양한 교수학습 모형이 적용되는 이유로 하위권 학생들에게 더 많은 도움이 될 수 있다고 주장하였다.

여덟째, 학생들의 성별에 따라 효과크기를 비교한 결과, 여자, 남자, 남녀의 순으로 나타났다. 이 결과는 플립러닝을 활용한 수업에서 여학생들이 상대적으로 더 높은 수준의 성취도를 보인다고 설명하는 Gross 외(2015)의 연구 결과와 일치한다. Gross 외(2015)는 그 이유로 여학생들의 경우 외향적인 남학생들이 주도하는 실제 수업에서는 소외되는 경향이 있지만, 수업 이전에 개별적으로 학습하는 기회를 통해 자기주도학습능력을 발휘하여 학업성취도가 향상될 수 있다고 설명한다. 이와 함께 여러 선행연구를 통해 플립러닝의 유연성 있는 학습 환경과 방식이 스스로 학습을 조절하는 성향이 높은 여학생들에게 더 효과적임을 확인할 수 있었다(Bergmann & Sams, 2012; Chen, Yang, & Hsiao, 2016; Fischer, Schult, & Hell, 2012; Gonzalez-Gomez et al, 2012).

아홉째, 사전 학습 자료의 유형에 따라 효과크기를 비교한 결과, 인터넷 자료를 활용한 경우, 교사가 직접 제작한 자료를 활용한 경우, 앞서 제시된 두 자료를 함께 활용한 경우의 순으로 나타났다. 이러한 연구 결과는 교사 주도적으로 사전 학습 자료를 제작하고 활용하는 경우에 더 바람직한 학습 결과를 기대할 수 있다는 Adams와 Gingras(2017)의 주장을 뒷받침하는 것으로 나타났다. 한편, Lo와 Hew(2017)는 교사가 사전 학습 자료를 동영상으로 제작하는 경우 학생 인지 수준을 감안하여 6분 이내의 분량이 적절하다고 설명하였다.

열째, 사전 학습 자료를 예습한 후 성찰일지 작성 여부에 따라 효과크기를 비교한 결과, 작성한 경우, 작성하지 않은 경우의 순으로 나타났다. Sage와 Sele(2015)는 플립러닝에서 학생들이 사전 학습 내용을 요약정리하고 추가 질문 마련 등의 절차를 통해 학습을 미리 준비하기 때문에 그 효과가 더 높게 나타날 수 있다고 설명하였다. Huang과 Hong(2016)도 사전 학습 자료를 통한 기본 개념 이해와 교실 수업 준비로 인해 플립러닝을 통한 수업이 교육목표 달성에 특히 더 효과적일 수 있다고 논의하였다.

마지막으로 운영횟수가 많을수록 플립러닝의 효과가 큰 것으로 밝혀졌다. 이는 연구 기간이 길수록 플립러닝의 효과가 높다고 보고한 DeLozier와 Rhodes(2017)의 연구 결과와 유사한 것으로 해석될 수 있다.

이와 함께 본 연구의 결과를 바탕으로 초등학교에서 플립러닝을 적용할 때 고려해야 하는 특성들을 정리하면 다음과 같다. 첫째, 교사는 사전 학습 자료를 직접 제작하여 활용하는 것이 바람직하다. 둘째, 학생들이 사전 학습에 대한 성찰 일지를 반드시 작성할 수 있도록 격려하고 안내해야 한다. 셋째, 모둠을 편성하는 경우에는 남학생과 여학생을 구분하여 독립적으로 활동할 수 있도록 안내하는 것이 바람직하다. 마지막으로 플립러닝은 모든 교과에서 효과적으로 활용될 가능성이 있기 때문에 적극적으로 연구하여 교수학습 과정에 도입해야 한다.

2. 시사점

이 연구의 결과가 교육현장에 주는 시사점은 다음과 같다.

첫째, 플립러닝의 효과를 고려할 때 초등교육 현장에서 이를 적극적으로 활용하는 방안에 대한 논의가 필요할 것이다. 선행 연구에서는 플립러닝이 주로 학업성취도와 관련하여 검토되는 것으로 나타났지만, 본 메타분석을 통해 인지적·정의적 영역에서도 효과가 있음을 확인할 수 있었다. Bergmann과 Sams(2016)는 플립러닝이 초등학생 발달의 모든 영역에 효과적이라고 설명하면서 교사들의 적극적인 참여를 통해 다양한 측면의 교육목표 달성이 가능함을 주장하였다. Lo와 Hew(2017) 역시 플립러닝을 통해 전인교육이 이루어질 수 있으며, 학업성취도 향상에 국한하여 그 활용 가능성을 제한하는 것은 바람직하지 않다고 설명하였다.

둘째, 교사는 교과 내용을 파악한 후 학생들의 수준을 고려하여 사전 학습 자료를 직접 제작해야 할 것이다. 본 연구결과에서는 교사가 읽기 자료나 동영상을 직접 제작하여 배포한 경우에 효과크기가 가장 큰 것으로 나타났다. Adams와 Gingras(2017)는 수업에 참여하는 학생의 능력을 고려하여 교사가 적절한 자료를 제공할 때 학생들의 참여와 목표 달성 수준이 높아질 수 있다고 설명하였다. 한편, Lo와 Hew(2017)는 동영상의 경우에 학생 주의집중과 인지 수준을 고려하여 6분 이내로 편집할 것을 권고하였다. 이와 함께 Talbert(2017)는 플립러닝에서 동영상 이외에도 음성 녹음을 통한 강의 등이 활용될 수 있다고 설명하였다. 동시에 진정한 플립러닝의 실천을 위해서는 교사가 반드시 최신 기기를 활용하여 수업 자료를 만들어야 한다는 오해에서 벗어나 학생 참여형 수업을 구성하는 것이 핵심임을 주장하였다.

셋째, 학습부진과 학습장애 학생을 위한 수업에서 플립러닝 활용이 논의되어야 할 것이다. 이 연구에서는 성취수준이 가장 낮은 학생들을 대상으로 한 플립러닝의 효과가 중상위권 학생들보다 높은 것으로 나타났으며, DeLozier와 Rhodes(2017)의 연구결과와도 일치하였다. 이러한 결과들은 플립러닝이 학습부진과 학습장애 학생들의 발달과 학업성취도 향상에 긍정적으로 작용할 수 있는 주장에 대한 실증적 근거가 될 수 있을 것이다.

3. 제언

본 연구 결과를 통해 향후 연구 방향을 제시하면 다음과 같다.

첫째, 플립러닝의 효과를 미술, 체육 등의 예체능 교과에서도 탐색하려는 시도가 이루어져야 한다. 현재까지 국내에서 보고된 개별 연구 중 심동적 영역의 효과를 보고한 논문이 이미진(2017)의 연구 1편인 것도 같은 맥락에서 해석 가능하다. 따라서 심동적 영역에 대한 후속 연구의 축적을 통해 플립러닝 효과를 기타 발달 영역과 비교하고, 그 결과의 일반화 가능성에 대해 새롭게 논의하는 작업도 필요할 것이다.

둘째, 학업성취수준이 높은 학생들을 대상으로 한 플립러닝의 효과가 상대적으로 낮은 이유에 대한 탐구가 필요하다. 후속 연구에서 질적연구방법을 적용하여 면담이나 관찰 등을 통해 상위권 학생들의 플립러닝에 대한 인식을 파악하는 것도 의미 있는 연구가 될 수 있을 것이다.

셋째, 플립러닝의 효과를 관련 변인들과 연계하여 구체적으로 논의할 수 있도록 많은 후속연구가 이루어져야 한다. 이 연구에서 연구 특징 변수가 연속형인 경우에 대하여 메타회귀분석을 실행한 결과 회귀계수 값이 통계적으로 유의한 수준이 아닌 것은 실증연구가 부족한 것도 한 원인이 될 수 있다. 이와 함께 적절한 수준의 플립러닝 운영 기간, 운영 횟수 등에 대한 탐색도 후속연구를 통해 이루어져야 할 것이다.

참고문헌 (별표(*)가 표시된 문헌은 메타분석에 포함된 연구임.)

1.

*김여진(2016). 거꾸로 수업을 활용한 TRIZ 발명 프로그램 개발. 석사학위논문, 서울교육대학교..

2.

*김은주(2015). 역전학습(Flipped Learning)의 활용이 초등학교 국어과 수업에서 학업성취도, 자기주도학습능력과 수업만족도에 미치는 효과. 석사학위논문, 단국대학교..

3.

*김재환(2017). 거꾸로 학습(Flipped Learning) 적용 수업에서 나타난 학습동기 변화 연구 : Keller의 ARCS모델을 중심으로. 석사학위논문, 경인교육대학교..

4.

*김진성(2016). 거꾸로 수업을 적용한 초등 과학수업이 학업성취도와 자아효능감에 미치는 효과. 석사학위논문, 경인교육대학교..

5.

*류현정(2017). 거꾸로 교실 수업 방식이 학생의 수학적 성향 및 수학적 의사소통 능력에 미치는 영향. 석사학위논문, 서울교육대학교..

6.

박에스더, 박지현(2016). 플립러닝에 대한 메타 연구: 성공적 적용요건과 향후 연구방향. 한국데이터정보과학회지, 27(1), 169-178..

7.

*박지민(2015). 플립러닝(flipped learning)을 활용한 수학 수업이 학생들의 학업 성취에 미치는 영향. 석사학위논문, 경인교육대학교..

8.

*박희애(2016). 수학과에서 지식의 영역에 따른 Flipped learning 적용이 학업성취도에 미치는 영향. 석사학위논문, 한국교원대학교..

9.

*방운배(2016). 초등과학과 거꾸로 수업에서 유인물 형태의 학습 안내 제시물의 적용 가능성 탐색. 석사학위논문, 경인교육대학교..

10.

*배주희(2016). Flipped Learning기반 협력학습이 저학년 학생의 기초탐구능력에 미치는 영향. 석사학위논문, 대구교육대학교..

11.

*배진호, 김진수, 김은아, 소금현(2015). 스마트 기기를 활용한 역진행 자유탐구 수업이 초등학생의 디지털 리터러시, 21세기 핵심 역량, 과학적 태도에 미치는 영향. 초등과학교육, 34(4), 476-485..

12.

서미옥(2016). 플립드 러닝의 효과성에 대한 메타분석. 교육공학연구, 32(4), 707-741..

13.

*신영준, 김진성, 이성희, 하지훈(2016). 거꾸로 수업(Flipped Learning)을 적용한 초등학교 과학과 생명 영역 수업의 효과 탐색. 생물교육, 44(1), 60-71..

14.

*신영준, 하지훈, 홍준의, 전영석, 이수영, 박지선, 지재화, 이수아, 문혜숙, 이성희(2016). 거꾸로 수업을 지원할 수 있는 과학교과서 모형 개발 연구. 과학교육연구지, 40(1), 90-102..

15.

*양혜림(2017). 플립 러닝(Flipped Learning)을 적용한 음악 감상 수업이 초등학교 5학년 음악적 개념 이해에 미치는 영향. 석사학위논문, 경인교육대학교..

16.

*예민지(2017). 거꾸로 학습법을 적용한 파닉스 프로그램이 한국 초등학생의 영어 문해력 발달에 미치는 영향. 석사학위논문, 국제영어대학원대학교..

17.

이동엽. (2013). 플립드 러닝 교수학습 설계모형 탐구. 디지털융복합연구, 11(12), 83-92..

18.

*이미진(2017). 거꾸로 학습(Flipped Learning) 기반 초등학교 영양교육에서 나타난 영양 인식과 식습관 변화 연구. 석사학위논문, 경인교육대학교..

19.

*이병희, 이형철(2016). 플립드 러닝(Flipped Learning)을 활용한 과학수업이 과학 학업성취도와 과학적 태도에 미치는 효과. 초등과학교육, 35(1), 78-88..

20.

*이승직(2016). 거꾸로 학습이 초등학생의 자기주도적학습력과 학습동기에 미치는 효과. 석사학위논문, 대구교육대학교..

21.

*이승훈(2016). 스토리텔링 앱을 활용한 플립드 러닝이 학업 성취도에 미치는 영향. 석사학위논문, 서울교육대학교..

22.

*이아영(2016). Flipped learning을 활용한 초등 영어 수업이 영어 성취도와 자기 주도적 학습능력에 미치는 영향. 석사학위논문, 경인교육대학교..

23.

*이정은, 정혜영(2017). 플립러닝(Flipped Learning) 기반 초등 영어과 프로그램이 학습자의 말하기 능력, 창의적 인성 및 학습몰입도에 미치는 영향. 학습자중심교과교육연구, 17(14), 251-273..

24.

이정표, 이주영, 권동택(2012). 교육적 소통을 통한 학습자 중심 수업의 본질 논의. 학습자중심교과교육연구, 12(4), 643-661..

25.

*이희명, 엄우용(2017). 교육용 SNS를 활용한 플립드러닝 수업 효과 분석: 초등학교 수학과를 중심으로. 교육정보미디어연구, 23(1), 109-138..

26.

*이희숙, 강신천, 김창석(2015). 플립러닝 학습이 학습동기 및 학업성취도에 미치는 효과에 관한 연구. 컴퓨터교육학회논문지, 18(2), 47-57..

27.

*전정희(2016). 플립러닝을 활용한 장애이해교육이 비장애학생의 장애수용 태도에 미치는 효과. 석사학위논문, 대구교육대학교..

28.

*정민, 김현진(2016). 초등학교 플립드 러닝의 효과 분석: 학업성취도와 교과 태도를 중심으로. 교육정보미디어연구, 22(3), 463-484..

29.

*정진아, 배진호, 소금현(2015). 거꾸로 교실을 적용한 과학수업이 초등학생의 과학 학습 동기 및 학업성취도에 미치는 영향. 생물교육, 43(4), 333-343..

30.

*진민혜, 신영준(2016). 거꾸로 수업을 활용한 과학 중심 STEAM 프로그램이 학생의 수업 참여도에 미치는 영향. 한국초등교육, 27(3), 77-98..

31.

*최정수, 전우천(2016). 플립드 러닝이 초등학생 수학학업성취도에 미치는 영향분석 연구. 예술인문사회융합멀티미디어논문지, 6(4), 201-210..

32.

*하지훈, 방운배, 이성희, 신영준(2016). 초등학교 계절의 변화 수업에서 학습안내 제시물을 활용한 거꾸로 수업의 효과 탐색. 과학교육연구지, 40(3), 238-253..

33.

*형성아(2016). 플립드 러닝(Flipped Learning)을 활용한 초등학교 음악수업이 자기주도학습 능력에 미치는 영향. 석사학위논문, 이화여자대학교..

34.

Adams, P., & Gingras, H. (2017). Blended Learning & Flipped Classrooms: A Comprehensive Guide. The Part-Time Press..

35.

Becker, B. (1988). Synthesizing standardized mean change measures. British Journal of Mathematical and Statistical Psychology, 41(2), 257-278. .

36.

Betihavas, V., Bridgman, H., Kornhaber, R., & Cross, M. (2016). The evidence for ‘flipping out’: A systematic review of the flipped classroom in nursing education. Nurse Education Today, 38, 15-21. .

37.

Bergmann, J., & Sams, A. (2012). Flip your classroom: Reach every student in every class every day. Washington, D.C.: International Society for Technology in Education..

38.

Bergmann, J., & Sams, A. (2015). Flipped Learning for Elementary Instruction. Eugene, OR: International Society for Technology in Education..

39.

Bergmann, J., & Sams, A. (2016). Flipped Learning for Elementary Instruction. Eugene, OR: International Society for Technology in Education..

40.

Borenstein, M., Hedges, L., Higgins., & Rothstein, H. R. (2009). Introduction to meta-analysis. West Sussex: John Wiley & Sons, Ltd. .

41.

Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Hillsdale, NJ: Erlbaum..

42.

Cooper, H. M. (2009). Research synthesis and meta-analysis: A step by step approach (4th ed.). Thousand Oaks, CA: Sage. .

43.

Chen, S., Yang, S., & Hsiao, S. (2016). Exploring student perceptions, learning outcome and gender differences in a flipped mathematics course. British Journal of Educational Technology, 47(6), 1096-1112. .

44.

DeLozier, S. J., & Rhodes, M. G. (2017). Flipped classrooms: A review of key ideas and recommendations for practice. Educational Psychology Review, 29(1), 141-151. .

45.

Fischer, F., Schult, J., & Hell, B. (2012). Sex differences in secondary school success: why female students perform better. European Journal of Psychology Education, 28(2), 529-543. .

46.

Flipped Learning Network(2018, April 3). Definition of Flipped Learning. Retrieved from https://flippedlearning.org/definition-of-flipped-learning.

47.

Glass, G. V. (1976). Primary, Secondary, and Meta-Analysis of Research. Educational Researcher, 5(10), 3-8. .

48.

González-Gómez, F., Guardiola, J., Rodríguez, Ó. M. & Alonso, M. Á. M. (2012). Gender differences in e-learning satisfaction. Computers & Education, 58(1), 283-290. .

49.

Gross, D., Pietri, E. S., Anderson, G., Moyano-Camihort, K., & Graham, M. J. (2015). Increased Preclass Preparation Underlies Student Outcome Improvement in the Flipped Classroom. Retrieved from https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4710397.

50.

Hedge, L., & Olkin, I. (1985). Statistical methods for meta-analysis. San Diego, CA: Academic Press..

51.

Huang, Y. N., & Hong, Z. R. (2016). The effects of a flipped English classroom intervention on students’ information and communication technology and English reading comprehension. Educational Technology Research and Development, 64(2), 175–193. .

52.

Karabulut-Ilgu, A., Cherrez, N. J., & Jahren, C. T. (2017). A systematic review of research on the flipped learning method in engineering education. British Journal of Educational Technology. Advance online publication. DOI: 10.1111/bjet.12548 .

53.

KBS (2014). Flipped classroom [KBS Panorama 21th education revolution-finding the future class]. Seoul..

54.

Lipsey, M., & Wilson, D. (2001). Practical meta-analysis. Thousand Oaks, CA: Sage..

55.

Lo, C. K., & Hew, K. F. (2017). A critical review of flipped classroom challenges in K-12 education: Possible solutions and recommendations for future research. Research and Practice in Technology Enhanced Learning, 12(4), 1-22. .

56.

O'Flaherty, J., & Phillips, C. (2015). The use of flipped classrooms in higher education: A scoping review. Internet and Higher Education, 15, 85-95. .

57.

Orwin, R. (1983). A Fail-Safe N of Effect Size in Meta-Analysis. Journal of Educational Statistics, 8, 157-159. .

58.

Lea, S. J., Stephenson, D., & Troy, J. (2003). Higher education students’ attitudes to student-centred learning: Beyond ‘educational bulimia’? Studies in Higher Education, 28(3), 321-334. .

59.

Milman, N. B. (2012). The flipped classroom strategy: What is it and how can it best be used?. Distance learning, 9(3), 85-87..

60.

Sage, M., & Sele, P. (2015). Reflective Journaling as a Flipped Classroom Technique to Increase Reading and Participation With Social Work Students. Social Work Education, 51(4), 668-681. .

61.

Schmidt, S., & Ralph, D. L. (2016). The Flipped Classroom: A Twist on Teaching. Contemporary Issues in Education Research, 9(1), 1-6. .

62.

Talbert, R. (2017, January 12). No, you do not need to use video in flipped learning (and five alternatives). Retrieved from http://rtalbert.org/flipped-learning-without-video/.