교육평가

PISA 2015 협력적 문제해결력에 영향을 미치는 학생 및 학교 수준 특성 분석1):

김혜숙1, 함은혜2,*
Hye-Sook Kim1, Eun Hye Ham2,*
Author Information & Copyright
1대구대학교 부교수
2공주대학교 조교수
1Associate Professor, Daegu University
2Assistant Professor, Kongju National University
*교신저자, thanks02@gmail.com

© Copyright 2019, Korea Institute for Curriculum and Evaluation. This is an Open-Access article distributed under the terms of the Creative Commons Attribution NonCommercial-ShareAlike License (http://creativecommons.org/licenses/by-nc-sa/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Jul 03, 2019; Revised: Aug 02, 2019; Accepted: Aug 14, 2019

Published Online: Aug 31, 2019

요약

이 연구의 목적은 PISA 2015 한국 자료를 중심으로 학생들의 협력적 문제해결력에 영향을 끼치는 학생 개인 및 학교 특성을 파악하되, 과학성취도와 비교하여 그 영향요인을 비교·분석하는 것이다. 이를 위해, 168개 학교에 재학 중인 5,581명의 한국 학생들의 응답 자료를 2수준 다층모형 분석을 활용하여 분석하였다. 주요 연구 결과는 다음과 같다. 첫째, 총 분산에서 학교 간 분산이 차지하는 비율은 협력적 문제해결력 21.7%, 과학성취도 25.1%로 나타났다. 둘째, 배경 변인과 관련하여 협력적 문제해결력은 여학생이 남학생보다 높았고, 과학성취도와 비교하여 사회경제적 지위 변인의 영향에 덜 민감했다. 셋째, 협력 관련 태도 변인은 학생 및 학교 특성을 통제한 최종 모형에서 고유한 설명력이 없었으며 환경문제에 대한 인식이 협력적 문제해결력을 정적으로 예측하였다. 성취동기는 과학성취도를 정적으로 예측하나, 협력적 문제해결력에 유의한 영향을 미치지 못하였다. 넷째, 수업 특성의 경우, 교사의 적응적 교수전략은 협력적 문제해결력과 과학성취도를 정적으로 예측한 반면, 교사의 학생 차별은 두 역량에 모두 부정적인 영향을 주었다. 다섯째, 학교 평균 교사의 학생 차별과 학교 평균 부정적 학생문화는 학생 개인 수준의 인식을 통제한 후에도, 두 역량을 모두 부적으로 예측하였다. 마지막으로, 협력적 문제해결력과 관련된 향후 연구과제와 이를 위한 학교 교육 방안이 논의되었다.

ABSTRACT

This study aims to investigate which students and school characteristics could affect students’ collaborative problem solving (CPS), comparing with science achievement in PISA 2015. The data included a total of 5,581 Korean students from 168 schools, and 2-level models were constructed including student non-cognitive characteristics, classroom and school experience. Main findings are as follows: First, the ratio of variance between schools in total variance was 21.7% for CPS and 25.1% for science achievement. Second, CPS was higher in female students than male students, and less dependent on parent’s social economic status. Third, while attitude towards relationship and collaboration did not predict CPS, students’ awareness of environmental issues was significantly and positively associated with CPS. Achievement motivation positively predicted science achievement but not CPS. Fourth, teachers’ adoptive teaching strategies positively affected both CPS and science achievement while teachers’ unfairness negatively affected both outcomes. Finally, school-level teachers’ unfairness and negative school climate were negatively associated with both CPS and science achievement. Further research questions and practical implication were suggested.

Keywords: PISA 2015; 협력적 문제해결력; 과학성취도; 학생 특성; 학교 특성; 2수준 다층모형
Keywords: PISA 2015; Collaborative Problem Solving; Science Achievement; Student Characteristics; School Characteristics; Multi-level models

Ⅰ. 서론

21세기 역량에 대한 전 세계적 관심은 역량의 개념 정의 및 체계에 대한 학문적 논의에서 나아가 학생들의 역량을 교육을 통해 어떻게 제고시킬 것인가에 대한 실천적 논의로 확대되고 있다. 우리나라는 2015 개정 교육과정을 통해 자기관리 역량, 지식정보처리 역량, 창의적 사고 역량, 심미적 감성 역량, 의사소통 역량, 공동체 역량 등 6대 핵심역량을 기초로 교과 역량을 구체화하고, 학생의 수업 참여를 유도하는 방식으로 나아가고 있다. 특히, 의사소통 역량과 공동체 역량은 개인의 일상생활과 직업 세계에서 요구되는 협업 능력과 밀접하게 맞닿아있다. 협업 능력은 다양한 신체적 그리고 심미적 능력을 보유한 개인이 이웃과 함께 조화를 이루기 위해 노력하고 개인이 혼자서 해결하기 어려운 일들에 대하여 상호작용을 원활히 촉진하여 해결하도록 한다(OECD, 2017a). OECD의 국제학업성취도평가(Programme for International Student Assessment: 이하 PISA)에서 이전에는 개인 차원의 문제해결력(Problem Solving)이 측정되었으나, PISA 2015에서는 협력적 문제해결력(Collaborative Problem Solving)을 새롭게 평가한 것은 현대 사회에서 가지는 협업 능력의 중요성을 주목한 것이라고 볼 수 있다.

PISA 2012에서 문제해결력은 ‘명확한 해결 방법을 즉시 찾을 수 없는 상황일 때, 그 문제 상황을 분명히 이해하고, 해결하는데 필요한 인지적 과정과 관련된 개인의 능력’(송미영 외, 2014; OECD, 2014)으로 정의된다. 반면에 PISA 2015의 협력적 문제해결력은 수행능력을 평가받는 학생이 ‘두 명 이상의 가상의 인물과 함께 문제를 해결하는 상황에서 해결책을 찾는데 필요한 이해와 노력을 공유하고, 해결책에 도달하기 위한 지식, 기술, 노력을 모으는 과정에 효과적으로 참여할 수 있는 개인의 역량’이다(OECD, 2017a, p. 32). 즉, 개인이 가상의 문제 상황에 대해서 소통하고, 그들의 관점과 기술을 활용하여 개인이 해결하기 어려운 과제를 함께 해결하도록 한다. 따라서 협력적 문제해결력은 인지적 측면의 문제해결 기술과 사회적 의사소통 기술로 구성된 구인으로 볼 수 있다(O’Neil, Chuang & Chung, 2003). PISA 2015의 협력적 문제해결력은 협력이 요구되는 문제 상황이 제시되고, 그러한 문제 해결 과정에 타인과 협력할 수 있는 태도가 강조되고 있다는 점에서 인지적 능력만을 강조하는 PISA 2012의 문제해결력과 차이가 있다.

우리나라는 PISA 2015 협력적 문제해결력 평가에서 OECD 국가 중에서는 2~5위, 전체 참여국 중에서는 3~7위를 차지하였다(OECD, 2017a). OECD 국가 중 1위, 전체 참여국 중에서는 1~2위 수준이었던 PISA 2012의 문제해결력 평가 결과(OECD, 2014)와 비교하면 동일 수준을 지속하여 유지하였다고 보기 어렵다. 또한 PISA 2015 협력적 문제해결력의 성취수준별 학생 비율에서 상위 수준인 4수준 이상의 학생 비율이 10.4%에 불과해 싱가포르(21%), 일본(14%)보다 낮을 뿐 아니라 비슷한 순위를 보인 캐나다(15.7%), 핀란드(14.4%), 에스토니아(12.2%)에 비해서도 낮은 것으로 나타났다. 개인 수준의 문제해결력보다 상대적으로 낮은 결과를 보인 협력적 문제해결력의 개념과 구인이 무엇이며, 협력적 문제해결력 구인에 영향을 끼치는 학생 개인 및 학교 특성을 살펴볼 필요성이 제기된다.

한편 지금까지 우리나라 학생들의 PISA 성취가 학생 및 학교 수준 맥락변인과 어떤 관련을 가지는가에 대한 다양한 분석이 시도되었으나 주로 읽기, 수학, 과학 영역과 관련된 분석이 주를 이루었다. PISA 2015 협력적 문제해결력에 대한 국내 연구는 주로 개념, 영역 및 평가 방안(박해영, 임해미, 2014; 임해미, 2013; 조지민 외, 2012)을 중심으로 이루어졌으며, 최근 김성숙, 임효진, 정혜경(2018)의 연구에서는 학생의 성별, 사회경제적 지위, 협력 관련 태도와 협력적 문제해결력의 관계를 살펴본 바 있다. 본 연구에서는 김성숙, 임효진, 정혜경(2018)의 연구를 확장하여 학생의 다양한 비인지적 특성들과 교사 및 학교 특성들이 협력적 문제해결력과 어떠한 관계를 보이는지를 탐색하고자 하였다. 특히, 구체적으로 협력적 문제해결력이 인지적 특성을 포함하고 있다는 점에서, 교수-학습 관련 변인들을 포함하였으며, 컴퓨터 기반 검사로 측정된 것을 감안하여 ICT 관련 역량 및 태도에 대한 변인을 포함하였다. 그뿐 아니라 학교 특성으로 수업, 교사, 학교 풍토 변인을 포함하여 협력적 문제해결력과 학교 교육과의 관련성을 파악할 수 있도록 하였다.

또한 이 연구에서는 이와 같은 학생 수준, 교실 및 수업 수준, 학교 수준의 설명변인들이 협력적 문제해결력 뿐만 아니라 PISA 2015의 주 평가영역인 과학 성취도에 어떻게 영향을 미치는지를 함께 비교·분석하고자 하였다. 협력적 문제해결력과 관련이 있는 것으로 예상되는 변인뿐만 아니라 여러 선행연구를 통해서 교과 성취도와 관련이 있는 것으로 알려진 변인들을 포함하여 각 변인들이 협력적 문제해결력과 교과 성취도를 유의하게 설명할 수 있는지를 살펴보았다. 이는 각 변인들이 협력적 문제해결력과 교과 성취도에 동일한 혹은 유사한 방식으로 영향을 미치는지 혹은 각각에 차별적인 방식으로 영향을 미치는지를 파악하기 위함이다. 즉, 교과 성취도에는 긍정적인 영향을 미치나 협력적 문제해결력과는 관계가 없거나 오히려 부정적인 영향을 미치지는 않는지, 혹은 교과 성취도와 관련된 변인들은 모두 협력적 문제해결력에 영향을 미치는지 등을 확인함으로써, 학교 교육에 대한 시사점을 종합적으로 도출할 수 있을 것으로 기대하였다.

본 연구의 목적은 PISA 2015 협력적 문제해결력 평가 결과를 중심으로 학생 개인 및 학교 맥락 변인이 학생들의 문제해결력 성취에 어떻게 영향을 미치는지를 파악하는 것이다. 특히, PISA 2015의 주 평가 영역인 과학 성취도와 비교하여 협력적 문제해결력에 영향을 끼치는 변인이 교과 성취도와 비교하였을 때 차이가 있는가를 살펴보고자 한다. 본 연구의 구체적인 연구 질문은 다음과 같다.

첫째, PISA 2015 협력적 문제해결력의 학교 간 분산의 크기는 어느 정도인가? 특히, 과학 성취도와 비교했을 때 어느 수준인가?

둘째, PISA 2015 협력적 문제해결력에 영향을 끼치는 개인 특성은 무엇인가? 이는 과학 성취도에 끼치는 영향과 비교했을 때 어떠한 차이가 있는가?

셋째, PISA 2015 협력적 문제해결력에 영향을 끼치는 학교 및 수업 특성은 무엇인가? 이는 과학 성취도에 끼치는 영향과 비교했을 때 어떠한 차이가 있는가?

Ⅱ. 선행연구 분석

1. PISA 2015 협력적 문제해결력
가. 협력적 문제해결력의 개념과 구인

Mayer & Wittrock(2006)은 문제해결 과정을 ‘명확한 해결 방안이 존재하지 않는 상황에서 목표가 있는 상황으로 전환’하는 것으로 정의하고 있다. 이 과정은 크게 네 가지 과정으로 설명된다(OECD, 2010) : (a) 문제 상황에 대해서 정보를 생성함으로써 탐색하고 이해하는 단계, (b) 수집된 정보를 문제에 대한 정신적 모델(mental model)로 축약하고 통합함으로써 표현하고 형성하는 단계, (c) 원하는 목표 상태에 도달하기 위한 행동을 수행함으로써 계획하고 실행하는 단계, (d) 메타인지 기술을 사용하여 평가하고 반영하여 문제해결의 전체 과정을 평가하고 반성하는 단계이다. Greiff(2012)는 협력적 문제해결의 정의 역시 이러한 개인적 차원의 문제해결 과정의 프레임을 따른다고 주장한다. 개인적 차원의 문제해결력은 구체화 되지 않은 문제해결 영역을 나타내는 교과 통합적인 능력으로 정의된다. 그는 Novick, Hurley & Francis(1999)의 연구를 토대로 새로운 문제 구조를 이해할 때 추상적인 표상을 위한 스키마가 구체적인 문제 예시보다 더 유용하기 때문에 일반적인 문제해결 절차가 중요하다고 강조하였다. OECD 역시 ‘해결 방안이 당장 명확하지 않을 때 문제 상황을 이해하고 해결하는데 필요한 인지적 과정에 참여하는 역량’으로 문제해결력을 정의하고 있다(OECD, 2010, p. 10).

협력적 문제해결력에 관한 선행연구는 많지는 않으나 공통으로 강조하는 개념은 세 가지이다(O’Neil et al., 2003). 첫째, 적어도 두 명 이상의 집단이 구성되어야 하고, 둘째, 문제 상황에서 달성이 필요한 공유된 목표가 존재해야 하며, 셋째, 인지적, 사회적 그리고 의사소통 기술이 문제를 해결하는데 사용되어야 한다는 점이다. O’Neil 외(2003)에 따르면 협력적 문제해결 과정에는 리더십, 상호작용, 그리고 사회적 기술의 세 가지 의사소통 과정이 존재한다. 따라서 협력적 문제해결력은 두 가지 차원으로 이해되어야 하는데, 첫 번째 차원의 구인은 문제해결력 그 자체로 인지 역량을, 두 번째 차원의 구인은 협력으로서 사회적 소통 능력을 포함한다. 따라서 협력적 문제해결 과정은 이 두 구인을 모든 단계에서 함께 고려한다.

협력적 문제해결력과 관련하여 OECD(2013)는 최종적으로 다음의 주된 협력 과정을 제안하였다. 첫째, 공유된 이해를 세우고 유지하는 능력이다. 이 능력은 타인의 능력을 발견하고 각자의 능력에 대한 정보를 수집하며, 문제에 관해서 토론하는 것이다. 집단적 과제에 대해 모니터링과 해결을 위해 의사소통이 요구된다. 둘째, 문제를 해결하기 위해 적절한 행동을 하는 능력이다. 이를 위해서는 필요한 상호작용의 유형을 이해하고 누가 무엇을 할지 확인해야 한다. 과제에 대해서 토론하고, 다른 사람과 수행 계획을 세우고, 주어진 역할을 수행한다. 이때 타인의 과제 수행에 대해서 모니터링하고 평가한다. 셋째, 팀을 구성하고 유지하는 능력이다. 역할에 대해서 질문을 통해 역할을 정하거나 참여의 규칙을 따르거나 팀 형성에 관해 모니터링하는 것이다. <표 II-1>은 협력적 문제해결력에서 요구되는 능력을 제시하였다. 여기서 (1)-(3)은 협력 과정을, (A)-(D)는 문제해결 과정을 제시하였으며 이들의 조합에 의한 매트릭스로 협력적 문제해결력의 구인이 설명된다.

표 II-1. PISA 2015의 협력적 문제해결력 매트릭스 (OECD, 2013, p.11)
문제해결\협력 (1) 공유된 이해를 세우고 유지하기 (2) 문제를 해결하기 위해 적절한 행동을 하기 (3) 팀을 구성하고 유지하기
(A) 탐색하고 이해하기 (A1) 팀 구성원의 관점과 능력을 발견하기 (A2) 목표에 맞게 문제를 해결하기 위한 협력적 상호작용 유형 발견하기 (A3) 문제를 해결하기 위한 역할을 이해하기
(B) 표현하고 형성하기 (B1) 문제의 의미를 공유해서 표현하고 협상하기 (B2) 완수되어야 하는 과제를 확인하고 묘사하기 (B3) 역할과 팀 조직을 기술하기(규칙과 약속을 의사소통하기)
(C) 계획을 세우고 실행하기 (C1) 수행해야 하는 행동에 대해서 팀 구성원과 의사소통하기 (C2) 계획을 실행하기 (C3) 약속의 규칙을 따르기
(D) 모니터링하고 반성하기 (D1) 공유된 의사소통을 모니터링하고 복원하기 (D2) 실행의 결과를 모니터링하고 문제 해결에서 성공 여부를 판단하기 (D3) 피드백을 제공, 모니터링하고, 팀 조직과 역할을 조정하기
Download Excel Table
나. PISA 2015 협력적 문제해결력 평가

PISA 2015 협력적 문제해결력 평가 문항은 학생이 팀 구성원들과 함께 공통의 목적을 달성하기 위해 협력할 수 있는 문제 시나리오를 제공하는데, 여기서는 다음과 같은 준거를 준수할 수 있도록 하였다(He et al., 2017). 첫째, 팀 구성원의 정보와 역할은 대칭적이다. 즉, 팀 구성원들은 서로 다른 정보, 역할, 자원을 가지고 있다. 둘째, 팀에게는 복수의 해결 방안이 존재하는 문제 상황이 제공된다. 셋째, 필요한 정보가 한꺼번에 처음에 제공되는 것이 아니라 역동적으로 제공되도록 하였다. 마지막으로 팀의 크기는 최대 5명으로 제한하여 학생이 팀 구성원의 관점을 제대로 파악할 수 있도록 하였다.

PISA 2015 협력적 문제해결력 평가는 문제 상황에 관해 메신저나 이메일 등을 이용하여 컴퓨터상의 가상 인물들과 상호작용하는 ‘대화 기반(chat-based)' 방식으로 진행된다. 이 가상 인물은 학생들의 선택에 따라 과제를 추가하거나 혹은 줄이기도 하며, 추가적인 정보를 제공함으로써 학생들의 요구에 응답하는 단순한 상호작용 뿐 아니라 팀 구성원 내의 복잡한 협상 상황을 만들어내기도 한다. 협력적 문제 상황에서 쓰이는 시나리오 구조는 ‘수렴’과 ‘구조’로 설명된다(He et al., 2017). 즉, ‘수렴’(convergence)은 서로 다른 경로의 응답을 선택했을지라도 동일한 지점을 보장한다는 의미이며, ‘구조’(rescue)는 잘못된 응답을 하여 점수를 받지 못하는 경우라도 필요한 정보를 제공함으로써 점수를 받을 수 있도록 기회를 제공한다는 의미이다. 응답 방식은 학생의 선택에 따라 학생들은 주로 4개의 선택지 중 1개를 선택하여 대화를 진행하며, 그 선택이 이후의 대화 진행에 영향을 준다. 단위 문항 속에서 학생들은 문제해결에 필요한 정보를 찾거나 일정표를 만드는 등의 수행을 하게 되며, 팀 구성원들과 어떻게 의사소통을 하는가에 따라 0∼2점의 점수를 획득한다(OECD, 2013).

한편, 평가 문항이 공개된 이후 연구자들은 이와 같은 PISA 2015 협력적 문제해결력 평가 방식에 대해서 다양한 의견을 제시하고 있다. 예컨대, Nouri 외(2017)는 협력적 문제해결력의 문제 상황이 미리 구성된 대화 지도(map)의 테두리 내에서 진행되는 등 폐쇄적 형태이기 때문에 온전히 협력적 문제해결력을 평가하는데 제한이 있다고 주장한다. 그리고 가상 인물과의 상호작용이 실제 인간과의 상호작용과 충분히 유사하다고 할 수 있는가에 의문을 제기한다. 이에 대해 OECD(2017b)는 협력적 문제해결력 평가 상황은 다른 가상 인물들의 행동이 통제된 상황이기 때문에 학생의 협력적 문제 해결 능력만을 다른 가상 인물들과의 능력과 분리하여 평가할 수 있다고 주장한다. 만약 피험자가 다른 학생들과 마찬가지로 집단에 소속되어 있다면, 피험자의 수행은 그들과의 관계나 혹은 다른 학생들의 능력에 영향을 받기 때문에 온전히 피험자의 능력을 측정하기 어렵게 된다는 것이다.

2. PISA 2015 협력적 문제해결력과 맥락변인

PISA 2015 협력적 문제해결력과 교육맥락 변인의 영향을 살펴본 연구는 그리 많지 않다. 전반적으로 국내에서는 김성숙, 임효진, 정혜경(2018)의 연구에서 인지 영역의 성취점수를 통제한 잔차 점수와 통제하지 않은 점수를 분석한 결과가 있으나 개인 및 학교 특성의 영향이 어떠한가에 대해 살펴본 연구는 부족한 것으로 나타났다. 따라서 협력적 문제해결력 뿐 아니라 PISA 2012의 개인적 차원의 문제해결력에 대한 교육맥락 변인에 관한 분석 결과(김성숙, 한정아, 2016)와 PISA 2015 교과 성취도에 대한 교육맥락 변인에 관한 연구(구자옥 외, 2017; 구자옥, 구남욱, 2018; 김동욱, 손원숙, 2018; 김성숙, 한정아, 2016; 김수혜, 2018; Greiff et al., 2014; Jerrim, 2016; Lau & Lam, 2017; OECD, 2017b)를 제시하였다.

가. 협력적 문제해결력과 맥락변인

김성숙, 임효진, 정혜경(2018)는 협력적 문제해결력이 인지 영역인 읽기, 수학, 과학 성취와 관련이 높기 때문에 인지 영역의 성취점수를 통제한 잔차 점수와 통제하지 않은 점수를 각각 결과변수로 하는 두 개의 모형에서 학생과 학교 특성과의 관련성을 비교하였다. 분석결과, 우리나라 고등학생의 경우, 협력적 문제해결력은 인지적 능력의 통제 여부와 상관없이 여학생이 높았다. 즉 읽기, 수학, 과학 성취점수를 통제한 문제해결력 성취를 예측하는 성별의 효과는 약간 줄어들기는 했으나, 여전히 남학생은 협력적 문제해결력에 있어서 여학생보다 낮은 수준을 보였다(김성숙, 임효진, 정혜경, 2018). 개인적 문제해결력을 측정한 PISA 2012에서는 남학생이 여학생보다 우수하였으나, PISA 2015의 협력적 문제해결력에 있어서는 여학생 성취의 우세함이 드러났다는 것은 주지할 만한 결과이다. OECD 참여국을 대상으로 한 결과에서도 동일한 현상이 나타났다(OECD, 2017a, p. 35).

지금까지 PISA 연구는 일관되게 사회경제적 지위가 학생의 성취에 영향을 끼치는 주요한 변인 중 하나로 주목받았다. 그러나 OECD(2017a)에 따르면 사회경제적지위(ESCS)와 협력적 문제해결력의 상관은 다른 영역에서 나타나는 것보다 약했고(p. 35), 인지영역의 점수를 통제하면 국가별 차이가 있기는 하지만 낮은 ESCS의 학생들이 높은 학생들보다 우수한 성적을 보인다고 하였다(p. 36). 이는 교과 성취도보다 협력적 문제해결력과 사회경제적 지위 간 상관이 약함을 시사한다고 볼 수 있으나 전체 OECD 국가의 일반적인 경향이지 우리나라 자료만을 가지고 분석한 것은 아니기에 확인이 필요하다. PISA 2015 검사 문항이 컴퓨터 기반으로 이루어지면서 지필식 시험과 CBT(Computer-Based Test) 시험 간에 차이가 일부 지역, 예컨대 상하이-중국의 경우, 지필식 시험보다 CBT에서 50점 낮은 점수를 받았는데, 이는 단순히 CBT의 상호작용적 특성에 기인하기보다는 성차, 사회경제적 지위, 이민 여부 등의 인구 사회학적 특성에 기인할 가능성이 크다는 보고가 있다(Jerrim, 2016). 우리나라 학생 수준의 영향력이 개입되지 않은 맥락효과를 계산한 결과, PISA 2015 과학에서 학교 평균 ESCS 1단위 증가 시 과학 점수가 50점 증가하는 것으로 나타나 협력적 문제해결력의 교육맥락 변인을 구성함에 있어 학교 평균 ESCS 변인을 주요 변수로 고려할 필요가 있다(구자옥 외, 2017).

협력적 문제해결력의 비인지적 특성은 타인과의 관계를 얼마나 존중하고 있는지(관계 존중) 그리고 집단적 문제해결을 얼마나 선호하고 이것의 가치를 얼마나 긍정적으로 인식하는지(팀워크 존중)와 관련된다. 김성숙, 임효진, 정혜경(2018)에 의하면 인지적 성취점수를 통제하지 않은 협력적 문제해결 성취에는 관계 존중이 정적으로, 팀워크 존중이 부적인 관계를 나타내었다. 반면에 인지적 성취점수가 통제되면 두 변수 모두 정적인 관계를 보이지만, 관계 존중은 통계적으로 유의미하지 않은 것으로 나타난다. 이는 협력적 문제해결력 고유의 특성을 보여주는 중요한 단서이며, 종합하면 문제해결과 관련된 협력적 태도에서는 대인관계와 관련된 부분보다는 집단 역동 속에서의 사회적 기능 혹은 사회적 조절이 중요함을 말해주고 있다(Griffin, Care & McGaw, 2012; Hesse et al., 2015; 김성숙, 임효진, 정혜경, 2018에서 재인용). 협력적 문제해결력과 관련하여 선행연구 등에서 제시된 결과에 관하여 개인과 환경에 대한 인식을 포함하는 개인 특성 변인과 수업 분위기 등의 학교 특성 변인의 영향을 고려하였을 때에도 동일하게 나타날 것인가에 관하여 추가 연구가 필요하다.

한편, 김성숙, 한정아(2016) 는 2012 PISA 개인적 차원의 문제해결력 평가에서 상위권이었던 한국, 싱가포르, 일본 자료를 위계적 선형 모형을 통해 분석한 결과, 가정의 문화적 자산, 방과후 혼자 공부하는 시간, 학습 도구로서 컴퓨터의 유용성에 대한 인식, 교사와 학생 간의 관계 인식이 성취도에 영향을 끼치는 것으로 나타났다. 이러한 측면은 문제해결력에서 혼자 공부하는 시간, 컴퓨터의 유용성에 대한 인식, 교사와 학생 간의 관계 변인을 고려할 필요성을 제시하는 것으로 볼 수 있다. 특히, 학습 도구로서 컴퓨터의 유용성에 대한 인식과 관련하여 협력적 문제해결력 과제 수행에 있어 ICT 관련 변인이 영향을 끼치는 변인인지를 따져볼 필요가 있다. PISA 2015에서는 ICT 관련 변인으로 ICT 이용의 자율성, ICT에 대한 흥미, ICT에 대한 사회적 이용 등의 변인이 제시되고 있는데, 구체적인 변인별 영향을 살펴볼 필요가 있다. Greiff 외(2014)은 일부 국가에 대한 분석 결과를 토대로 ICT 리터러시가 약하게 혹은 중간 수준으로 협력적 문제해결력과 관련이 있음을 구조방정식 모형과 확인적 요인 분석 결과를 통해 제시하였다. 이러한 결과는 다른 교과 성취도와 유사한 결과로 볼 수 있다. 이 연구에서 흥미로운 점은 ICT 리터러시가 협력적 문제해결력에 끼치는 영향을 통제한 상태에서도 다른 교과 성취도보다 다른 교육적 준거를 예언하는 정도가 컸으며, 이는 다른 교과 성취도나 ICT 리터러시에서 일반적으로 발견되지 않는 복잡한 인지 과정을 포괄하는 명확한 구인이라고 제시하고 있다는 점이다. 채팅이나 SNS 등의 오락적 활용이 수학 성취도에 부적 영향을 확인할 수 있었는데(김혜숙, 2016), 본 연구에서도 이러한 측면을 함께 고려할 필요가 있을 것이다.

나. 교과 성취도와 맥락변인

다음에서는 PISA 2015 협력적 문제해결력과의 직접적 관련성은 아니지만 본 연구에서 분석하고자 하는 교수학습 변인과 심리사회적 변인 및 학교풍토 관련 변인에 대한 선행연구 결과를 제시하고자 한다.

Lau & Lam(2017)은 과학 수업을 구성하는 교실환경과 교수 실제 및 정의적, 인지적 성취 간의 관계를 구조방정식 모형을 적용하여 분석하였다. 여기서는 탐구기반 수업 6개 문항에 대한 CFA 분석 결과, 상호작용적 탐구와 상호작용적 적용으로 구분되었으며, 수업 관련 변인의 영향 중 우리나라의 결과를 보면, 교사의 피드백과 상호작용적 탐구는 과학 성취도를 부적으로, 적응적 수업 전략, 교수주도 교수 전략, 상호작용적 적용은 정적으로 예측하였다. 또한 김동욱, 손원숙(2018)에 따르면 탐구기반 수업은 과학성취도에 부적인 직·간접효과를 보였으나, 교사의 피드백 및 수업 조정은 학생의 정의적 특성을 매개로 인지적 과학성취도를 높이는 것으로 나타났다. 또한 다집단 구조방정식을 통해 매개 효과를 분석한 연구 결과를 살펴보면 교수학습을 위한 환경과 전략이 정의적 특성에 영향을 끼치며, 정의적 특성을 매개로 과학성취도에 긍정적인 영향을 끼치는 것으로 나타났다(구자옥, 구남욱, 2018). 특히, 교수학습을 위한 환경과 전략은 성취도가 낮은 집단의 정의적 특성을 높이는데 효과적인 것으로 나타났다.

사회심리적 자원과 학교풍토가 성취에 끼치는 영향 역시 간과하기 어려운데, PISA 2015 수학 성취도에 대한 분석 결과(김수혜, 2018), 청소년의 성취동기, 직업포부, 부모의 정서적 지원은 수학 성취에 유의한 것으로 확인된 반면, 부모의 교육적 지원은 유의하지 않았고, 학교 풍토의 영향력은 학교 평균 사회경제적 지위, 교사의 학생 차별, 부정적 학생문화에서 두드러지게 나타났다. 특히, 학생에 대한 교사의 차별이 성취를 저해하는 사회심리적 요인으로 확인되었다. 이러한 결과는 학생의 성취수준을 향상시키는 데 교사로부터 긍정적인 기대와 사회적 지지를 획득하는 것이 매우 중요함을 시사한다. 이러한 결과는 사회심리적 자원과 학교풍토 변인을 교과 성취도 뿐 아니라 학생들 간 협력에 대한 태도와 활동에 영향을 끼칠 수 있기 때문에 본 연구에서도 이 변인들을 고려하고자 한다.

Ⅲ. 연구 방법

1. 분석 자료

연구를 위하여 PISA 2015 한국 자료를 활용하였다. PISA 2015의 표집 대상은 만 15세 학생들로, 우리나라에서는, 총 168개 학교(중학교 23개, 고등학교 145개)의 5,749명의 학생이 참여하였으나(구자옥 외, 2017), 최종 분석 대상은 실제 자료에서 협력적 문제해결력과 과학성취도가 활용가능한 총 5,581명으로, 남학생이 2,912명(52.2%), 여학생이 2,669명(47.8%)이었다. 학교별 학생 수는 최소 7명부터 최대 36명까지 분포하였으며, 학교당 평균 학생 수는 33.2명이었다.

2. 측정 변인

PISA 2015 자료에서 성과 변인인 협력적 문제해결력 변인과 과학성취도 변인은 10개의 유의 측정값(plausible values: 이하 PV)으로 제시된다. 개별 학생의 성취 점수를 하나의 관찰값으로 제시하는 것이 아니라 문항반응이론에 근거하여 추정된 학생 능력 점수의 사후 분포로부터 10개의 성취 가능한 유의 측정값을 평균 500, 표준편차 100점의 표준화된 척도 점수로 제공한 것이다. 협력적 문제해결력 PV 간 상관은 최소 .77부터 최대 .78까지 분포하였으며, 과학성취도 10개 PV 간 상관은 최소 .91부터 최대 .92까지로 매우 유사하였다.

<표 III-1>에 제시된 독립변인은 학생 개인 배경, 학생의 비인지적 특성, 수업과 교사의 특성, 학교 특성의 4가지로 구분하여 범주화하였으며, 각각에 포함되는 구체적인 변인은 다음과 같다.

표 III-1. 분석 변인에 대한 설명과 문항 예시
구분 변인 (PISA 제공 변인명) 변인 설명(문항 예시) 문항 수
배경 변인 여학생 여학생=1, 남학생=0 1
부모의 사회경제적 지위(ESCS) 부모의 사회경제적 지위 지표 9
개인 학습 시간 주당 평균 국어 및 수학 학습시간 (학교 수업 외) 2
직업적 포부(BSMJ) 30살이 되었을 때 가지게 될 직업에 대한 기대 1
비인지적 특성1-협력과 공동체에 대한 태도 관계 지향성 (COOPERATE) 다른 사람과의 관계를 중요하게 여기고 다른 사람들의 관심과 의견을 존중하는 태도 (나는 남의 말을 잘 들어주는 사람이다; 나는 다른 사람들의 관심사를 고려한다 등) 4
협력 지향성 (CPSVALUE) 다른 사람들과의 협력이나 협업을 선호하는 태도 (나는 혼자 하는 것 보다 팀의 일원으로 일하는 것을 더 좋아한다; 나는 개인보다는 팀이 더 나은 결정을 내릴 수 있다고 생각한다 등) 4
환경문제에 대한 인식 (ENVAWAR) 환경문제에 대해 친숙한 정도 (대기 중 온실가스 증가; 유전자 조작 생물의 이용; 핵폐기물; 동식물의 멸종; 물 부족 등) 7
비인지적 특성2-학습에 대한 태도 성취동기(MOTIVAT) 학교 수업이나 학습에서 뛰어나고자 하는 동기 수준 (나는 대부분 또는 모든 과목에서 최고로 우수한 성적을 받고 싶다; 나는 매우 포부가 큰 사람이라 생각한다 등) 5
과학에 대한 인식론적 신념(EPIST) 과학적 접근에 대한 관점 (진리를 규명하기에 좋은 방법은 실험을 하는 것이다; 발견을 확인하는 데에 한번이상의 실험을 시도하는 것이 좋다 등) 6
비인지적 특성-ICT활용에 대한 태도 ICT 활용 역량 (COMPICT, AUTICT) 디지털 장치를 사용하는 데 대한 역량 (나는 집에서 디지털 장치를 사용하는 것이 편하다; 친구나 친척들이 디지털 장치에 어려움을 겪으면, 도와줄 수 있다 등) 10
ICT 흥미(INTICT) 디지털 장치를 포함하여 ICT 자료를 활용하는 데 대한 흥미 (인터넷은 내가 관심 있는 정보를 얻는 훌륭한 자원이다; 새로운 디지털 장치나 기계를 발견하면 매우 흥분된다 등) 6
ICT 사회적 활용 (SOIAICT) 디지털 장치를 사회적 관계에 활용하는 정도 (디지털 장치와 관련하여 친구들과 이야기하는 것을 좋아한다; 나는 친구들과 만나서 컴퓨터나 비디오게임하는 것을 좋아한다) 5
수업 및 교사 특성 탐구기반 수업 학생들이 스스로 사고할 수 있도록 질문, 토론, 실습 등의 방법을 활용한 교수 방식 8
적응적 수업 학생들의 이해에 따라 설명 방식이나 방법을 조정하는 교수 방식 8
학생 차별 (UNFAIRTEACHER) 지난 12개월 이내에 학교에서 교사의 차별을 경험한 정도 (선생님들은 다른 학생들보다 나를 덜 호명하셨다; 선생님들은 나를 다른 학생들보다 더 심하게 꾸짖으셨다; 선생님들은 나를 실제보다 덜 똑똑하게 생각하시는 것 같다 등) 6
학교 수준 변인 부정적 학생문화(학교평균) 부정적 학생문화의 학교별 평균값 -
교사의 학생 차별(학교평균) 교사의 학생 차별에 대한 학교별 평균값 -
사회경제적 지위(학교평균) 학생 ESCS의 학교별 평균값 -
Download Excel Table

첫째, 개인 배경변인으로는 선행연구들에서 협력적 문제해결력과 과학성취도에서 차이를 보이는 것으로 보고된 성별, 부모의 사회경제적 지위, 개인 학습시간, 직업적 포부수준을 포함하였다. 이 중 개인 학습시간은 학교 수업 이외에 학생 개인이 국어와 수학 학습에 사용하는 시간을 활용하였는데, 이는 교과 성취도 뿐만 아니라 문제해결력에 영향을 미치는 것으로 알려진 도구 교과 즉 범교과적인 학습에 대한 학생 개인의 학습 및 노력 정도를 반영하기 위한 것이다. 한편, 사회심리적 변인으로서 직업적 포부 수준은 사회적 성취에 대한 욕구의 지표로 활용되었다.

둘째, 학생의 비인지적 특성으로는 크게 1) 협력과 공동체에 대한 태도, 2) ICT 활용에 대한 태도, 3) 학습에 대한 태도로 구분하여 고려하였다. 먼저, 협력과 공동체에 대한 태도는 협력적 문제해결력과 직접적인 관련이 있을 것으로 보고, 구체적으로 협력 지향성, 관계 지향성, 환경문제에 대한 인식을 포함하였다. 협력지향성은 다른 사람과의 협력이나 협업을 선호하는 태도인 반면, 관계 지향성은 다른 사람과의 관계를 중요하게 여기고 다른 사람을 존중하는 태도이다. 협력 지향성과 관계 지향성은 협력적 문제해결력 관련 선행연구에서 자주 다루었던 반면, 환경문제에 대한 인식은 이 연구에서 새롭게 주목한 변인으로 예컨대, 온실가스나 GMO 생물 등 환경 문제들에 대한 개인적 관심과 이해 수준에 관한 것이다. 본 연구에서는 한 개인의 삶의 영역을 넘어서 지역 간 혹은 국가 간의 상호의존성에 의해서 발생하고 확대되는 공동의 어려움에 관심을 갖고 이해하고자 하는 태도가 협력적 문제해결력에 영향을 주는 주요한 비인지적 특성이 될 것으로 가정하였다.

다음으로, ICT 관련 비인지적 특성은 ICT 활용 역량, ICT 흥미, ICT 사회적 활용을 포함하였다. PISA 2015의 협력적 문제해결력과 과학성취도는 컴퓨터 기반 평가로 ICT 관련 비인지적 특성들이 성과 변인에 영향을 미칠 것으로 가정하였다. ICT 관련 비인지적 특성은 ICT 활용 역량, ICT 활용에 대한 자율성, ICT에 대한 흥미, ICT의 사회적 활용을 포함하여 4개 변인이나, 그 중 ICT 활용 역량과 ICT활용에 대한 자율성 변인은 상관이 .64로 높았을 뿐 아니라 개념상 ICT 활용에 대한 자율성 변인은 활용 역량과 큰 차이를 보이지 않았기 때문에 그 둘의 평균을 산출하여 ICT 활용 역량으로 산출하였다.

마지막으로, 학습에 대한 태도 변인으로 성취동기와 과학에 대한 인식론적 신념을 포함하였다. 성취동기의 경우, 특정 교과에 대한 흥미나 동기를 넘어서 다양한 맥락에서 주어지는 문제 상황에서의 문제해결이나 목표 달성에 대한 전반적인 동기와 욕구 수준을 나타내는 지표로 활용되었다. 한편, 과학에 대한 인식론적 신념은 과학적 지식이 사회적 합의를 통해 검증되고 형성되는 과정이라는 관점에 기반한 것으로, 사회적 합의 과정에 대한 가치 인식이 협력을 중시하는 태도와 관련이 있을 것으로 보았다. 이 둘은 모두 과학성취도를 유의하게 설명하는 변인으로 선행연구들에서 확인된 변인들이기도 하다.

셋째, 수업과 교사 특성에는 교사의 수업 방식과 교사와 학생 간 관계에 대한 변인을 포함하고자 하였다. 먼저, 교사의 수업 방식과 관련된 변인은 최종적으로 탐구기반 수업과 수업 조정으로 구분하여 변인으로 구성하였다. 이는 교사의 교수 방식에 관한 16개 문항에 대한 Promax 회전에 의한 탐색적 요인 분석을 통해 2개 요인이 가장 적합한 것을 확인하였다. 한편, 교사와 학생 간 관계에 대한 지표로 활용된 교사의 학생 차별은, 교사들이 학생들을 불공정하게 대우하는 정도에 대한 학생들의 인식에 해당한다.

넷째, 학교 특성들은 학교풍토 관련 변인으로 부정적인 학생문화와 교사의 학생 차별을, 학부모의 사회경제적 지위를 학교별로 평균값을 취하여 투입하였다. 모형에 포함된 모든 분석 변인에 대한 설명과 문항 예시가 <표 III-1>에 제시되었다.

최종 분석 대상인 168개 학교, 5,581명 학생을 대상으로 최종가중치를 적용하여 산출한 기술통계치가 <표 III-2>에 제시되었다. 참고로 PISA는 표본 조사 결과를 토대로 모수치에 대한 편이(bias)가 발생하지 않도록 표집 가중치(sampling weight)와 다단계 유층표집으로 인해 표준오차를 정확하게 도출하기 위한 반복 가중치(replication weight)를 분석 과정에서 고려하도록 하고 있다(Adams & Wu, 2001).

표 III-2. 분석변인별 기술통계(가중치 적용 후)
구분 변인명 평균 표준편차 최소 최대
학생 수준
종속 변인 협력적 문제해결력 538.26 74.92 279.71 744.50
과학성취도 515.81 91.42 231.51 791.42
배경 변인 부모의 사회경제적 지위 -0.20 0.68 -4.08 2.01
주당 개인 학습시간 3.42 1.18 0.00 40.00
직업적 포부 56.16 14.95 16.00 89.00
협력과 공동체에 대한 태도 관계 지향성 -0.02 0.94 -3.33 2.29
협력 지향성 0.14 0.91 -2.83 2.14
환경문제에 대한 인식 0.07 1.15 -3.38 3.28
학습에 대한 태도 성취동기 0.34 0.98 -3.09 1.85
과학에 대한 인식론적 신념 0.02 0.97 -2.79 2.16
ICT에 대한 태도 ICT 활용 역량 -0.47 0.81 -2.58 2.02
ICT 흥미 -0.37 0.91 -2.96 2.64
ICT 사회적 활용 -0.45 0.96 -2.14 2.43
수업과 교사 탐구기반 수업 1.78 0.65 1.00 4.00
적응적 수업 2.34 0.65 1.00 4.00
학생 차별 8.32 3.14 2.00 24.00
학교수준
학교 특성 학교평균 부정적 학생문화 -0.24 1.12 -2.39 3.07
학교평균 학생에 대한 차별 8.37 0.81 6.60 12.07
학교평균 사회경제적 지위 -0.24 0.33 -1.06 0.64
Download Excel Table
3. 분석 모형

학생 수준 및 학교 수준 변인들이 학생들의 협력적 문제해결력과 과학성취도에 각각 어떻게 영향을 미치는지를 살펴보기 위하여, 아래와 같이 2수준 다층모형(multi-level models)을 구성하였다. 협력적 문제해결력과 과학성취도를 설명하기 위해 모형에 포함된 독립 변인들은 <표 III-1>에서와 같이 학생 배경 변인, 비인지적 특성, 수업 및 교사 특성, 학교 특성으로 구분하여 모형에 단계적으로 투입함으로써, 각 특성들이 학생 간 분산을 얼마나 추가적으로 설명하는지를 확인하였다. 다층모형 분석에는 협력적 문제해결력과 과학성취도 각각 10개의 PV에 대한 결과를 통합하고, 그에 따른 교정된 표준오차 추정치를 산출하기 위하여 STATA(v15.1)의 PV명령어2)를 활용하였다(Macdonal, 2008).

1수준: 학생 간 모형

Y i j = π 0 j + b = 1 B π b 0 j X b i j + c = 1 C π c 0 j X c i j + d = 1 D π d 0 j X d i j + e i j , e i j ~ N ( 0 , σ e 2 )

Xb·ij: j 학교, i 학생의 b번째 개인 배경(특성) 변인

Xc·ij: j 학교, i 학생의 c번째 비인지적 특성 변인

Xd·ij: j 학교, i 학생의 d번째 수업 및 교사 특성 변인

2수준: 학교 간 모형

π 0 j = β 00 + s = 1 S β s 0 j Z s j + r 0 j , r 0 j ~ N ( 0 , σ r 0 2 )

πb·0j = βb00, πc.0j = βc00, πd.0j = βd00

Zs·j: j 학교의 s번째 학교 특성 변인

Ⅳ. 연구 결과

1. 학생 및 학교 간 분산 분해

협력적 문제해결력과 과학성취도의 학생 간 분산과 학교 간 분산의 크기를 추정하기 위하여, 독립변인을 포함하지 않은 기본모형(base model) 분석을 실시하였으며, 그 결과가 <표 IV-1>에 제시되었다. 협력적 문제해결력과 과학성취도에서의 학교 간 분산은 각각 21.7%와 25.1%로, 협력적 문제해결력에서의 학교 간 분산은 과학성취도에서의 학교 간 분산보다 다소 적은 것으로 나타났다. 한편, 학생의 비인지적 특성에 대한 학교 간 분산이 대체로 10% 이내로 나타나는 선행연구 결과와 비교하면(김혜숙, 함은혜, 2014), 협력적 문제해결력에서의 학교 간 분산은 그보다는 상당히 높은 수준이다. PISA 2015 참여국에 대한 ICC(Intra Class Correlation) 분석 결과(OECD, 2017a, p.93)와 비교하면 OECD 평균은 협력적 문제해결력 24.6%, 과학 성취도 30.1%로 나타나 우리나라의 학교 간 분산 비율이 평균보다는 낮은 것으로 나타났다.

표 IV-1. 기본 모형 분석 결과
협력적 문제해결력 과학성취도
분산추정치 비율(%) 분산추정치 비율(%)
학교 간 분산 1504.73 21.7 2293.05 25.1
학생 간 분산 5582.24 78.3 6826.57 74.9
총 분산 7086.96 9119.62
Download Excel Table

기본모형에 개인 배경변인을 포함하여 분석한 결과가 <표 IV-2>(협력적 문제해결력)와 <표 IV-3>(과학성취도)의 [모형 1]에 제시되었다. 학생의 성별, 부모의 사회경제적 지위, 개인 학습시간, 직업적 포부를 모형에 투입하였을 때, 두 성과변인에서의 학교 간 분산 및 학생 간 분산의 크기가 눈에 띄게 감소하였다. 즉, 모형 1에 포함된 개인 배경변인들은 협력적 문제해결력과 과학성취도의 학생 간 편차뿐만 아니라 학교 간 편차를 일정 부분 설명하는 것으로 나타났으며, 구체적으로 협력적 문제해결력과 과학성취도의 총 분산을 각각 15%, 19%가량 추가로 설명하는 것으로 나타났다. 개인 배경변인들의 효과에 대한 결과를 요약하면 다음과 같다.

표 IV-2. 협력적 문제해결력에 대한 다층모형 분석 결과
모형1 모형2 모형3 모형4
고정효과 b s.e. b s.e. b s.e. b s.e.
여학생 26.46*** 3.34 19.70*** 3.36 14.19*** 3.43 12.82*** 3.37
부모의 사회경제적 지위 10.42*** 2.02 4.43* 2.01 5.12* 2.04 2.47 2.08
개인 학습시간 6.04*** 1.14 6.72*** 1.35 5.61*** 1.37 4.58** 1.32
직업적 포부 0.77*** 0.08 0.56*** 0.08 0.50*** 0.08 0.47*** 0.08
관계지향성 2.53 1.74 3.15 1.74 2.98 1.75
협력지향성 -3.71 1.82 -3.36 1.82 -3.20 1.81
환경문제에 대한 인식 8.73*** 1.17 8.25*** 1.16 8.00*** 1.17
성취동기 -1.85 1.47 -1.61 1.50 -1.47 1.51
과학에 대한 인식론적 신념 14.56*** 1.44 12.74*** 1.48 12.42*** 1.49
ICT 활용 역량 9.73*** 1.93 8.37*** 1.95 8.43*** 1.94
ICT 흥미 7.73*** 1.52 6.83*** 1.60 6.55*** 1.58
ICT의 사회적 활용 -10.78*** 1.60 -7.59*** 1.59 -7.10*** 1.57
탐구기반 수업 -29.10*** 2.38 -28.48*** 2.40
적응적 수업 13.71*** 2.45 13.37*** 2.47
교사의 학생 차별 -1.89** 0.54 -1.77** 0.54
부정적 학생문화(학교평균) -5.06** 1.56
교사의 학생 차별(학교평균) -9.00** 2.72
사회경제적 지위(학교 평균) 34.48*** 6.33
상수 464.83*** 6.93 480.03*** 7.43 527.52*** 9.87 612.00*** 24.70
임의효과
학교 간 분산 785.52 537.13 484.05 265.86
학생 간 분산 5225.40 4716.11 4433.07 4413.44
기본모형 → 모형1 모형1 → 모형2 모형2 → 모형3 모형3 → 모형4
추가 설명량(%) 15.2 12.6 6.4 4.8

*** p<.001,

** p<.01,

* p<.05

Download Excel Table
표 IV-3. 과학성취도에 대한 다층모형 분석 결과
모형1 모형2 모형3 모형4
고정효과 b s.e. b s.e. b s.e. b s.e.
여학생 2.85 3.18 -5.58 3.16 -13.12*** 3.14 -14.88*** 3.01
부모의 사회경제적 지위 21.66*** 2.11 12.97*** 2.06 13.78*** 2.02 10.73*** 2.09
개인 학습시간 6.89*** 1.20 6.99*** 1.30 5.68*** 1.34 4.57** 1.29
직업적 포부 1.19*** 0.08 0.83*** 0.08 0.75*** 0.08 0.73*** 0.08
관계지향성 -0.48 1.52 0.61 1.49 0.52 1.49
협력지향성 -11.57*** 1.50 -11.07*** 1.49 -10.93*** 1.49
환경문제에 대한 인식 13.04*** 1.12 12.24*** 1.12 12.10*** 1.12
성취동기 4.46** 1.31 5.17*** 1.33 5.37*** 1.32
과학에 대한 인식론적 신념 19.78*** 1.41 17.14*** 1.42 16.88*** 1.41
ICT 활용 역량 9.82*** 1.94 8.36*** 1.89 8.43*** 1.88
ICT에 대한 흥미 7.38*** 1.49 6.09*** 1.47 5.81*** 1.47
ICT의 사회적 활용 -9.32*** 1.53 -5.16** 1.51 -4.60** 1.51
탐구기반 수업 -36.04*** 2.26 -35.56*** 2.22
적응적 수업 15.56*** 2.54 15.25*** 2.50
교사의 학생 차별 -3.27*** 0.38 -3.15*** 0.38
부정적 학생문화(학교평균) -7.12*** 1.62
교사의 학생 차별(학교평균) -7.54** 2.59
사회경제적 지위(학교 평균) 46.21*** 6.16
상수 429.71*** 6.96 454.40*** 6.83 525.47*** 9.14 599.75*** 23.56
임의효과
학교 간 분산 1124.00 726.749 660.73 293.14
학생 간 분산 6240.86 5290.71 4801.55 4779.20
기본모형 → 모형1 모형1 → 모형2 모형2 → 모형3 모형3 → 모형4
추가 설명량(%) 19.2 18.3 9.2 7.1

*** p<.001,

** p<.01,

* p<.05

Download Excel Table

첫째, 성별에 따른 차이가 협력적 문제해결력과 과학성취도에서 차별적으로 나타났다. 여학생의 협력적 문제해결력이 남학생과 비교하여 유의하게 높았으며, 이는 학생의 비인지적 특성과 수업 및 교사 특성, 학교 특성을 모형에 포함했을 때에도 일관되게 나타났다. 반면, 과학성취도의 [모형 1]에서는 남학생과 여학생의 성취도 차이가 유의하지 않았으나, [모형 3]과 [모형 4]에서 수업 및 교사의 특성과 학교 특성을 통제한 후에는 여학생의 과학성취도가 남학생과 비교하여 유의하게 낮았다.

둘째, 부모의 사회경제적 지위는 학생의 협력적 문제해결력과 일관되게 정적인 연합을 보였으나, [모형 4]에서 수업 및 교사, 학교 특성을 통제했을 때에는 학생의 협력적 문제해결력을 유의하게 예측하지 않았다. 한편, 과학성취도에서는, 수업 및 교사, 학교 특성을 통제했을 때에도, 부모의 사회경제적 지위의 효과가 유의한 것으로 나타났다.

마지막으로, 학생 개인의 학습시간이 많을수록, 직업적 포부가 높을수록 협력적 문제해결력과 과학성취도가 모두 높은 경향을 보였다.

2. 학생 수준 비인지적 특성의 효과

이 연구에서는 PISA 2015 협력적 문제해결력에 영향을 끼치는 비인지적 특성을 크게 협력과 공동체에 대한 태도, 학습에 대한 태도, ICT활용에 대한 태도의 세 가지로 구분하여 살펴보고자 하였다. 관련 변인들을 포함한 다층모형 분석 결과는 <표 IV-2>(협력적 문제해결력)와 <표 IV-3>(과학성취도)의 [모형 2]에 제시되었다. 협력과 공동체에 대한 태도, 학습에 대한 태도, ICT활용에 대한 태도 변인들을 포함한 학생의 비인지적 특성들은 협력적 문제해결력과 과학성취도의 총 분산을 각각 13%, 18%가량 추가로 설명하였으며, 분석 결과를 요약하면 다음과 같다.

첫째, 협력과 공동체에 대한 태도 중 협력 지향성, 즉, 다른 사람과 협력하는 데 대한 선호와 가치는 협력적 문제해결력에는 고유한 영향이 없는 반면, 과학성취도에는 부적인 영향을 미치는 것으로 나타났다. 한편, 관계 지향성 즉, 다른 사람들과 상호작용하는 데 대한 선호는 협력적 문제해결력과 과학성취도를 독립적으로 설명하지 못하였다. 한편, 환경문제에 대한 인식은, 수업 및 교사, 학교 특성을 통제한 후에도 협력적 문제해결력과 과학성취도를 정적으로 유의하게 예측하였다.

둘째, 학습에 대한 태도 중 과학에 대한 인식론적 신념은 협력적 문제해결력과 과학성취도를 모두 정적으로 예측한 반면, 성취동기의 효과는 두 성과변인에서 차별적으로 나타났다. 구체적으로, 성취동기가 높을수록 과학성취도가 높아지는 경향이 뚜렷한 반면, 협력적 문제해결력과는 관계가 없었다.

셋째, ICT활용 관련 비인지적 특성들의 효과는 협력적 문제해결력과 과학성취도에 일관되게 나타났다. 즉, ICT 활용에 대한 역량과 흥미는 협력적 문제해결력과 과학성취도를 정적으로 예측하는 반면, ICT를 사회적으로 활용하는 정도는 협력적 문제해결력과 과학성취도에 부정적인 영향을 미쳤다.

3. 수업 및 학교 특성

[모형 3]과 [모형 4]에서는 학생의 학교 수업과 교사들에 대한 경험 변인, 학교 특성 변인을 추가하였다. 먼저, 탐구기반 수업과 수업 조정의 정도, 교사의 학생 차별 정도를 포함한 수업과 교사 특성은 협력적 문제해결력과 과학성취도의 총 분산을 각각 7%, 9%가량 추가로 설명하였다. 또한, 학교 평균 부정적 학생문화와 교사의 차별, 사회경제적 지위를 포함한 학교 특성은 협력적 문제해결력과 과학성취도의 총 분산을 각각 5%, 7%가량 설명하는 것으로 나타났다. 분석 결과를 요약하면 다음과 같다.

첫째, 수업과 교사에 대한 학생들의 경험의 효과는 협력적 문제해결력과 과학성취도에 일관되게 나타났다. 구체적으로 교사의 적응적 수업 행동 혹은 수업 조정은 협력적 문제해결력과 과학성취도를 정적으로 예측하는 반면, 탐구기반 수업 행동은 협력적 문제해결력과 과학성취도를 유의하게 감소시키는 것으로 나타났다. 탐구기반 수업 행동의 부적 영향은 김동욱, 손원숙(2018)의 연구에서도 확인되었으며, 적응적 수업 행동 혹은 수업 조정의 정적 영향은 김동욱, 손원숙(2018)Lau & Lam(2017)의 연구 결과와 유사하였다.

흥미롭게도, 학생에 대한 교사의 차별 행동은 협력적 문제해결력과 과학성취도에 모두 부적으로 유의하게 예측하였다. 즉, 학생들이 교사의 차별 행동을 강하게 느낄수록, 협력적 문제해결력과 과학성취도는 유의하게 감소하는 경향을 보였다.

둘째, 학교특성 변인들의 효과도 협력적 문제해결력과 과학성취도에서 일관되게 나타났다. 학교 평균 부정적 학생문화와 교사의 학생 차별 점수가 높을수록 협력적 문제해결력과 과학성취도 모두 유의하게 감소한 한편, 학교 평균 사회경제적 지위가 높을수록 협력적 문제해결력과 과학성취도는 유의하게 증가하였다. 특히, 교사의 학생 차별과 사회경제적 지위는 개인 수준에서의 점수를 통제한 후에도 여전히 협력적 문제해결력과 과학성취도에 대한 설명력이 유의한 것으로 나타났다.

Ⅴ. 결론 및 논의

이 연구는 PISA 2015 자료를 중심으로 학생들의 협력적 문제해결력에 영향을 미치는 학생 개인 특성과 수업 및 학교의 특성을 파악하기 위하여 수행되었다. 특히, 개인 및 학교 수준 맥락변인이 협력적 문제해결력에 미치는 영향을 파악하되, 과학 성취도에 미치는 영향과 비교·분석함으로써 협력적 문제해결력만의 고유한 영향 변인이 존재하는지 그리고 교과 역량인 과학성취도에 미치는 영향과 차이가 있는지를 파악하고자 하였다. 이를 위해 PISA 2015 협력적 문제해결력의 개념과 구인, 그리고 평가 방식에 대해서 비판적 관점을 포함한 선행연구를 고찰하였으며, 협력적 문제해결력에 영향을 끼칠 것으로 예상되는 맥락변인에 대하여 국내외 연구 결과를 제시하였다. 이러한 연구 결과를 토대로 협력적 문제해결력에 영향을 미칠 것으로 예상되는 맥락변인을 개인 배경변인, 비인지적 특성, 수업 및 교사 특성, 그리고 학교 특성으로 구분하여 모형에 단계적으로 투입하였다. 변인은 크게 학생 수준과 학교 수준으로 구분되기 때문에 2수준 다층모형으로 분석하였으며 STATA 15.1의 PV명령어 (Macdonal, 2008)를 활용하였다. 주요 연구결과와 관련 논의를 제시하면 다음과 같다.

첫째, 기본 모형 분석 결과, 협력적 문제해결력과 과학 성취도에서의 학교 간 분산은 각각 21.7%, 25.1%로 협력적 문제해결력에서의 학교 간 분산이 과학 성취도에서의 학교 간 분산보다 다소 적은 것으로 나타났다. 이는 비인지적 특성에 대한 학교 간 분산이 대체로 10% 이내로 나타난 선행연구 결과와 비교할 때 과학 성취도와 마찬가지로 협력적 문제해결력을 설명함에 있어서 학교 특성이 차지하는 비중이 높다는 것을 시사한다. 한편, 협력적 문제해결력에 개인 배경, 비인지적 특성, 수업 및 교사 특성, 학교 특성을 단계적으로 투입한 모형의 추가적 설명력은 약 15%, 13%, 6%, 5%로 나타났으며, 과학 성취도의 추가적 설명력이 각 모형 단계별로 19%, 18%, 9%, 7%로 나타났다. 즉, 학생의 개인 배경에 더하여 비인지적 특성들이 협력적 문제해결력과 과학성취도의 분산을 상당 부분 추가로 설명하고 있었으며, 수업 및 교사 특성과 학교 특성의 추가적 설명량은 상대적으로 적었다.

둘째, 학생 개인의 학습시간과 직업적 포부 수준은 협력적 문제해결력과 과학성취도 모두를 정적으로 예측하는 반면, 성별, 사회경제적 지위는 두 성과 변인에 서로 다르게 영향을 끼쳤다. 이러한 연구 결과는 PISA 2012 문제해결력에서 개인 학습 시간의 정적인 영향을 확인한 결과(김성숙, 한정아, 2016)와 PISA 2015 수학성취도에서 직업적 포부 수준의 정적인 영향을 확인한 결과(김수혜, 2018)와 교과는 상이하나 일관된 결과라고 할 수 있다. 성별과 관련하여 여학생의 협력적 문제해결력이 남학생보다 유의하게 높은 반면, 여학생의 과학성취도는 남학생보다 유의하게 낮았다. 성별에 따른 이와 같은 결과는 선행연구 결과와 일치한다(김성숙, 임효진, 정혜경, 2018; OECD, 2017a). 한편, 부모의 사회경제적 지위는 협력적 문제해결력과 과학성취도와 정적인 연합을 보였지만, 수업과 교사, 학교요인을 통제한 후에는 부모의 사회경제적 지위의 효과가 유의하지 않았다. 즉, 협력적 문제해결력은 과학성취도와 비교하여, 부모의 사회경제적 지위에 덜 민감한 경향을 보였다.

셋째, 협력 관련 태도인 협력 지향성과 관계 지향성은 협력적 문제해결력에 유의한 영향을 끼치지 않는 것으로 나타난 반면, 환경문제에 대한 인식은 협력적 문제해결력을 정적으로 유의하게 예측하였다. 이는 김성숙, 임효진, 정혜경(2018)에서 인지적 성취를 통제한 협력적 문제해결력에 대한 관계 지향성의 영향이 유의하지 않았던 것과 일관된 결과이다. 한편, 환경문제에 대한 인식이 관계나 협력에 대한 개인적 선호와 관련 없이 세상에는 공동으로 해결해야 하는 혹은 해결할 수밖에 없는 문제와 과제들이 있다는 데 대한 이해의 정도라면, 협력적 문제해결력에는 관계와 협력 자체에 대한 흥미나 동기보다는 문제 해결의 동기가 더욱 중요한 역할을 하는 것으로 해석할 수 있다. 참고로 협력 지향성은 과학 성취도에는 부적 영향을 끼치는 것으로 나타났고, 환경문제에 대한 인식은 협력적 문제해결력과 동일하게 정적 영향을 끼치는 것으로 나타났다.

넷째, 비인지적 특성 중 성취동기는 협력적 문제해결력을 예측하지 못하는 반면, 과학 성취도와는 정적 관련성을 가지는 것으로 나타났다. 또한 과학에 대한 인식론적 신념은 협력적 문제해결력과 과학 성취도를 정적으로 예측하였다. 즉, 과학에 대한 인식론적 신념이 높은 학생일수록 과학 성취도 뿐 아니라 협력적 문제해결력도 높음을 알 수 있다. 이는 학교 학습에서 뛰어나고자 하는 동기 자체는 협력적 문제해결력과 뚜렷한 관련성을 파악하기는 어려우나 실험 등을 통한 진리 탐구에 대한 신념을 가지는 것은 협력적 문제해결력과 관련 있음을 의미한다. 협력적 문제해결력이 개인 내적인 특성 중에서도 성취동기보다는 교과에 대한 인식이나 태도와 관련 있음을 시사한다고 볼 수 있다.

다섯째, ICT 활용에 대한 태도 변인이 협력적 문제해결력과 과학 성취도에 끼치는 영향은 거의 유사한 것으로 나타났다. 구체적으로, ICT 활용 역량과 ICT 흥미는 두 역량을 모두 정적으로 예측하나 ICT의 사회적 활용은 부적으로 예측하는 것으로 나타났다. 이는 ICT 활용 역량이 높고 ICT 기기에 대한 흥미가 높은 학생일수록 그리고 ICT 기기를 활용한 의사소통이나 게임을 적게 하는 학생일수록 두 역량이 높음을 의미한다. 이러한 결과는 PISA 2012 자료를 활용하여 문제해결력에 ICT의 유용성 인식의 정적 관련성을 확인한 연구(김성숙, 한정아, 2016)와 채팅이나 SNS 등 오락적 활용이 수학 성취도를 부적으로 예언함을 확인한 연구(김혜숙, 2016) 결과를 부분적으로 지지한다. 향후 ICT 활용에 대한 태도가 협력적 문제해결력에 영향을 끼치는가에 대해서는 ICT 활용이 어떤 방식으로 이루어지는가를 중심으로 변인을 세분화해서 살펴볼 필요가 있다.

여섯째, 수업 및 교사 특성이 협력적 문제해결력과 과학 성취도에 끼치는 영향 역시 거의 유사하게 나타났다. 구체적으로 탐구기반 수업과 교사의 학생 차별은 두 역량에 모두 부적 영향이 있었으나, 적응적 수업은 두 역량에 모두 정적 영향이 있는 것으로 나타났다. 이는 수업 및 교사 특성이 과학 성취도에 끼치는 영향과 유사하게 협력적 문제해결력에도 영향을 끼치는 것을 의미하며, 협력적 문제해결력이 상당히 인지적 역량을 내포하고 있음을 시사한다. 탐구기반 수업과 적응적 수업의 과학 성취도에 대한 영향은 선행연구(김동욱, 손원숙, 2018) 결과와 일치한다. 한편, 학생에 대한 교사의 차별은 학생 개인 수준과 학교 수준에서 모두 유의하게 나타나, 학생 개인이 느끼는 교사의 차별 정도를 통제한 후에도 학교 수준에서의 분위기나 풍토가 추가적으로 학생들의 협력적 문제해결력을 설명하는 것으로 나타났다. 교수법 자체가 아닌 심리사회적 변인이 학생의 협력적 문제해결력에도 부정적인 영향을 끼친다는 것을 시사한다.

마지막으로 학교 특성 역시 협력적 문제해결력과 과학 성취도에 끼치는 영향이 유사하게 나타났다. 즉, 학교평균 부정적 학생문화와 학교평균 교사의 학생 차별은 두 역량에 모두 부적으로 예측한 반면, 학교평균 사회경제적 지위는 정적으로 예측하였다. 이는 학교 특성으로서 학교 풍토인 학생 문화와 학생에 대한 교사의 차별 등의 분위기가 과학 성취도 뿐 아니라 협력적 문제해결력에도 부정적인 영향임을 확인시켜준다. 교사의 학생 차별은 수학 성취도에 부적 영향이 있는 것으로 나타난 선행연구(김수혜, 2018) 결과와 유사한 결과이며, 협력적 문제해결력을 함양하는데 있어 교사의 긍정적인 기대와 사회적 지지를 획득하는 것이 매우 중요함을 시사한다.

연구의 시사점 및 향후 연구 과제를 간략히 정리하면 다음과 같다.

첫째, 협력적 문제해결력과 과학성취도 각각에 영향을 미치는 학생의 배경과 비인지적 특성들이 상당히 유사하게 나타났는데, 이러한 결과는 PISA 2015에서 다루는 협력적 문제해결력을 PISA 2012 학생 개인의 문제해결력과 유사하게 ‘문제 상황을 이해하고 해결하는데 필요한 인지적 과정에 참여하는 역량’으로 이해할 필요성을 시사한다. 예를 들어, 개인의 학습시간과 직업적 포부, 환경문제에 대한 인식, 과학에 대한 인식론적 신념, ICT활용 역량과 흥미는 과학성취도 뿐만 아니라 협력적 문제해결력을 모두 정적으로 예측하였다. 즉, 협력적 문제해결력이 사회적 소통 능력 등 협업 과정을 포함하고 있으나, 교과에서 요구하는 개인의 인지적 역량과 독립적으로 존재하는 역량이라고 보기는 어렵다.

둘째, 학생의 사회경제적 배경, 성취동기와 협력지향성이 협력적 문제해결력과 과학성취도에 미치는 영향이 뚜렷하게 다른 것으로 나타나, 두 역량이 변별되는 측면이 있음을 시사하였다. 예를 들어, 성취동기가 높을수록, 협력지향성이 낮을수록 과학성취도가 높았던 반면, 협력적 문제해결력과의 관계는 미미하였다. 이에 협력적 문제해결력과 과학성취도를 유사한 역량 혹은 서로 대비되는 역량으로 이해하기 보다는, 두 역량이 구체적으로 어떻게 상호 관련되어 있는지, 어떤 조건에서 어떻게 서로의 발달을 촉진하거나 저해하는지 등의 관계를 향후 더욱 입체적으로 탐색할 필요가 있다.

셋째, 학생들의 협력적 문제해결력 증진을 위해서는 협력 자체의 중요성을 당위적으로 강조하기 보다는 ‘공동의 문제해결’에 대한 인식과 동기를 강조할 필요가 있다. 연구 결과, 학생들의 협력지향성과 관계지향성은 협력적 문제해결력을 독립적으로 예측하지 못한 반면, 환경문제에 대한 인식과 과학에 대한 인식론적 신념은 협력적 문제해결력을 정적으로 예측하는 것으로 나타났다. 한편, 학생에 대한 교사의 차별은 협력적 문제해결력을 떨어뜨렸다. 따라서 학생들에게 관계와 협력의 가치를 명시적으로 혹은 선언적으로 강요하기 보다는, 학생들이 속한 공동체와 세계가 상호의존적이라는 것을 이해하고, 협력을 통해서만 해결할 수 있는 다양한 현안을 인식하게 하며, 실제로 학생의 삶과 관련이 있는 과제를 공동으로 해결하는 과정에서 학생들이 고루 각자의 역할을 하고 그것을 인정받는 경험을 설계하는 것이 효과적일 것으로 예상된다.

마지막으로, 향후 연구에서는 협력적 문제해결력에 도움을 주는 교사, 교실 및 학교 특성들을 좀 더 다양하게 탐색하고, 그 결과를 학생의 경험을 설계하는 데에 활용할 필요가 있다. 이 연구에서는 교사의 학생 차별과 적응적 수업 방식, 학교의 부정적 학생문화가 협력적 문제해결력을 설명하는 것으로 나타났다. 특히, 교사의 학생 차별이 학생 수준뿐만 아니라 학교 수준에서도 유의하게 학생들의 협력적 문제해결력을 떨어뜨린다는 결과는, 학생들에게 관심과 기회가 고르게 분배되고, 학내 의사결정이 절차에 따라 공정하게 이루어지도록 하는 것이 협력적 문제해결력 증진을 위한 중요한 교육적 환경이라는 것을 시사한다. 또한 이 연구에서 살펴본 교사의 수업 및 학교 특성 변인 외에 교실 환경과 학교 문화 관련 변인이 협력적 문제해결력에 영향을 미치는지 추가적인 자료 수집을 통해 구체적으로 살펴볼 필요가 있다.

Notes

1) 이 논문은 2017학년도 대구대학교 학술연구비 지원에 의해 수행된 연구이며, 2019년 한국교육평가학 회 춘계학술대회에서 발표한 내용을 수정·보완한 것임.

2) pv, pv( PV*CLPS) weight(W_FSTUWT) : mixed @pv [독립변인 목록] || cntschid: , var

참고문헌

1.

구자옥, 구남욱 (2018). PISA 2015 과학 영역에 나타난 학생 성취수준 집단 및 성별에 따른 교육맥락 변인의 특성 및 영향력 분석. 과학교육연구지, 42(2), 165-181.

2.

구자옥, 조성민, 이소연, 박혜영, 구남욱 (2017). OECD 국제 학업성취도 평가 연구: PISA 2015 결과 심층 분석 보고서. 한국교육과정평가원 연구보고 RRE 2017-9.

3.

김동욱, 손원숙 (2018). 고등학교 과학 교과 수업의 질과 정의․인지적 성취와의 관계: PISA 2015. 교육평가연구, 31(3), 729-752

4.

김성숙, 임효진, 정혜경 (2018). 우리나라 학생들의 PISA 2015 협력적 문제해결력과 협력적 태도에 대한 관계 비교. 교육과정평가연구, 21(3), 155-179.

5.

김성숙, 한정아 (2016). 대한민국, 싱가포르, 일본의 PISA 2012 문제해결력 결과에 대한 남녀 학생 및 학교수준 요인의 영향력 비교 분석. 교육학연구 54(3), 225-247.

6.

김수혜 (2018). 청소년의 사회심리적 자원과 학교풍토가 수학 소양성취에 미치는 영향- PISA 2015 한국 자료를 바탕으로. 아시아교육연구 19(3), 651-677.

7.

김혜숙 (2016). The impact of students’ ICT use on mathematical performance based on PISA 2012 Korean data. 학교교육연구, 11, 1-18.

8.

김혜숙, 함은혜 (2014). PISA 2012 수학 교과의 정의적 성취에 영향을 미치는 학교 특성 분석. 교육평가연구, 27(5), 1311–1335.

9.

박해영, 임해미 (2014). 협력적 문제해결력 교수·학습 및 평가를 위한 PISA와 ATC21S의 특징 비교 분석. 학습자중심교과교육연구, 14(9), 439-462.

10.

송미영, 김성숙, 구자옥, 임해미. 박혜영, 한정아 (2014). OECD 국제 학업성취도 평가 연구 : PISA 2012 컴퓨터 기반 평가 결과 분석. 한국교육과정평가원 연구보고 RRE 2014-4-2.

11.

임해미 (2013). OECD PISA 2015 수학 및 협력적 문제해결력 평가의 특징. 2013 대한민국 수학교육관련 학회 연합 학술대회 자료집, 369-371.

12.

조지민, 동효관, 옥현진, 임혜미, 정혜경 (2012). OECD PISA 2015 협력적 문제해결력 평가 도입에 따른 교육 개선 방안. 한국교육과정평가원 연구자료 ORM 2012-65-13.

13.

Adams, R., & Wu, M. (2001). PISA 2000 Technical Report. Paris: OECD Publishing.

14.

Greiff, S. (2012). From interactive to collaborative problem solving: Current issues in the Programme for International Student Assessment. Review of Psychology, 19(2), 111-121.

15.

Greiff, S., Kretzschmar, A., Muller, J. C., Spinath, B., & Martin, R. (2014). The Computer-Based Assessment of Complex Problem Solving and How It Is Influenced by Students’ Information and Communication Technology Literacy. Journal of Educational Psychology, 106(3), 666-680.

16.

Griffin, P., Care, E., & McGaw, B. (2012). The changing role of education and schools. In P. Griffin, E. Care, & B. McGaw (Eds.). Assessment and teaching of 21st century skills (pp. 1-15). New York: Springer.

17.

He, Q., von Davier, M., Greiff, S., Steinhauer, E. W., & Borysewicz, P. B. (2017). Collaborative problem solving measures in Programme for International Student Assessment (PISA). In A.A. von Davier, M. Zhu, & P.C Kyllonen, (Eds.), Innovative assessment of collaboration (pp. 95-111). Dordrecht, Netherlands: Springer.

18.

Hesse, F., Care, E., Buder, J., Sassenberg, K., & Griffin, P. (2015). A framework for teachable collaborative problem solving skills. In P. Griffin & E. Care (Eds.), Assessment and teaching of 21st century skills (pp. 37-56). Dordrecht: Springer.

19.

Jerrim, J. (2016). PISA 2012: how do results for the paper and computer tests compare?. Assessment in Education: Principles, Policy & Practice, 23(4), 495-518.

20.

Lau, K. & Lam, T. Y. (2017). Instructional practices and science performance of 10 top-performing regions in PISA 2015. International Journal of Science Education, 39(15), 2128-2149.

21.

Macdonald, K. (2008). PV: Stata module to perform estimation with plausible values. Statistical Software Components S456951, Boston College Department of Economics.

22.

Mayer, R. E., & Wittrock, M. C. (2006). Problem solving. In P.A. Alexander & P. H. Winne (Eds.). Handbook of Educational Psychology (pp.287-303). Mahwah, NJ: Erlbaum.

23.

Nouri, J., Aerfeldt, A., Fors, U., Selander, S., (2017). Assessing Collaborative Problem Solving Skills in Technology-Enhanced Learning Environments –The PISA Framework and Modes of Communication. International Journal of Emerging Technologies in Learning, 12(4), 163-174.

24.

Novick, L. R., Hurley, S. M., & Francis, M. (1999). Evidence for abstract, schematic knowledge of three spatial diagram representation. Memory and Cognition, 27, 288-308.

25.

OECD (2010). PISA 2012 field trial problem solving framework. Paris: OECD Publishing.

26.

OECD (2013). PISA 2015 draft collaborative problem solving framework. Paris: OECD Publishing.

27.

OECD (2014). PISA 2012 results: creative problem solving: students’ skills in tackling real-life problems (Vol. V). Paris: OECD Publishing.

28.

OECD (2017a). PISA 2015 results (volume V): Collaborative problem solving. Paris: OECD Publishing.

29.

OECD (2017b). Collaborative problem solving, PISA in focus #78. Paris: OECD Publishing.

30.

O’Neil, H. F., Chung, S. H., & Chung, G. K. W. K. (2003). Issues in the computer-based assessment of collaborative problem solving. Assessment in Education, 10,361-373.