교수학습・교사교육

정책수용도 향상을 위한 기초학력정책 성과지표 개발 연구1)

박소영1,*, 신하영2,**, 김진희3, 이고운4
So-Young Park1,*, Ha-Young Shin2,**, Jin-Hee Kim3, Ko-Un Lee4
Author Information & Copyright
1숙명여자대학교 교수
2세명대학교 조교수
3춘천교육대학교 연구원
4오디세이학교 교사
1Professor, Sookmyung Women’s University
2Assistant Professor, Semyung University
3Researcher, Chuncheon National University of Education
4Teacher, Odyssey School
**교신저자, hyshin@semyung.ac.kr

© Copyright 2023, Korea Institute for Curriculum and Evaluation. This is an Open-Access article distributed under the terms of the Creative Commons Attribution NonCommercial-ShareAlike License (http://creativecommons.org/licenses/by-nc-sa/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Apr 05, 2023; Revised: Apr 28, 2023; Accepted: May 10, 2023

Published Online: May 31, 2023

요약

본 연구는 정책 현장 전문가와 이해관계자의 수용성을 높이는 방향으로 기초학력정책의 성과지표를 개발하는 것을 목적으로 하였다. 이를 위해서 기초학력정책의 성과 측정 필요성과 책무성이 강조되는 배경을 문헌분석을 통해 파악하고, 이론적 논의와 선행연구 검토를 통해 정책수용도를 높이는 데 필요한 기초학력정책 성과지표 개발의 모형을 도출하였다. 기초학력정책 성과지표를 개발하고 타당화하기 위해서 현장전문가 대상 델파이조사와 설문조사를 실시하였다. 연구 결과, 담당장학사와 교사, 학습종합클리닉 운영인력 등 현장전문가와 유관기관 담당자들은 예산집행률의 평가요소를 적용할 때 기초학력정책에 투입되는 예산이 시도교육청별로 상이한 점을 고려해야 하며, 기초학력 향상에 소요되는 기간을 고려하여 단기적 성과 외에도 중ㆍ장기 성과를 구별해서 평가해야 한다는 점 등을 의견으로 내었다. 본 연구는 정책수용도 향상을 위해 수집한 정량적·정석적 데이터를 토대로 투입-과정-산출-결과-지속가능성의 5가지 평가영역별 성과지표를 타당화 하였다. 본 연구는 기초학력정책의 특징을 반영하면서 현장의 정책 추진 주체의 수용성을 높일 수 있는 평가모형을 구축하고 타당화 방법, 성과지표의 구체적 요소를 정립했다는 데서 의의를 찾을 수 있다.

ABSTRACT

The purpose of this study was to develop performance indicators of basic education policy in the direction of increasing the acceptance of policy field experts and stakeholders. In order to develop and justify the basic education policy performance indicators, an expert FGI and a questionnaire survey were conducted. As a result of the study, field experts such as superintendents and teachers, and staff at comprehensive learning clinics and those in charge of related organizations said that flexibility is needed when applying the budget execution rate as an evaluation factor by applying different points in the budget invested in basic education policy by city and province offices of education. In addition to short-term performance, mid- and long-term performance should be evaluated separately in consideration of the period required to improve basic academic ability. In this study, the performance indicators developed for each area of input-process-output-result-sustainability evaluation were justified based on quantitative and qualitative data collected to improve field acceptance. Through this study, it is possible to establish the process and elements necessary to develop basic education policy performance indicators suitable for strengthening the accountability of the policy promoting body and increasing policy effectiveness.

Keywords: 정책평가; 성과지표; 기초학력; 기초학력보장법; 기초학력향상지원사업; 정책수용도
Keywords: Policy evaluation; performance indicators; basic academic ability; basic academic ability guarantee law; basic academic ability improvement support project

I. 서 론

코로나19로 인한 팬데믹 상황에서 전 세계 학교는 갑작스러운 수업결손을 공통적으로 겪었다. 우리나라 역시 코로나19로 인해 초중등학교의 비대면 수업상황이 장기화됨에 따라 학습결손에 대한 지적과 우려가 있다. 학습결손과 관련해서 상대적 차원의 학습격차의 심화와 절대적 차원의 기초학력 저하의 상황이 모두 주목받았고, 교육계 안팎에서 정부의 적극적 대응을 요구하기에 이르렀다. 이에 정부는 2021년에는 기초학력보장법을 제정하고, 이어서 2022년 제1차 기초학력보장정책 기본계획을 세우며 기초학력정책을 확장, 강화하고 있다.

기초학력정책은 학생들의 기초학력(basic academic skills)을 측정하는 것에서부터 직접적으로 이를 향상시키기 위한 교수(teaching) 활동과 이를 지원하기 위한 다양한 제도적 장치를 포괄한다. 본 연구에서는 기초학력정책을 현재의 기초학력 향상 지원 사업의 전신에 해당하는 정책부터 현행 기본법과 종합계획 체제로 추진되는 해당 정책 사업을 모두 포괄하는 의미로 사용하였다. 한국의 기초학력정책은 2009년부터 10년이 넘는 기간 동안 정책 대상과 정책지원 방식에 걸쳐 다양한 변화를 겪으며 발전해 왔다. 초기에 기초학력정책은 학습부진 학생 혹은 기초학력 미달 학생에 대한 대응적 책임제를 골자로 하여 추진되었다. 정책 추진의 주안점이 학습부진 혹은 기초학력 미달로 용어의 변화는 있었지만, 일정 수준에 도달하지 못한 일부의 학생에 대한 선별적ㆍ처방적 성격의 정책이 이어져 왔음은 공통의 사실이다.

기초학력정책은 2021년 기초학력보장법이 제정됨에 따라 추진체계와 집행에 있어 큰 변화를 맞았다. 2021년 기초학력보장법의 배경에는 코로나19로 인해 학교가 문을 닫고, 초중등학교의 수업이 1년 반동안 전면 온라인 수업으로 대체됨에 따라 ‘학력손실’ 혹은 ‘학력격차’에 대한 우려의 목소리가 있었다. 코로나19는 분명히 기초학력의 하락을 가져왔다. 코로나19로 인한 3년여 간의 비대면 수업 등의 상황이 어느 정도 소강상태에 이른 2023년 3월에 발표된 바에 따르면, 경기도교육청을 기준으로 초등학교 3학년 학생의 부진 비율이 초등 전체 평균보다 약 2배 높게 나타났다. 이는 기초학력정책의 강화 곧 기초학력 향상을 위한 지원이 확대되어야 필요성을 방증하는 자료다(문화일보, 2022.10.25.기사).

실제로 코로나19 위기로 전례 없는 비대면 체제를 1년 반 정도 운영한 후 교육부는 2021년 7월 29일 <교육회복 종합방안>을 수립하고, 교육결손 회복 영역에서 1) 학습, 2) 심리, 정서, 사회성, 3) 신체건강을 회복시키기 위한 과제 중 1)의 학습과 관련해서 “학습보충”과 “기초학력 지원”을 단위과제로 두고 추진하고 있다. 그리고 해당 정책의 추진과 함께 제정된 <기초학력보장법>에 이어, 2022년 11월에는 <기초학력보장 종합계획>을 후속 발표하여 구체적으로 기초학력정책의 전달체계를 재정비하는 상황을 맞이했다(신하영, 박소영, 2023).

2009년 이후 기초학력 향상 지원 사업이 꾸준히 추진되어 왔다. 2021년 발표된 “기초학력 지원”의 내용과 체계가 구축되고 빠르게 작동할 수 있었던 것은 이미 현장에서 1, 2, 3단계 안전망으로 정책 수단을 체계화하면서 나름대로 발전해 왔었기 때문이다. 그럼에도 불구하고 팬데믹 상황에서 나타난 학습격차 심화 및 학습결손 발생과 관련해서 국가가 기초학력을 보장하는 노력이 미비하다는 지적이 이어졌다. 당시 언론과 교육 관련 시민단체를 중심으로 코로나19로 인한 ‘학습결손’(learning loss)의 상황이 심각함과 함께 이 상황에 대응할 수 있는 기초학력을 보장할 안전망이 미비하다는 지적이 이어졌다(이정연, 2021; 한겨레 신문, 2021.07.21.기사; 이정우 외, 2021).

실제로 한국 학생들의 절대적 수준의 학습결손에 대한 대응은 온라인 수업환경이 제대로 구축되지 못한 OECD 국가를 포함한 다른 국가들과 비교했을 때 양호한 수준이었다고 할 수 있다. 국내 교육인프라의 하드웨어 수준은 무선망 구축 초중고 교실 수 38만 6천만실, 원격수업 시 쌍방향 수업 운영 비율이 77.6%(2022년 1학기 기준), 등교중지 학생을 위한 대체학습 제공 학교 비율이 99%로 거의 모든 학교에서 교과보충 프로그램과 콘텐츠를 지원하고 있었다. 뿐만 아니라 기존 기초학력 3단계 안전망 체계가 코로나19 상황에 대한 교육부 대응의 핵심 시스템으로 작동한 것을 확인할 수 있다. 예를 들어, “맞춤형 교육결손 해소 지원”의 경우 학생별 관찰과 상담, 진단도구를 활용하여 기초학력 미도달에 대한 진단을 진행하고, 교과 보충 집중 프로그램과 학습컨설팅 등을 제공한다는 점에서는 기존의 기초학력 3단계 안전망 중 1단계 교실내 지원에 해당한다. 또한 학생 진단 후 맞춤형 진단을 위해 두드림학교, 학습종합클리닉센터로의 연계를 통해 초기 집중 지원의 효과성을 높인 것은 학교 내, 학교 밖 지원에 해당하는 2단계, 3단계 안전망의 지원내용에 해당한다(교육부, 2022.5.3.게시글).

그럼에도 불구하고 여전히 국가의 기초학력정책, 기초학력을 보장하고 향상시키려는 노력에 대한 국민들의 요구가 크고, 여러 대응책에도 불구하고 정부 정책에 대한 체감도가 높지 않은 현 상황에 대해서는 다음의 분석이 가능하다. 첫째, 절대적 수준의 기초학력저하, 즉 기초학력미도달 학생의 증가와 상대적 학력력차에 대한 문제 제기와 해결방식이 혼재한 상황이다. 이때, 학력격차는 지금까지의 코로나19 라는 거대한 사회적 재난으로 인한 학습결손, 여러 양상으로 나타나는 학교 경험의 누락이 개별 학생에게 미치는 영향이 학습의 사회경제적 배경에 따라 다르게 나타남을 의미한다. 둘째, 코로나19 발생보다 10년도 더 전부터 꾸준히 추진되어오던 기초학력정책에 대한 성과 측정이 체계적으로 충분히 이루어지지 않았다. 오랫동안 기초학력정책은 기초학력의 보장 범위를 넓히고, 진단도구를 고도화하며 그 과정에서 일정한 실적을 축적해 왔다. 그러나 광역단위, 교육청 단위에서 실제로 집행하던 기초학력 정책 사업에 대한 실적을 일관된 성과지표로 확인하지 못하고 있다. 때문에 기초학력정책이 코로나19 상황에서 발생 가능한 기초학력 저하를 어떻게, 얼마나 방지했는지에 대한 검증이 어려웠다.

지금까지 기초학력정책에 대한 성과지표가 개발 및 적용되지 않은 데에는 첫째, 13년 넘게 추진되어 온 기초학력정책의 투입 대비 효과, 운영의 효율성 등에 대한 전국17개 광역 자치단체에 적용되는 공통된 평가기준을 마련하기 어렵다는 점과, 둘째, 현장의 전문가 및 교사, 학습클리닉 전담인력들이 정량적으로 측정, 표현되는 평가제도에 거부감을 가지고 있다는 점을 이유로 들 수 있다. 본 연구는 이렇듯 기초학력정책에 대한 성과 측정이 제대로 이루어지지 않은 현상에 대한 문제의식에서 시작되었다.

이에 따라 본 연구는 다음의 목적을 가지고 수행하였다. 첫째, 기초학력정책의 정책목표와 성격에 적합한 성과지표 개발의 모형을 도출한다. 둘째, 현장의 정책 수행 주체들이 평가의 과정과 결과를 수용할 수 있는 성과지표를 개발한다. 셋째, 기초학력정책의 성과를 측정하고 개선하기 위한 표준화된 성과지표와 측정산식을 현장의 맥락을 반영하여 도출한다.

본 연구 수행을 통한 기대효과는 다음과 같다. 첫째, 현장 전문가의 경험과 의견이 반영된 성과지표를 통해 정책 성과지표의 현실반영력을 높일 수 있을 것이다. 둘째, 성과지표 개발 과정에 참여한 이해관계자 집단의 평가 절차와 결과에 대한 수용성을 높여 평가 결과의 환류와 정책 대안 모색의 효과를 높일 수 있다. 셋째, 교육의 형평성 가치를 실현하고 배분적 성격이 강한 기초학력정책에 대한 책무성 진단 도구를 개발함으로써 향후 정부의 정책 사업들이 공유하며 발전시켜 나가고 있는 균형성과평가제도(BSC: balanced score-card) 등 책무성 확인 도구에 대한 도입 가능성과 적용점을 도출할 수 있을 것이다.

II. 이론적 배경

다음에서는 기초학력정책의 성과 측정 필요성과 책무성이 강조되는 배경을 문헌분석을 통해 파악하고, 정책수용도를 높이는 것에 주안점을 두는 기초학력정책 성과지표 개발을 위해 필요한 이론적 자원으로 Hoy & Tarter의 참여적 의사결정 모형과 정책수용도의 개념을 활용하였다. 이를 통해 정책평가 결과의 수용도를 높이기 위한 성과지표 개발의 절차와 방법을 모색하였다.

1. 기초학력정책의 특징과 성과지표 개발 필요성
가. 교수학습 현장 중심 전달체계 구성

기초학력정책은 1995년 이후 국가 수준에서 다양한 사업을 통해 이루어져 왔으며, 2018년 이후부터 현재까지는 ‘기초학력 보장을 위한 3단계 안전망’을 기본구조로 하고 있다. 3단계 안전망은 학교 단위에서 교육청 단위에 이르기까지 단계별로 기초학력 보장을 위한 지원정책이라고 할 수 있는데, 이를 세부적으로 살펴보면 다음과 같다.

먼저, 교실 내 지원(1단계 안전망)은 ‘수업 내 지원’으로 교실 수업 내에서 학습 부진이 발생하지 않도록 하기 위한 예방 차원의 성격이 큰 사업이다. 정규수업 시간에 학습에 어려움이 있는 학생을 즉각적으로 지원하여 학습결손이 발생하거나 누적되지 않도록 하는 것을 목적으로 하며, 1교실 2교사제, 협력교사제 등으로 운영되고 있다. 이와 관련하여 보조인력(교사, 예비교원, 강사 등)을 활용한 협력수업 모델 발굴을 위해 기초학력 보장 선도학교를 운영하고 있으며, 2021년 현재 전국 92개교의 기초학력보장선도학교가 운영되고 있다.

학교 내 기초학력지원(2단계 안전망)은 학습에 어려움이 있는 학습지원대상 학생에 대해 진단부터 처방까지 학교 내 여러 구성원(두드림팀)이 협력하여 맞춤식으로 지원하는 사업이다. 이와 관련한 사업으로 2014년부터 모든 시도의 단위학교에서 '두드림학교'를 운영하고 있다. 두드림 학교에서는 교내 다중지원팀을 구성(담임교사, 교감, 교장, 상담교사, 특수교사, 보건교사, 보조 강사 등)하고 학생 중심의 맞춤형 프로그램을 지원한다. 두드림학교 사업이 처음 시작된 2014년에는 학습 부진 학생이 많은 초·중학교를 중심으로 선정되었으나, 현재는 희망하는 모든 학교로 확대되었다. 2021년 현재 전체 5,193교의 두드림 학교가 운영되고 있다(교육부, 2022.10.11.).

학교 밖 지원(3단계 안전망)은 학습지원 대상 학생의 학습에 어려움을 초래하는 다양하고 복합적인 원인 중 학교나 교사의 힘으로만 지원하기 어려운 문제, 즉 학생의 심리-정서-행동상의 문제를 지원하기 위한 사업이다. 그동안 교사와 학교 단위의 노력에도 불구하고 해결하기 힘든 복합적인 요인(ADHD, 우울, 불안 등)에 의한 기초학력 미달 학생에 대해 외부 전문 지원체제가 필요하다는 현장의 의견이 계속 제기되어 왔다. 이에 2011년 교과부와 교육청은 이를 반영하여 “찾아가는 서비스” 중심으로 학습 상담, 학습 동기 제고 등의 기능을 수행하는 학습클리닉센터를 추진하였다(교육과학기술부, 2012). 교육지원청 단위로 학습종합클리닉센터의 확대·배치를 통해 2020년에 130개소였던 것이 2021년에는 142개소로 확대되어 전문적인 학습·정서 집중지원을 강화하고 있다(교육부, 2022.10. 11.). 다음은 2023년 3월을 기준으로 파악한 기초학력정책의 정책전달체계를 3단계 안전망을 중심으로 파악한 것이다.

jce-26-2-167-g1
그림 1. 기초학력 3단계 안전망 출처: 기초학력향상지원 누리집, 2022
Download Original Figure
나. 정책 수행주체 간 유기적 전달체계 강조

기초학력정책은 2009년부터 2022년까지 정책이 정비되는 과정에서 국가-광역 시도교육청-기초교육지원청-단위학교로 이어지는 유기적 전달체계를 갖추어 왔다. 특히 각각 2021년 <기초학력보장법>과 2022년의 <기초학력보장 종합계획>은 정책의 법적 근거와 국가 교육정책 추진체계로서 위상과 의미가 크게 바뀌었다. 2022년 이전의 기초학력정책의 전달체계를 ‘기초학력 보장 ver3.5’라고 불렀던 것에서 이후의 전달체계를 ‘기초학력 보장 4.0’으로 부를 정도로 전달체계의 변화를 겪었다.

2022년 기초학력보장 종합계획의 개요를 설명한 오상철 등(2022)은 기초학력보장 4.0의 구성에서 핵심을 다음과 같이 정책 수행주체 간 유기적 전달체계임을 강조했다. 먼저, 단위 학교에서는 기초학력담당부서에서 1단계 안전망인 1수업 2교사제를 운영하고, 2단계 안전망인 두드림팀(다중지원팀)을 구성하고 운영한다. 또한 교육청에서는 시도기초학력지원센터를 통해 3단계 안전망인 학습종합클리닉의 운영함과 동시에 단위학교에서 운영하는 2단계의 두드림학교를 지원하고, 1단계 안전망인 1교사 2수업제 운영을 위한 계획을 수립하고 예산 및 인력을 확보함을 토대로 하고 있다. 정부에서는 국가기초학력지원센터를 통해 선도적 자료를 개발 및 보급하고 전문가 네트워크 구축, 컨설팅, 실태조사, 성과관리, 국가 수준의 기초학력 보장 정책 및 제도 개선 연구를 할 것을 제시하고 있다. 기초학력 보장 3.5와 비교하여 달라진 내용은 다음과 같다.

표 1. 기초학력 보장 ver3.5와 ver.4.0 간 비교
기초학력 ver. 3.5 기초학력 ver.4.0 (안)
학교
1단계 안전망: 수업 내 지원(1수업 2교사제)
2단계 안전망: 학교 내 지원(두드림 학교)
두드림팀
• 대상학생 개별맞춤형 지도계획 수립
• 맞춤형 지도실시, 성장과정 모니터링, 사후관리
단위학교:기초학력담당부서
• 1단계 안전망: 1수업 2교사제 운영
• 2단계 안전망: 두드림팀(다중지원팀) 구성 및 운영
교육청
3단계 안전망: 학교 밖 지원(학습종합클리닉센터)
교육청: 시도기초학력지원센터
• 3단계 안전망: 학습종합클리닉센터 운영
• 2단계 두드림학교 운영 지원(전문검사 및 개별맞춤형 지도계획 수립)
• 1수업 2교사제 운영을 위한 계획 수립, 예산 및 인력 확보
국가
※ 국가수준 전담기구 없음
정부: 국가기초학력지원센터
• 시·도기초학력 지원센터 지원
• 예방-진단-지도지원-사후관리(이력 관리)를 위한 선도적 자료 개발 및 보급
• 기초학력보장을 위한 전문가 네트워크 구축, 컨설팅, 실태조사, 성과관리
• 국가 수준의 기초학력 보장 정책 및 제도 개선 연구

* 출처 : 오상철 외(2020: 42)의 도표

Download Excel Table

이와 같이 기초학력정책은 교수학습 현장의 기초학력 향상을 위한 개입의 맥락과 개입 방식에 따라 전달체계가 구성된다는 점, 기초학력보장을 위한 법적 근거가 정비되고 종합계획이 발표됨에 따라 개별 교사-단위학교-학습종합클리닉-광역 수준 기초학력지원센터-국가수준 기초학력지원센터로 이루어지는 현장 전문가 간 네트워크가 중심이 된다는 점을 특징으로 한다. 이러한 정책의 특징을 고려할 때, 현장 전문가와 이해관계자를 대상으로 평가를 수행하고 성과를 환류할 때 역시 현장의 참여와 수용도가 중요해질 것이다.

다. 기초학력정책 책무성 강화와 성과지표 개발에의 요구

현재, 기초학력정책에 대한 성과 평가는 국가 수준과 시도교육청 수준에서 이루어지고 있지만, 기초학력정책에 대한 전반적인 성과 관리는 이루어지지 않고 있는 것이 현실이다. 국가 수준에서는 매년 실시하는 시도교육청 평가의 일부에서 기초학력 영역에 대해 평가하고 있으며, 시도교육청 수준에서는 시도교육청에서 수행하는 여러 사업 중 일부로 기초학력에 대한 사업을 평가하고 있다. 그러나 이러한 지표들은 대체로 개별 사업에 대한 것으로 제한되어 있어, 기초학력정책의 전체 사업 범위를 포함하지 못한다는 점에서 제한적이다. 또한 기존의 기초학력정책 수행 지표는 학생이 인식하는 학습 태도나 성취 수준, 만족도 등으로 구성되고 있어 기초학력정책 집행의 과정에 대한 평가지표로는 한계가 있다.

정책사업의 성과관리를 위한 평가지표는 현재 사업의 성과를 평가할 뿐만 아니라, 사업의 지속적인 운영을 위해 투입 대비 산출의 효율성과 장기적인 결과의 확장성, 즉 영향(impact)을 고려해야 한다(노화준, 2009; 신하영, 박소영, 2020). 따라서 기초학력정책의 성과를 평가하기 위한 성과지표의 영역구성과 지표의 설계는 사업의 목표를 달성하기 위한 투입-과정-산출- 결과의 단계를 파악할 수 있도록 함으로써 향후 사업의 능률성과 효과성을 극대화할 수 있도록 개발되어야 한다.

2. 참여적 의사결정모형과 성과지표 개발

앞서 기초학력정책의 전달체계를 살펴본 결과, 기초학력정책의 주요 수행주체는 교원과 장학사, 학습종합클리닉 종사자 등으로 나타나는 현장전문가들이다. 기초학력정책의 수행 실적을 수량화하거나 정성적으로 확인한다는 것은 곧 이들의 활동에 대한 평가로 해석될 수 있다. 평가를 수행하기 위한 기초자료를 수집하고, 이해관계자 면담을 진행하고, 궁극적으로 기초학력정책의 발전을 위해 평가결과를 환류하여 현장에 적용할 사람이 현장의 교사와 장학사, 교수학습 전문가이기 때문이다. 본 연구는 기초학력정책을 평가하는 일련의 과정을 참여적 의사결정(shared decision-making)으로 보고, 이 의사결정과정에 참여하는 이해관계를 가지는 구성원을 기초학력정책의 현장전문가로 보았다.

가. 참여적 의사결정모형의 특징

그동안 기초학력정책의 평가에 표준화된 평가지표, 평가모형이 적용되기 어려웠던 것은 정책의 전달체계로 3단계 안전망에 따른 다양한 정책 수행주체가 참여하게 되면서, 상이한 구성원의 집단적 의사결정이 상시로 이루어졌기 때문이라고 할 수 있다. 기초학력정책의 수행과정을 살펴보면, 미시적으로는 개별 학생의 학력(academic skills)을 높이는 목표, 거시적으로는 국가 수준에서 기초학력 미도달 학생의 비율을 줄여나간다는 공통의 목표를 가지고 다양한 주체들이 전문성과 관련성을 가지고 집단결정을 이어나가고 있다.

본 연구는 이러한 기초학력정책의 특징에 착안해 Hoy와 Tarter(2010)가 제시한 집단결정의 참여적 의사결정모형(shared decision making model)을 분석틀로 활용하였다. 참여적 의사결정은 공동의 의견을 수렴하여 결정하는 것을 의미하며, 고도의 기술성과 전문성이 요구되거나 구성원의 참여의식을 높이고자 할 경우에 일어난다(Hoy & Tarter, 2010). 참여적 의사결정모형의 장점은 의사결정과정에서 충분한 논의를 거치므로 오류가 적고 수용성이 높다는 것이고, 단점은 단독결정보다 신속하지 못하기 때문에 효율이 떨어질 수 있다는 것이다. 그러나 최근에는 단독결정보다 집단결정을 이용하는 추세이다.

이와 마찬가지로, 기초학력정책의 성과를 평가한다는 것은 미시적으로는 정책의 전달체계가 계획대로 작동했는지 여부를 확인하는 것이지만, 거시적으로는 국가수준의 기초학력이 제고되었는지를 단계별로, 영역별로 확인하는 과정이다. 이때 정책의 평가 과정은 현장인력의 수행능력과 정책의 효과성을 제고한다는 공통된 목표를 이루기 위한 공동의 의사결정과 실행이라고 볼 수 있다.

기초학력정책 성과지표를 개발하는 과정을 다양한 구성원이 참여하는 의사결정과정으로 이해할 경우, 이러한 의사결정 과정에 누구를 언제 참여시키고, 어떤 형태로 의사결정을 해야 바람직한가의 문제를 직면하게 된다. 이를 본 연구에 적용하면, 기초학력정책을 수행하는 어떤 현장 전문가를 어떤 방식으로 참여시킬 것인지의 문제에 해당한다. 이 경우 참여적 의사결정의 모형에 따르면, 조직구성원들이 의사결정의 수용영역 범위 안에 있느냐 아니면 밖에 있느냐에 따라 참여 여부를 검토해야 한다(Hoy, & Tarter, 2010).

수용영역(zone of acceptance)이란 구성원이 상급자의 어떤 의사결정에 대해서 의심할 여지없이 기꺼이 받아들이는 영역이다. Bridges는 구성원들이 수용영역 안에 분명히 속하는 문제를 증명하기 위한 두 가지 검증을 제안하였다. 그 하나는 적절성 검토(test of relevance)이고, 다른 하나는 전문성 검토(test of expertise)이다. 적절성 검토는 “의사결정에 구성원이 개인적 이해관계를 가지고 있느냐”는 질문에 따라 이루어진다. 만일 기초학력정책의 현장전문가들이 자신과의 이해관계가 높으면 참여에 관심을 보일 것이고, 반면에 그렇지 않은 경우에는 참여에 관심을 보이지 않을 것이다. 전문성 검토는 “의사결정 과정에서 구성원이 유용한 공헌을 할 수 있는 전문성을 가지고 있느냐”에 대한 질문이다. 여기서 기여한다고 하는 것은 해결하고자 하는 분야나 사안에 대해 충분한 지식과 경험이 있어 문제해결 능력을 발휘할 수 있다는 의미이다. 각각의 참여적 의사결정 과정을 이 두 가지 준거에 따라 분류하면 다음과 같은 네 가지 상황의 도출이 가능하다.

상황 Ⅰ : 구성원들이 개인적 이해관계(적절성)과 전문적 지식(전문성)을 모두 가지고 있어 수용영역 밖에 있는 경우이다. 이런 경우 구성원을 의사결정과정에 자주 참여시키고 참여단계도 초기단계인 문제의 인지 및 정의부터 적극적으로 참여시킨다.

상황 Ⅱ : 구성원이 결과에 대해 이해관계(적절성)는 가지고 있으나 전문적 지식 (전문성)이 없는 경우이다. 이런 경우 구성원들은 수용영역의 한계조건(marginal conditions)에 있게 된다. 이런 경우 구성원을 가끔 참여시키고 참여 단계도 최종대안을 선택할 때 제한적으로 참여시킨다. 이때 참여시키는 목적은 최종결정 전에 구성원들에게 이해를 구하거나 설득 합의를 도출하여 저항을 최소화하기 위해서이다.

상황 Ⅲ : 구성원이 이해관계는 가지고 있지 않고 반대로 전문성이 있는 경우이다. 이 경우도 두 번째와 마찬가지로 수용영역의 한계조건 내에 있는 경우이므로 구성원을 제한적으로 참여시키는 것이 바람직하다. 이때 참여는 의사결정의 질을 높일 수 있는 아이디어나 정보를 얻기 위해서라는 점을 감안하여 대안의 제시나 결과의 평가단계에서 참여시킨다.

상황 Ⅳ : 구성원이 전문성도 없고 이해관계도 가지고 있지 않은 경우이다. 이 경우는 수용영역 내부에 있게 되므로 참여시킬 필요가 없다.

Hoy & Tarter(2010)는 관련 정책에 대한 관련성과 전문성의 두 가지 준거를 활용하여 의사결정 참여자의 신뢰성을 검증하고자 하였다. 여기서 관련성이라고 함은 “의사결정 과정에서 구성원이 개인적 이해관계를 가지고 있는가”를 의미하며, 전문성이라고 함은 “의사결정 과정에서 구성원이 유용한 공헌을 할 수 있는 전문성을 가지고 있는가”를 뜻한다. 이러한 전문성과 관련성을 준거로 의사결정 참여 형태를 제시하면 아래 [그림 2]와 같다(신하영, 이미영, 2012).

jce-26-2-167-g2
그림 2. Hoy & Tarter(2010)가 제시한 의사결정 상황 준거에 따른 참여형태
Download Original Figure
나. 참여적 의사결정모형의 기초학력정책에의 적용

위의 기본모형을 본 연구의 대상이 기초학력정책의 성과지표 개발 및 타당화라는 집단의사결정과정에 대입하면, 다음의 [그림 3]과 같다. ②번 유형은 기초학력정책의 성과를 평가함에 있어서 관련성이 높으면서, 또한 전문성을 가지고 있는 정책 이해관계자를 의미할 것이다. Hoy & Tarter는 이들 유형에 속하는 의사결정자들은 ‘수용영역 밖’에 있으며 ‘반드시 참여시켜야 하는 의사결정자’라고 분류했다. 앞서 살펴본 바와 같이 기초학력정책의 특징과 성격을 고려하면, 기초학력 보장을 위한 1단계 교실내 지원에 참여하면서 교수학습 전문성을 가지는 현장의 담임교사 및 학교 내 보조교사, 예비교원, 강사가 이 유형에 속한다. 2단계 안전망에 해당하는 단위학교 내 지원을 담당하는 두드림학교 다중지원팀(담임교사, 교감, 교장, 상담교사, 특수교사, 보건교사, 보조 강사 등) 구성원 역시 기초학력정책에 대한 지식과 경험이 풍부하여 전문성이 높고, 기초학력정책의 성과를 평가하는 피평가자로서 관련성이 매우 높다. 마지막으로 3단계 안전망을 책임지고 있는 학교 밖 지원 인력 즉 교육부와 교육청이 진행하는 “찾아가는 서비스”를 제공하는 학습종합클리닉 소속의 인력 또한 ②번 유형에 해당한다. 이들은 학습지원을 필요로 하는 학생이 경험하는 다양하고 복합적인 원인을 전문적으로 지원하기 때문에 전문성이 충분하고, 기초학력정책 전달체계에 포함되어 예산과 인력을 배정받기 때문에 마찬가지로 정책평가의 피평가자로서 관련성이 높다. 추가적으로 시도교육청 장학사의 경우 학습종합클리닉의 운영에 관여하고 시도교육청 자체평가의 평가자면서 동시에 피평가자를 측면에서 전문성과 관련성을 모두 가지고 있어 ②번 유형에 포함된다.

jce-26-2-167-g3
그림 3. Hoy & Tarter(2010) 의사결정 상황 준거의 기초학력정책 성과지표 결정에의 적용
Download Original Figure

한편, 기초학력정책의 성과지표를 만들고 이를 적용하는 데 있어서 ①번 유형과 ③번 유형의 이해관계자 그룹은 가끔씩(빈도) 의사결정에 참여시키고, 의사결정에 참여시키는 범위 역시 제한적으로 주어져야 한다. ①번 유형의 경우 기초학력정책의 성과에 대한 관련성은 높지만 정책의 성과를 판단하거나 정책의 내용에 대한 지식과 이해가 높지 않은 집단이다. 학부모와 학습지원 대상, 즉 정책사업에 참여하는 학생은 기초학력정책의 성과에 직접적으로 영향을 받는 관련성이 높다. 그럼에도 불구하고 기초학력정책의 성과를 평가하는 데 필요한 정책에 대한 이해가 현장의 전문가에 비해 상대적으로 낮고, 정책평가에 있어서도 평가자인 장학사, 외부 평가자에 비해 낮다. 이러한 점을 고려하면 학부모와 참여 학생의 경우 ①번 유형에 속하며, 본 연구에서 현장 수용성을 높이기 위해 성과지표를 개발하는 데는 참여시키지 않았다.

③번 유형의 경우 기초학력정책의 전달체계 내에 당사자이거나 직접적 이해관계자로 포함되어 있지는 않지만 기초학력정책의 성과를 평가할 수 있을 정도의 전문성을 보유하고 있다고 여겨지는 그룹이다. 교육지원청과 교육청에 소속된 장학사의 경우, 시도교육청이 시행하는 자체평가를 수행하는 주체로서 교육정책의 성과를 평가하는 데 전문성을 가지고 있다. 특히 일부 장학사와 대학 및 연구기관 소속 외부 정책평가자들은 기초학력정책 성과지표가 만들어지기 이전부터 기초학력정책의 실적과 관련한 성과지표를 시도별 자체평가의 성과지표로 포함시켜 오고 있었다(박소영, 신하영, 김진희, 이고운, 2022). 따라서 외부의 정책평가자들은 ①번과 ②번 유형에 비해 기초학력정책의 성과를 평가하는 것과 관련해서 관련성은 높지 않으나 해당 정책의 성과지표를 개발하는 데 필요한 전문성은 충분히 갖추었다는 점에서 ③번 유형에 속한다.

III. 연구방법

앞서 본 연구는 기초학력정책이 교수학습 현장 중심의 ‘3단계 안전망’이라는 정책 전달체계의 특징을 가지고, 정책 수행주체 간 일관성을 유지하는 정책 실행의 특징을 가지고 있음을 확인하였다. 또한 참여적 의사결정모형이라는 이론적 틀에 기초학력정책 성과지표 개발 및 적용의 상황을 적용하였다. 이와 같은 정책 특징에 대한 분석과 이론적 고찰을 통해 기초학력정책의 성과지표를 개발에 참여시켜 현장에서 평가의 결과에 대한 수용성을 높여줄 의사결정참여자로 교사와 장학사를 현장전문가로 설정하였다. 본 연구에서는 이들 현장전문가 그룹을 대상으로 기초학력정책의 성과지표를 개발하고 타당화하기 위해 의견을 수렴하였으며, 구체적으로는 델파이 조사와 설문조사의 방법을 활용하였다.

jce-26-2-167-g4
그림 4. 본 연구의 현장전문가 대상 성과지표 개발 및 타당화 과정
Download Original Figure
1. 현장전문가 델파이 조사

다음은 현장전문가를 대상으로 실시한 델파이 조사와 설문조사의 방식과 내용이다. 본 연구는 현장전문가를 대상으로 델파이 조사를 실시하기에 앞서, 연구진 내부 브레인스토밍을 실시했다. 그리고 기초학력정책 성과관리에 외부 정책평가자로 참여했거나, 참여할 예정이 있는 전문가를 대상으로 자문회의를 실시한 결과를 수합하여 기초학력정책 성과지표 1차안을 마련하였다.

이후 해당하는 성과지표 1차안을 현장전문가, 즉 의사결정 상황 준거에 따른 분류 상 ‘수용영역 밖’에 존재하는 ②번 유형에 해당하는 현장전문가들에게 송부하였다([그림 3] 참조). 현장 전문가 델파이조사는 시도교육청 담당 장학사, 학교 담당교사, 학습종합클리닉 담당자를 대상으로 실시하였다. 연구대상은 기초학력정책 유관기관 담당자의 추천을 받아 총 9개 시도교육청의 담당장학사 12명, 기초학력 정책사업을 담당하고 있으며 관련 정책연구에 참여 경험이 있는 16명의 학교 교사와 5명의 학습종합클리닉 담당자를 포함한 총 33명을 대상으로 하였다. 이때 성과지표를 설명하는 동영상을 제작해 공유함으로써 성과지표 개발의 목적과 지표 내용에 대한 이해도를 높이고자 하였다. 델파이조사 질문지는 성과지표 1차 안의 평가영역, 평가항목, 평가내용, 평가지표, 배점, 공통/자율지표 여부에 대해 다음과 같은 개방형 질문을 제시하였다. 또한, 기초학력 정책사업 담당교사와 학습종합클리닉 담당자에게는 성과지표에 대한 평가내용 및 평가지표의 타당성에 대한 5점 리커르트(likert) 척도의 문항을 함께 제시하였다.

표 2. 1차 델파이조사 (시·도교육청 담당 장학사 대상) 질문내용
1. 각 평가영역의 평가항목 구성은 적절합니까?
2. 평가항목별 평가내용은 적절합니까?
3. 평가지표가 평가내용 측정에 타당합니까?
4. 평가항목별 배점은 적절합니까?
5. 자율지표로 적절한 지표는 표시를 해주세요.
Download Excel Table
2. 현장전문가 대상 설문조사

성과지표 2차안에 대한 타당화를 위해 17개 시도교육청 장학사 및 관내 교사, 학습종합클리닉 담당자를 대상으로 한 온라인설문조사를 실시하였다. 조사항목은 성과지표 2차안의 평가영역별 배점의 적절성, 영역별 평가내용 및 평가지표 구성의 적절성에 대한 질문(5점척도)으로 구성했다. 또한 성과지표에 대한 의견을 자유롭게 기술할 수 있도록 영역별로 기타의견을 작성할 수 있도록 하였다.

설문조사 결과 한 문항이라도 참여한 응답자를 기준으로 총 1,918명이 참여하였다. 본 연구에서 마지막 문항까지 응답한 참여자를 기준으로 하면, 총 14개 교육청, 교사 1,354명, 관리자(교장, 교감) 21명, 장학사 8명, 학습상담사 22명 등 총 1,405명이 참여하였다(<표 3>).

표 3. 설문조사 응답자 특성
구분 교사 교육행정가 (교장,교감) 장학사 학습상담사 합계*
합계 1,354 21 8 22 1,405

* 설문조사 참여자 특성에 관한 문항에 응답을 안 한 경우가 많아 이 표에서 제시한 전체 참여자 수보다 문항별 참여자 수가 많을 수 있음

Download Excel Table

설문조사 결과 분석은 문항별로 응답자 수가 다르더라도, 정보의 손실을 최소화하기 위하여 각 문항별로 분석하였다. 설문조사 응답에 대한 빈도분석, 평균분석을 실시하였으며, 각 문항별로 제시된 기타의견을 분석하여 유형화하였다.

IV. 정책수용도 중심의 기초학력정책 성과지표 개발

1. 성과지표 1차안 개발

다음은 1차 델파이 조사를 통해 현장전문가들에게 제공한 성과지표 1차(안)의 개요이다. 성과지표 1차안은 기초학력정책을 투입-과정-산출-결과-성과관리의 5개의 평가영역으로 구분하고, 기초학력정책의 목적과 내용, 3단계 안전망 사업 등의 주요 내용을 고려하여 9개의 평가항목, 13개의 평가내용으로 구성하였다. 평가지표는 기초학력정책 성과지표 관련 선행연구(노원경 외, 2022) 및 각 시도교육청의 기초학력정책 운영 실태조사 문서들을 기반으로 각 평가내용을 대표할 수 있는 지표들로 구성하였다.

성과지표 간에는 각 평가내용별 배점 및 정량/정성 지표의 구분을 두었다. 예를 들어, 투입 영역의 예산의 경우 1-1.(예산규모의 적절성)과 1-2.(예산집행률)로 나누어 정량실적을 파악하고, 2-1.(교육인력 배정의 적정성)을 정성적으로 파악하였다. 가장 많은 배점을 둔 과정 영역의 학습지원에 대해서는 3. 사업계획, 4-1. (예방 및 진단) 학습지원 대상 학생 진단 및 발굴의 적정성, 4-2. (처방 및 보정) 교육내용의 적절성, 4-3. (지원 및 관리) 학습지원대상 학생을 위한 학교 및 학습종합클리닉센터 등 학교 외부기관 간 연계를 나누어 기초학력 보장 3단계 안전망에 대한 성과를 균형있게 배치하였다. 추가적으로, 인력 투입에 대한 부분은 투입 영역의 인건비 투자 외에도 실제 정책 추진 과정의 인력 운용형태의 자율성 강조했다. 이에 5-1. 기초학력 학습지원 관련 교원 전문성 제고와 같이 평가내용에 따라 정량, 정량지표를 모두 제시하여 각 시도의 상황에 맞게 선택할 수 있는 지표도 제시하였다. 직접적 산출(output) 영역은 6.1.(3단계 안전망 구축)에 있어서 실제 운영 학급수, 참여학교 수, 학습종합클리닉 연구 건수로부터 산출한 연계 비율을 정량적으로 파악하여 반영하였다. 결과 영역의 경우, 7. 교육만족도와 8. 학생기초학력의 향상 정도를 파악하여 사업의 영향(impact)을 드러내고자 하였다. 성과관리 영역은 평가 이후 환류와 정책 효과성 제고를 위해 9. 운영 평가 및 환류를 평가항목으로 두고, 9-1.(성과관리 체계 운영)을 정성적으로 파악하도록 구성하였다.

표 4. 기초학력정책 성과지표 1차안
평가 영역 평가 항목 평가 준거 평가내용 평가지표 배점 정량/정성
투입 (10) 1. 예산 충분성 적절성 1-1. 예산 규모의 적절성 ① 학교 전체 예산 대비 기초학력 관련 예산 비율 6 정량
② 기초학력 관련 예산 중 직접 학생 대상 프로그램 운영 예산 비율 정량
적절성 1-2. 예산집행률 ① 계획 대비 예산집행률 4 정성
2. 인력 충분성 2-1. 교육 인력 배정의 적정성 ① 전체 학습지원 대상 학생수 대비 학습지원전담교사 배치율 5 정량
② 학습지원 대상 학생 대비 학습종합클리닉 전담 인력 배치율
과정 (35) 3. 사업 계획 적절성, 구체성 3-1. 기초학력지원을 위한 계획수립의 구체성 ① 기초학력 향상 지원 사업 목표의 구체성 및 적절성 6 정성
② 기초학력 향상 지원 사업 성과지표 목표치 설정의 적절성 정성
③ 기초학력지원을 위한 실질적 정책수단의 적절성 정성
4. 학습 지원 타당성 4-1. (예방 및 진단) 학습지원대상 학생 진단 및 발굴의 적정성 ① 기초학력 향상 진단-보정 시스템 활용 비율(배이스캠프+시·도교육청 자체 기초학력 향상 진단-보정 시스템 활용진단 비율) 6 정량*
② 학습지원 대상 학생 진단의 타당성 정성*
타당성 충분성 4-2. (처방 및 보정) 교육내용의 적절성 ① 진단 결과에 따른 맞춤형 프로그램 운영 6 정량*
② 특성화 프로그램 운영 및 학교급별 특성을 고려한 교보재 개발 및 활용 정성*
효율성 4-3. (지원 및 관리) 학습 지원대상 학생을 위한 학교 및 학습 종합클리닉 센터 등 학교 외부 기관 간 연계 ① 학교와 학교 외부기관 협력등 네트워킹을 위한 DB 구축 건수 및 활용 6 정량*
② 학교와 학습종합클리닉과의 협조체제 구축 정성*
5. 운영 인력 전문성 지원 충분성 5-1. 기초학력 학습지원 관련 교원 전문성 제고 ① 기초학력 학습지원 관련 연수 참여 6 정량*
② 기초학력 학습지원 관련 교원 전문성 제고를 위한 노력 정성*
산출 (15) 6. 운영 실적 충분성, 효율성 6-1. 3단계 안전망 구축 ① 전년 대비 전체 학급 대비 협력교사제 실시 학급수 15 정량
② 전년 대비 전체 학교 대비 두드림학교 참여학교 수 비율 정량
③ 전년대비 학습지원대상학생의 학습종합클리닉 연계비율 정량
결과 (30) 7. 교육 만족도 효과성 7-1. 교육만족도 ① 3단계 안전망(참여프로그램)별 학생 만족도 10 정량
② 3단계 안전망(참여프로그램)별 학부모 만족도 정량
③ 운영 효과성에 대한 교사 만족도(예: 두드림학교 운영 효과성) 정량
8. 학생 기초 학력 향상 8-1. 기초학력 미달 예방 및 기초학력 수준 향상 ① 기초학력미달 예방률 10 정량
② 기초학력학생 구제율 정량
8-2. 비인지적 학습부진요인 개선 ① 학습지원대상 학생의 학기초 대비 자신감 및 자기효능감 증감률 10 정성
② 학습지원대상 학생의 학기 초 대비 학습동기 및 흥미도 증감률 정성
성과 관리 (5) 9. 운영 평가 및 환류 지속 가능성 9-1. 성과관리체계 운영 ① 사업 진행과정에서 모니터링 체계를 운영하여 문제점을 개선하고 있는가? 10 정성
② 전년도 자체평가 결과 및 외부 지적사항(컨설팅결과)를 사업구조개선에 반영하였는가? 정성
합계 100

* ‘*’표시는 정량지표와 정성지표를 선택하여 활용할 수 있도록 한 지표를 나타냄

Download Excel Table
2. 참여적 의사결정을 통한 현장전문가 의견 수렴 결과
가. 성과관리와 환류 중심 평가모형 구축

먼저, 기초학력정책 성과지표 개발의 목적은 ‘성과’만이 아닌 ‘성과관리’에 있다. 즉, 시도교육청별의 자체평가 및 컨설팅 등에 활용하기 위한 ‘성과지표’로서 시도교육청 단위의 사업에 대한 성과지표가 되도록 구성하는 것을 기본 방향으로 하였다. 기초학력정책 성과지표는 기초학력정책에 방향성을 제시하는 역할을 해야 한다. 성과관리를 목적으로 개발되는 지표인 만큼, 현재 현황에 근거할 뿐만 아니라, 향후 기초학력정책의 방향성을 제시할 수 있는 성과지표를 도출하고자 하였다.

특히 단기적이고 즉각적으로 측정가능한 국가수준의 기초학력 실태조사 결과를 시도별로 비교하는 것에 대한 우려가 존재했다. 주요 내용으로는, 먼저 ‘7-1 교육만족도에 대한 평가지표’에 대해 내용은 적절하나, 3단계 안전망에 대한 범위가 너무 크기 때문에 그 만족도를 확인하는 과정이 단위학교에는 부담이 될 수 있음을 지적하였다.

‘8. 학생기초학력향상’ 항목에 대해서는 ‘기초학력미달 예방률’과 ‘기초학력학생구제율’의 평가지표에 대한 부정적인 의견이 다른 항목에 비해 많았다. ‘8-1. 기초학력 미달 예방 및 기초학력 수준향상’에 대해서 이 항목 자체의 필요성에 대한 지적과 현재 학생에 대한 기초학력에 대한 결과를 공개하지 않아 이 항목을 측정하는 것 자체가 어렵다는 지적이 있었다. ‘8-2. 비인지적 학습부진요인 개선’에서는 비인지적 학습부진 요인을 파악할 구체적인 방법이 제시되어야 한다는 의견이 있었다.

나. 시도교육청 특징 및 여건 반영

기초학력정책을 운영하는 시도교육청의 특징 및 여건이 반영된 지표가 개발되어야 한다. 현재 기초학력정책은 중앙단위의 정책을 각 시도교육청이 자율적으로 각자의 여건 및 특성을 반영하여 사업을 추진하고 있는 만큼 정량지표뿐만 아니라 정성지표를 충분히 활용하여 각 시도교육청의 특성이 잘 반영될 수 있는 지표를 도출할 필요가 있다.

특히 과정영역에 해당하는 사업계획에 대한 적절성을 묻는 지표와 관련해서는 지방교육자치제도의 확산에 따라 시도교육청별 시책사업과 연동되어 추진되는 기초학력정책의 추진 실태를 반영해야 한다는 의견이 많았다. 델파이 조사에 응답한 현장전문가들은 시도교육청별로 기초학력종합계획 및 평가항목과 연계가 필요하다고 지적했다. 실제 현장에서 정책의 단위사업, 세부사업이 각기 다른 이름의 사업으로 시도교육청의 기본계획 수립 과정에 포함되기 때문에, 시도교육청의 기본계획 및 성과지표에 기초학력정책 추진 실적이 직접적으로 연계된 것만을 측정하여 성과로 삼기가 어렵다는 의견이었다.

다. 성과를 표현하는 용어에 대한 명확한 합의와 정의

본 연구에서 성과지표 1차안에 대한 의견을 서면으로 주고받았을 때, 현장전문가들 간에는 동일한 용어와 개념에 대한 상이한 이해와 추정이 존재했다. 대표적인 사례는, 학습종합 클리닉에 기초학력 미도달 학생(학습지원대상)을 연계하는 ‘학습종합클리닉 연계 비율’을 성과지표에 실적으로 포함할 경우, 교실 내 (1단계)-학습종합클리닉 (3단계) 간 어떤 종류의, 어느 정도 수준의 연계를 의미하는 것인지에 불분명하다는 지적이 있었다.

또 다른 사례로는, 기초학력 예산의 적절한 집행을 평가하는 ‘투입’ 영역의 성과를 산출할 때 인건비로 계상할 때 기준이 되는 인력의 범위에 대한 이해가 상이한 경우를 들 수 있었다. 이에 대해 현장전문가 중 담당 장학사의 의견으로는 학습담당 교원 및 전담인력에 대한 명확한 정의가 필요하다는 지적이 있었다.

초기 제시한 평가모형의 투입, 과정, 산출, 결과 영역에 대한 명확한 조작적 정의가 필요함을 확인하였다. 이에 따라 기초학력정책의 특성에 근거하여 각 영역에서의 목표를 정의하고 이를 기반으로 평가지표를 추출할 수 있도록 하였다.

다음의 <표 5>는 본 연구에서 교사, 장학사, 학습클리닉 담당자를 대상으로 델파이 조사와 1, 2차 설문조사를 수행한 결과를 통해 수렴한 현장전문가의 의견을 기초학력정책 성과지표의 영역별로 분류 및 정리한 것이다.

표 5. 기초학력정책 성과지표별 현장전문가 주요 의견
영역 장학사 교사 및 학습종합클리닉 담당자
투입 • 학교 예산 대비 예산규모의 적절성을 평가하는 것은 적절하지 않음
• 학생 대상 프로그램 운영비 기준이 불명확함
• 학습담당교원, 전담인력 등의 용어정리 필요
• 투입인력의 전문성 관련 지표 필요
• 일괄적인 예산집행률 평가는 상황에 맞는 예산활용의 유연성을 떨어뜨림
과정 • 교보재 개발 및 활용‘에서 기개발된 자료를 활용하는 것이 효과적이므로 개발은 삭제
• 시도교육청 기초학력종합계획 및 평가항목과 연계 필요
• 계획수립시 성과지표 목표설정이 어려움
• 진단보정시스템활용을 필수로 하는 것은 부적절함
• 학생지원협의회 실시여부 확인
• 관련 데이터가 존재하지 않는 것이 많음
• 학급단위에서 학교 단위로 변경필요
• 단위학교에서 교재를 개발에 따른 업무과중 및 질적인 수준에 대한 우려
• 학교특성화 프로그램을 과도하게 요구하면 전시성 사업을 해야 하는 우려가 있음
• 외부기관과의 연계가 학습지원의 효율성과 상관관계가 크지 않음
• 네트워크DB 구축 및 활용이 단위학교 수준에서는 실행하기 어려움
산출 • 협력교사제 실시여부는 교사들의 수용여부가 중요한 것이므로 성과지표로 적절하지 않음
• 학습종합클리닉 연계비율은 불필요한 연계를 가져올 수 있음
• 1~3단계 사업 각각의 증가수로 구하는 것은 실제 학교의 학습안전망 구축실적을 왜곡할 우려
• 담임의 책임지도에 대한 별도의 지표가 산출지표로 필요
결과 • 학생학력 향상을 기초학력미달 예방률과 구제율로 평가하는 것에 대해 부정적임
• 현재는 학생 기초학력 결과를 공개하지 않음
• 비인지적 학습부진요인을 파악할 구체적인 방법제시 필요
• 기초학력 구제율보다는 진단-보정시스템을 활용한 학생 성장률을 성과지표로 삼는 것이 적절
• 단기간에 학습향상을 기대하기 어려워 담당교사의 사기를 저하시킬 수 있음
• 누적적인 학생 학습데이터 없음
성과관리 • 성과관리지표의 필요성에 대한 의문
• 성과관리여부에 대한 정성지표의 정량화를 위한 기준 필요
• 단위학교 수준에서 성과평가 항목이 부담스러움
Download Excel Table
3. 기초학력정책 성과지표 최종안 도출

기초학력정책 성과지표 최종안은 타당성, 효율성, 효과성, 지속가능성을 평가준거로 투입-과정-산출-결과-성과관리의 5개 평가영역으로 구성하였다. 9개의 평가항목, 15개의 평가내용을 도출하고, 각 평가내용을 측정하기 위한 정량지표 16개, 정성지표 11개로 구성된 총 27개의 평가지표를 도출하였다.

본 연구를 통해 도출한 기초학력정책 성과지표 최종안의 영역별 주요 내용은 다음과 같다. 먼저, 투입은 예산과 인력을 평가항목으로 구성하여 기초학력정책에 투입된 물적, 인적 자원의 충분성과 적절성을 평가한다. 예산 규모의 충분성은 학습지원대상 학생 1인당 투입예산, 예산집행의 적절성은 계획 대비 예산집행률로 평가한다. 교육인력 배치의 적절성은 기초학력정책에 대한 정규교원 참여율과 정규교원외 참여인력의 전문성 관리로 성과지표를 구성하였다. 총 12점을 배점하였으며, 정성지표 3개(9점), 정량지표1개 (3점)로 구성하였다.

과정은 기초학력정책의 사업적 특성이 드러나는 부분으로 사업계획의 구체성, 학습지원의 타당성, 운영인력 전문성 지원의 충분성을 평가내용으로 구성하고, 정성지표 5개(15점), 정량지표 5개(15점)로 총 30점을 배점하였다. 사업계획항목은 기초학력지원계획의 구체성을 내용으로 목표의 구체성과 기초학력 지원을 위한 실질적 정책수단의 적절성을 성과지표로 하였다. 학습지원 항목은 기초학력정책의 핵심 내용인 예방 및 진단-처방 및 보정- 지원 및 관리가 적절하게 이루어지고 있는지를 평가할 수 있도록 지표를 구성하였다. 학습지원대상 학생 선정을 위한 합리적 기준을 마련하고 보급하고 있는지, 학생선정의 다양한 기준을 활용하고 있는지 평가하고, 선정된 학생에 대해 학생별, 학교별 맞춤형 프로그램을 적절하게 제공하고 있는지, 외부기관과의 연계 협력을 지원하기 위해 교사 및 학교를 위한 연계협력 방안을 마련하고 지원하고 있는지를 점검할 수 있도록 하였다. 마지막으로 운영인력 전문성 지원을 점검하기 위해 기초학력학습지원 관련 교원 전문성 제고를 위한 노력을 점검하고, 기초학력 학습지원 관련 연수 이수율을 점검하도록 하였다.

산출영역은 기초학력정책의 3단계 안전망 사업에 대한 참여율을 중심으로 성과지표를 점검할 수 있도록 3개의 정량지표로 구성하고 총 19점을 배점하였다. 기초학력정책은 학교와 학생들의 참여가 기초학력 제고라는 목표 달성을 위한 중요한 실적이라고 할 수 있다. 따라서 1단계, 2단계, 3단계 사업실적에 대해 각각 교실 내 지원 사업 참여학급 비율, 학교내 지원 사업 참여 학생 수 비율, 학습종합클리닉센터 이용 비율을 주요 성과지표로 점검하도록 하였다.

결과영역은 장·단기로 나누어 결과지표를 점검할 수 있도록 지표를 구성하였으며 7개의 정량지표로 총 30점을 배점하였다. 기초학력 제고는 1~2년의 단기적인 노력으로는 어렵다는 현장의 의견을 반영하되, 학습지원대상 학생들의 학습 과정을 관리하고 그 향상 정도를 파악할 수 있도록 지표를 구성하였다. 먼저 단기적 결과로는 교육만족도와 비인지적 학습부진요인 개선을 주요 내용으로 제시하였다. 교실 내 지원사업, 학교 내 기초학력지원, 학습종합클리닉센터 이용에 대한 교사 및 학생(학부모)의 만족도는 매년 사업 운영의 결과로 점검하도록 하였다. 또한 기초학력 제고를 위해서는 학생들의 학습효능감 등의 비인지적 요인의 개선이 선행되어야 하는 만큼 비인지적 요인들의 개선에 대해 매해 점검할 수 있도록 하였다. 장기적 결과로는 기초학력정책의 궁극적인 목표인 학생 기초학력 향상을 직접적으로 확인할 수 있는 지표로 구성하였다. 담당 교사의 전문적 평가에 의한 학습지원대상 학생들의 학습 성장률과 기초학력진단검사를 통한 기초학력미도달 학생의 학업성장률을 장기적 관점의 점검지표로 제시함으로써 기초학력미도달을 예방하고 기초학력 지원을 받는 학생들에 대한 학습 이력을 관리할 수 있도록 하였다.

마지막으로 성과관리 영역은 기초학력정책의 운영평가 및 환류를 주요 평가항목으로 구성하였다. 성과관리는 그 자체로 하나의 평가항목이 될 만큼 최근 정책 사업 운영의 필수 항목이라고 할 수 있다. 성과관리 조직이 구축되었는지, 구축된 조직이 활성화되었는지, 성과평가의 결과를 잘 반영하고 있는지 등을 점검함으로써 기초학력정책이 지속해서 발전적으로 운영될 수 있도록 하는 지표의 역할을 하게 될 것이다. 다음의 <표 6>은 1, 2차 설문조사를 통해 타당화 과정을 거친 기초학력정책 성과지표 최종안을 정리한 것이다.

표 6. 기초학력정책 성과지표 최종안
평가 영역 평가항목 평가 준거 평가내용 평가지표 배점 정량/정성
투입 (12) 1. 예산 타당성 1-1. 예산 규모의 충분성 ① 학습지원대상 학생 1인당 투입예산의 충분성 4 정성
1-2. 예산집행의 적절성 ① 예산집행률 2 정성
2. 인력 2-1. 교육인력 배치의 적정성 ① 전체 정규교원 중 1단계 사업 참여 교원 비율 3 정량
② 정규교원외 참여인력 배치의 적절성 3 정성
과정 (30) 3. 사업계획 타당성 3-1. 기초학력 지원계획 수립의 구체성 ① 기초학력정책 목표의 구체성 및 적절성 3 정성
② 기초학력지원을 위한 실질적 정책수단의 적절성 3 정성
4. 학습지원 타당성 4-1. (예방 및 진단) 학습 지원 대상 선정의 적절성 ① 학습지원대상 학생 선정을 위한 합리적 기준 마련 및 보급 4 정량*
② 학생 선정의 다양한 기준 활용 2 정량*
타당성 4-2. (처방 및 보정) 교육프로그램의 적절성 ① 시도교육청별 학생별/학교별 맞춤형 프로그램 마련 및 보급 3 정성
효율성 ② 시도교육청별 학생별/학교별 맞춤형 프로그램 운영 비율 3 정량
타당성 4-3. (지원 및 관리) 외부기관과의 연계 협력 ① 교사 및 학교를 위한 연계협력 방안 마련 및 지원 3 정성
효율성 ② 교사 및 학교의 연계협력 실적 3 정량*
5. 운영인력 전문성 지원 타당성 5-1. 기초학력 학습지원 관련 교원 전문성 제고 ① 기초학력 학습지원 관련 교원 전문성 제고 노력 3 정성
효율성 ② 기초학력 학습지원 관련 연수 이수율 3 정량
산출 (19) 6. 운영실적 효율성 6-1. 1단계 사업실적 ① 교실내 지원 사업 참여 학급 비율 7 정량
6-2. 2단계 사업실적 ② 학교내 지원 사업 참여 학생수 비율 7 정량
6-3. 3단계 사업실적 ③ 학습종합클리닉센터 이용 비율 5 정량
결과 (30) 7. 교육 만족도 효과성 단기 7-1. 이용자 도움 인식 ① 교실 내 지원에 대한 학생(학부모) 및 교사 도움 인식 3 정량
② 사업 지원에 대한 학생(학부모) 및 교사 도움 인식 3 정량
③ 학습종합클리닉 이용 학생(학부모) 도움 인식 3 정량
8. 학생 기초학력향상 8-1. 비인지적 학습 부진 요인 개선 ① 학습지원대상 학생의 교과 학업 효능감 향상 4 정량*
② 학습지원대상 학생의 교과 흥미 향상 4 정량*
장기 8-2. 기초학력 수준 향상 ① 학습지원대상 학생 학습 성장률 4 정량*
② 기초학력 미도달 학생의 학업 향상률 9 정량
성과 관리 (9) 9. 운영평가 및 환류 지속 가능성 9-1. 성과관리조직 구축 및 운영 ① 성과관리 조직 구축의 적절성 3 정성
② 성과관리 조직의 활성화 정도 3 정성
③ 지속가능성 및 개선 의지 3 정성
총점 100

* ‘*’표시된 부분은 정성적 내용을 정량화한 지표를 의미함

Download Excel Table

V. 결론 및 제언

본 연구는 기초학력정책의 성과지표 개발과 적용에 있어 현장의 수용도를 높이는 데 중점을 두었다. 이를 위해서 기초학력정책의 성과 측정 필요성과 책무성이 강조되는 배경을 문헌분석을 통해 파악하고, 이론적 논의와 선행연구 검토를 통해 정책수용도를 높이기 위해 참여적 의사결정모형과 수용영역의 개념을 필요한 기초학력정책 성과지표 개발의 이론적 자원으로 활용하였다. 이론적 고찰을 통해 얻은 시사점을 토대로 기초학력정책 성과지표를 개발하고 타당화하기 위한 방법으로 현장전문가 대상 델파이 조사와 2차례에 걸친 설문조사를 실시하였다.

기초학력정책 성과지표의 1차안이 최종안으로 수정되는 과정에서 나타난 주요 현장전문가의 의견은 다음과 같다. 첫째, 담당장학사와 교사, 학습종합클리닉 운영인력 등 현장전문가와 유관기관 담당자들은 기초학력정책의 성과평가는 성과관리와 환류중심의 평가모형으로 개발되어야 하며, 정량화된 실적이 시도별 상대평가의 도구로 활용되어서는 안됨을 강조하였다.. 둘째, 정책 사업의 과정을 평가하기 위해서는 기초학력정책에 투입되는 예산이 시도교육청별로 상이한 점을 적용하여 예산집행률을 평가요소로 적용할 때 유연함이 필요하다는 점, 기초학력 향상에 소요되는 기간을 고려하여 단기적 성과 외에도 중ㆍ장기 성과를 구별해서 평가해야 한다는 점 등을 의견으로 내었다. 마지막으로, 성과를 표현하는 용어와 개념에 대한 명확한 합의와 정의가 필요하다는 의견이 많았다. 이는 지방교육자치제도가 확대되고 교육감의 시책사업의 비중이 커지는 경향을 고려할 때 향후 기초학력정책의 정책적 일관성과 입법가치를 유지해 나가는 데 있어서 매우 중요한 지점으로 여겨진다.

본 연구는 기초학력정책이 현장 전문가 참여와 전달체계 간 유기적 관계를 중심으로 발달해 왔다는 점을 반영하여 정책수용도를 높일 수 있는 성과지표를 개발했으며, 최종 도출된 성과지표는 <표 6>에서 제시하였다. 연구 결과의 의의는 다음과 같다. 첫째, 본 연구를 통해서 기초학력보장에 대한 국가 책무가 높아짐에 따라 꾸준히 추진되어 오던 기초학력정책의 성과를 확인할 수 있는 도구를 마련할 수 있었다. 둘째, 기초학력정책을 집행하는 과정에서 운영에 대한 확인과 성과에 대한 확인에 대한 비중과 중요성을 확인할 수 있었다. 셋째, 기초학력정책의 특징을 파악하고 이에 적합한 성과지표 개발의 이론적 틀을 마련했다. 구체적으로 이 연구는 집단의사결정의 이론과 참여적 의사결정 모형을 채택하여 성과지표를 개발하기 위한 절차와 방법을 정립하였다. 마지막으로, 기초학력정책 성과지표를 통한 정책 평가가 현장에서 수용도가 높아질 수 있도록 정책 이해관계자, 특히 현장전문가의 의견을 설문조사와 델파이 조사의 다양한 방법으로 정량, 정성적으로 모으고 적극적으로 반영하였다.

본 연구가 가지는 실천적 성과와 이론과 개념 적용의 가능성에도 불구하고, 기초학력정책의 성과를 체계적으로 평가하고 그 결과를 환류에 활용하는 데는 해결해야 할 과제가 남는다. 연구를 진행하는 과정에서 현장전문가 델파이 조사를 통해 일관적으로 나타난 것은 기초학력정책이 추구하는 방향과 현황에 대한 면밀한 실태 파악이 필요하다는 점이다. 그러나 아쉽게도 현황자료 부족으로 현재 상황에 대한 확인이 어렵고, 기초학력의 개념에 대한 합의 부족으로 미래의 지향성에 대한 합의도 부족하다는 것을 확인하였다. 이는 향후 정책의 실행과 성과 확인에서 갈등의 소지로 이어질 수 있다. 향후에는 성과지표 설계에 기초학력정책의 전달체계인 1, 2, 3단계 기초학력 보장 안전망별로 주요한 양적, 질적 성과가 될 수 있는 요소를 귀납적으로 수렴하여 반영하는 방식의 상향식(bottom-up) 책무성 확인의 체계를 마련하는 것도 주요한 변화의 방향이 될 수 있을 것이다.

Notes

1) 이 논문은 2022년 한국교육과정평가원의 위탁연구로 수행한 “기초학력 성과지표 개발 및 타당화 연구”(ORM 2022-142) 보고서의 일부 내용을 활용하였으며, 2020년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임(NRF-2020S1A3A2A02095447).

참고문헌

1.

교육과학기술부(2012). 학습클리닉센터를 통한 학습부진학생 지원 본격 추진. 조간보도자료.

2.

교육부(2022.10.11.). 제1차 기초학력 보장 종합계획. 교육부 교육기회보장과.

3.

노원경, 오상철, 김태은, 우연경, 시기자, 김경령(2022). 2021 기초학력 지원 현황 및 실태 분석. 한국교육과정평가원, 연구보고 CRI 2022-4.

4.

노화준(2009). 결과지향적 관리를 위한 프로그램 논리모형의 활용. 한국정책분석평가학회 학술대회발표 논문집, 1-53.

5.

박소영, 신하영, 김진희, 이고운(2022). 기초학력 성과지표 개발 및 타당화. 한국교육과정평가원 수탁연구보고서.

6.

신하영, 박소영 (2020). 호주 ATPC 사업 원조효과성 성과지표 분석 연구. 국제지역연구, 24(1), 225-252.

7.

신하영, 박소영(2023). 기초학력 향상 지원 정책의 가능성과 한계: 제1차 기초학력보장 종합계획을 중심으로. 교육정치학연구, 30(1), 1-30.

8.

신하영, 이미영(2012). 교육위원회의 참여적 의사결정 특징 분석. 교육정치학연구, 19(4), 61-87.

9.

오상철, 김태은, 노원경, 이경남, 오택근, 양윤정, 박선화, 홍선주, 동효관, 김성경, 우연경, 이재진, 이민형(2022). 2021 기초학력 지원 컨설팅. 한국교육과정평가원. 연구보고 CRI 2022-03.

10.

이정연, 이용민, 이혜선, 박혜연, 권회림(2021). 코로나19 이후 학교현장의 학습결손 인식 및 해소 방안. 경기도교육연구원 정책연구보고서.

11.

이정우, 김찬환, 구자옥, 김동영, 김성기, 김수진, 김용남, 김진숙, 서영인, 서현숙, 선미숙, 유석주, 이희현, 전진아, 김진희, (2021). 2020 교육분야 코로나19 대응(TR2021-28). 한국교육개발원 연구보고서.

12.

Hoy, W. K., & Tarter, C. J.(2010). Swift and smart decision making: Heuristics that work. International Journal of Educational Management.

13.

“학습부진 줄일 ‘기초학력 안전망’ vs 학생 줄세우는 ‘일제고사 부활’”. 문화일보. 2022.10.25.기사. <http://m.munhwa.com/mnews/view.html?no=2022102501032503022001> 최종접속: 2022.11.13.

14.

“코로나로 인한 수업결손, 대체학습으로 가능합니다!”. 교육부. 2022.3.30. 공식블로그 게시글. <https://blog.naver.com/moeblog/222686975568> 최종접속: 2023.1.23.

15.

“교육분야 코로나19 대응”. 교육부, 2022.5.3. 공식홈페이지 게시자료. <https://www.moe.go.kr/sn3hcv/doc.html?fn=a05f4c0114e1dbdcd8e3ea7b4a64e03a&rs=/upload/synap/202304/> 최종 접속: 2023.03.31.

16.

“[단독] 저소득층 학습결손 걱정 큰데…‘우수’ 학생 지원 내세운 교육부” 한겨레신문. 2021년 7월 21일 기사. <https://www.hani.co.kr/arti/society/schooling/1004499.html> 최종접속: 2023.04.02.