국내 교사 평가 전문성 기준과 측정도구 분석

평가 전문성을 분석하기 위해 선행연구(Looney et al., 2018; DeLuca, LaPointe-McEwan, & Luhanga, 2016b)를 바탕으로 ‘평가 목적’, ‘평가 상황’, ‘평가 측면’, ‘측정 척도’의 4가지 범주와 각 범주별 내용 요소로 이루어진 분석틀을 재구성하였다(표1).

‘평가 목적’ 범주는 Looney 외(2018)의 분석틀을 따라 ‘형성평가’, ‘총괄평가’, ‘진단평가’, ‘명시되지 않음’의 4개의 내용 요소로 구성하였다. 이와 같은 내용요소는 형성평가의 중요성을 일깨운 Black & Wiliam(1998)의 연구 이후 평가 전문성 기준의 내용 변화가 드러난 국외의 연구 결과와 비교하기 위함이다.

‘평가 상황’ 범주는 평가 도구나 평가 과정의 실행 주체에 따라 ‘표준화’, ‘교실’, ‘명시되지 않음’의 3개의 내용요소로 구성하였다. 상황이 명확하지 않을 경우 ‘교실’로 분석한 Looney 외(2018)의 분석틀과 달리, 본 연구에서는 ‘명시되지 않음’으로 구분하여 교실 평가를 강조(Shepard, 2000)하는 추세가 반영되었는지 살펴보고자 하였다.

‘평가 측면’ 범주는 ‘평가 계획’, ‘평가 실행 및 결과 해석’, ‘평가 결과 관리와 이용’, ‘평가 윤리’, ‘평가 이론’, ‘교실 문화’, ‘협력’의 7개 소범주와 각 소범주별 2～7개의 내용 요소로 구성하였다. Looney 외(2018)와 DeLuca, LaPointe-McEwan, & Luhanga(2016b)의 분석틀을 재구성하되 일부 내용 요소는 최근 평가 동향을 반영하는지 살펴보기 위해 추가하였다. 평가에서 학습자의 역할을 어떻게 규정하는지 보기 위한 내용 요소는 ‘평가 과정에 대한 공유와 협상’, ‘학습목표에 대한 공유와 협상’, ‘자기/동료평가’(Klenowski, 2009; Xu & Brown, 2016)이다. 평가 주체성을 가진 교사가 어떻게 평가를 실행하는지 살펴보기 위한 내용요소는 ‘교사의 자기성찰’, ‘평가결과를 반영한 수업개선’, ‘동료교사와의 협력’(Willis, Adie, & Klenowski, 2013; NBPTS, 2016)이고, 평가 목적에 적합한 평가를 실시하는지 살펴보기 위한 내용 요소는 ‘평가 목적과 활용을 고려한 평가 계획 수립’이다. 평가 전문성의 기준이나 평가 전문성 측정 도구의 문항 내용이 7개의 소범주에는 속하나 적합한 내용 요소가 없을 경우에는 ‘기타’로 처리하였다.

‘측정 척도’ 범주는 측정 척도의 내용과 종류를 통해 평가 전문성 발달에 대한 연구자의 관점을 알아보기 위한 것으로 ‘지필평가’, ‘리커트 척도’의 두 가지 내용 요소로 구성하였다.

평가 전문성이 무엇인지 논의하기 위해서는 평가를 왜 하는지, 누가 평가를 계획하고 실행하는지에 대한 전제가 필요하다. 왜냐하면 평가 목적과 상황에 따라 요구되는 평가 전문성이 다르기 때문이다(Brookhart, 2011). 이에 본 연구에서는 평가 전문성 기준과 측정 문항의 ‘평가 목적’과 ‘평가 상황’에 따른 ‘평가측면’의 내용 요소별 빈도와 비율을 구하여 평가 전문성 내용과 교육과정 시기에 따른 특성을 비교 분석하였다.

먼저 평가 전문성이 무엇인지 분석하기 위하여 연구 대상 논문에서 평가 전문성의 기준과 측정도구를 추출하였다. 이후 평가 전문성 기준은 가장 하위 내용 요소를, 평가 전문성 측정도구는 측정 문항을 문장 단위로 나누고, 각 문장이 ‘평가 목적’, ‘평가 상황’, ‘평가 측면’의 세 가지 범주 별로 각각 어떤 내용 요소에 해당하는지 분석하였다. ‘평가 측면’범주는 7개의 소범주 중 어느 내용 요소인가를 분석하였고, 한 문장에 여러 개의 내용 요소가 포함될 경우 중복 분석하였다. 예를 들면, ‘평가를 위한 물리적 환경과 심리적 환경을 적절하게 조성할 수 있다(김경희 외, 2006)’라는 평가 전문성 기준을 다음과 같이 분석하였다. 평가 목적이 명확하게 명시되지 않았으므로 ‘평가 목적’ 범주에서는 ‘명시되지 않음’으로, ‘평가 상황’ 범주에서는 표준화검사인지 교실 평가인지 명확하게 구분되지 않으므로 ‘명시되지 않음’으로 처리하였다. ‘평가 측면’ 범주에서는 한 문장에 ‘교실문화’ 소범주의 ‘물리적 환경 조성’과 ‘문화적 환경 조성’이라는 2개의 내용요소가 포함되므로 중복 처리하였다.

각 연구자가 전체 분석 대상 중 6편, 139개의 기준과 문항을 1차 분석하였고, 분석자간 일치도는 74.5%였다. 1차 분석 결과를 협의 검토하여 분석틀의 의미와 기준을 명료화한 후, 1인의 연구자가 분석 대상 전부를 2차 분석하였다. 그 결과를 3인의 연구자가 검토하여 합의된 결과를 도출하였다. 최종 분석 결과는 평가 전문성의 범주별 내용요소별로 빈도(%)로 나타내었다.

교사의 평가 활동은 교육과정 개정 방향과 평가 정책에 따라 영향을 받는데, 이러한 경향이 교사 평가 전문성 연구에 영향을 미치는지 살펴보기 위하여 교육과정 시기별로 분석하였다. 교육과정 시기는 교육과정 고시 시점을 기준으로 세 개로 나누었다. 최초 분석 대상의 발행연도인 2004년부터 2009개정 교육과정이 고시되기 전인 2008년까지, 2009 개정 교육과정이 고시된 2009년부터 2014년까지, 2015개정 교육과정이 고시된 2015년부터 2019년까지이다. 교육과정 개정이 주기적으로 이루어지지 않아 교육과정 시기별 빈도를 직접 비교하여 해석할 수 없으므로 각 교육과정 시기별 빈도를 백분율로 환산한 값을 비교하였다.

평가 전문성이 발달한다는 것은 시간의 변화에 따라 각 전문성 요소의 실행 빈도 증가와 같은 양적 발달뿐만 아니라 지식의 이해수준이나 실행의 수준과 같은 질적 발달을 모두 포함한다. 평가 전문성 측정도구의 측정 척도를 분석하면 전문성의 현재 수준을 측정하기 위해 수집하는 정보의 종류와 방법, 결과 해석 방법, 평가 전문성 발달 여부와 발달 정도의 판단기준을 파악할 수 있다. 이를 통해 평가 전문성 발달에 대한 도구 개발자의 관점을 분석할 수 있다. 이에 본 연구에서는 평가 전문성 발달이 드러난 평가 전문성 측정도구의 측정 척도를 추출하였다. 단, 국내 평가 전문성 기준은 교사들이 알고 행해야 할 능력의 목록으로 평가 전문성의 수준을 어떻게 측정할 수 있는지, 평가 전문성은 어떤 단계를 거치면서 발달하는지에 대한 내용이 없기 때문에 분석에서 제외하였다. 측정 척도의 종류에 따라 ‘지필평가’와 ‘리커트 척도’로 나누어서 빈도를 분석하였다. ‘지필평가’는 문항의 형식, 점수 산출 방법에 대한 내용을, ‘리커트 척도’는 단계의 내용, 점수 산출방법에 대한 내용을 분석하였다. 이를 바탕으로 어떻게 평가 전문성의 발달 여부와 정도를 판단하는지 논의하였다.

평가 전문성 기준 연구는 총 9편으로 모두 2007개정 교육과정 이전에 이루어진 것이다(표2). 평가 전문성 기준의 내용 변화를 살펴보기 위해 각 연구에서 개발한 평가 전문성 기준의 ‘평가 목적’과 ‘평가 상황’에 따라 ‘평가 측면’의 전문성 내용 요소를 분석하였다(표4).

평가 목적이 명시되지 않은 평가 전문성 기준이 대부분(463개, 86.4%)이었고, 평가 목적이 명시된 것은 형성평가(53개, 9.9%), 총괄평가(11개, 2.0%), 진단평가(9개, 1.7%) 순이었다. 평가는 평가 목적을 구체화하는 것에서 시작하고 그에 따라 평가 방법 및 절차가 달라질 수 있으므로(McMillan, 2014) 평가 목적이 명시되지 않은 기준은 구체적인 평가 실행 맥락을 보여주지 못하므로 평가의 질이 얼마나 향상되었는지 측정하고 안내하는 기준으로서의 역할(Wyatt-Smith et al., 2017)을 하기 어렵다. 교수학습평가의 연계와 함께 형성평가의 역할이 강조되고 있는 시점임을 고려하면 평가 목적을 형성평가로 명시한 평가 전문성 기준이 많아질 필요가 있다.

평가 목적에 관계없이 평가 상황이 명시되지 않은 기준은 324개(60.4%)로 가장 많았다. 이와 달리 평가 목적과 상황에 따라 필요한 평가 전문성을 구분하고 있는 국외 평가 전문성 기준(Brookhart, 2011)은 평가 상황별 평가 전문성의 내용에 대한 논의가 필요함을 보여준다. 학습 성취 결과의 보고를 목적으로 국가학업성취도평가와 같은 표준화평가를 실시할 때 필요한 평가 전문성과 교실 평가를 실시할 때 필요한 평가 전문성이 서로 다르기 때문이다.

평가 측면에서는 평가 목적과 평가 상황이 명시되지 않은 것이 많아(294개, 54.9%) 구체적인 평가 실행의 기준으로 한계가 있었다. 평가 측면별 기준 수를 살펴보면 ‘평가 계획(289개, 53.9%)’, ‘평가 실행 및 결과해석(81개, 15.1%)’, ‘평가결과 관리와 이용(60개, 11.2%)’과 같이 평가 과정과 관련된 기준이 대부분이며, ‘교실문화(44개, 8.2%)’, ‘평가윤리(28개, 5.2%)’, ‘평가이론(24개, 4.5%)’, ‘협력(10개, 1.9%)’은 상대적으로 적은 편이다. 이처럼 평가 과정과 관련된 기준이 많은 것은 개발된 기준들의 공통적인 이론적 배경인 AFT, NCME, & NEA(1990)의 기준 중 71.4%가 평가 과정과 관련된 기준이기 때문이며, 이러한 경향은 2000년 이전에 개발된 미국, 캐나다, 유럽 등 6개 지역의 평가 전문성 기준에서도 나타났다(DeLuca, LaPointe-McEwan, & Luhanga, 2016b). 그러나 1998년 형성평가의 효과에 대한 연구(Black & Wiliam, 1998) 이후 급증한 평가 연구들은 교사 중심의 평가가 아닌 학습자 중심의 평가, 학습을 위한 평가를 지향하고 있으며, 이는 2000년 이후 개발된 국외 평가 전문성 기준에 반영되어 있다(DeLuca, LaPointe-McEwan, & Luhanga, 2016b). 이와 같은 국제적 평가 동향은 국내 평가 전문성 기준 연구에도 영향을 미쳐 ‘학생의 자기/동료평가’, ‘평가과정에 대한 공유와 협상’ 등의 내용 요소에 반영된 것으로 보인다. 그러나 ‘학생의 자기평가와 학생 상호간의 평가방법을 교수·학습 과정에 적절하게 사용할 수 있다(김경희 외, 2006)’, ‘평가에서 사용될 평가의 기준을 명확하게 하고 학습자에게 전달할 수 있어야 한다(이인제, 2004c)’ 등과 같은 일부 기준은 학습을 위한 평가 개념을 온전히 반영한다고 보기 어렵다. 학생이 평가에 주체적으로 참여하기보다 교사가 전달해 준 평가 방법과 준거에 따라 평가에 참여하는 것은 교사의 지시를 준수하는 수준을 벗어나기 힘들기 때문이다. 교사에 의한 준거 공유 및 피드백은 도구주의(criteria compliance)에 빠질 수 있다는 연구결과(Torrance, 2007)와 학생들이 학습 과정을 조정하는데 평가 정보를 사용하거나 학습하는 방법을 학습하도록 하는 것이 학습을 위한 평가라는 연구결과(James & Mansell, 2009)는 평가 전략이나 방법 차원을 넘어(박정, 2019) 학생 주체성을 어떻게 확보해 줄 수 있을 것인지에 대한 논의가 필요함을 보여준다. 한편, 평가 주체성을 가진 교사의 모습은 ‘교사의 자기 성찰’, ‘동료교사와의 협력’ 등과 관련된 기준에 반영된 것으로 보인다. 그러나 ‘평가 계획에서부터 도구 개발·시행·해석·활용· 의사소통에 이르는 평가 활동의 전 과정을 반성적으로 고찰하여 적절성을 판단할 수 있어야 한다(김경희 외, 2006)’ 와 같은 기준은 평가의 적절성을 어떻게 판단하는지, 성찰의 결과를 어떻게 활용해야 하는지에 대한 구체적인 내용이 없어 지향점이 불분명하다고 할 수 있다. 적절성의 판단 기준을 교사 계획의 실행 여부에 두는 것과 학습과정의 이해 및 교수학습 개선정도에 두는 것은 서로 다른 평가 목적을 지향하기 때문이다.

9개의 평가 전문성 기준 중 7개는 한국교육과정평가원의 학생평가 전문성 신장을 위한 3년 연구의 결과이며, 나머지 2개는 한국교육과정평가원의 평가 전문성 기준과 국외 평가 전문성 기준을 기반으로 개발된 것이라서 평가 전문성의 내용은 서로 밀접하게 관련되어 있었다. 그럼에도 불구하고 교과별 평가 전문성 기준의 평가 측면에서는 다소 다른 양상이 나타났다. 일반적인 교사의 평가 전문성 기준(이인제 외, 2004b)에서는 ‘협력’이나 ‘수업 중 학습과정에 대한 모니터링’과 관련된 기준이 없었으나, 국어(이인제 외, 2004c), 수학(이인제 외, 2004f), 영어(이인제 외, 2004g) 교과의 평가 전문성 기준에는 ‘협력’과 관련된 기준이 2~5개씩 있었으며, ‘수업 중 학습과정에 대한 모니터링’과 관련된 기준 12개 중 8개는 영어 교과의 평가 전문성 기준(이인제 외, 2004g)이었다. 이는 교과 특성에 따라 강조되는 평가 맥락과 이에 필요한 평가 전문성이 다를 수 있음을 보여준다.

평가 전문성 측정도구를 개발 또는 적용한 연구는 총 16편이며, 2015개정 교육과정 이후에 10편의 연구가 이루어졌다(표3). 평가 전문성 측정도구의 내용 변화를 살펴보기 위해 ‘평가 목적’과 ‘평가 상황’에 따라 ‘평가 측면’의 전문성 내용 요소를 분석한 결과는 <표 5>와 같다.

평가 전문성 측정 문항에 평가 목적이 명시되지 않은 경우가 392개(78.7%)로 가장 많았으며, 형성평가를 목적으로 하는 문항이 69개(13.9%), 총괄평가 31개(6.2%), 진단평가 6개(1.2%) 순이었다. 평가 전문성 기준의 분석 결과에 비해 평가 목적이 명시된 경우의 비율이 다소 증가(7.7%)하였지만 여전히 명시되지 않은 비율이 높다. 이는 평가 목적이 명시되지 않은 평가 전문성 기준에 의거하여 평가 전문성 측정도구를 개발하였기 때문에 평가 목적이 명시되지 않은 측정 문항의 비율이 높을 수밖에 없는 것으로 판단된다. 평가 전문성 측정 문항에 평가 목적이 명시되지 않을 경우 개발자의 의도와 상관없이 문항의 응답자에 따라 문항의 해석이 달라질 수 있으며 평가 전문성 측정도구의 타당도와 신뢰도를 떨어뜨리는 요인이 되기도 한다.

평가 목적에 따른 평가 상황별 평가 전문성 측정 문항의 수를 비교하면, 평가 목적이 명시되지 않은 교실 평가와 관련된 문항이 가장 많았다(235개, 47.2%). 이는 평가 목적과 평가 상황이 모두 명시되지 않은 경우가 가장 많았던 평가 전문성 기준 분석 결과와는 달리 교실이라는 상황이 더 구체적으로 진술되었다는 점에서 의의가 있다.

평가 목적과 평가 상황에 따른 평가 측면별 평가 전문성 측정 문항 수를 비교하면, 평가 목적이 명시되지 않았지만 교실에서 실행된 평가와 관련된 문항이 235개(47.1%), 평가 목적과 평가 상황이 모두 명시되지 않은 문항이 148개(29.7%)로 대체로 평가 목적이나 평가 상황이 명시되지 않은 것이 많았다. 국내 평가 전문성 기준의 분석결과에 비해 평가 상황이 교실로 구체화된 문항이 늘어났다. 형성평가를 목적으로 교실에서 실행된 평가와 관련된 문항의 수가 48개(9.6%)로 평가 전문성 기준의 분석결과에 비해 다소 증가(약 3%)하였으며, 이 중 35개는 김신영(2015), 박지현 외(2018), 김유정 외(2019)의 연구에서 개발된 평가 전문성 측정 문항이다. 비록 3개의 연구에 불과하지만 평가 전문성 측정도구의 내용이 교수와 학습을 연계하는 평가를 강조하는 세계적인 평가의 방향(Birenbaum et al., 2015)과 일치한다는 점에서 의미가 있다고 본다.

평가 측면의 소범주별 측정 문항 수를 평가 전문성 기준의 분석 결과와 비교해보면, 평가 계획(164개, 33.0%)과 관련된 문항의 비율은 20%정도 낮고, 평가 실행 및 결과해석(102개, 20.5%), 평가결과 관리와 이용(87개, 17.5%)과 관련된 문항의 비율은 각각 5%정도 높았으나 전체적으로는 평가 과정과 관련된 문항의 비율은 다소 낮았다(71%). 이는 내용 영역과 수행 영역으로 구분하여 개발된 평가 전문성 기준과 달리 수행 영역을 중심으로 개발된 평가 전문성 측정도구의 특성에서 비롯된 것으로 생각된다. 평가윤리(47개, 9.4%), 평가이론(40개, 8.0%)의 비율은 평가 전문성 기준과 비교하여 다소 높았으며, 교실문화(44개, 8.8%)와 협력(14개, 2.8%)의 비율은 비슷하였다.

교육과정의 개정과 평가 정책의 변화가 교사의 평가 전문성 연구에 미치는 영향을 살펴보기 위해 교육과정 시기에 따라 평가 목적, 평가 상황, 평가 측면의 평가 전문성 측정 문항의 수를 분석하였다(표 6).

교육과정 시기에 따라서는 형성평가를 목적으로 한 문항이 2007개정 교육과정 시기까지는 8.0%로 평가 전문성 기준의 분석결과(9.9%)와 비슷하였으나, 2015개정 교육과정 시기에서는 20.2%로 약 2배 증가하였다. 이는 ‘학습의 과정을 중시하는 평가를 강화하여 학생이 자신의 학습을 성찰하도록 하고, 평가 결과를 활용하여 교수학습의 질을 개선(교육부, 2015)’하고자 하는 2015개정 교육과정의 방향이 반영된 결과로 볼 수 있다.

평가 상황을 교육과정 시기별로 보면, 교실 평가와 관련된 측정문항은 2007개정 교육과정 시기(33.5%)에 비해 2015개정 교육과정 시기에서는 약 2배(76.8%) 증가하였다. 이는 교실 평가의 비중이 외부평가보다 높았던 Looney 외(2018)의 연구결과와 비슷하다. 이러한 결과는 교사 역할에 대한 인식이 외부 전문가가 개발한 평가를 교실에서 실시하는 시행자에서 평가 맥락에 적합한 평가를 개발하는 평가자로 바뀌어가고 있음을 의미한다(Xu & Brown, 2016).

평가 측면 중 ‘교실문화’와 ‘협력’에 관한 측정문항의 수가 2007개정 교육과정 시기까지는 13문항(6.9%)이었으나 2015개정 교육과정 시기에서는 43문항(16.3%)으로 약 10% 증가 하였는데, 이는 평가 맥락 관점에서는 매우 중요하다고 할 수 있다. 두 소범주는 학습을 위한 평가를 실현하기 위한 전제조건일 뿐만 아니라 평가 맥락에서 학생 주체성(student agency)과 교사 주체성(teacher agency)의 의미를 해석하는 기반이자 교실안과 밖의 협력을 의미하기 때문이다. 먼저, 학생 주체성 관점에서 보면, 교육과정 개정에 따라 학생 주체성이 조금씩 드러나기 시작한 내용 요소도 있었고 관점의 변화가 없는 내용 요소도 있었다. 예를 들어 ‘자기/동료평가’에 속하는 문항인 ‘교수학습과정에서 학생 자신에 의한 평가나 학생 상호 간에 의한 평가가 필요한 상황을 판단하고 적용할 수 있다(송미영, 김경희, 2007)’와 ‘학생들이 그들의 현재 수준에 도달해야 할 성취목표가 무엇이며 다음에 해야 할 학습이 무엇인지를 기술할 수 있게 한다(김신영, 2015)’의 내용을 비교해 보자. 전자는 자기평가와 동료평가를 평가 방법으로 생각하는 것에 비해, 후자는 학생이 주체성을 갖고 자신의 향상과 발달을 위해 평가에 참여하는 과정(Leahy et al., 2005; 박정, 2019)으로 바라보고 있다. 이와 같은 인식의 변화는 규준이나 준거와 같은 외적 근거를 넘어 학습자 자신에 근거한 평가로 확장되어 감을 보여준다(박정, 2019). 이러한 경향은 ‘문화적 환경 조성’으로 분류된 문항에서도 찾을 수 있다. 2007개정 교육과정 시기 이전의 측정문항에서는 ‘학생이 심리적으로 안정된 상태에서 평가가 시행될 수 있도록 격려하고 관리할 수 있다(김수동 외, 2005)’와 같이 학생을 평가 대상으로 바라보고 있어 학생 주체성에 대한 인식을 찾아보기 힘들었다. 이와 달리 2015개정 교육과정 시기의 측정문항에서는 ‘나는 학생이 자기주도적으로 참여할 수 있는 수업을 구성한다(김유정 외, 2019)’와 같이 학생의 참여권에 대해 고려하고 있었다. 그러나 학생의 자기주도적 참여를 어느 선까지, 어떻게 촉진하는지에 대한 구체적인 논의가 없어 평가 전문성 측정 문항으로서의 초점이 분명치 않다. 한편 ‘평가과정에 대한 공유와 협상’에 속하는 문항인 ‘평가를 실시하기 전에 학생에게 채점 기준에 대해 설명할 수 있다(김수동 외, 2005)’와 ‘학습목표에 대한 공유와 협상’에 속하는 문항인 ‘학생들에게 그들이 이해할 수 있는 용어로 성취목표에 대해 항상 알려주고 있다(김신영, 2015)’와 같은 문항에서는 학생의 목소리를 듣기보다는 교사가 정한 내용을 학생과 공유하는 수준에 그쳐 교육과정이 몇 차례 개정되어 왔으나 학생 주체성에 대한 관점 변화는 없는 것으로 보인다.

다음으로 교사 주체성 관점에서 보면, ‘교사의 자기성찰’과 ‘평가결과를 반영한 수업개선’과 관련된 문항의 비율은 교육과정이 개정됨에 따라 점차 증가했다. 이는 외부 전문가가 정해 놓은 평가 지식과 기능을 교사가 수동적으로 습득하는 차원을 넘어서기 시작했음을 의미한다. 교사가 평가의 결과를 자신의 교수활동에 반영하고 그 효과를 검증하는 과정을 지속적으로 성찰한다는 것은 교사 스스로 주체성을 가지고 평가 전문성을 향상시키고 있음을 보여준다. 또한, 2007개정 교육과정 시기까지는 1문항이었던 ‘동료교사와의 협력’과 관련된 문항이 2015개정 교육과정 시기에는 11문항으로 대폭 증가하였다. ‘나는 학년(교과) 협의회 등을 통해 평가 도구 및 방법의 적절성을 점검․보완한다(박지현 외, 2018)’와 같이 동료교사와의 협력을 강조하고 있다. 그러나 단순히 업무로서의 협력 수준을 넘어 자신의 평가 과정을 드러내고 동료와 함께 이를 평가하는 과정을 통해 전문성을 성장시키는 것이 효과적이라는 연구결과(Poskitt, 2014)에 비추어보면 동료교사와의 협력 수준에 대한 검토가 필요하다고 본다.