PDF Download
PubReader
Export Citation
Email the Author
Share Facebook
Share Twitter
Cited by 0 Article
Metrics (View:3,216)
I. 머리말
이 논문에서는 국가수준 학업성취도 평가(이하 ‘학업성취도 평가’) 중학교 국어 선다형 문항을 대상으로 답지 반응률 분포 곡선을 활용한 문항 분석 방법을 적용하여 학생들의 학업성취 특성을 분석하는 한편, 해당 문항과 관련한 교수·학습, 평가, 교육과정상의 시사점을 도출 하고자 한다. 국어과 선다형 문항이 지닌 5개 답지에 대한 답지 반응률 분포 곡선을 산출하여 문항 분석에 활용하는 새로운 문항 분석 방법을 제안하면서, 이 방법을 2014년 학업성취도 평가 중학교 국어과 문항 분석에 적용하여 학생들의 학업성취 특성을 분석하고, 분석 대상 문항과 관련된 교수·학습상의 시사점을 도출하며, 나아가 교육과정 및 평가에의 시사점을 탐색해 보고자 한다.
이 논문에서 분석 대상을 학업성취도 평가 문항으로 설정한 이유는 두 가지이다. 첫째, 학업성취도 평가가 교육과정의 성취기준을 바탕으로 출제·시행되는 국가 수준의 준거참조평가이기 때문이다.1) 국가 수준의 시험들은 일반적으로 대학수학능력시험과 같이 경쟁이나 선발을 목적으로 하는 경우가 많은데, 이러한 선발경쟁시험들은 개별 학생이 부족한 지식이나 기능이 무엇인지 알아내어 피드백하는 교육적 목적에는 큰 관심을 두지 않는다. 그러나 학업성취도 평가는 개별 학생, 학교, 지역의 학업성취도를 진단하여 일선학교의 교수·학습 방법이나 국가수준 교육과정의 개선 방향을 모색하려는 평가 본연의 목표에 충실한 평가라 할 수 있다. 둘째, 학업성취도 평가의 국어과 문항은 교육과정을 기반으로 하여 설계되면서도 그 문항 형식은 일선 학교의 총괄평가나 대학수학능력시험과 유사한 측면이 있어서 일선 학교부터 국가 단위까지 두루 통용될 수 있는 문항 형식을 취하고 있다는 점을 고려하였다. 학업성취도 평가는 5지선다형 문항과 서답형 문항으로 구성되고, 서답형 문항은 다시 단답형, 기입형 문항과 서술형 문항으로 구분된다. 이러한 문항 형식과 검사지 구성 방식은 국어과를 비롯한 대부분의 교과에서 통용되고 있다.
본 연구에서 ‘문항 분석’은 개별 문항에 대하여 학생들이 반응한 양상을 전체 검사지에 대한 반응 양상 및 결과에 비추어 해석함으로써 학생들의 학업성취 특성을 추론하는 행위를 의미 한다(이인호 외, 2014a, p. 3). 문항은 학생들의 학습 내용 중에서 선별되어 조직된 일종의 개별 과제로서, 학생들은 문항을 해결할 수 있는지의 여부로 자신의 교과 능력을 평가받게 된다. 그러므로 문항의 내용과 그에 대한 학생 반응을 분석하는 일은 문항 구성상의 모호함은 없는지, 문항의 내용과 직간접적으로 관련된 학습 과제가 학생의 수준에 맞는지, 어느 성취수준의 학생에게 어떻게 어려운지 등을 판단하는 일종의 메타 평가라 할 수 있다. 문항 분석을 위해서는 학생들이 문항에 반응한 결과, 즉 문항별 답지 반응률, 변별도 등의 정보가 필요하며, 이러한 정보들은 문항의 특성을 보여 주는 일종의 문항 특성 변수이다. 이 변수들이 다양하고 상세할수록 문항 분석의 과정과 결과에 대한 신뢰도 역시 높아지게 된다.
개별 문항에 대한 학생들의 반응 양상은 일차적으로 답지 반응률로 나타나는데, 문항의 내용, 구성과 함께 정답지와 오답지에 대한 반응률을 분석함으로써 학생들의 오개념(misconception), 문제 해결 과정에서 겪는 어려움, 문항에 내재된 혼동 요인 등을 알아낼 수 있다. 또한 개별 문항에 대한 분석 결과를 종합하여 학생들이 숙달한 영역이나 취약한 영역을 파악하고, 이를 통해 학생들의 성취수준2)별 학업성취 특성을 추출할 수 있다. 이러한 문항 분석 결과는 각 교과 교육과정의 내용 구성과 위계를 조정하고 학생들의 학업성취 특성을 고려한 교수·학습 방안을 마련하는 데 기초 자료로 활용될 수 있다.
그러나 기존의 학업성취도 평가 문항 분석 결과들을 보면, 전체 검사지와 개별 문항에 대하 여 검사 대상 전체 학생, 그리고 성취수준별 학생들의 정답률 및 평균 답지 반응률을 중요한 근거로 사용하여 분석해 왔음을 알 수 있다.3) 이러한 문항 분석을 통해 학업성취도 평가 문항의 통계 결과를 정리하는 한편, 학생들의 수준별 학업성취 특성이나 교수·학습상의 시사점 등 의미 있는 정보들을 풍부하게 추출할 수 있었으나 성취수준 집단 내에서 학생 수준의 변화에 따른 세세한 성취수준의 변화까지는 파악하기 어려웠다. 예를 들어 보통학력 학생의 비율은 전체 검사 대상 학생들의 50%가 넘는데(이인호 외, 2014a, p. 21, 75), 보통학력 학생들의 평균 답지 반응률 수치만으로는 이들 집단의 전체적인 결과만을 알 수 있을 뿐, 보통학력 내에서 존재하는 수준 차이에 따른 학업성취 특성을 면밀하게 분석할 수는 없었다. 상황이 이러하다 보니 보다 세밀한 문항 분석을 위하여 성취도 점수4)에 따른 정오답지 반응률 분포를 보다 정교하게 파악할 필요성이 있었고, 이러한 필요에 따라 ‘답지 반응률 분포 곡선’을 도입하기에 이르렀다.
이에 본 연구에서는 기존 문항 분석의 한계를 보완하기 위해 성취도 점수에 따른 답지 반응률 분포 곡선을 산출하고, 이를 활용하여 문항을 분석함으로써 학생들의 학업성취 특성을 더욱 상세하게 파악하고자 한다. 답지 반응률 분포 곡선을 활용한 문항 분석 방법은 평가 결과의 통계적 수치를 주로 활용한 기존의 문항 분석 방법에 비해 학생들의 성취수준에 따른 학업성취 특성을 보다 상세하게 파악하고 교수·학습 방법이나 교육과정 및 평가의 개선에 관한 정보를 효과적으로 산출할 수 있을 것으로 기대된다.
II. 연구의 배경, 대상, 방법
2013년부터 중학교 3학년과 고등학교 2학년을 대상으로 실시되어 온 학업성취도 평가의 결과에 대해서는 매년 문항 분석을 통해 문항의 질을 평가하고 교수·학습적 시사점을 도출해 왔다(김미경 외 2011, 2012; 김동영 외, 2013; 이인호 외 2014b). 학업성취도 평가 문항에 대한 분석 방법과 그에 활용된 정보의 범위는 점점 확장되어 왔는데, 연도별 문항 특성 변수의 제공 범위는 <표 II-1-1>과 같다.
| 시기 | 전체 | 성취수준 | 성취도 점수 | |||||
|---|---|---|---|---|---|---|---|---|
| 정답률 | 변별도 | 답지 반응률 | 정답률 | 변별도 | 답지 반응률 | 정답률 | 답지 반응률 | |
| 2004년 이전 | ○ | ○ | ○ | |||||
| 2005〜2011년 | ○ | ○ | ○ | ○ | ||||
| 2012〜2014년 | ○ | ○ | ○ | ○ | ○ | ○ | ||
| 2015년〜현재 | ○ | ○ | ○ | ○ | ○ | ○ | ○ | ○ |
<표 II-1-1>에서 보듯이, 2004년 이전에는 각 문항에 대한 전체 정답률, 전체 변별도, 각 성취수준에 속한 학생들의 평균적인 답지 반응률만을 활용하여 문항 분석이 이루어졌다.(김명숙 외, 1999; 이명희 외, 2000; 강대현 외, 2002). 이 시기의 문항 분석 내용을 살펴보면 문항의 출제 의도와 특성을 서술한 후, 정답률의 높낮이와 오답지의 매력도를 간단히 서술하고 마는 형태임을 알 수 있다. 그러나 이러한 단편적인 분석만으로는 성취수준 간 정답률 격차와 같은 기본 정보조차 파악할 수 없었고, 어느 성취수준의 학생들이 어떤 오답에 얼마나 반응하였는지에 대한 구체적 정보는 전혀 알 수 없었다. 이에 2005년부터 성취수준별 정답률이 추가로 제공되어 성취수준 간 정답률 격차 정보가 문항 분석에 활용되었다(김혜숙 외, 2009; 박은아 외 2007, 2008, 2010). 그러나 여전히 오답지 반응률로부터 얻을 수 있는 교수·학습적 시사점은 도출하기 어려웠다.
각각의 문항에 대해 성취수준별로 정답률과 답지 반응률, 그리고 변별도5)를 제공한 것은 2012년부터이다(김미경 외, 2012; 김동영 외, 2013). 이때부터 학업성취도 평가 문항에 대한 전체 정답률, 변별도, 답지 반응률, 그리고 성취수준별 정답률과 오답지 반응률을 활용한 보다 상세한 문항 분석이 가능해졌다.
그러나 2013년까지의 문항 분석은 전체 검사지와 개별 문항에 대하여 전체 평가 대상 학생과 성취수준별 학생들의 평균 답지 반응률을 중심으로 한 것이어서, 이러한 분절적인 통계 수치만으로는 성취수준별 집단 내에서의 비분절적인 학력 격차까지 파악하기가 어려웠다. 즉, 한 성취수준 집단의 평균적인 수치만을 파악할 수 있었을 뿐 성취수준 집단 내에서 학생들의 점수 구간에 따라 답지 반응률이 변화하는 양상과 그 교육적 의미가 무엇인지는 알 수가 없었던 것이다. 이에 2014년에 와서 2010〜2013년 학업성취도 평가의 일부 선다형 문항을 대상으로 성취도 점수별 정답률과 답지 반응률 분포 곡선을 활용한 시범적인 문항 심층 분석이 이루어졌다.
본 연구에서는 답지 반응률 분포 곡선을 활용한 선다형 문항 분석 방법을 2015년 중학교 학업성취도 평가 국어과 문항에 본격적으로 적용하여 학생들의 학업성취 특성을 살펴보고 이를 통해 중학교 국어과의 교수·학습과 교육과정의 개선에 대한 시사점을 도출해 보았다.
성취도 점수에 따른 답지 반응률 분포 곡선을 문항 분석에 활용하면, 분석 대상 문항과 그 문항에 대한 학생들의 성취 특성에 대하여 보다 풍부하고 다면적인 해석이 가능해진다. 정답지의 경우 문항의 변별력이 높아지고 낮아지는 점수 구간을 확인할 수 있고, 오답지의 경우에는 오답 매력도가 어느 점수 구간의 학생들에게 유효하게 작용하는지를 분석할 수 있다.
성취도 점수별 답지 반응률 분포 곡선이란 성취도 점수에 따른 특정 문항의 정오답지 반응 률 관측치([그림 II-2-1: 좌] 참조)를 토대로 연결한 그래프 또는 그것의 최적 곡선을 추정한 그래프([그림 II-2-1: 우] 참조)이다. 가로축은 학업성취도 평가에서 사용하는 성취도 점수를 나타내고 세로축은 특정 문항의 정오답지 반응률을 0과 1 사이의 숫자로 표시한 것이다. 성취도 점수에 의한 답지 반응률 분포 곡선을 이용하여 문항 분석을 수행하고자 하는 이유는 기존 문항 분석 방법에 비하여 학생들의 성취수준별 성취 특성에 관한 추가적인 정보들을 얻어 낼 수 있기 때문이다.
답지 반응률 분포 곡선은 크게 정답지 반응률 분포 곡선과 오답지 반응률 분포 곡선으로 구분되는데, 2010~2014년의 학업성취도 평가 중학교 국어 선다형 140개 문항의 답지 반응률 분포 곡선을 살펴본 결과 정답지 반응률 분포 곡선은 5개 유형으로, 오답지 반응률 분포 곡선은 4개 유형으로 분류할 수 있었다.6)
먼저 정답지 반응률 분포 곡선의 5개 유형을 살펴보면, 그래프의 개형에 따라 ‘S형, J형, 직 선형, F형, 계단형’으로 구분할 수 있다. 먼저 ‘S형’은 정답지 반응률 분포 곡선의 가장 전형적인 형태로서([그림 II-2-2]), S형에서는 특정 학습 과제에 대하여 성취수준이 낮은 집단에서는 성취에 곤란함을 느끼고, 성취수준이 중간 정도인 집단에서는 성취의 도약 현상이 나타나며, 성취수준이 높은 집단에서는 해당 과제에 대해 성취 정도가 완만하게 상승되면서 안정되는 양상을 보여 준다.
그러나 특정 학습과제에 대해서 보통학력 수준의 학생들까지는 학업성취 정도가 낮게 유지 되다가 보통학력 중간 이상 또는 우수학력 수준에서 성취 정도가 급격하게 상승하는 경우가 있는데, 이러한 곡선 유형은 ‘J형’이라 명명할 수 있다([그림 II-2-3] 참조). 문항에 따라서는 성취도 점수가 높아질수록 정답지 반응률이 비례하여 올라가는 경향을 보이는 ‘직선형’([그림 II-2-4] 참조), 문항의 난도가 비교적 낮은 문항에서 많이 나타나는 유형으로서 기초학력 집단 또는 보통학력 시작 지점에서 정답지 반응률이 급격하게 상승하는 "F형’([그림 II-2-5] 참조)이 있다. 또한 기초학력 집단에서부터 반응률이 비교적 쉽게 상승하는 모습을 보이나, 보 통학력 집단에서는 성취 정도가 정체되다가 우수학력 집단에서 급격하게 상승하는 경우가 있는데, 이러한 곡선 유형을 ‘계단형’이라 부를 수 있다([그림 II-2-6] 참조).
오답지에 대한 반응률 분포 곡선 유형은 ‘보통형, 평지형, 산지형, 상승형’의 4가지로 크게 구분할 수 있다.
오답지 반응률 분포 곡선은 우하향으로 점차 반응 정도가 낮아지는 패턴을 보이는 것이 일반적이다. 학업성취 수준이 높을수록 오답지를 선택할 확률이 낮아지기 때문이다. 이러한 일반적인 유형을 ‘보통형’이라 명명한다([그림 II-2-7]). 그런데 일부 오답지의 경우에는 상당한 성취도 점수 구간까지 답지 반응률이 가로축과 평행하게 진행되는 경우가 있는데 이러한 곡선 유형을 ‘평지형’이라 명명한다([그림 II-2-8]). 또한 일정 능력 구간에서 점수가 상승하면서 오답지 반응률도 상승하다가 감소하는 경우가 있는데, 이 경우 곡선의 형태가 산 모양으로 볼록하게 나타나므로 ‘산지형’이라 명명한다([그림 II-2-9]). 마지막으로 오답지 반응률이 비례하며 증가하는 경우는 ‘상승형’이라 명명한다([그림 II-2-10]). 상승형은 특정 오답지에 대해 학력수준이 높아짐에 따라 반응률이 높아지는 패턴으로, 선다형 문항의 오답지 반응률 곡 선이 상승형을 보이는 경우는 매우 드물다. 상승형 곡선이 나타나는 문항의 경우 문항 분석을 통해 중요한 교수·학습적 시사점을 도출할 수도 있겠지만, 반대로 해당 답지가 복수 정답으로 인정되어 문항 설계상의 오류가 있을 가능성도 배제할 수 없으므로 문항 분석에 더욱 주의를 요한다.
본 연구에서는 2010~2014년에 출제된 중학교 국어과 학업성취도 평가의 선다형 문항 140 개와 그 평가 결과를 연구의 대상으로 삼았다. 중학교 국어과 학업성취도 평가에서는 ‘국가수준 학업성취도 평가의 교과별 평가 틀 개발 연구’(정은영 외, 2010)에 기초하여 듣기 4문항, 읽기 8문항, 쓰기 1문항, 문법 6문항, 문학 9문항 등 총 28개 문항을 매년 출제하고 있다. 분석의 대상으로 삼은 2010년부터 2014년까지의 문항은 2007개정 교육과정에 기반하여 개발된 문항으로서, 교육과정이나 성취기준의 변화가 결과에 영향을 미치지 않으므로 영역별 정답지 및 오답지에 대한 반응의 특성을 문항에 기반하여 분석할 수 있다.
2010~2014년 5개년 간 출제된 선다형 문항 140개의 곡선 유형을 분석하여 전체적인 경향을 파악하고, 문항별 자세한 분석은 2014년 출제된 문항 중 반응의 특이성이 나타나는 문항을 중심으로 듣기, 읽기, 문법, 문학 각 영역에서 1문항씩을 선정하여 분석하였다. 단, 쓰기 문항의 경우 한 해에 출제되는 선다형 문항이 1개 문항으로 수가 매우 적으므로 영역별 문항 분석 대상에서는 제외하였다.
영역별로 심층 분석을 위하여 선정한 분석 대상 문항은 우선 오답지의 반응률 분포 곡선의 특이 패턴 유무를 기준으로 삼았다. 오답지 반응률 분포 곡선이 산지형이나 평지형과 같은 특 이 패턴을 보이는 문항을 1차 선정 대상으로 삼은 것인데, 정답지 반응률 분포와 오답지 반응률 분포가 전형적인 패턴을 보이는 문항의 경우 그 분석 결과가 정답률, 변별도 등과 같은 이 전의 기술통계적 분석과 큰 차이가 없기 때문에 분석 대상 문항에서 가급적 제외한 것이다. 오답지 반응률 분포 곡선이 특이 패턴을 보이는 이유와 해당 문항에 오답 반응한 학생들의 학업성취 특성을 연결하여 분석할 경우 교육 내용 및 교수·학습 전략, 교육과정 내용 위계화 등에 보다 구체적이고 풍부한 시사점을 얻을 수 있을 것으로 기대하였다. 다음으로는 정답지 반응률 분포 곡선에서 성취수준별로 차이가 크게 나타나는 문항, 즉 우수학력과 보통학력 혹은 보통학력과 기초학력 사이의 격차가 크게 나타난 문항을 기준으로 삼아 분석 대상 문항을 선정하였다. 이 같은 기준을 적용한 것은 성취수준별로 정답지와 오답지에 대한 반응이 어떻게 나타나는지를 파악하여 성취수준별 학업성취 특성을 파악할 수 있는 중요한 정보를 제공해 줄 수 있다고 판단했기 때문이다.
III. 문항 분석 결과
2010~2014년까지 5년간 중학교 국어과 학업성취도 평가의 모든 선다형 문항에 대한 정답지 반응률 분포 곡선 유형을 살펴보면 <표 III-1-1>과 같다.
| 내용 영역\곡선 개형 | S형 | J형 | 직선형 | F형 | 계단형 | 계 |
|---|---|---|---|---|---|---|
| 듣기 | 1 | 1 | 6 | 11 | 1 | 20 |
| 읽기 | 17 | 7 | 11 | 9 | 2 | 46 |
| 쓰기 | 1 | 1 | 4 | 0 | 1 | 7 |
| 문학 | 19 | 9 | 6 | 4 | 1 | 39 |
| 문법 | 9 | 3 | 5 | 9 | 2 | 28 |
| 계 | 47 | 21 | 32 | 33 | 7 | 140 |
영역별로 보면 듣기 영역에서는 F형이 11개 문항(55%)으로 가장 많았고, 다음으로 직선형이 6개 문항(30%)이었다. 읽기 영역에서는 S형이 17개 문항(36.96%)으로 가장 많았고, 직선형(23.91%), F형(19.57%) 순이었다. 쓰기 영역은 5년간 출제된 선다형 문항 수가 7개로 적어 빈도를 논하기에는 다소 어려움이 있으나 직선형이 4개 문항으로 가장 많이 나타났다. 문학 영역에서는 S형이 19개 문항(48.72%)으로 절반가량이었으며 J형(23.10%), 직선형(15.38%) 순으로 빈도가 높았다. 문법 영역에서는 S형과 F형이 9개 문항(32.14%)으로 가장 많았고, 직선 형이 5개 문항(17.86%)으로 나타났다.
곡선의 유형별로는 전형적인 정답지 반응률 분포 곡선의 형태인 S형이 47개 문항(33.57%)으로 140개 문항의 정답지 반응률 분포 곡선 중 가장 많이 나타났다. 다음으로는 기초학력 구간에서 정답률이 급격하게 상승하고 보통학력, 우수학력 구간으로 갈수록 반응률 상승이 둔화되는 F형이 33개 문항(23.57%)이었다. 성취도 점수가 높아짐에 따라 거의 일정한 비율로 정답률이 상승하는 직선형이 32개 문항(22.86%)으로 나타났다. 기초학력 미달 구간에서 보통 학력 구간까지 정답지 반응률이 매우 낮다가 보통학력 중간 이상이나 우수학력 수준에서 성취 정도가 급격하게 상승하는 J형은 21개 문항(15%)에서 나타났으며, 보통학력 집단에서 정답률 상승 저해 요인이 존재하여 정답지 반응률이 정체되는 모습을 보이는 계단형은 7개 문항(5%)이었다.
영역별 심층 분석 대상 문항은 앞서 제시한 분석 기준인 오답지 반응률 분포 곡선의 특이 패턴 유무와 정답지 반응률 분포 곡선에서 성취수준별 격차를 바탕으로 2014년 듣기 2번 문항, 읽기 15번 문항, 문법 23번 문항, 문학 13번 문항을 선정하였다. 2014년 학업성취도 평가 문항을 분석 대상으로 삼은 이유는 이 문항들이 2014년 학업성취도 평가 국어과 문항 분석 자료집에서 기분석된 문항들이기에7), 본 연구에서 선도적으로 수행하는 문항 반응의 심층 분석 방법의 효과를 검토하는 데에 기여할 수 있는 측면이 있기 때문이다(이인호 외, 2014a, p.32).
이 문항의 성취기준은 ‘담화를 듣고, 주장의 신뢰성과 타당성을 평가할 수 있다.’이고, 해당 성취기준은 2007 개정 교육과정 9학년 듣기 영역에 설정되어 있다. 이 문항은 담화를 듣고 주 장의 신뢰성과 타당성을 평가하기 위하여, 학습자가 주장의 신뢰성과 타당성을 판단하는 기준을 찾을 수 있는 능력이 있는지를 평가하고 있다.
2. (물음) 강연자의 말에 대한 설명으로 적절하지 않은 것은?
-
① 미켈란젤로를 사례로 들어 청중의 주의를 끌고 있다.
-
② 미켈란젤로의 강한 의지를 드러내어 자신의 견해를 제시하고 있다.
-
③ 미켈란젤로의 작품 제작을 예로 들어 자신의 의견을 수정하고 있다.
-
④ 미켈란젤로의 도전 정신을 언급하여 청중의 동의를 구하고 있다.
-
⑤ 미켈란젤로의 삶을 소개한 이유를 들어 말하고자 하는 바를 분명히 하고 있다.
※ 듣기 대본은 [부록]을 참고 바람.
이 문항의 실제 정답률은 76.54%로 듣기 선다형 문항 중에서는 정답률이 가장 낮아서8) 학생들이 문제를 해결하는 데 다소 어려움을 겪었던 것으로 보인다. ‘적절하지 않은 것’을 고르도록 하는 문항은 정답지를 제외한 나머지 답지들의 정오 여부를 함께 판단하면서 문항을 해결해야 하기 때문에, 특히 듣기 문항에서 학생들의 체감 난도가 높은 문항 유형이다.
이 문항의 듣기 자료는 진로 체험의 날 행사에 초대된 강연자가 미켈란젤로의 일화를 예로 들며 자신의 생각을 청중들에게 효과적으로 전달하는 내용이다. 이 문항에서 학생들은 담화를 듣고, 강연자가 자신의 말하기 내용에 신뢰성과 타당성을 부여하기 위하여 어떠한 방법을 사용하였는지를 파악해야 한다. 강연자는 미켈란젤로의 제작 일화를 예로 들어 자신의 주장에 대한 근거를 제시하고 있으므로 자신의 주장을 수정하기보다는 오히려 강화하는 것으로 보는 것이 타당하다. 따라서 정답은 ③번이 된다.
이 문항의 답지 반응률 분포 곡선을 보면 정답지 ③에 대한 반응은 성취수준이 증가함에 따라 상승하는 직선형의 양상으로 문항에서 요구하는 바를 파악한 학생이 정답을 선택하는 데는 크게 어려움이 없었던 것으로 보이며, 기초학력이나 기초학력 미달의 학생들도 다른 답지에 비해서 정답지에 대한 반응이 높게 나타난 것을 확인할 수 있다. S형이 보통학력 구간에서 정답률이 급격히 상승하는 데 비해 직선형은 비교적 완만하게 상승하는데, 이는 오답지에 대한 반응이 보통학력 구간까지 다소 높게 나타나기 때문이다. 이 문항의 경우 ②번과 ④번 답지의 반응 곡선이 평지형으로 해당 답지의 내용이 보통학력까지의 학생들이 문제를 해결하는 데 장애 요소로 작용한 것으로 나타났다. ②번의 ‘강한 의지’나 ④번의 ‘도전 정신’은 강연에서 언급되었던 내용이었으나 이를 통해서 자신의 견해를 제시하고 있는 것이 맞는지, 청중의 동의를 구하고 있는지 등 강연의 내용과 강연자의 의도를 연결시켜 이해하고 판단해 야 하는데 학생들이 이 부분에서 다소 어려움을 느꼈던 것으로 보인다. ①번 답지의 반응 곡 선은 산지형으로 기초학력 미달 중위 구간부터 기초학력 하위 구간까지 정답률이 상승하다가 감소하는 형태를 보였다. ①번 답지의 반응 분포를 보면 정답지를 제외하고 기초학력 미달과 기초학력 구간에서 가장 높은 비율을 나타내어 학업성취 수준이 낮은 학생들이 해당 답지를 선택한 경우가 많았다. ‘예를 들어 청중의 주의를 끈다.’라는 내용은 설득적 말하기의 전략으로 많이 활용되는 것이며 제시문 내에서도 강연자가 ‘미켈란젤로’를 사례로 주장을 전개하고 있음이 분명히 드러나고 있는데도 불구하고 기초학력 이하의 학생들은 이러한 점을 이해하지 못하고 있는 것이다.
이 문항은 담화에 나타난 주장의 신뢰성과 타당성을 평가하는 비판적 듣기 능력을 측정하는 것을 목표로 하므로 사실적인 정보를 확인하는 데서 나아가 해당 정보가 담화 속에서 어떠한 역할을 하는지, 정보가 믿을 만한 것이고 주장을 효과적으로 뒷받침하고 있는지 등을 복합적으로 판단하여야 한다. 구어 담화 상황이라는 점을 고려할 때 정보를 이해하고 화자의 의도를 파악하면서 듣는 것은 쉽지 않은 과정이다. 따라서 학생들로 하여금 담화를 들으며 핵심적인 정보가 무엇인지, 화자가 어떠한 의도로 이러한 정보들을 사용하고 있는지, 화자가 사용한 근거들이 화자의 주장을 적절히 뒷받침하고 있는지 등을 파악하면서 듣는 활동을 연습할 필요가 있을 것이다.
이 문항의 성취기준은 2007 개정 교육과정 8학년 읽기 영역에 설정되어 있는 ‘다양한 매체의 글을 읽고, 글의 특성을 비교할 수 있다’이고, 제시된 글을 읽고 학생들이 글에서 핵심적으로 이야기하고자 하는 바를 파악해 내는 능력이 있는지를 평가하고 있다. 학생들이 중심 내용을 잘 파악할 수 있도록 글쓴이의 생각이 잘 드러나는 글이 지문으로 제시되어 있으며, 학생 들이 6문단으로 구성된 다소 긴 글을 읽고 중심 내용을 짐작하는 데 어려움을 겪을 것을 감안하여 예상 난이도를 ‘중’으로 설계한 문항이다.
15. 윗글에서 글쓴이가 말하고자 하는 바로 가장 적절한 것은?
-
① 경쟁은 놀이의 가장 중요한 속성이다.
-
② 놀이의 네 가지 속성은 청소년 시기에 강조된다.
-
③ 흉내를 중심으로 다른 속성들을 결합시켜야 한다.
-
④ 일탈은 부정적 측면이 강해 문화의 원리에서 배격해야 한다.
-
⑤ 놀이의 네 가지 속성이 인간의 문화를 형성하는 데 토대가 되었다.
※ 읽기 지문은 [부록]을 참고 바람.
이 문항의 실제 정답률은 83.52%로 예상보다 정답률이 높게 나타나 전체적으로 학생들이 문항을 해결하는 데 어려움이 없었던 것으로 보인다. 그런데 이는 성취수준별 정답률에서 볼 수 있듯이 우수학력과 보통학력 학생들이 비교적 문항을 쉽게 해결한 데 기인한다. 우수학력 (99.09%)과 보통학력(86.45%) 학생들은 대부분이 문항을 해결하였으나 기초학력(41.75%)은 절반 이상의 학생들이, 기초학력 미달(13.37%)은 많은 학생이 문항을 해결하지 못한 것으로 나타났다. 답지 반응률 분포 곡선은 S형으로 기초학력 후반에서 보통학력 구간에서 정답지 반응률 곡선이 가파르게 상승하고 있어 이 문항이 기초학력과 보통학력을 변별해 주는 문항임을 알 수 있다. 기초학력 학생들의 정답률은 41.75%로 50%에도 미치지 못한 데 비해, 보통 학력 학생들의 정답률은 86.45%로 정답률의 차이가 약 45%로 크게 나타나 기초학력 이하의 학생들에게는 다소 어려운 문항이었음을 짐작할 수 있다. 이러한 반응이 나타난 이유를 오답지에 대한 반응을 통하여 살펴볼 수 있는데, 오답지 4개의 반응 곡선이 대체로 평지형으로 보통학력 구간에 와서야 반응률이 감소함을 확인할 수 있다. 즉 기초학력 이하의 학생들에게는 오답지가 모두 매력적으로 작용하여 정답을 선택하는 데 장애 요인이 된 것이다. 문항에서는 궁극적으로 글쓴이가 말하고자 하는 바 즉 ‘주제’를 파악할 수 있는지를 물었으나 오답지의 내용들이 부분적으로 글의 내용과 관련이 있어 기초학력 이하의 학생들이 이를 명확하게 이해하고 핵심적인 내용을 가려내기가 쉽지 않았던 것이다.
이 문항의 특성과 답지 반응에서 알 수 있듯이 보통학력 이상의 학생들은 글을 읽고 글의 주제와 함축된 의미를 해석하여 이해하는 능력을 갖추고 있으나 기초학력 이하의 학생들은 이러한 부분에 있어 어려움을 겪는 것을 알 수 있다. 기초학력 이하의 학생들은 글을 읽고 제시되어 있는 정보를 바탕으로 생략된 정보를 짐작하거나 새로운 판단을 이끌어 내는 등의 추론적 사고력을 필요로 하는 문항 해결을 힘들어 하는 것이다. 읽기는 단순히 제시된 정보의 확인에 머무르는 것이 아니라 사고의 확장이라는 측면에서 추론적, 비판적 읽기 활동이 중요하게 다루어지고 있으며 이는 학교 학습과도 연결되는 중요한 지점이다. 따라서 기초학력 이하 학생들의 추론적 사고력을 길러주기 위한 읽기 영역의 교수·학습 방안에 대한 고려가 더욱 요구된다고 할 수 있을 것이다.
이 문항의 성취기준은 2007 개정 교육과정 9학년 문법 영역에 설정되어 있는 ‘담화를 구성하는 요인과 담화 구조를 결정하는 표지를 탐구할 수 있다’이다. 이 문항은 학생들이 표지가 하는 기능을 알고 이것을 글 속에서 적용하여 문맥을 고려해서 글의 내용을 정확하게 파악할 수 있는가를 평가하기 위해 읽기 문항과 연동하여 구성되어 있다.
23. 윗글의 ㉠〜㉤을 탐구한다고 할 때, 적절하지 않은 것은?
-
① ㉠이라고 했으니 실제 일어난 상황은 아니지만 손실회피성이 나타나는 예를 제시 하고 있구나.
-
② ㉡이라고 했으니 손실회피성이 드러나지 않는 원인이 나오겠네.
-
③ ㉢이라고 했으니 다음 내용은 오만 원을 잃은 것이 확실한 손실이 아닐 수 있는 이유가 되겠네.
-
④ ㉣은 잃은 돈을 다시 벌 수 있는 가능성이 있는 상황을 가리키는 거야.
-
⑤ ㉤은 문맥으로 보아 손실회피성이 작용할 때를 말하고 있어.
※ 읽기 지문은 [부록]을 참고 바람.
이 문항은 담화 표지의 의미를 이해하고, 문맥의 의미를 통하여 담화 표지의 적절한 사용 여부를 판단하는 능력을 평가하고자 한 문항으로 예상 난이도는 ‘중’으로 설정되었으나 실제 정답률은 42.97%로 낮게 나타났다. 이 문항의 성취수준별 정답률은 우수학력 77.19%, 보통학 력 33.25%, 기초학력 19.22%, 기초학력 미달은 13.75%이다. 정답지 반응률 분포 곡선을 보면, 보통학력 중반 구간을 지나면서 정답지의 곡선이 급격하게 증가하는 양상을 보여 J형임을 확인할 수 있다. 성취수준별 정답률에서도 알 수 있듯이 이 문항은 우수학력과 보통학력의 정답률 차이가 40%p 이상 크게 나타나는 문항으로 우수학력과 보통학력을 구분해 주는 문항이다.
이 문항은 읽기 지문을 읽고 문맥 속에서 담화 표지의 의미를 파악해야 하므로 내용 파악과 담화 표지에 대한 이해가 동시에 이루어져야 문항 해결이 가능한 상당히 까다로운 문항이다. 역접을 드러내는 대표적인 표지인 ‘그러나’는 앞과 뒤의 내용이 반대가 됨을 알려 주므로 ‘그러나’ 앞에서는 확실히 오만 원의 손실을 입는 상황을 말하고 있다. 따라서 ‘그러나’ 뒤에서는 이와 반대되는 내용이 와야 하며, 문맥상 그 내용은 확실한 손실을 입지 않을 상황이다. 그런데 ②에서는 손실회피성이 드러나는 않는 원인이 나온다고 하였으므로 이는 적절하지 않은 설명이다. 이처럼 담화 표지가 사용된 전후 맥락과 담화 표지의 의미를 정확하게 이해하고 있어야만 문항을 해결할 수 있는데, 그렇지 못한 경우에는 정답의 선택이 어려울 수 있다. 우수학력 학생들은 이 문항을 해결하는 데 어려움이 크지 않았지만 보통학력 이하의 학생들은 상당한 어려움이 있었던 것을 알 수 있는데, 성취수준별 답지 반응 분포율을 통해서 이러한 점을 확인할 수 있다. 오답지 ④번은 산지형의 양상을 보이는 데 보통학력 중반까지 반응률이 상승하고 있으며, 보통학력 학생들의 반응률은 정답지에 대한 반응률과 비슷한 30.29%였다. 즉 보통학력 1/3가량의 학생들이 해당 답지를 정답으로 생각한 것이다. ‘이러한’은 앞에서 설명한 내용을 가리키는 표지로 문맥을 살펴보면 ‘이러한’ 앞에서는 확실한 손실이 일어나는 경우와 불확실한 손실이 일어나는 경우를 설명하고 있다. 그리고 ‘이러한’ 뒤에서 ‘불확실한 손실을 선택’한다는 내용이 나오므로 문맥상 ‘이러한’은 확실한 손실 또는 불확실한 손실이 일어 날 수 있는 상황을 가리키는 것임을 알 수 있다. 이처럼 ④번은 적절한 설명이 아님에도 불구 하고 학생들이 이를 많이 선택한 것은 학생들이 담화 표지의 의미뿐 아니라 맥락을 파악하는 데도 어려움을 겪었음을 나타내는 것이다. 대체로 평지형의 양상을 보인 ⑤번 답지의 경우에도 보통학력 구간에서 반응률이 가장 높게 나타나 보통학력 구간까지 상당수의 학생들이 오답지에 반응한 경우가 많았음을 알 수 있다. 평지형으로 기초학력 구간까지 높은 반응률을 보인 ③번 답지의 경우에도 학생들에게는 상당히 매력적인 오답으로 작용하였다.
문법 영역의 문항이지만 실제로는 읽기 지문과 연동되어 있어 지문의 내용에 대한 이해가 동시에 요구되므로 이 문항을 해결하는 데에는 학생들의 읽기 능력이 크게 작용한 측면이 있을 것이다. 그럼에도 불구하고 보통학력 이하의 학생들에게 담화 표지의 기본적인 기능을 알고 이를 실제 읽기 상황에 적용하여 사용할 수 있는 능력이 부족한 것은 분명하다. 보통학력 학생들의 문법 능력이 상당히 부족하다는 점에 주목하여 학생들이 문법 지식의 기초를 튼튼히 다지고 이를 바탕으로 실제 읽기 과정에서 문법 지식을 정확하게 활용하여 의미를 바르게 이해하고 파악할 수 있는 능력을 기르도록 하는 데 교육적 관심을 기울일 필요가 있음을 알 수 있다.
이 문항의 성취기준은 ‘문학 작품에 나오는 인물의 행동을 사회문화적 상황과 관련지어 파악할 수 있다.’이다. 이 성취기준은 2007 개정 교육과정 8학년 문학 영역에 설정되어 있으며 이 문항은 중학교 3학년 학생들의 ‘문학의 수용’ 능력을 평가하기 위하여 출제되었다.
13. 윗글에 등장하는 인물의 생각을 <자료>를 바탕으로 추론한 내용으로 가장 적절한 것은?
| 설문 항목 | 1991년 | 2000년 | 2009년 |
|---|---|---|---|
| 아들이 꼭 있어야 한다. | ㉠40.5 | 16.2 | ㉡8.9 |
| 아들이 있으면 좋겠다. | 30.7 | 43.2 | 39.2 |
| 상관없다. | 28.0 | 39.5 | ㉢51.8 |
| 모르겠다. | 0.8 | 1.1 | 0.1 |
| 계 | 100 | 100 | 100 |
-
① ‘나’는 ‘남자’의 생각을 ㉠의 ‘아들이 꼭 있어야 한다’는 다수의 생각에 동조하도록 유도하는군.
-
② ‘나’의 말을 듣고 ‘남자’의 생각은 ㉠의 ‘아들이 꼭 있어야 한다’는 다수의 생각으로 변화하고 있군.
-
③ 아들보다 딸을 더 좋아하는 ‘나’의 생각은 ㉢의 ‘상관없다’는 다수의 생각에 가깝네.
-
④ ‘남자’의 생각은 ㉡의 ‘아들이 꼭 있어야 한다’는 소수의 생각에 더 가깝네.
-
⑤ ‘남자’는 ㉢의 ‘상관없다’는 다수의 생각을 좇아 아들이 꼭 있어야 한다고 생각하는군.
※ 문학 지문은 [부록]을 참고 바람.
이 문항은 학생들에게 다소 어려운 문항일 것으로 예상되었으나 실제 정답률은 53.88%로 나타나 예상보다는 다소 높았지만, 문학 영역에서 가장 낮은 정답률을 보여9) 학생들이 문항을 해결하는 데 많은 어려움을 느꼈던 것으로 보인다. 제시된 소설 작품은 1993년에 발표된 박완서의「꿈꾸는 인큐베이터｣로, 이 작품은 중학생이 이해하기에 적절한 수준으로 사회 문화적인 상황과 가치관을 담고 있는 소설이다.
이 문항에 대해 우수학력 87.66%, 보통학력 47.01%, 기초학력 17.71%, 기초학력 미달 10.55%의 정답률을 나타내었다. 우수학력과 보통학력의 정답률 차이가 40%p 이상으로 매우 크게 나타났으며, 보통학력 학생의 정답률이 절반에도 미치지 못해 보통학력 이하의 학생들이 이 문항을 해결하는 데 많은 어려움이 있었던 것을 알 수 있다. 성취수준별 정답률을 살펴 보면, 우수학력과 보통학력, 보통학력과 기초학력 사이에 점수 차이가 크게 나타나 성취수준을 구분하게 해 주는 특성을 가진 문항으로 볼 수 있다. 정답지의 반응률 곡선은 S형에 가까운 J형으로 보통학력 초반까지 정답률이 매우 낮았으며 보통학력 중반 구간에 이르러서야 정답률이 상승하고 있음을 알 수 있다. 이 구간까지 정답률 상승을 저해한 것은 오답지 ③번 (17.28%)과 ④번(16.35%)이었는데, 기초학력 이하 구간에서는 이들 오답지에 대한 반응률이 정답지에 대한 반응률보다 높은 것으로 나타났다. 이는 기초학력 이하의 학생들이 ‘나’와 ‘남자’의 생각을 제대로 파악하지 못해서 나타난 결과이며, 학생들이 제시글에 대한 이해와 더불어 주어진 자료를 해석하는 것까지 요구받음으로써 인지적 부담이 증가하여 문항 해결에 어려움이 가중된 것으로 보인다. 오답지의 반응률 분포 곡선이 보통학력 초반 구간까지 대체로 평지형의 양상을 보이고 있다는 점이 이를 방증한다. 제시문과 자료 해석에 부담을 느낀 학생들이 문항 해결의 의지가 약해져 임의로 답지에 반응하는 경향이 있었을 것이라고 짐작해 볼 수 있는 것이다.
해당 성취기준은 난이도 설정에서도 예상한 바와 같이 기초학력 이하의 학생들이 해결하기에는 쉽지 않은 것이다. 그러나 문학 작품은 사회문화적 상황과 분리되어 개별적으로 존재하는 것이 아니기에 사회문화적 상황에 대한 폭넓은 이해를 바탕으로 접근할 때 보다 깊이 있는 감상이 가능하다. 이러한 점을 생각하면, 기초학력 이하의 학생들에게 문학 작품을 감상하고 수용하는 데 있어서 사회문화적 상황에 대한 이해를 통해 심화된 접근을 할 수 있도록 지도할 필요가 있을 것이다.
IV. 결론 및 시사점
이상의 영역별 문항 분석을 통해 얻을 수 있는 교수·학습, 교육과정, 평가상의 시사점은 다음과 같이 정리할 수 있다.
듣기 영역에서 주장의 신뢰성과 타당성을 평가하는 2014년 2번 문항을 분석한 결과, 학생 들로 하여금 담화를 들으며 핵심적인 정보가 무엇인지, 화자가 어떠한 의도로 이러한 정보들을 사용하고 있는지, 화자가 사용한 근거들이 화자의 주장을 적절히 뒷받침하고 있는지 등을 파악하면서 듣는 활동을 연습시킬 필요가 있음을 알 수 있었다.
읽기 영역에서 2014년 15번 문항 분석 결과, 기초학력 이하 학생들의 추론적 사고력을 길러 주기 위한 읽기 영역의 교수·학습을 강조할 필요가 있음을 알 수 있었다.
문법 영역에서 2014년 23번 문항 분석 결과, 보통학력 이하의 학생들이 담화 표지의 기본적인 기능을 알고 이를 실제 읽기 상황에 적용하여 사용할 수 있는 문법 능력이 부족하다는 것을 알 수 있었고, 이 점을 고려하여 학생들이 문법 지식의 기초를 튼튼히 다지고 이를 바탕으로 실제 읽기 과정에서 문법 지식을 정확하게 활용하여 의미를 바르게 이해하고 파악할 수 있는 능력을 기르도록 관심을 기울일 필요가 있음을 알 수 있었다.
문학 영역에서 2014년 13번 문항 분석 결과, 기초학력 이하의 학생들에게 문학 작품을 감상 하고 수용하는 데 있어서 사회문화적 상황에 대한 이해를 통해 심화된 접근을 할 수 있도록 지도할 필요가 있음을 알 수 있었다.
2014년 학업성취도 평가의 영역별 예시 문항 분석을 포함하여, 2010-2014년의 문항들을 분석한 영역별 시사점은 다음과 같다.
먼저 듣기 영역 문항의 분석 결과, 특히 기초학력 이하의 학생들에 대한 듣기·말하기 교수·학습의 중요성이 부각되었다. 듣기는 순간적으로 지나가는 담화를 들으면서 ‘내용 파악-추론-비판’의 전 과정이 동시에 이루어지는 언어활동으로서, 교실에서 교사와 학생 간의 대부분의 교수·학습 활동이 듣기·말하기로 이루어진다는 점에서 듣기·말하기 능력은 모든 교과에서 공통적으로 요구되는 기본적인 언어 능력이기 때문이다.
읽기 영역의 문항 분석을 통해서는 추론적, 비판적 읽기 능력이 보통학력과 기초학력을 구분하는 중요한 기준이 됨을 확인할 수 있었다. 듣기·말하기 능력과 함께 읽기 능력 또한 학생의 자기주도적 학습을 위해 반드시 갖추어야 할 필수적인 언어 능력이므로, 기초학력 이하 학생들을 위한 읽기 보정 교육이 강화되어야 함을 알 수 있었다.
문법 영역에서는 기존 문법 교육에서 중시하던 ‘언어 탐구’ 능력을 적절하게 평가할 수 있는 문항 개발이 필요함을 알 수 있었다. 문법 영역의 경우 문항 설계 시의 예상치와 실제 학생들의 답지 반응 결과 간 불일치율이 다른 영역에 비해 상대적으로 높았고, 문항에 따라 성취수준 간 격차가 극심하게 나타나는 경우도 있었다. 언어 인식 교육과 규범 교육의 경우에는 국어교육에서 초등학교급에서 고등학교급까지 중장기적인 관심이 필요할 것이다.
문학 영역에서는 5개년 동안 출제되었던 대부분의 문항들이 양호한 변별력을 갖추고 있었지만, S형과 J형의 정답지 반응률 분포 곡선이 많이 나타나는 것에서 알 수 있듯이 전반적으로 보통학력 이하의 학생들이 문제를 해결하는 데 어려움을 느끼는 경우가 많음을 알 수 있었다. 보통학력 이하 학생들의 문학 능력 향상을 위해서는 중장기적으로 작품 읽기 경험을 확대하고 감상 능력을 신장시킬 수 있는 교수·학습 전략의 실천이 필요하다. 교사가 비교적 단기간에 실시할 수 있는 교수·학습적 처방으로는, 한 작품에 대한 집중적인 해석·감상과 감상 활동을 수행하도록 하는 것이다. 보통학력 이하의 학생들에게는 많은 작품을 읽도록 하는 것 보다는 다원적인 해석과 감상이 가능한 하나의 작품 또는 내용상·작품구조상 동일 계열에 속하는 작품군을 활용하여 그 감상과 해석의 수준을 점진적으로 향상시킬 수 있는 체계적인 교수·학습적 처방이 필요하다고 판단된다.
답지 반응률 분포 곡선을 활용하여 2010〜2014년 중학교 3학년 국어과 학업성취도 선다형 문항과 2014년 예시 문항을 분석하는 과정에서 학생들의 실제 문제 풀이 과정에 대한 관찰 및 심층 면담 등의 질적 분석을 보다 강화할 필요성이 제기되었다. 답지 반응률 분포 곡선을 활용한 문항 분석 방법의 도입으로 이전에 비해 문항 분석이 정밀해지고 그 결과의 활용도가 높아지기는 했으나 앞으로 보다 효과적인 교수·학습상의 시사점과 교육과정 개선상의 시사점 들을 도출해 내기 위해서는 현재의 기술통계적 분석은 물론이거니와 학생들의 문제 해결과정에 대한 보다 직접적이고 심층적인 분석과 진단이 추가적으로 이루어져야 할 것이다.
