Journal of Curriculum and Evaluation
Korea Institute for Curriculum and Evaluation
교육평가

웹기반 CR-CBA 한글해득수준진단검사의 측정학적 적합성1)

이승미1,*, 김중훈2, 정평 강3,**, 송푸름4
Seung-Mi Lee1,*, Jung Hun Kim2, Pyung-Gang Jung3,**, Pureum Song4
1한국교육과정평가원 부연구위원
2인천운서초등학교 교사
3이화여자대학교 박사후연구원
4인천용현초등학교 교사
1Research fellow, Korea Institute for Curriculum and Evaluation
2Teacher, Incheon Unseo Elementary School
3Postdoctoral researcher, Ewha Womans University
4Teacher, Incheon Yonghyun Elementary School
*제1저자, sm07@kice.re.kr
**교신저자, jungx165@gmail.com

© Copyright 2018, Korea Institute for Curriculum and Evaluation. This is an Open-Access article distributed under the terms of the Creative Commons Attribution NonCommercial-ShareAlike License (http://creativecommons.org/licenses/by-nc-sa/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Oct 05, 2018 ; Revised: Nov 21, 2018 ; Accepted: Nov 22, 2018

Published Online: Nov 30, 2018

요약

본 연구는 초등학교 1학년 학생의 한글 해득 정도에 따라 보충 교육이 필요한 학생의 교수·학습에 필요한 정보를 제공하기 위한 목적으로 개발한 웹기반 CR-CBA(criterion-referenced curriculum-based assessment) 한글해득수준진단검사도구(한글 또박또박)의 측정학적 적합성을 알아보는 데 목적이 있다. 이를 위하여 본 연구에서는 전국에 소재한 초등학교 1학년 10개 학교에서 177명의 학생들을 대상으로 「한글 또박또박」 (가)형과 (나)형을 실시하였으며, 같은 기간 동안 KOLRA 단어 읽기 유창성과 K-TOLD 단어 읽기 유창성을 실시하였다. 연구 결과, 「한글 또박또박」의 전체 점수에 대한 내적일관성 신뢰도는 (가)형이 0.98, (나)형이 0.97로 문항 간 내적일관성이 높았으며, 동형검사 신뢰도는 0.98로 유의도 .01 수준에서 통계적으로 유의했다. 내용 타당도는 대부분의 영역에서 수용 가능한 CVR 이상을 나타내었다. KOLRA 단어 읽기 유창성에 대한 공인타당도는 0.69, K-TOLD 단어 읽기 유창성에 대한 공인타당도는 0.55~0.56이었으며, 모든 타당도 계수가 유의도 .01에서 통계적으로 유의했다. 이상을 종합하여 볼 때, 「한글 또박또박」은 학교 현장에서 학생들의 한글 해득 정도를 살펴보기에 측정학적 적합성이 충분한 것으로 나타났다. 이 외에 본 논문에서는 연구의 제한점과 후속 연구에 대한 제언, 학교 현장에 주는 함의에 대한 논의를 포함하였다.

ABSTRACT

The purpose of this study was to examine technical adequacy of a CR-CBA Hangeul Assessment(Hangeul Ddobak Ddobak) for grade 1 students in primary schools. Hangeul Ddobak Ddobak has been developed to examine the level of mastery in Hangeul and provide useful instructional information to teach students who need additional help. One hundred and seventy seven frist grade students from ten different classrooms across nation participated in this study. Two forms of Hangeul Ddobak Ddobak was administered to all students individually. During the same period, KOLRA Word Reading Fluency and K-TOLD Word Reading Fluency sub-tests were administered to individual students. Internal consistency reliability was 0.98 and 0.97 for each form of Hangeul Ddobak Ddobak, and alternate form reliability coefficient was 0.98 (p < .01). In general, across most areas, content validity met an acceptable level of CVR. Concurrent validity coefficients were 0.69 for KOLRA Word Reading Fluency and 0.55~0.56 for K-TOLD Word Reading Fluency, and all coefficients were statistically significant (p < .01). Results of this study showed the adequate technical features of Hangeul Ddobak Ddobak, supporting the use of the assessment to examine student performance on Hangeul literacy in schools. Limitations and suggestions for future researchers, and implications for practices were included.

Keywords: 한글; 웹기반; 준거참조 교육과정중심사정; 신뢰도; 타당도
Keywords: Hangeul; Web-based; Criterion-referenced curriculum-based assessment; reliability; validity

Ⅰ. 서론

2015 개정 교육과정에서는 초등학교 1학년 학생들의 한글해득 교육을 강화시키고자 초등학교 “국어의 경우, 초등 저학년(1~2학년)의 한글교육을 체계화·강화하여 학생들이 입학 후 최소 45차시 이상 꾸준히 배울 수 있도록” 개정하였으며(교육부, 2015. 9. 23: 5), 이에 기반을 두어 한글책임교육’ 정책이 교육 현장에 적용되고 있다. ‘한글책임교육’ 정책이 교육 현장에서 효과적으로 실행되기 위해서는 한글교육을 받은 학생들의 한글해득 수준 정도를 파악하고, 이에 대한 개선 방안이 마련될 필요가 있다.

2009 개정 교육과정 적용 시기인 2016년 3월에 초등학교 1학년 입학 초기 학생들을 대상으로 실시한 선행 연구에 의하면, 초등학교 입학 전 누리과정 및 가정에서의 학습을 통해 한글을 해득하는 비율은 90% 이상이지만, 초등학교 입학 초기 학생들 간 한글 해득 격차는 유의한 차이가 있음을 보고하고 있다(이승미·김중훈·최소영, 2016). 구체적인 결과를 살펴보면, 한글 해득을 가늠할 수 있는 하나의 지표라 할 수 있는 받침 있는 무의미 단어 읽기의 경우, 대도시에 사는 학생들의 정답률은 73.8%였지만, 농어촌에 사는 학생들의 정답률은 55%로 큰 격차를 보였다. 비다문화 가정 아동과 다문화 가정 아동의 한글 해득 수준 격차도 큰 것으로 나타났는데, 특히 읽기 유창성의 경우, 비다문화 가정 아동은 18.1개를 읽었으나 다문화 가정 아동은 12.9개를 읽었다. 또한, 유치원 만 4, 5세, 초등학교 1~3학년 각 학년별로 200명씩을 대상으로 실시한 연구에서 한글 읽기 부진을 보이는 초등학교 1학년은 20%, 초등학교 2학년은 21%, 초등학교 3학년은 18%였으며, 단어읽기 유창성과 받아쓰기의 경우, 학년이 증가할수록 일반 학생들과 읽기 부진을 보이는 학생들의 격차가 커지고 있음을 발견하였다(박성훈, 2015. 10. 12).

위와 같은 연구 결과는 입학 초기 초등학생들의 한글 해득 수준의 격차가 지역, 교육환경, 문화적 배경에 따라 유의하게 크며, 입학 후에도 한글 미해득 학생들이 읽기 등에서 어려움을 겪고 있음을 보여준다. 초등학교 입학 초기의 한글 해득 격차는 이후 학교의 교과 수업을 포함한 학교생활 전반에 유의한 영향을 미치며(이승미·박순경·김중훈, 2017), 초등학교 1학년 말에 읽기에 어려움을 경험한 학생 중 많은 학생들이 3학년, 4학년 말에 읽기에 어려움을 경험한다(조증열, 2018; Juel, 1988). 따라서 초등학교 1학년에서는 개별 아동의 교육적 요구에 따른 충실한 지원을 통해 학생들의 한글 해득 수준 향상이 이루어져야 할 것이다. 개별 아동의 교육적 요구에 따른 지원 방안을 마련하기 위한 첫 단계는 개별 학생의 한글 해득 수준의 정도를 파악하여 어느 영역에서 보다 집중적인 교육이 필요한지 아는 것이다. 이를 위해, 본 연구에서는 초등학교 1학년 학생들의 한글 해득 수준 진단을 위한 표준화된 도구를 개발하고, 신뢰도와 타당도를 중심으로 도구의 측정학적 적합성을 살펴보고자 한다.

Ⅱ. 이론적 배경

1. 읽기 발달 이론

본 연구에서 개발하고자 하는 진단검사도구의 대상자인 초등학교 1학년의 한글 해득 수준에 대한 이론적 근거로서 먼저, 읽기 발달 단계와 초기 읽기 기술에 대한 이론을 살펴보면 다음과 같다. Chall(1983)은 읽기 발달을 0~5단계로 나누어 설명하였다. 0단계는 읽기 전 단계로 생후 6개월에서 초등학교 입학 전 시기이다. 1단계는 초등학교 1학년에서 2학년 초기까지로 초기 읽기와 해독(intial reading and decoding)이 발달하는 단계이다. 이 시기의 아동은 문자와 소리 사이의 관계, 구어와 문어 사이의 관계를 알아간다. 2단계는 초등학교 2학년~3학년 시기로 간단하고 익숙한 이야기 글을 읽고, 읽기 유창성이 발달하는 단계이다. 3단계는 초등학교 4학년~중학교 2학년에 해당하며, 해독에서 독해로 가는 시기로 읽기를 배우는 단계(learn to read)에서 배우기 위해 읽는 단계(read to learn)로 전환되는 시기이다. 4단계는 다양한 관점으로 읽는 단계로 중학교 3학년에서 고등학교까지 시기가 해당된다. 이후 5단계는 18세 이후 성인으로 구성과 재구성의 단계이다. Chall의 읽기 발달 단계에서 초등학교 1학년의 한글 해득과 관련된 단계는 1단계로, 한글 해득을 위해서는 문자와 소리 사이의 관계, 즉 글자와 소리 대응(letter-sound correspondence)을 할 수 있어야 하며, 구어와 문어 사이의 관계를 아는 것이 중요하다는 점을 시사하고 있다.

이와 관련하여 Foorman et al.(1998), Juel(1988) 등의 연구자들은 문식성 발달 단계를 발생적 문식 단계, 초기 문식 단계, 독자적 문식자로의 발전 단계, 능숙한 문식 단계 등으로 구분한다. 발생적 문식 단계는 문자를 생활 속에서의 자연스러운 경험을 통해 어른의 글을 읽거나 쓰는 행위를 모방하는 것으로 나타난다. 이 때 유아들은 문자가 상징성을 가지고 있다는 것을 알고 관심을 가지고 거리의 간판이나 책 등에 쓰여 진 문자를 소리 내어 읽거나 쓰는 흉내를 내고 자신의 이름과 같이 익숙한 일부 글자는 쓰기도 한다. 다음 단계인 초기 문식 단계에서는 자신의 이름과 같이 익숙한 글자들 속에 들어 있는 자·모음, 음소를 대응시켜 읽기 시작하고, 독자적 문식자로서의 단계에서는 어휘력이 증가하고 글의 내용을 적절히 이해해 나가는 능력을 갖추게 된다. 모든 단계가 중요하지만, 초기 문식 단계는 문자의 추상성을 이해하고 기능적으로 문자의 구성 요소를 분석하여 읽어나가는 능력을 얻는 단계라는 점에서 그 중요성이 있다(박덕숭, 2011: 237~238; 이차숙, 2007: 170~171). 앞에서 제시한 Chall(1983)의 1단계가 바로 초기 문식 단계로 본 연구에서 관심을 두고 있는 초등학교 1학년 학생들이 대부분 이 시기에 해당된다. 이 시기의 아동은 발생적 문식 단계에서부터 습득해온 언어 이해와 더불어 단어 해독의 기능을 갖추게 된다(Neuman, Copple, & Bredekamp, 2000). 이 두 가지의 기능을 읽기의 과정을 설명하는 읽기 단순 관점(simple view of reading)에서는 다음과 같은 공식으로 표현한다. R(읽기) = D(해독) × LC(언어이해). 다시 말해, 글을 읽고 이해하기(reading) 위해서는 해독(decoding)과 언어이해(linguistic comprehension)가 필요하다는 것이다(Gough & Tunmer, 1986; Hoover & Gough, 1990). 해독은 해호화, 단어 재인(word recognition), 낱말 읽기, 단어 수준의 읽기 등의 용어로 사용되는데, 해호화(해독)는 “낱글자나 단어 읽기(초성+중성 단어와 초성+중성+종성 단어 포함), 무의미 단어 읽기, 문장이나 문단을 소리 내어 읽기 등으로 구분하며, 글을 읽어 이해하는 과정”으로, “독해는 사실을 파악하고 비판하며 감상하는 과정으로 구분한다(박경숙 외, 2004, p. 33).” 읽은 내용을 이해하기 위해서는 위와 같은 해독 기술뿐 아니라 단어, 문장, 글을 이해하는 기술이 필요하다(Gough & Tunmer, 1986). 예를 들어, 한글을 배운 초등학교 1학년 학생이 어려운 대학교 전공 서적을 소리 내어 읽을 수 있지만, 읽은 후 그 내용을 이해하기는 힘들 것이다. 이처럼 ‘해독’을 할 수 있더라도 내용을 이해하기 어려운 것은 어휘력과 배경 지식에 해당되는 ‘언어 이해’가 부족하기 때문이다. 초기에는 해독 기술이 전체 읽기에 많은 영향을 끼치지만 점차 연령이 높아지면서 언어 이해의 영향이 커지게 된다(김영숙, 2017).

이상을 요약하면, 초기 문식 단계에 해당되는 초등학교 1학년에서는, 단어 수준의 읽기인 해독 기술을 익히는 것이 중요하다. 이것이 가능해야 글의 내용을 이해하고 지식을 습득해 나가는 다음 단계로 나아갈 수 있기 때문이다. 그리고 이 시기의 문식력이 떨어지는 경우, 그 이후의 학교 교육에서의 학습을 따라가기 매우 어렵게 된다(Foorman et al., 1998, 이차숙, 2007: 170에서 재인용; Juel, 1988). 따라서 초등학교 저학년 학생을 위한 기초 학력 진단을 위해서는 읽기와 관련된 해독 기술을 적절히 잘 익혔는지 판별할 수 있는 평가 도구 개발이 요구된다. 이상과 같은 이론적 배경에 근거하여 본 연구에서는 초등학교 1학년 학생의 한글해득수준을 살펴보기 위해 해독을 위해 필요한 글자와 소리의 대응, 단어수준의 읽기 기술 측정에 중점을 두어 개발하였다. 이 외에 한글 교육에서의 한글 해득에 대한 이론적 배경은 다음 절에서 상세히 밝히고자 한다.

2. 한글 교육과 한글 해득에 대한 개념화

국어교육에서 한글 해득의 개념은 학자마다, 개념과 용어에 따라 다소 차이가 있다. 한글 교육에 대한 원리와 개념과 관련된 국내 연구를 연도순에 따라 살펴본 결과는 다음과 같다.

먼저, 김도남(2003)은 개화기 이후에 시행된 우리나라의 한글 해득 교육의 원리를 분석하고, 그에 대한 개선 방안을 제시하였다. 그동안 우리나라의 한글 해득 교육은 발음식, 의미식, 절충식 등으로 변화되어 왔는데, 뜻글자가 아닌 기호 체계에 해당하는 소리글자인 한글의 구조 체계를 고려할 때 발음식 교육이 필요하다는 주장을 제기하였다. 김지형(2007)은 한글의 구조 체계를 고려한 한글 해득 교육을 주장하였다. 한글은 자음과 모음의 대응이 규칙적이고, 자모음 합성으로 음절을 이루는 특성이 있으므로, 이러한 한글의 특성을 고려하여 교육해야할 필요성을 피력하였다.

최영환(2008)은 읽기는 해독과 이해로 이루어지며, 한글학습과 관련된 읽기의 요소는 해독이라고 규정하였다. 한글학습은 소리와 문자의 대응 관계를 알고 읽을 수 있는 것을 의미하며, 단어의 의미까지 아는 한국어 학습과 구분할 필요가 있음을 강조한다. 한글 학습의 개념을 확정하기 위해 문자와 소리, 의미 세 가지 요소 사이의 관계로 설명하여 구분하였다. 문자-소리 대응(letter-sound correspondence)은 문자 학습, 소리-의미 대응은 음성 언어학습, 문자-의미 대응은 문자 언어학습으로 구분되는데, 이 중, 한글 학습은 엄밀하게 문자와 소리의 대응 관계를 아는 것으로 보아야 한다고 주장하였다. 한글 학습은 문자와 소리의 대응관계를 아는 것이므로, 한글 학습 내용의 범주를 모음과 자음, 모음으로만 구성된 음절, 자음+모음으로 구성된 음절, 받침의 음가가 문자와 일치하는 음절을 아는 것으로 제안하였다. 문자와 소리가 일치하지 않는 경우는 한글 맞춤법 학습, 어휘는 한국어 학습으로 구분하였다. 최영환이 제시한 한글 학습 내용의 범주에는 한글 해득을 위한 기술로 낱자 지식, 글자-소리 대응 지식, 해독을 공통적으로 포함하고 있음을 확인할 수 있다.

이경화(2018)는 한글 문해는 초기 문해와 동의어로, 초기 읽기와 초기 쓰기를 의미한다고 하였다. 한글 해득과 관련된 기술로는 한글 문해 준비도, 음운인식, 낱자 지식, 글자-소리대응 지식, 해독, 어휘력, 글자쓰기, 유창성까지 여덟 가지로 보았다. 즉, 이경화(2018)는 한글 해득을 한글 문해 준비 기술부터 유창성까지 보다 넓은 범주로 개념화하고 있다.

그런데 지성애 외(2015)의 연구에서 만 5세 아동의 읽기·쓰기 능력 검사를 실시한 결과, 아동들이 단순하거나 받침이 없는 글자뿐 아니라 친숙한 글자를 잘 알고 있다는 점이 발견되었다. 이는 초등학교 입학 전까지 학생들은 소리글자인 한글을 자모음 결합 법칙에 의해서가 아니라 의미 중심으로, 다시 말해서 한자(漢子)처럼 한 글자, 한 글자를 외워서 인지하고 있다는 것이 드러났다. 이와 관련하여 이차숙(2003)은 누리과정에서는 학생들이 글자에 대하여 친숙하게 생각하고 자신 또는 친구나 가족의 이름 등 친숙한 글자를 쓰고 읽거나 꾸며보는 음절 중심의 해독 경험을 충분히 수행하는 것이 좋으며, 누리과정에서 초등학교로의 이행기(예: 초등학교 입학초기 적응활동 기간)부터는 명시적인 자음소 대응 규칙과 자모 체계 원리 학습을 충분히 제공할 필요가 있다고 하였다.

본 연구에서는 위와 같은 이론적 근거와 선행 연구에 기반을 두어, 초등학교 1학년의 한글 해득 수준을 파악하기 위한 기술로 글자-소리 대응과 단어 수준 읽기(해독)에 중심을 두었다. 글자-소리 대응은 단어 수준 읽기를 위한 필수적인 선수 기술이므로 매우 중요하며, 자모음 결합법칙을 적용한 단어 읽기를 측정할 필요가 있다. 이에 따라 본 연구에서 개발한 검사 도구에는 학생들이 한글의 특성에 맞게 자모음 결합 법칙을 사용하여 읽는지 확인하기 위하여 의미 단어 뿐 아니라 무의미 단어를 포함하였다. 보다 구체적으로, 첫째, 한글의 자모음의 음가를 알고, 둘째, 자모의 결합에 따라 만들어지는 글자와 단어를 읽고 쓰는 한글 해득의 기초 기본 단계에 집중하고자 하였다.

3. 교육과정중심사정(curriculum-based assessment)

학생의 수준을 점검하기 위해서는 여러 평가 유형이 존재한다. 이 중에서 특히 학생이 배우는 교육과정과 연계하여 학생의 수행 수준을 살펴보기 위한 검사를 교육과정중심사정(curriculum-based assessment, 이하 CBA)이라고 한다(Hintze, Christ, & Methe, 2006; Prater, 2017). 구체적으로, CBA는 학생을 위한 “교육적 의사결정을 내리기 위한 정보를 수집하기 위해 실시하고 있는 교육과정에 대한 학생의 수행을 직접 관찰하고 기록하는 것”(Deno, 1987, p. 41: Hintze, Christ, & Methe, 2006에서 재인용)을 의미한다. CBA는 현재 제공하는 교육과정에 대한 학생의 특정 기술 도달 여부를 측정하는지(specific subskill mastery measurement)와 일반적인 성취정도를 측정하는지(general outcome measurement)에 따른 두 가지 유형으로 분류될 수 있다. 이 중, 후자에 해당하는 일반적인 성취정도를 측정하는 CBA에는 교육과정중심측정(curriculum-based measures,이하 CBM)이 속한다.

CBM은 학생의 현재 수행 수준을 지속적으로 점검하고, 교수를 실시하는 동안 현재 교수의 효과성을 평가하여 교수가 효과적이지 않을 경우 수정하기 위해 개발된 측정도구이다(Stecker, Fuchs, & Fuchs, 2005). 1970년대 후반 미국 미네소타대학교 학습장애연구소의 Deno 박사와 동료들이 개발하였으며, 읽기, 쓰기, 셈하기와 같은 기초학업 영역별로 도구들이 개발되었다. 국내에서 개발된 읽기 CBM으로는 BASA-R(Basic Academic Skills Assessment: Reading, 김동일, 2000)와 BASA-EL(Basic Academic Skills Assessment: Early Literacy, 김동일, 2011)가 있다. 일반적으로, CBM은 검사를 시행하는 데 소요되는 시간이 짧으며, 쉽고 간편하며, 검사 실시와 채점 방법이 표준화되어 있고, 측정학적 적합성을 입증할 수 있으며, 규준참조검사도구에 비해 적은 비용으로 실시할 수 있는 특성이 있다(Deno, 1985; 2003). 하지만, CBM 점수는 특정한 세부 읽기 기술을 습득했는지의 여부를 나타내는 것이 아니라, 학생의 전반적인 읽기 기술의 정도를 나타내는 지표(general indicators)로, 학생에게 필요한 교수의 영역이나 학생에게 효과적인 교수 프로그램에 대한 구체적인 정보를 제공해주지는 못한다(Burns, Dean, & Klar, 2004).

학생에게 필요한 교수자료나 계획에 대해 구체적인 정보를 제공해주지 못하는 CBM의 한계를 보완해줄 수 있는 또 다른 유형으로, 준거참조 교육과정중심사정(criterion-referenced curriculum-based assessment, 이하 CR-CBA)이 있다. CR-CBA는 앞서 언급한 CBA를 구분하는 두 가지 분류 중, 전자에 해당되는 것으로 학생의 특정기술의 습득여부를 살펴보기 위한 측정에 속한다. CR-CBA는 용어에서 나타나고 있는 것처럼 준거참조검사와 교육과정중심사정(CBA)의 성격을 모두 가지고 있다. 즉, 현재 가르치고 있는 교육과정의 내용을 기반으로 사정을 개발하되, 일반 학급에서 전체 학생들의 평균 수행 수준이나 수용 가능한 수준을 바탕으로 목표 도달에 대한 준거를 정한 후, 검사 결과를 바탕으로 학생이 사전에 정해놓은 준거에 도달했는지, 수용 가능한 수준을 보이고 있는지 확인하는 것이다. CR-CBA는 교실에서 배우는 교육과정 내용을 기반으로 학생의 수행 수준을 살펴보기 때문에, 학생이 교육과정을 어느 정도 습득했는지 알아보는데 유용하다(이승희, 2010). 또한, 평가 결과를 바탕으로 앞으로 필요한 교수계획을 세우고 교수자료를 준비하는데 유용한 정보를 제공한다(Hintze, Christ, & Methe, 2006).

국내에서 개발된 CR-CBA의 특성을 가진 도구로는 한글 미해득 학생의 보정을 위해 개발한 프로그램인 ‘찬찬한글’과 함께 연결된 ‘초등학교 저학년용 한글해득수준진단도구(이하 한글해득수준진단도구)’가 있다(이승미 외, 2017). 2017년에는 두 개의 교육청에서 한글해득수준진단도구를 활용하여 초등학교 1~2학년을 대상으로, 2018년에는 세 개의 교육청에서 초등학교 1~2학년 학생으로 대상으로 한글해득 여부를 확인하였다. 그러나 이 한글해득수준진단도구는 측정학적 적합성 정보가 확인되지 않았으며, 표준화 과정을 거치지 않아 규준에 대한 정보가 누락되어 있다. 또한, 종이로 검사가 실시되어 대단위 학생을 대상으로 짧은 시간 동안 실시하는데 한계가 있었으며, 개별 학생의 진단 결과에 대한 정보를 축적할 수 없는 한계가 있었다.

이에 본 연구에서는 2015 개정 교육과정에 따라 학교 현장에서 한 학기 동안 한글 교육을 받은 초등학교 1학년 학생들을 대상으로 한글 해득 정도를 살펴봄으로써 보충 교육이 필요한 학생의 선별 및 교수에 필요한 정보를 제공하기 위한 목적으로 웹기반 CR-CBA 한글해득수준진단검사 도구인 「한글 또박또박」을 개발하고, 도구의 신뢰도와 타당도를 분석하고자 한다.

Ⅲ. 연구 방법

1. 연구 참여자 및 장소

본 연구는 전국에 소재한 초등학교에 재직하고 있는 1학년 담임교사와 초등학교 1학년 학생들을 대상으로 하였다. 연구 참여자를 모집하기 위해 연구 목적과 내용, 모집기간, 참여 희망 여부를 표시할 수 있는 링크를 포함하여 전국 단위의 교사단체 및 초등학교 1학년 교사 커뮤니티를 통해 온라인으로 참여자를 모집하였다. 온라인을 통해 연구 참여를 희망한 교사는 총 55명이었다. 그 중, 학교가 소재한 지역의 다양성(수도권, 광역시, 중소도시, 읍면지역)과 교육환경의 다양성을 고려하여 균형 있게 모집하고자 하였다. 또한 「한글 또박또박」을 실시할 수 있는 기간이 충분한지, 입학초기 적응 활동 및 국어 교과시간에 보정 프로그램(찬찬한글)을 재구성하여 적용하지 않았는지, 학급의 학생 수가 충분한지의 여부를 고려하여 최종적으로 12명의 교사를 선정하였다. 12명의 교사 중, 두 명은 학교 및 학급 일정 변경 등으로 검사 실시가 불가능하여 총 10명의 교사가 참여하였다. 연구에 참여한 학교, 교사, 학생의 정보는 <표 1>과 같다. 본 연구에는 수도권, 광역시, 중소도시, 읍면지역에 소재한 10개의 초등학교에 재직하고 있는 1학년 담임교사 10명과 학생 177명이 참여하였다. 수도권에는 서울과 경기도의 중소도시, 광역시는 대전과 광주, 중소도시에는 강원과 충남의 중소도시, 읍면지역에는 충남, 전북, 경북의 읍면에 소재한 학교들이 모집되었다. 교직경력이 10년 미만인 교사와 30년~39년인 교사가 각각 1명(10%), 10년~19년인 교사 5명(50%), 20년~29년인 교사가 3명(30%)이었다.

표 1. 연구에 참여한 학교, 교사, 학생 정보
학교(n=10) 교사(n=10) 학생(n=177)
학생 수(%) 명(%) 명(%)
학교 지역정보 수도권 69(39%) 성별 성별
광역시 41(23%) 0(0%) 90(50.8%)
중소도시 44(25%) 10(100%) 87(49.2%)
읍면지역 23(13%) 연령 다문화
학교 교육환경 양호함 72(41%) 30~39 2(20%) 11(6.2%)
보통임 91(51%) 40~49 7(70%) 아니오 166(93.8%)
불리함 14(8%) 50~59 1(10%)
Download Excel Table
2. 검사 도구
가. 웹기반 CR-CBA 한글해득수준진단검사: 한글 또박또박

「한글 또박또박」은 학생의 한글 해득 수준을 알아보기 위해 개발한 웹 기반 검사로, (가)형과 (나)형 두 개의 동형 검사로 구성하였다. 검사는 초기 읽기 발달단계를 고려하여 세 가지 유형(글자-소리 대응, 단어 읽기, 쓰기)으로 구성하되 각 유형은 학생들의 한글 해득발달 단계와 초등학교 1학년 국어과 교육과정을 고려한 항목을 포함하였다. 구체적으로 글자-소리 대응 유형은 기본 모음, 기본 자음, 다양한 자음, 복잡한 모음, 대표 받침 글자(총 5개) 항목으로 구성하였고, 단어 읽기 유형은 자모로 구성된 의미단어, 자모로 구성된 무의미단어, 대표 받침 의미단어, 복잡한 받침 의미단어, 대표받침 무의미단어(총 5개) 항목으로 구성하였다. 쓰기 유형은 자모단어(의미, 무의미), 대표 받침 단어(의미, 무의미) 문항으로 구성하였다. <표 2>에는 (가)형의 유형별, 항목별 문항을 제시하였다.

표 2. 한글 또박또박(가형)
유형 항목 문항 문항 수
글자-소리 대응 기본 모음 아, 요, 우, 여, 이, 유, 으, 어, 야, 오 10
기본 자음 다, 마, 가, 라, 자, 하, 바, 사, 나 9
다양한 자음 차, 싸, 파, 카, 빠, 까, 타, 짜, 따 9
복잡한 모음 와, 외, 위, 에, 의, 애, 워, 왜 8
대표 받침 글자 각, 강, 갈, 갓, 간, 갑, 감 7
단어 읽기 자모 단어(의미) 포도, 머리, 크기, 휴지, 배추, 사과 6
자모 단어(무의미) 호무, 라보, 지두, 서투, 너기, 푸버 6
대표받침 단어(의미) 새싹, 얼굴, 장갑, 연못, 음식, 돋보기 6
복잡한 받침 단어(의미) 낮잠, 무릎, 낳다, 동녘, 가마솥, 벚꽃 6
대표받침 단어(무의미) 미놉, 루혼, 커봇, 금닥, 옹실, 주받 6
쓰기 자모단어(의미) 여우, 기차, 바위 3
자모단어(무의미) 허노 1
대표받침 단어(의미) 선물 1
대표받침 단어(무의미) 동직 1
Download Excel Table

웹 기반 프로그램으로 개발된 「한글 또박또박」은 글자-소리 대응, 단어 읽기 유형을 개별 학생을 대상으로 일대일로 실시하는데, 학생당 약 3~4분이 소요된다. 검사자(교사)는 학생의 반응을 컴퓨터 키보드의 화살표로 채점하며, 채점 결과는 시스템에 자동으로 저장된다. 쓰기는 검사자(교사)가 문항으로 제시된 단어를 천천히 두 번씩 불러주고 학생이 이를 받아 쓰는 과정으로 이루어지는 것으로 개별 학생 또는 전체 학급 단위로 실시 가능하다. 쓰기는 음절 단위로 채점하며, 검사자는 채점 결과를 시스템에 입력한 후 저장한다.

나. 한국어 읽기 검사(Korean Language based Reading. Assessment: KOLRA, 배소영 외, 2015)

KOLRA는 초등학교 1학년~6학년 학생의 한국어 읽기 수준을 파악하여 검사 결과를 바탕으로 중재 방향과 효과를 살펴보고, 읽기 장애를 평가하기 위해 개발되었다. 선별검사, 핵심검사, 상세검사로 구성되어 있으며, 각 검사는 2개, 또는 4개의 하위 검사로 구성되어 있다. 본 연구에서는 선별검사 중 단어 읽기 유창성을 사용하였다. 단어 읽기 유창성은 40초 동안 50개의 단어를 소리 내어 읽게 하는 과제이다. 검사자는 타이머를 사용하여 40초를 측정하며, 단어를 위에서 아래 방향으로 읽도록 안내한다. 40초 동안 읽은 전체 단어의 수에서 틀리게 읽은 단어의 수를 빼어 정확하게 읽은 단어의 수로 채점한다. KOLRA의 문항내적일관성은 .620~.934이었다. 내용타당도는 1~5점 척도에서 평균 4.3점이었으며, 공인타당도는 BASA-R(김동일, 2000)와 0.772, KISE-BAAT 읽기 검사(박경숙 외, 2004)와 0.726으로 나타났다.

다. 한국어 읽기쓰기 진단검사(the Korean Test of Literacy Diagnosis: K-TOLD, 조증열, 김영숙, 박순길, 2018)

K-TOLD는 읽기, 쓰기 학습장애 및 학습부진, 난독증을 진단할 수 있는 검사로, 만 4세~초등학교 6학년 아동을 대상으로 표준화하였다. 읽기와 쓰기 기술을 확인할 수 있는 문식성 검사와 인지-언어적 결손 유형을 확인할 수 있는 인지-언어 검사로 구성되어 있다. 본 연구에서는 문식성 검사 중, 단어 읽기 유창성을 사용하였다. 단어 읽기 유창성은 두 음절로 이루어진 49개의 의미단어를 40초 동안 소리 내어 읽게 하는 과제이다. 40초 동안 정확하게 읽은 음절의 수를 세어 채점하며, 40초 전에 모든 단어를 읽은 경우 읽는 데 걸린 시간을 고려하여 “{(98-전체에서 틀리게 읽은 글자의 수)x40}/전체를 읽는 데 걸린 시간”으로 채점한다.

3. 절차
가. 문항 개발 및 델파이 조사 실시

본 연구에서는 초등학교 1학년 학생들의 한글해득 여부를 확인하기 위해 글자-소리 대응, 단어 읽기, 쓰기 유형에 대한 각 항목별 검사 문항을 개발하였다(구체적인 항목은 <표 2>를 참조). 글자-소리 대응 유형은 모음과 자음, 기본받침 소리를 물어보는 유형으로, 과제의 난이도와 복잡성에 따라 점점 쉬운 과제(예: 기본모음)에서 어려운 과제(예: 복잡한 모음)로 배치하였다. 단어 읽기와 쓰기 유형의 문항은 초등학교 1학년 1학기 국어 교과서와 국어활동에 나온 글자와 단어를 참조하되, 항목에 적합한 단어를 찾기 어려운 경우 실생활에서 자주 사용하는 단어를 포함하여 개발하였다. (가)형과 (나)형이 동형검사 신뢰도를 확보하기 위하여 각 항목에 포함된 문항의 자모음 분석을 실시하여 특정 자음이나 모음이 많이 포함되지 않도록 하였다. 학생들이 친숙한 단어를 외워 읽는 것을 예방하기 위해 비단어를 포함하였다.

개발된 문항을 보완하고 내용 타당도를 확인하기 위하여 델파이 조사를 실시하였다. 각계의 전문가(초등국어교육 전문가 2명, 한국어교육 전문가 3명, 특수교육 전문가 3명, 초등학교 교사 3명)로 델파이 전문가 집단(총 11명)을 구성하여 세 차례에 걸친 델파이 조사를 실시하였다. 1-2차 델파이 조사를 통해 수집한 전문가 집단의 의견을 바탕으로 개발한 문항을 두 차례 수정하였으며, 수정 후 완성한 최종 문항에 대한 3차 델파이 조사를 실시하였다(박순경 외, 2018).

나. 검사 실시 및 채점 방법 안내

본 연구에 참여하는 교사들에게 「한글 또박또박」 검사 실시 및 채점 방법에 대한 매뉴얼을 이메일로 발송한 후 숙지하도록 안내하였다. 매뉴얼에는 웹 사이트에 접속하는 방법, 회원가입 절차, 「한글 또박또박」 읽기 검사 진행 및 채점 방법, 쓰기 검사 진행 및 채점 방법에 대해 실제 웹 사이트의 화면을 캡처하여 상세히 소개하였다. 또한, (가)형과 (나)형의 각 문항에 대해 학생에게 기대하는 목표 반응을 부록으로 제공하여 문항별 정반응에 대한 정보를 제공하였다. 교사들에게 매뉴얼을 개별적으로 숙지한 후, 웹 사이트에 접속하여 검사 실시 및 채점과 관련된 퀴즈(14문항)를 풀게 하여 정확하게 이해했는지의 여부를 확인하였다.

위와 같은 방법으로 KOLRA 단어 읽기 유창성과 K-TOLD 단어 읽기 유창성 검사 실시 방법에 대한 내용과 학생용 검사지, 교사용 검사지를 이메일로 발송한 후, 숙지하도록 안내하였다. 타이머를 사용하여 40초를 설정한 후, 개별 학생을 대상으로 검사를 실시하도록 하였다. 일대일로 학생에게 KOLRA와 K-TOLD 단어 읽기 유창성 검사를 모두 실시하되, 모든 학생의 검사를 녹음기로 녹음하도록 하였다.

나. 검사 실시와 채점
1) 「한글 또박또박」 검사 실시와 채점

교사들은 1주일 동안 학급의 모든 학생들에게 일대일로 「한글 또박또박」 읽기 검사 (가)형과 (나)형을 실시하였다. 동형 검사를 실시하는 순서 효과를 상쇄하기 위해 10개의 학급 중 다섯 학급은 (가)형을 먼저 실시한 뒤 (나)형을 실시하였고, 나머지 다섯 학급은 (나)형을 실시한 뒤 (가)형을 실시하였다. 각 문항에 대한 학생의 정반응과 오반응은 검사자가 컴퓨터 키보드를 활용하여 채점하였으며, 모든 채점 결과는 시스템에 자동적으로 저장되었다. 쓰기 검사의 경우, 웹 사이트에서 (가)형과 (나)형 문항지를 다운로드 받은 후, 학급 전체 학생을 대상으로 실시하였다. 교사들은 쓰기 검사 결과를 음절 단위로 채점한 후, 시스템에 검사 결과를 입력하였다. 예를 들어, 여우라는 단어를 ‘여우’라고 썼을 경우 두 음절 모두 맞게 썼으므로 2점, ‘어우’라고 썼을 경우 두 음절 중 한 음절을 맞게 썼으므로 1점으로 채점하였다.

2) KOLRA 단어 읽기 유창성과 K-TOLD 단어 읽기 유창성의 검사 실시와 채점

「한글 또박또박」을 실시한 기간 동안 교사들은 학생들에게 일대일로 KOLRA와 K-TOLD의 단어 읽기 유창성 검사를 실시하고, 검사 전체과정과 학생의 반응을 녹음하였다. KOLRA와 K-TOLD의 단어 읽기 유창성 검사결과의 채점은 다음과 같이 진행되었다. 첫째, 국어교육 전공 석사 학위 소지자 2명이 KOLRA와 K-TOLD의 전문가 지침서에 나온 채점 지침을 숙지하였다. 둘째, 채점 지침을 숙지한 국어 교육 전공 석사 학위 소지자 가운데 1명(이하 ‘채점 보조자’)이 교육학 전공중인 학부생 1명(이하 ‘채점자’)에게 채점 방법을 지도하고 무작위로 학생 검사결과를 각각 채점하게 한 뒤 채점 결과가 동일할 때까지 연습 과정을 거쳤다. 셋째, 채점자가 KOLRA와 K-TOLD의 단어 읽기 유창성 검사 결과 전체를 채점하였으며, 채점 보조자가 한 학급에 1명씩 무작위로 선택하여 채점하였다. 모든 과정에서 채점은 교사들이 학생들의 반응을 녹음한 파일을 들으면서 진행되었다.

3) 검사 실시 및 채점 신뢰도

먼저, 교사들의 「한글 또박또박」 실시 및 채점에 대한 이해의 정도를 확인하기 위해 실제로 학생에게 검사를 실시하기 전에 관련된 퀴즈(14문항)를 풀게 하였다. 「한글 또박또박」 웹 사이트에서 퀴즈 문항에 답하도록 하였으며, 각 문항에 대한 보충 설명을 제공하였다. 퀴즈 결과를 100점으로 환산했을 때, 평균은 93점(범위: 86점~100점)이었다. 다음으로, 「한글 또박또박」의 실시 정확도를 확인하기 위해 교사들에게 전체 학급 학생 중 임의로 두 명의 학생(남학생, 여학생 각 한 명씩)을 선택하여 검사를 실시하는 동안 녹음하도록 하였다. 온라인으로 모든 평가 과정을 프로그래밍 하였으므로 모든 검사는 정확하게 진행되었다. 예를 들어, 학생은 화면에 나온 글자나 단어를 보고 소리 내어 답하고, 교사는 키보드를 사용하여 학생의 반응을 입력해야만 다음 문항으로 넘어갈 수 있게 프로그래밍 하였다. 또한, 기본 모음과 기본 자음 문항을 모두 틀릴 경우, 검사는 자동 종료되었다. 마지막으로, 「한글 또박또박」의 채점자간 신뢰도를 확인하기 위해, 「한글 또박또박」 개발진 중 한 명이 채점자에게 녹음 파일을 들으면서 채점을 확인 방법을 설명한 후, 전체 학생 중 임의로 한 학생의 검사 결과를 선택하여 채점자 간 신뢰도를 살펴보았다. ‘채점이 일치한 문항 수/(채점이 일치한 문항 수+채점이 일치하지 않은 문항 수)*100’ 공식을 적용한 결과, 채점자 간 신뢰도는 95%였다. 이후, 전체 학생 중 약 10% 학생의 채점 결과를 확인한 결과, 교사와 채점자 사이의 채점자 간 신뢰도는 92%였다.

KOLRA 단어 읽기 유창성과 K-TOLD 단어 읽기 유창성의 검사 실시 정확도와 채점자간 신뢰도를 살펴보기 위해 교사들이 녹음한 파일을 사용하였다(구체적인 절차와 방법은 “KOLRA 단어 읽기 유창성과 K-TOLD 단어 읽기 유창성의 검사 실시 및 채점”에 나와 있다). KOLRA와 K-TOLD의 단어 읽기 유창성 검사의 실시 정확도는 모두 100%였다. 한 학급의 전체 학생 중 한 명을 무작위로 선택하여 학생의 채점 결과를 확인한 결과, KOLRA 단어 읽기 유창성의 채점자 간 신뢰도는 98%, K-TOLD 단어 읽기 유창성은 97%로 나타났다.

4. 자료 분석

「한글 또박또박」의 신뢰도와 타당도를 살펴보기 위하여 다음과 같은 방법으로 분석하였다. 내적일관성 신뢰도를 살펴보기 위해 Cronbach’s alpha를 산출했으며, 동형검사 신뢰도를 알기 위해 피어슨 상관계수를 산출하였다. 내용 타당도를 살펴보기 위해 살펴본 델파이 조사 결과를 각 영역별로 내용 타당도 비율(CVR, content validity ratio)을 산출한 후, 수용가능한 CVR과 비교하였다(Lawshe, 1975). 준거 타당도(criterion validity) 중 공인타당도를 살펴보기 위해 피어슨 상관계수를 산출하였다. 모든 데이터는 SPSS 23버전을 사용하여 분석하였다.

IV. 연구 결과

본 연구의 목적은 학교 현장에서 한 학기 동안 한글 교육을 받은 초등학교 1학년 학생들을 대상으로 학생들의 한글 해득 정도를 파악하기 위한 웹기반 CR-CBA 한글해득수준진단도구(명칭: 한글 또박또박)를 개발하고, 도구의 신뢰도와 타당도를 살펴보는 것이었다. 이에 「한글 또박또박」, KOLRA 단어 읽기 유창성, K-TOLD 단어 읽기 유창성의 기술통계, 신뢰도(내적일관성, 동형검사 신뢰도), 타당도(내용 타당도, 준거 타당도) 결과를 제시하면 다음과 같다.

1. 기술 통계

「한글 또박또박」, KOLRA 단어 읽기 유창성과 K-TOLD 단어 읽기 유창성의 평균, 표준편차, 왜도, 첨도, 최솟값, 최대값에 대한 기술통계 정보는 <표 3>에서 확인할 수 있다.

표 3. 기술통계
한글 또박또박 KOLRA 단어읽기유창성 K-TOLD 단어읽기유창성
글자-소리 대응 단어 읽기 쓰기 총점
기본 모음 기본 자음 다양한 자음 복잡한 모음 기본 받침 자모 단어 (의미) 자모 단어 (무의미) 대표받침 단어(의미) 복잡한 받침 단어(의미) 대표받침 단어 (무의미)
(가)형
평균 9.82 8.85 8.39 7.14 6.29 5.82 5.59 5.38 4.77 4.86 10.88 77.8 17.06 51.45
표준편차 0.98 1.02 1.48 1.68 1.57 0.82 1.06 1.45 1.71 1.73 2.18 13.29 6.54 32.34
왜도 −7.55 −7.82 −3.32 −2.73 −2.7 −5.73 −3.79 −2.68 −1.55 −1.6 −3.2 −3.38 0.02 0.85
첨도 61.51 63.76 12.71 7.73 7.03 35.15 16.28 6.47 1.42 1.61 11.5 12.92 0.63 0.27
최솟값 1 0 0 0 0 0 0 0 0 0 0 5 0 0
최대값 10 9 9 8 7 6 6 6 6 6 12 85 35 145
(나)형
평균 9.89 8.88 8.46 7.13 6.27 5.77 5.65 5.51 5.06 4.93 10.66 78.21
표준편차 0.76 0.82 1.46 1.66 1.57 0.89 1 1.3 1.63 1.64 2.26 12.81
왜도 −9.91 −8.73 −3.73 −2.82 −2.62 −4.7 −4.38 −3.17 −1.97 −1.97 −2.52 −3.44
첨도 108.58 84.69 15.39 8.49 6.67 23.72 21.38 9.52 3.04 3.04 7.11 13.36
최솟값 1 0 0 0 0 0 0 0 0 0 0 7
최대값 10 9 9 8 7 6 6 6 6 6 12 85

주. KOLRA = KOrean Language-based Reading Assessment, K-TOLD = The Korean Test Of Literacy Diagnosis

Download Excel Table
2. 신뢰도
가. 내적일관성 신뢰도

「한글 또박또박」의 내적일관성 신뢰도를 살펴보기 위해 (가)형과 (나)형의 항목별 Cronbach’s alpha를 산출하였으며, 그 결과는 <표 4>와 같다. (가)형의 경우, 각 항목에 대한 Cronbach’s alpha는 0.80 ~ 0.97, 전체 총점에 대한 Cronbach’s alpha는 0.98로 높은 내적일관성 신뢰도를 보였다. 각 항목 중 0.90 이상의 내적일관성을 보인 항목은 기본모음과 기본자음이었으며, 전체 문항에 대한 신뢰도가 가장 높았다. (나)형의 경우, 각 항목에 대한 Cronbach’s alpha는 0.79 ~ 0.92, 전체 총점에 대한 Cronbach’s alpha는 0.97 이었다. (나)형도 (가)형과 비슷하게, 0.90 이상의 내적일관성을 보인 항목은 기본모음과 기본자음이었으며, 전체 문항에 대한 신뢰도가 가장 높게 나타났다.

표 4. 「한글 또박또박」의 내적일관성 신뢰도
글자-소리 대응 단어 읽기 쓰기 총점
기본 모음 기본 자음 다양한 자음 복잡한 모음 기본 받침 자모 단어 (의미) 자모 단어 (무의미) 대표 받침 단어 (의미) 복잡한 받침 단어 (의미) 대표 받침 단어 (무의미)
(가)형 0.91 0.97 0.84 0.83 0.87 0.89 0.80 0.89 0.82 0.83 0.85 0.98
(나)형 0.91 0.92 0.87 0.82 0.87 0.87 0.81 0.89 0.85 0.81 0.79 0.97
Download Excel Table
나. 동형검사 신뢰도

「한글 또박또박」의 (가)형과 (나)형의 각 항목에 대한 동형검사 신뢰도를 살펴보기 위해 산출한 피어슨 상관계수는 <표 5>와 같다. 글자-소리 대응의 상관계수는 .86~.91, 단어 읽기는 .83~.91, 쓰기는 .83으로, 모두 유의수준 .01에서 통계적으로 유의하게 높은 상관을 나타내었다. 전체 총점에 대한 상관계수는 .98이었다(p <.01).

표 5. 「한글 또박또박」의 동형검사 신뢰도
(가)형과 (나)형 글자-소리 대응 단어 읽기 쓰기 총점
기본 모음 기본 자음 다양한 자음 복잡한 모음 기본 받침 자모 단어 (의미) 자모 단어 (무의미) 대표 받침 단어 (의미) 복잡한 받침 단어 (의미) 대표 받침 단어 (무의미)
.88** .91** .86** .87** .91** .83** .85** .91** .83** .84** .83** .98**
Download Excel Table
3. 타당도
가. 내용 타당도

최종 문항에 대한 3차 델파이 결과, 소영역의 문항 구성 타당도에서 무의미 자모 단어 영역(0.56)을 제외하고 모두 수용 가능할 만한 최소 기준치(0.78) 이상으로 측정되었다. 개별 문항에 대해서, CVR 최솟값 이하의 문항은 삭제하거나 수정하였다. CVR이 최솟값 이하의 문항 중, 한글의 특성과 도구의 개발 목적을 반영하여 유지한 문항도 있었다.

나. 공인 타당도

「한글 또박또박」 (가)형의 KOLRA 단어 읽기 유창성에 대한 공인 타당도는 .69, K-TOLD 단어 읽기 유창성에 대한 공인 타당도는 .56이었다. (나)형은 KOLRA 단어 읽기 유창성에 대해 .69, K-TOLD 단어 읽기 유창성에 대해 .55의 공인 타당도를 나타내었다. 모든 상관계수는 유의수준 .01에서 통계적으로 유의했다.

V. 논 의

본 연구는 2015 개정 교육과정에 따라 한 학기 동안 한글을 배운 초등학교 1학년 학생들의 한글해득 정도를 살펴볼 수 있는 도구인 웹기반 CR-CBA 한글해득수준진단검사(한글 또박또박)을 개발하고, 도구의 측정학적 적합성을 살펴보는데 목적이 있었다. 신뢰도와 타당도에 대한 주요 결과에 대한 논의는 다음과 같다.

1. 신뢰도

「한글 또박또박」 의 내적일관성 신뢰도를 살펴본 결과, (가)형의 유형별 Cronbach’s alpha는 0.80~0.97, (나)형은 0.79~0.92로 높은 신뢰도를 나타내었다. 전체 문항에 대한 내적일관성은 (가)형이 0.98, (나)형이 0.97로, 유형별 Cronbach’s alpha 보다 높은 신뢰도를 나타내어, 검사를 구성하고 있는 전체 문항들이 측정하고자 하는 내용을 일관성 있게 측정하고 있음을 확인할 수 있었다. Cronbach’s alpha가 0.9보다 클 경우 매우 좋음, 0.7과 0.9 사이일 경우 좋음, 0.6와 0.7 사이일 경우 수용 가능함, 0.5와 0.6 사이일 경우 나쁨, 0.5보다 작을 경우 수용 불가능함으로 해석되므로(Kline, 2000), 「한글 또박또박」 은 두 유형의 검사 모두 “매우 좋은” 문항 내적일관성 신뢰도를 보이고 있음을 알 수 있다.

「한글 또박또박」 의 (가)형과 (나)형에 대한 동형검사 신뢰도는 글자-소리 대응 유형의 경우 0.86~0.91, 단어 읽기 유형은 0.83~0.91, 쓰기는 0.83이며, 모든 상관계수가 유의수준 .01에서 통계적으로 유의했다. 전체 점수에 대한 동형검사 산뢰도의 상관계수는 0.98(p < .01)로, 모든 상관계수 중 가장 높은 상관을 나타냈다. 이는, (가)형과 (나)형 중 어떤 유형을 선택하든지 학생의 한글 해득 수준을 살펴본 결과 값이 충분히 비슷함을 의미한다. 측정 도구의 측정학적 적합성 여부를 살펴본 선행 연구에서 신뢰도 상관계수 0.70 이상을 (r ≥ .70) 충분한 신뢰도를 보이고 있음을 나타내는 지표로 적용한 것을 고려했을 때(예: Coker & Ritchey, 2013; McMaster et al., 2011; McMaster, Du, & Petursdottir, 2009), 「한글 또박또박」은 충분한 동형 검사 신뢰도를 보이고 있음을 확인할 수 있다. 위와 같이 높은 동형 검사 신뢰도를 보이는 것은 동형 검사를 개발하는 과정에서 항목별 문항에 포함되는 자음과 모음의 유형과 개수를 통제하기 위해 세심한 노력을 기울였기 때문일 가능성이 있다. 「한글 또박또박」의 단어 읽기와 쓰기 유형의 경우, 모든 자음과 모음을 포함하되 특정 자음과 모음이 많이 포함되지 않도록 통제하였으며, 단어를 구성하는 자음과 모음의 개수를 분석하여 (가)형과 (나)형에 포함되는 자음과 모음의 개수가 비슷하게 하였다. 예를 들어, 자모로 구성된 의미단어 읽기의 경우, (가)형과 (나)형에 각각 12개의 자음과 모음으로 이루어진 의미단어 문항으로 구성되어 있으며, 기본모음과 복잡한 모음, 기본자음과 다양한 자음의 유형과 수를 비슷하게 구성하였다.

2. 타당도

전문가 집단을 대상으로 한 델파이 조사를 통해 「한글 또박또박」 의 내용타당도를 살펴본 결과, 무의미 자모 단어 항목을 제외한 모든 항목에서 수용 가능한 CVR 최솟값 이상을 보여, 문항에 대한 내용타당도가 충분함을 보여주었다. 무의미 자모 단어는 받침이 없이 초성과 종성(자음과 모음)으로 구성된 단어로, 의미가 없는 비단어들이었다. (가)형 문항의 예로는 호무, 라보, 지두, 서투, 너기, 푸버가 이에 속한다(<표 2> 참조). 전문가들 중에는 교육과정에서 배우거나 일상생활에서 자주 사용하지 않는 무의미 단어를 평가하는 것에 대해 낮게 평정하였는데, 이러한 평정 결과가 영향을 준 것으로 보인다. 선행연구에 의하면, 읽기에 어려움을 보이는 학생들은 글자-소리 대응 규칙을 적용하여 단어를 읽기보다 문맥을 사용하거나 친숙한 단어로 추측하여 읽는 경우가 많다. 「한글 또박또박」 은 학생들의 정확한 한글 해득 수준을 살펴보기 위한 목적으로 개발하였으므로, 무의미 자모 단어를 포함하였다.

「한글 또박또박」 의 KOLRA 단어 읽기 유창성과 K-TOLD 단어 읽기 유창성에 대한 공인타당도를 살펴본 결과는 다음과 같았다. (가)형의 KOLRA 단어 읽기 유창성에 대한 공인 타당도는 0.69, K-TOLD는 각각 0.56, (나)형의 KOLRA에 대한 공인 타당도 0.69, K-TOLD에 대해서는 0.55였다. 두 유형 모두 K-TOLD 보다 KOLRA에 대한 공인 타당도 상관계수가 좀 더 높게 나타났다. 선행 연구에서 타당도 상관계수 0.50 이상을 (r ≥ .50) 충분한 타당도를 보이고 있음을 나타내는 지표로 적용한 것을 고려하면(예: McMaster et al., 2011; McMaster, Du, & Petursdottir, 2009), 「한글 또박또박」의 (가)형과 (나)형 모두 충분한 타당도를 보이고 있음을 확인할 수 있다.

특히, KOLRA의 단어 읽기 유창성은 선별검사에 속하는 검사 유형으로, 읽기 장애 위험학생 즉, 난독증 위험 학생을 선별하기 위한 목적으로 사용되므로(배소영 외, 2015), 「한글 또박또박」을 실시한 결과가 난독증 위험 학생을 선별하는데 사용할 수 있음을 나타낸다. 검사 도구가 선별 검사로 사용할 수 있는 가능성을 살펴보기 위해서는 해당 검사도구와 준거 도구(criterion measure)의 준거 타당도에 대한 정보만으로는 부족하며, 분류 정확도(classification accuracy)를 살펴보는 연구가 필수적이므로(Jenkins, Hudson, & Johnson, 2007), 후속 연구를 통해 「한글 또박또박」의 분류 정확도에 대한 정보가 필요하다.

3. 연구의 제한점 및 후속 연구에 대한 제언

본 연구의 제한점과 후속 연구에 대한 제언은 다음과 같다.

첫째, 본 연구에서 「한글 또박또박」은 초등학교 1학년 학생들을 대상으로 하여 표준화하였으므로, 측정학적 적합성과 규준은 초등학교 1학년 학생들로 제한된다. 「한글 또박또박」 은 준거참조 교육과정중심사정(CR-CBA)으로, 한글 해득을 확인하기 위한 특정 기술(예: 기본 모음, 기본 자음) 별로 도달해야 하는 준거가 정해져 있으며, 준거에 따라 학생이 해당 기술을 습득했는지의 여부에 대한 정보를 제공한다. 미리 정한 준거는 초등학교 1학년 학생들의 성취도를 바탕으로 정해졌으므로, 다른 학년을 대상으로 「한글 또박또박」을 실시했을 경우 이를 고려하여 결과 해석에 유의해야할 필요가 있다.

둘째, 「한글 또박또박」의 각 유형의 문항내적일관성 신뢰도는 0.98, 0.97로 매우 높은 신뢰도를 보이고 있는데, 이와 같이 매우 높은 문항내적일관성 신뢰도는 각 문항이 고유한 특성을 측정하지 못하고 있음을 반증하는 증거로 볼 수도 있다. 대부분의 각 항목 및 총점에 대한 왜도는 −2.0 이상, 첨도는 +3.0 이상으로, 점수가 정규분포를 따르지 않고, 문항에 정반응을 한 학생들이 매우 많음을 나타내고 있다. 즉, 이와 같이 쉬운 문항의 특성으로 내적일관성 신뢰도가 높게 추정된 것일 수 있다. 문항에 정반응을 한 학생이 많은 현상은 「한글 또박또박」의 모든 문항이 한글 해득의 기본 기술을 측정하는데 중점을 둔 데 기인한다고 볼 수 있다. 본 검사 도구는 읽기 발달의 특성을 반영하여 단어 수준의 읽기에 필요한 선수기술인 글자-소리 대응과 단어 수준 읽기 문항을 개발하였으며, 한글의 체계적 특성을 반영하여 글자-소리 대응의 경우 기본모음, 기본자음, 다양한 자음, 복잡한 모음, 기본받침을, 단어읽기의 경우 자모 단어, 받침이 포함된 단어로 순차적으로 계열화하여 문항을 구성하였다. 즉, 「한글 또박또박」은 한글해득의 기초 기본 단계에 집중하여 개발하였다.

셋째, 본 연구는 학생들의 한글해득수준을 살펴보기 위한 검사도구인 「한글 또박또박」을 사용한 단일 시점에서의 신뢰도와 타당도에 대한 측정학적 특성을 살펴보기 위한 연구라는 점에서 준거를 적용한 결과에 대한 신뢰도와 타당도에 대한 증거를 제공해주지 못하는 한계가 있다. 하지만 「한글 또박또박」은 학생들의 한글해득 정도를 살펴봄으로써 보충 교수가 필요한 영역에 대한 교수 정보를 제공하는데 목적이 있으므로, 이에 대한 후속 연구로 미리 정한 준거를 적용한 한글해득 수준에 대한 결과가 신뢰롭고 타당한지에 대한 증거를 확인할 필요가 있다. 본 검사 도구를 통해 산출된 결과는 미리 설정된 준거에 따라 각 세부 항목별 한글해득 수준(예: 도달, 보충, 미도달)과 전반적인 해득수준(예: 한글해득[완성], 한글해득[보충], 한글미해득)에 대한 정보를 제공한다. 선행연구에서 한글해득 정도에 대한 객관적인 기준을 찾기 어려웠기 때문에, 본 연구에서는 한글해득을 위한 기술의 수준과 본 연구에 참여한 표본의 항목별 정답률을 바탕으로 한글해득에 대한 준거를 정하였다. 앞으로 한글 해득에 대한 기준점과 준거에 대한 활발한 연구가 이루어져야 할 것이다.

넷째, 「한글 또박또박」은 읽기에 비해 쓰기 문항의 수가 적다. 쓰기 유형은 자모 의미단어, 자모 무의미 단어, 대표받침 의미 단어, 대표받침 무의미 단어 문항으로, 다양한 유형의 문항으로 구성되어 있지만, 총 6개 문항으로, 전체 문항 중 적은 비율을 차지한다. 이는 「한글 또박또박」이 초등학교 1학년 학생들이 학교에서 1학기 동안 한글 교육을 받은 후, 한글해득 정도를 확인하기 위한 목적으로 개발되었기 때문이다. 2015 개정 국어과 교육과정에서는 1학기 에는 낱자-소리 대응의 읽기 교육부터 교수의 초점으로 삼아 학습하도록 구성되어 있으며, 1학기 마지막 단원에 그림일기 단원을 배치하고, 2학기가 되어서야 겹받침을 소개하며 유의하여 문장을 쓸 수 있도록 하는 등 쓰기에 대한 부담을 줄이도록 하였다. 따라서 이후에 학생의 한글 쓰기 정도를 점검할 수 있는 문항이 개발될 필요가 있다. 초기 쓰기에는 손글씨 쓰기와 철자쓰기 기술이 포함되므로(Berninger & Amtmann, 2003), 웹기반 검사로 실시하는데 한계가 있다. 따라서 검사 실시와 채점 방법에 많은 시간과 노력이 소요될 수 있으므로, 현장에서 효율적으로 적용할 수 있도록 개발해야할 것이다.

4. 교육 현장에 대한 함의

첫째, 「한글 또박또박」은 충분한 신뢰도와 타당도를 보이고 있으므로, 학교 현장에서 학생들의 한글해득 수준을 살펴보는 도구로 사용할 수 있다. 특히, (가)형과 (나)형인 동형 검사로 구성되어 있으므로, 학교 현장에서 초등학교 1학년 학생을 대상으로 한 학기 동안 한글교육을 실시한 후, 한 유형의 도구를 사용하여 학생의 한글 해득 정도를 살펴본 후(예: (가)형), 보정교육이 필요한 영역에 대한 집중 교수를 실시한 후, 다른 유형의 도구를 사용하여(예: (나)형) 학생의 한글 해득 향상 정도를 살펴볼 수 있을 것이다. 총점 뿐 아니라, 각 항목별 점수의 향상 정도를 비교하는 과정을 통해 이후 교수에 대한 유용한 정보를 제공할 것으로 기대한다.

둘째, 「한글 또박또박」은 KOLRA 선별검사인 단어 읽기 유창성과 충분한 공인타당도를 보이는데(r = 0.69), 이는 난독증 위험 아동 선별을 위한 도구로 사용될 수 있는 가능성을 보여준다. 초등학교 1학년은 본격적인 한글 교육이 시작되는 시기이며, 1학년 때 한글 읽기쓰기에 어려움을 경험하는 학생은 3학년까지 어려움을 경험할 가능성이 높으므로(Juel, 1988), 조기에 난독증 위험 아동을 선별하여 적절한 교육을 제공하는 것은 매우 중요하다. 「한글 또박또박」은 웹으로 쉽고 간편하게 실시할 수 있으므로, 학교 현장에서 유용하게 사용되기에 적합하다.

셋째, 「한글 또박또박」은 웹기반 검사 도구이므로 개별 학생의 진단 결과가 누적될 수 있으며, 누적된 결과를 현재 학생들의 실질적인 한글 해득 수준을 파악할 수 있는 객관적인 지표로 사용할 수 있다. 「한글 또박또박」에 누적된 검사 결과를 분석하면 시간이 지남에 따른 학생들의 한글 해득 수준의 추이를 매해 점검해나갈 수 있으므로, 현장에서 보충 교육을 시킬 때 유용한 정보 제공할 것으로 기대한다. 또한, 이는 한글 해득과 관련된 현행 교육과정 및 교과서의 적절성을 검토하고 개선하는 데 활용될 수 있으며, 한글 해득과 관련된 기초 학력 정책 수립 등에 유용한 데이터로 활용될 수 있을 것이다.

Notes

1) 본 연구는 박순경 외(2018)의 “한글 해득 웹 진단 도구 (한글 또박또박) 개발 연구 (한국교육과정평가원 연구보고 CRO 2018-5)의 제2장과 제3장을 바탕으로 보완·재구성한 것임을 밝힙니다.

* This study has been revised and reorganized based on Chapters II and III in the 2018 Korea Institute for Curriculum and Evaluation research report(CRO 2018-5), 'Development of web-based CR-CBA Hangeul assessment'.

참고문헌

1.

교육부(2015. 9. 23). 보도자료 : 2015 개정 교육과정 총론 및 각론 확정·발표..

2.

김도남(2003). 한글 해득 교육 원리 탐색. 한국초등국어교육, 23. 1-36..

3.

김동일(2000). 기초학습기능 수행평가체제: 읽기검사. 서울: 학지사..

4.

김동일(2011). 기초학습기능 수행평가체제: 초기문해. 서울: 학지사..

5.

김영숙(2017). 읽기&쓰기 교육, 서울: 학지사..

6.

김지형(2007). 훈민정음의 창제 원리를 활용한 한국어 자모 및 발음 교육 방안. 국어국문학, 147. 221-258..

7.

박경숙, 김계옥, 송영준, 정동영, 정인숙(2004). KISE-기초학력검사(KISE-BATT) 개발연구. 안산: 국립특수교육원..

8.

박덕숭(2011). 초기 문식성(Early Literacy) 발달의 특성과 지도. 한영논총, 15, 233-256..

9.

박성훈(문화일보, 2015. 10. 12.). 초등생 20% 읽고 쓰고 ‘더듬더듬’ 갑자기 왜 – 경남대, 1000명 조사. 자료출처(검색일 2018. 10. 4.): http://www.munhwa.com/news/view.html?no=2015101201031227271001. 2018. 11. 21. 열람..

10.

박순경, 이승미, 이재진, 김중훈(2018). 한글 해득 웹 진단 도구(한글 또박또박) 개발연구(연구보고 CRO 2018-5). 충북: 한국교육과정평가원..

11.

배소영, 김미배, 윤효진, 장승민(2015). 한국어 읽기검사(KOLRA). 서울: 학지사..

12.

이경화(2018). 한글문해 교육 내용, 초등교과교육연구, 28. 147-165..

13.

이승미, 김중훈, 최소영(2016). 제2차 ‘공교육 정상화’ 정책 포럼-초등학교 입학 초기 아동의 한글 해득 실태 및 개선 방안 탐색(연구자료 ORM 2016-21). 서울: 한국교육과정평가원..

14.

이승미, 노원경, 김중훈, 정가희, 송푸름(2017). 찬찬한글 : 훈민정음 제자 원리와 발음 중심 한글 해득 프로그램(연구자료 ORM 2017-36-1, 2, 3). 서울: 한국교육과정평가원..

15.

이승미, 박순경, 김중훈(2017). 초등학교 1학년 학생들의 한글 해득 수준 향상을 위한 지원 요구 분석. 교육과정평가연구, 20(3), 1-24..

16.

이승희(2010). 특수교육평가(제 2판). 서울: 학지사..

17.

이차숙(2003). 한글의 특성에 따른 한글 해독 지도 방법 탐색. 유아교육연구, 23(1), 5-26..

18.

이차숙(2007). 초기 문식성 평가 방법 탐색. 한국교육학연구, 13(1), 169-195..

19.

조증열, 김영숙, 박순길(2018). 한국어 읽기·쓰기 진단검사(K-TOLD). 성남: 한국가이던스..

20.

지성애, 홍혜경, 이정욱, 정정희, 김낙홍, 김혜원(2015). 초등학교 취학 직전 아동 기초학습능력조사연구(연구보고 CRC 2015-1). 서울: 한국교육과정평가원..

21.

최영환(2008), 한글 학습의 개념 및 내용에 관한 연구, 독서연구, 19, 356-357..

22.

Berninger, V. W., & Amtmann, D. (2003). Preventing written expression disabilities through early and continuing assessment and intervention for handwriting and/or spelling problems: Research into practice. In H. Swanson, K. Harris, and S. Graham (Eds.) Handbook of Learning Disabilities (pp 323-344). New York: The Guilford Press..

23.

Burns, M. K., Dean, V. J., & Klar, S. (2004). Using curriculum-based assessment in the response to intervention diagnostic model for learning disabilities, Assessment for EffectVIe Intervention, 29(3), 47-56. .

24.

Chall, J. S. (1983). Stages of reading development. New York: McGraw-Hill..

25.

Coker, D. L., & Ritchey, K. D. (2010). Curriculum-based measurement of writing in kindergarten and first grade: An investigation of production and qualitative scores. Exceptional Children, 76(2), 175-193. .

26.

Deno, S. L. (1985). Curriculum-based measurement: The emerging alternative. Exceptional Children, 52(3), 219-232. .

27.

Deno, S. L. (1987). Curriculum-based measurement. Teaching Exceptional Children, 20, 41. .

28.

Deno, S. L. (2003). Developments in curriculum-based measurement. The Journal of Special Education, 37(3), 184–192. .

29.

Foorman, B. R.., Francis, D. J., Fletcher, J. M., Schatschneider, C., & Mehta, P. (1998). The role of instruction in learning to read: Preventing reading failure in at-risk children. Journal of Educational Psychology, 90(1), 37-55. .

30.

Gough, P. B., & Tunmer, W. E. (1986). Decoding, reading and reading disability. Remedial and Special Education, 7(1), 6–10. .

31.

Hintze, J. M., Christ, T. J., & Methe, S. A. (2006). Curriculum-based assessment, Psychology in the Schools, 43(1), 45-56. .

32.

Hoover, W. A., & Gough, P. B. (1990). The simple view of reading. Reading and Writing: An Interdisciplinary Journal, 2(2), 127–160. .

33.

Jenkins, J. R., Hudson, R. F., & Johnson, E. S. (2007). Screening for at-risk readers in a response to intervention framework. School Psychology Review, 36(4), 582–600..

34.

Juel, C. (1988). Learning to read and write: A longitudinal study of 54 children from first through fourth grades, Journal of Educational Psychology, 80(4), 437-447. .

35.

Kline, P. (2000). The handbook of psychological testing (2nd ed.). pp.13. London: Routledge..

36.

Lawshe, C. H. (1975). A quantitative approach to content validity 1. Personnel psychology, 28(4), 563-575. .

37.

McMaster, K. L., Du, X., & Petursdottir, A.-L. (2009). Technical features of curriculum-based measures for beginning writers. Journal of Learning Disabilities, 42(1), 41-60. .

38.

McMaster, K. L., Du, X., Yeo, S., Deno, S. L., Parker, D., & Ellis, T. (2011). Curriculum-based measures of beginning writing: Technical features of the slope. Exceptional Children, 77(2), 185–206. .

39.

Neuman, S., Copple, C., and Bredekamp, S. (2000). Learning to read and write: Developmentally appropriate practices for young Children. Washington, DC: National Association for the Education of Young Children..

40.

Prater, M. A. (2016). Teaching students with high-incidence disabilities: Strategies for diverse classrooms. Thousand Oaks, CA: Sage..

41.

Stecker, P. M., Fuchs, L. S., & Fuchs, D. (2005). Using curriculum based measurement to improve student achievement. Review of research. Psychology in the Schools, 42(8), 795-819. .