학생발달 성취 관찰도구의 일반화가능성과 구인타당화 모형 검증

이 연구는 학생발달 범주에서 기대되는 성취결과 영역을 측정하기 위한 관찰 프로화일의 일반화 가능성과 구인타당화 모형을 탐색하고자 하였다. 관찰 프로화일 또는 관찰도구는 아동의 개인-사회적 발달, 인지적 발달, 신체적 발달, 그리고 건강과 안전 영역에 이르기까지 총체적으로 파악하고자 개발된 도구이다. 학생 연령에 따라 구분할 수 있는 수준의 발달단계를 설정하고 11개의 구인과 55개의 하부구인을 추출하였다. 특히 구인 지도를 활용하여 발달단계에 따라 각 구인에서 개별 문항을 개발하는 과정을 전개하였다. 연구의 초점은 관찰도구 개발에서 제기되어 온 신뢰도 문제, 즉 결과의 일반화가능도에 대한 점검과 함께 이론적으로 구상한 기대결과요인을 각 구인이 어떻게 설명하는가를 확인하는 구인타당화 모형을 검증하였다. 일반화가능도 이론과 확인적 요인분석 방법(구조방정식 모형 중 공통요인분석의 일환)을 적용한 결과를 토대로 관찰도구 개선방안의 측정학적 청사진을 제시하였다. 관찰변수의 구성이 이론변수를 어떻게 설명하는가 다양한 모형을 제시하고 적합성 지수를 산출함으로 이론 모형과 실제 모수의 변화를 가시화하였다.

By providing such validity and reliability evidence for the use of an instrument, program providers can get a better picture of the entirety of a cMcTs development progress. The purpose of this study，therefore^ is to seek construct validity evidence from an initial pilot study for an observational instrument using generalizability theoiy (G-theory) and confirmatory factor analysis (CFA) to explore the reliability and validity of the instrument, respectively* As a result, evaluations of such programs will be better equipped to identify the infLuences these programs may have on the full range of participating childrens developmental progression by utilizing instruments sensitive to and capable of measuring development. The instrument, the California Department of Education’s Desired Results Developmental Profile (DRDP)，is an observational profile used by child care providers in State sponsored facilities. Its purpose is to assess tiie developmental progress of children from birth to age 14 in four “desired resultsv areas of development ： social-personalj cognitive, physical, and heath/safety.

Looking at the results of generalizability analysis obtained using multiple observations, we found that high generalizability is achievable using a construct centered reliability approach where there is a high degree of fit between the substantive expectations generated from the researchers understanding of the construct as realized by the measurement procedure and observation. The results analyzed by CFA suggest that the developmental domain of socio-emotional development can be explained by the indicators of self-concept, social interaction skills, self-regulation, language acquisition, and diversity. Similarly, the domain of sdiool-age cognitive development can be explained by the constructs of interest in learning, cognitive competence, math skills, literacy skills, and diversity. Such a model provides excellent explanatory power in that use of individual dimensions of a construct can sometimes predict dependent variables more accurately than a more general construct.