교사용 평가문항 서비스 사이트의 개선을 위한 사용편의성 평가 사례 연구 - 한국교육과정평가원의 평가문항 서비스 시스템을 중심으로 -

본 연구에서는 사용편의성에 영향을 미치는 요인으로서 효과성, 효율성, 학습용이성, 시스템 완전성, 만족도 등에 비추어 초ㆍ중ㆍ고 교사에게 평가문항을 제공하는 평가문항 서비스 사이트의 사용편의성을 평가하였다. 검사 방법으로는 반성적 검사 방법(retrospective testing)을 사용하였고, 검사에는 6명의 초ㆍ중ㆍ고 교사들이 참여하였다. 우선 참여 교사들에게 평가문항 서비스 사이트를 사용하여 필요한 문항을 검색 및 활용하는 과제들을 소리 내며 생각하기(think aloud)를 하면서 수행하게 하였고, 이를 녹화 분석하여 1차 분석 자료를 생성하였다. 녹화된 비디오를 보면서 인터뷰를 수행하는 자극회상기법(stimulated recall)을 사용하여 연구자들은 참여 교사들과 함께 비디오 자료를 보면서 1차 분석된 내용을 교사들에게 확인하고 추가적인 개선 사항들을 얻어내었다. 이 인터뷰 역시 녹화하였으며, 인터뷰 녹화 자료와 1차 분석 자료를 기반으로 2차 분석을 수행하였다. 1~2차 분석을 통하여 사이트의 주요 메뉴와 기능별 사용상의 문제점들을 밝히고, 이에 대한 개선안을 제안하였다.

This case study implemented a usability test to improve the Item Service Site that provides about 16,800 items for K-12 teachers. It reviewed the concept of usability and usability test, and the general criteria and methods that are generally used for usability testing. This study recruited 6 participants and employed the retrospective testing method. It discussed the usability of the site in terms of effectiveness, efficiency, learnerability, error tolerance and system integrity, and user satisfaction.

The participants performed the tasks of searching items, collecting items, classifying items, downloading items, and making/revising tests using the items while doing 'think aloud' and their behaviors and utterances were video-recorded. Through the video analysis, the researchers produced the 1st round findings and developed the interview questions. Then, the researchers used the stimulated recall to interview the participants. The interviews were conducted to get the confirmation on the 1st round findings from the participants, and to seek the additional comments about problems and improvements. These interviews were also video-recorded and analyzed. The 2nd round findings were produced based on the 1st round findings and the stimulated-recall interviews. Through the analysis, the usability problems were identified and the suggestions were devised based on the criteria mentioned above.