표 3 2015년 문장 수준 자동채점 프로그램의 전년 대비 정확성 증감폭

문항 번호\구분 채점자 미개입 채점자 개입
완전 일치도 카파계수 상관계수 정확률 재현율 완 전 일치도 카파계수 상관계수 정확률 재현율
중3 국어 6-(2)-㉠ ▼0.2 ▼.005 ▼.005 ▼0.9 ▲2.9 ▲0.2 ▲.003 ▲.003 ▲1.2 ▲3.5
중3 사회 2 ▲46.1 ▲.610 ▲.113 ▲3.1 ▼13.6 ▼1.8 ▼.03 ▼.03 ▼0.2 ▼15.7
중3 과학 2-(2) ▲0.1 ▲.003 ▲.002 ▲0.6 ▲.5 ▼1.4 ▼.043 ▼.043 ▲2.3 ▼14.1
중3 과학 8-(1) ▲0.7 ▲.009 ▲.009 ▲0.7 ▲1.6 ▼0.2 ▼.006 ▼.016 ▲0.4 ▼1.3
고2 국어 2 ▲9.9 ▲.183 ▲.072 ▲47.1 ▲6.2 ▲0.1 ▲.003 ▲.001 ▲2.1 ▼26.5
고2 국어 6-(1) ▼0.2 ▲.016 ▼.004 ▲2.5 ▼17.3 ▼0.2 ▼.019 ▼.004 ▼6.1 ▼21.6
평균 ▲9.4 ▲.136 ▲.031 ▲8.9 ▼3.3 ▼0.6 ▼.015 ▼.015 ▼0.1 ▼12.6
▲ : 증가(+), ▼ : 감소(-)