표 3 2015년 문장 수준 자동채점 프로그램의 전년 대비 정확성 증감폭
문항 번호\구분 | 채점자 미개입 | 채점자 개입 |
완전 일치도 | 카파계수 | 상관계수 | 정확률 | 재현율 | 완 전 일치도 | 카파계수 | 상관계수 | 정확률 | 재현율 |
중3 국어 6-(2)-㉠ | ▼0.2 | ▼.005 | ▼.005 | ▼0.9 | ▲2.9 | ▲0.2 | ▲.003 | ▲.003 | ▲1.2 | ▲3.5 |
중3 사회 2 | ▲46.1 | ▲.610 | ▲.113 | ▲3.1 | ▼13.6 | ▼1.8 | ▼.03 | ▼.03 | ▼0.2 | ▼15.7 |
중3 과학 2-(2) | ▲0.1 | ▲.003 | ▲.002 | ▲0.6 | ▲.5 | ▼1.4 | ▼.043 | ▼.043 | ▲2.3 | ▼14.1 |
중3 과학 8-(1) | ▲0.7 | ▲.009 | ▲.009 | ▲0.7 | ▲1.6 | ▼0.2 | ▼.006 | ▼.016 | ▲0.4 | ▼1.3 |
고2 국어 2 | ▲9.9 | ▲.183 | ▲.072 | ▲47.1 | ▲6.2 | ▲0.1 | ▲.003 | ▲.001 | ▲2.1 | ▼26.5 |
고2 국어 6-(1) | ▼0.2 | ▲.016 | ▼.004 | ▲2.5 | ▼17.3 | ▼0.2 | ▼.019 | ▼.004 | ▼6.1 | ▼21.6 |
평균 | ▲9.4 | ▲.136 | ▲.031 | ▲8.9 | ▼3.3 | ▼0.6 | ▼.015 | ▼.015 | ▼0.1 | ▼12.6 |
▲ : 증가(+), ▼ : 감소(-)