논술형 평가에서 AI 협업 기반 채점자 협의와 전통적 채점자 협의의 양상 비교¹⁾

연구 절차는 연구 준비, 양적 연구(QUAN), 질적 연구(qual), 통합 및 해석의 총 4개 단계, 7개의 절차로 진행되었다. 다음 <표 1>의 설계는 설명적 순차 혼합 방법(QUAN → qual)을 활용한 것으로, 먼저 양적 자료를 수집·분석한 뒤 그 결과만으로 파악되지 않는 공백을 질적 자료를 통해 보완하는 연구 방법론이다. 이를 통해 초기의 양적 결과를 보다 심층적으로 해석할 수 있으며, 연구 결과의 확장과 깊이 있는 통찰을 가능하게 한다(Creswell & Creswell, 2018).

참고로, 채점자 협의는 예비 채점 과정에서 협의를 통하여 채점자 간 채점 기준의 공통된 이해도를 높이고 상호 영점 조정을 마친 후에 독립 채점으로 나아간다. 대신, 본 연구는 학교 현장 규정에 따라 지도 교사가 다수일 때 요구되는 공동 출제 및 공동 채점 원칙의 상황을 고려하였다. 이에 채점자 간 기준 조정은 완료되었다고 보며, 최종 점수 선정에 한정하여 ‘③ 본 채점 및 협의’의 결과를 분석하였다.

연구 대상인 채점자는 총 4명으로, 8년 이상의 교육 경력을 통해 논술형 평가 경험을 풍부하게 축적한 교사들로 구성하였다. 이에 실제 학교 현장에서 다양한 교사들과 채점자 협의를 거쳐 본 국어 교사를 연구 참여자로 선정함으로써 자료 해석의 타당성을 높이고자 하였다. 각 채점자의 구체적 교육 경력은 <표 2>와 같다. 이들의 채점 과정은 ‘AI 협업 기반 평가자 협의 모델’의 검증과 그 결과에 따른 개선 방향 탐색을 목적으로 두 개 집단으로 나누어 진행되었고, 그 결과를 비교하였다.

채점자들은 5개 문항에 대한 예비 채점을 통해 ‘전통적 협의 집단’과 ‘AI 협의 집단’의 구성으로 나뉜다. 집단 간 상호 협의가 활발하도록 예비 채점에서 친밀도와 채점 성향을 고려하였다. 상호 채점자 간의 사전 친밀도를 배제하고, 점수 배점의 성향, 다국면 Rasch 분석의 infit 값을 추가 확인하였다. 이에 채점 성향이 상반된 채점자가 짝을 이루도록 하였다.

<표 3>은 모의 평가 상황의 구성을 위해 꼭 필요한 것으로서, 연구에 참여하는 채점자들이 실제 학생 글을 채점할 때 사용할 채점 기준표이다. 해당 채점 기준표는 2025년 4월, 경기도 소재 일반 인문계 고등학교에서 3학년 1학기 [화법과 작문] 교과에서 이루어진 수업 및 평가 일부를 가져와 실험적으로 재구성한 것이다²⁾. 예비 채점과 본 채점에서는 실제 평가에 제출된 학생 글을 무작위로 20편을 추출하여 모의 답안을 구성하였다.

채점자의 인지적 부담과 관련된 선행 연구(윤금준, 2021; 정분의, 2019)를 참고하여, ‘채점 시간 및 난도’, ‘협의 시간 및 난도’를 측정하여 양적 분석 자료로 활용하였다. 각자 학생 글의 채점 난도와 협의 난도를 6점 Likert 척도로 표시하였으며, 이 값들의 평균을 분석에 활용하였다.

우선 각 채점자 R1∼R4는 네이버 폼을 활용하여 독립적으로 채점을 진행하였다. 이때 개별 학생 글에 대한 채점 부담 지표는 채점자의 난도 평가와 소요 시간을 기준으로 삼았다. 채점자는 학생 글에 점수를 부여하고, 개별 글마다 채점 난도를 평가하였다. 한편 연구자는 채점자의 인지적 부담을 정량적으로도 확인하기 위해 채점 화면을 녹화하여 채점 소요 시간을 산출하였다.

다음으로, 본 채점을 통한 협의 결과를 수집하는 과정은 [그림 2]로 요약되며 전통적 협의 집단과 AI 협의 집단은 각자 채점 결과를 바탕으로 채점자 협의를 진행하였다. 활발한 협의를 유도하기 위하여 연구자는 본 채점 결과로부터 평가 요소(내용, 조직, 표현·매체) 중 2개 이상의 요소에서 점수 차이가 나타나거나, 혹은 채점자 4명 중 2명 이상이 채점 난도를 4점(약간 어렵다) 이상으로 보고한 글을 선정하기로 하였다. 이에 총 9편의 학생 글이 선정되었다.

그림 2. 전통적 협의 집단과 AI 협의 집단의 협의 자료 수집 절차

Download Original Figure

[그림 2]의 양 집단별 협의 결과를 수집하기 위해 각각 합의된 채점 결과를 네이버 폼을 통해 기록하였다. 협의 과정은 온라인 화상회의 플랫폼인 Zoom을 통해 비대면으로 진행되었으며, 연구자는 전 과정을 녹화하여 협의 소요 시간을 측정하였다. 협의 종료 후 채점자들의 협의 과정에서 체감한 난도 역시 네이버 폼을 통해 수집하였다.

협의의 절차는 먼저 전통적 협의의 경우, 두 채점자가 개인별 채점 결과와 평가 기준을 상호 공유하는 것을 시작으로, 상호 채점의 근거와 의견을 교류하는 시간을 갖는다. 이후 상호 간의 기준을 수용할지를 대화로써 협의하고 채점 기준이 일치하는지 확인한다. 이들은 채점자 공동의 점수를 부여함으로써 최종 채점 결과를 도출하는데 이른다.

이어 AI 협의 집단의 경우, ChatGPT³⁾와 같은 생성형 AI 도구에 [부록]에 제시된 프롬프트를 활용하여 공동 채점자 역할을 부여하는 작업을 먼저 거친다. 예를 들어, ‘주의 사항’, ‘평가 맥락 및 세부 역할의 이해’, ‘채점 기준표와 채점 예시 훈련’으로 이어지는 채점 기준 정교화(최진영 외, 2025:1116)를 명령어로 입력한다. 이에 따라 AI 자동채점 결과가 도출되면 AI 협의 집단의 두 채점자는 채점 시 AI 자동채점 결과를 검토하여 상호 간의 채점 근거 합의를 시도하고 최종 채점 결과를 도출한다. 단, 이때 채점자들의 판단과 합의에 따라 AI 채점 결과를 활용하지 않을 수 있다.

질적 자료의 수집은 개별 통화 및 Zoom을 활용하여 심층 인터뷰로 진행되었다. <표 4>의 사전 질문지를 준비하되, 참여자 응답에 따라 탐색적 추가 질문을 유연하게 제시하였다. 큰 범주의 질문은 양적 연구 결과를 토대로 채점 과정 전반에 대한 채점자의 실제 경험과 인식을 탐색하는 데 목적을 두었다. 주요 질문 범주는 채점 과정에서의 채점 난도, 협의 과정에서 경험한 인지적 부담, 전통적 협의와 AI 협의에 대한 상대적 인식 등을 포함하였다. 인터뷰 자료는 채점 및 협의 과정에서 도출된 정량적 결과를 심층적으로 해석하는 근거로 활용하였다.

이상에 따른 세부 질문 체계는 크게 두 가지 범주로 나뉜다. 우선 양 집단에 적용되는 질문은 채점 과정의 어려움과 특정 학생 글(9, 10, 17번)의 채점 난도가 높은 이유, 채점자 협의가 신뢰도에 미친 영향, 채점자 협의의 효과, 학교에서 AI 기술이 채점자 협의에 도입될 경우 고려해야 할 사항 등이었다. 이어 집단별 분리 질문의 경우, 전통적 협의 집단은 협의 과정에서의 전략 사용 유형과 채점 신뢰도에 영향을 미치는 채점자의 특성에 대해 질문하였다. AI 협의를 진행한 집단은 AI 채점 결과가 채점자 협의에서 수행한 역할, AI 채점 결과에 대한 채점자의 인식과 신뢰 수준, 특히 점수와 근거 중 어느 요소를 더 중시했는지를 질문하였다.

각 집단에서 나타난 채점자 협의의 효과를 살펴보기 위해 협의 결과로 도출된 합의 점수를 가상의 채점자 ‘R1+R2’, ‘R3+R4’로 상정하여 분석하였다.

그 결과 전통적 협의 집단은 엄격성 차원에서 두 채점자의 엄격성이 평균화되지 않고 더 엄격한 쪽으로 기울었다. R1+R2 점수를 포함하여 분석한 결과 채점자 R1은 관대한 경향(–0.81), 채점자 R2는 엄격한 경향(0.62)을 보였으나, R1+R2는 0.72로 나타나 오히려 가장 엄격한 것으로 나타났다. 이는 전통적인 채점자 협의가 채점자 간 엄격성의 균형을 맞추기보다는, 상대적으로 엄격한 채점자의 점수 부여 경향으로 수렴되었음을 의미한다. 따라서 전통적 협의 집단의 협의가 채점자 간 엄격성 편차를 줄이는 조정 장치로 작동했다기보다, 평가 기준을 보다 엄격하게 적용하도록 하는 역할을 수행했다고 볼 수 있다. 이어 일관성을 분석한 결과 R1, R2 및 R1+R2 점수 모두 적합한 범위 내에 위치하였다.

다음으로 AI 협의 집단은 엄격성 차원에서 두 채점자의 엄격성이 평균(0)에 수렴하는 경향성을 보였다. R3+R4 점수를 포함하여 분석한 결과 R3는 매우 관대한 성향(–2.76), R4는 평균보다는 다소 엄격한 성향(0.17)을 보였고, R3+R4는 –0.30으로 나타났다. 이는 AI 기반 채점자 협의가 관대한 평가 경향을 지닌 채점자의 엄격성을 조정하여 평균적인 수준으로 수렴시키는 효과를 발휘했음을 의미한다. 그러나 전통적 협의 집단과 마찬가지로 비교적 엄격한 채점자의 점수 부여 경향으로 귀결되었다고 할 수 있을 것이다.

일관성 차원에서 R3, R4 채점 경향과 비교할 때, R3+R4의 일관성 지수가 0.64로 가장 낮게 나타나 과적합(overfit) 경향을 보였다. 이는 AI 협업 기반 협의를 통해 점수를 확정하는 과정에서 채점 변별력이 일부 축소되는 한계가 있었음을 의미한다. 이는 아래 제시될 <표 8>을 통해 나타나는 채점 척도의 제한적 사용으로 발생한 현상인 것으로 분석된다.

전통적 협의와 AI 활용 협의에서 부여한 개별 채점 점수 및 최종 협의 점수는 <표 8>과 같다. 두 집단은 동일한 세 편의 글(E9, E10, E17) 중에서 두 편의 글(E9, E10)에 대해 최종 합의 점수를 다르게 도출하였으며, 전통적 협의 집단의 점수 부여 경향이 보다 엄격했음을 알 수 있다.

AI 협의 집단은 채점자 간 점수 차가 3점으로 가장 컸던 4편의 글(E1, E2, E9, E13)에서만 AI 채점 결과를 활용하였다. 특히 주목할 만한 점은 이 4편의 최종 합의 점수가 모두 AI 채점 결과와 정확히 일치했다는 사실이다. 이러한 결과는 채점자들이 협의 과정에서 AI 채점 결과를 단순히 참고하는 수준을 넘어 사실상 핵심 기준점으로 삼았음을 보여준다. 다시 말해, AI 채점 결과가 채점자 간 이견을 조율하는 과정에서 채점자 지배(rater dominance)와 같은 영향을 미쳤음을 추론할 수 있다.

반면, 전통적 협의 집단은 총 5편의 글(E3, E8, E9, E11, E17)에서 채점자 간 점수 차가 3점 이상 발생했음에도 불구하고, 채점자 간 상호작용을 통해 합의된 점수를 도출하였다. 채점자들은 ‘내용·조직·표현 및 매체’의 각 평가 요소에서 드러난 차이에 대해 서로의 채점 근거를 공유하며 성찰하였고, 모호한 지점에 대해서는 의견 조정을 거쳐 합의에 도달하였다. 예를 들어, E8의 경우 ‘내용’은 R1의 개별 채점 결과와, ‘조직’과 ‘표현 및 매체’는 R2의 개별 채점 결과와 일치하도록 점수를 조정하여 최종 합의 결과를 도출하였다. 이러한 협의는 결과적으로 점수 부여 경향을 더 엄격한 방향으로 수렴시키는 효과를 보였음을 알 수 있다.

다음 <표 9>는 협의에 소요된 시간과 협의 난도, 개별 채점에서의 채점자 간 점수 차를 정리한 결과이다. 먼저 협의 시간과 협의 난도의 정량적 차이를 비교해 보면, 전통적 협의 집단보다 AI 협의 집단이 전반적으로 더 긴 시간을 투입하고, 더 높은 난도를 부여하는 경향을 보였다. 전통적 협의 집단의 총 소요 시간은 2,812초, 1편당 평균 협의 시간은 312.4초, 평균 난도는 1.6으로 나타났다. 반면 AI 협의 집단의 총 소요 시간은 4,260초, 1편당 평균 협의 시간은 473.3초, 평균 난도는 3.1로, 전통적 협의 집단보다 모든 부분에서 더 높은 수치를 기록하였다.

특히 두 집단 모두가 협의한 3편(E9, E10, E17)을 비교하면 이러한 차이가 더욱 뚜렷하게 드러난다. 전통적 협의 집단은 이 3편의 협의 시간이 평균 171.3초였던 반면, AI 협의 집단은 평균 357초로 약 두 배 더 길게 나타났다. 이는 동일한 글을 대상으로 하더라도 AI를 활용한 협의가 전통적 협의보다 상대적으로 더 많은 시간과 인지적 부담을 요구할 수도 있음을 보여준다. 이러한 결과는 교사가 AI 자동채점 결과를 활용하는 실험에서 오히려 채점 시간이 더 길어졌음을 보고한 최진영·하민수(2023)의 연구와도 맥을 같이한다.

다음으로 협의 시간과 협의 난도의 관계를 살펴보면, 개별 채점 단계와 달리 두 요소 간에 명확한 비례 관계가 나타나지 않았다. 예컨대 전통적 협의 집단에서 E8은 협의 시간이 639초로 가장 길었음에도 불구하고 협의 난도는 1로 낮게 평가되었다. 또한 AI 협의 집단에서 E2는 협의 시간이 평균(473.3초)보다 짧은 443초였으나 협의 난도는 4로 높게 평가되었다. 이는 협의 시간이 곧 협의 난도의 직접적인 지표가 아님을 보여주며, 채점자 간의 논거 제시, AI 채점 결과 활용 여부 등 다양한 상호작용적 요인이 협의 난도에 영향을 미쳤음을 보여준다.

또한 전반적으로 채점자 간 점수 차가 큰 글일수록 협의 난도도 높게 평가되는 경향이 나타났다. 예를 들어, 전통적 협의 집단의 E3은 채점자 간 점수 차가 3점으로 비교적 큰 편이었고, 협의 난도 또한 평균 2.5로 높게 나타났다. 또한, AI 협의 집단에서도 채점자 간 점수 차가 3점으로 가장 컸던 E1, E2, E13은 협의 난도 역시 가장 높은 4로 평가되었다. 즉, 채점자 간 점수 차가 크다는 것은 곧 채점자 간 이견의 폭이 크다는 것을 의미하며, 이러한 불일치가 협의 과정의 난도를 높이는 요인으로 작용한 것이다.

<표 10>의 평균 수치를 기준으로 살펴보면, 채점자 간 점수 차가 협의 난도 결정에 중요한 영향을 미친다는 사실이 보다 명확하게 드러난다. 특히 AI 협의 집단에서 이러한 경향이 두드러졌는데, 채점자 간 점수 차가 커질수록 협의 난도 역시 높아지는 양상이 뚜렷하게 나타났다. 실제로 점수 차가 1→1.3→2→3으로 커짐에 따라 협의 난도도 2→2.5→3→4로 높아지는 흐름을 보였다. 반면 전통적 협의 집단은 난도 1.5 수준에서 예외가 존재했지만, 나머지 사례들을 살펴보면 채점자 간 점수 차가 협의 난도에 일정 부분 영향을 미쳤음을 알 수 있다. 이러한 결과는 채점자 간 채점 기준 해석의 차이와 점수 불일치에 따라 채점자 간 협의 난도가 높아진다고 한 선행연구(박지수, 2021; Schauber et al., 2024)의 논의와 부합한다.

아울러 <표 10>의 평균 수치는 협의 시간과 협의 난도 간에 비례 관계가 성립하지 않는다는 사실 역시 분명하게 보여준다. 전통적 협의 집단의 경우 난도가 평균 2인 글(E6, E7, E9)의 평균 협의 시간은 987초로, 난도가 2.5인 E3의 479초보다 오히려 더 길게 나타났다. AI 협의 집단에서도 난도 평균이 2.5인 글(E10, E16, E17)의 협의 시간이 152.3초로 가장 짧아, 난도가 반드시 협의 시간의 증가로 이어지지 않음을 알 수 있다.

다만 두 집단 모두 협의가 뒤로 진행될수록 협의 시간이 점차 단축되는 경향을 보였으며, 이는 채점자들이 협의 절차와 채점 기준에 점차 익숙해지면서 합의의 효율성이 개선되어 갔음을 보여준다. 이러한 양상은 선행연구에서도 보고된 바 있다. Leckie & Baird(2011)는 대규모 쓰기 평가에서 채점자들이 채점 초기에는 기준 해석과 적용에 더 많은 시간을 소요하지만, 시간이 지남에 따라 점차 채점 기준이 내면화되면서 효율성이 향상된다고 밝혔다. 특히 전통적 협의 집단에서는 협의가 진행될수록 소요 시간이 점차 단축되는 경향이 더 두드러졌다. 협의 초기 단계에서 채점 기준의 의미를 명확히 하고 의견을 조율하는 과정에 상당한 시간이 소요되었으나, 일정한 합의 기준이 형성된 이후에는 이를 바탕으로 빠르게 합의가 이루어졌기 때문으로 보인다.

반면 AI 협의 집단은 AI 활용 여부도 협의 시간과 협의 난도에 유의미하게 작용하였다(<표 11>). 앞서 확인했듯 채점자 간 점수 차가 3점으로 가장 큰 글에서만 AI 채점 결과가 활용되었고(E1, E2, E9, E13), 해당 글들의 평균 협의 시간은 709초, 평균 협의 난도는 3.8이었다.

이러한 결과는 AI가 협의에 추가적인 근거와 쟁점을 제공하여 협의의 심층성을 높이는 동시에, 협의 시간과 난도를 높이는 요인으로 작용하였음을 보여준다. 즉, 채점자 간 이견이 큰 글일수록 AI 채점 결과가 협의의 핵심 기준으로 활용되면서 협의가 심층화되고, 그만큼 시간과 난도도 상승하는 경향이 나타난 것이다. 반대로 AI 채점 결과를 활용하지 않은 5편의 글은 평균 점수 차가 1.2점으로 상대적으로 작았으며, 평균 협의 시간은 284.8초, 평균 협의 난도는 2.5로 나타났다. 이는 AI가 제공하는 추가적인 근거와 쟁점이 협의 과정에서 배제되면서 협의가 상대적으로 단순화되었기 때문으로 보인다. 종합하면, AI 협의 집단은 협의의 진행 단계, 채점자 간 점수 차, 그리고 AI 활용 여부 등 다양한 요인이 복합적으로 작용하며 협의 시간과 난도에 영향을 미친 것으로 보인다.

논술형 평가는 학생의 지식·개념·사고 과정을 종합적으로 평가할 수 있다는 장점이 있지만, 채점 기준의 해석과 적용 과정에서 채점자 간 차이가 발생할 수 있다는 구조적 한계를 지닌다. 이러한 한계는 특히 2인 이상의 다중 채점이 요구되는 상황에서 더욱 두드러진다. 여기에서는 심층 인터뷰를 통해 양적 분석에서 확인된 엄격성(logit) 차이와 낮은 일치율이 어떠한 과정적 어려움에서 비롯되는지를 확인하였다.

심층 인터뷰에서 연구 참여자들은 논술형 평가의 전체 과정에서 채점 기준 해석의 차이가 가장 큰 어려움이었다고 진술하였다. 이는 논술형 평가가 2인 이상의 채점을 전제로 하고 복합적인 역량을 측정한다는 점에서 불가피하게 나타나는 문제이다.

이 진술은 동일한 채점 기준표를 공유하더라도 채점자마다 적용의 기준점이 다르게 설정되어 불일치가 발생함을 보여준다. 즉, 한 채점자는 내용 요소를 엄격히 보았지만 다른 채점자는 조직과 표현·매체 요소를 더 엄격히 평가하는 방식으로 접근하면서, 해석의 차이가 곧 점수 편차로 이어진 것이다.

여기서 드러나듯, 과제 설계에 직접 참여하지 않은 상태에서 채점에 임할 경우 과제의 의도와 학생 글쓰기 맥락을 충분히 파악하기 어려워 채점 기준 적용이 흔들릴 수 있다. 이러한 해석 차이는 채점자 간 합의 과정을 지연시키는 동시에, 채점자 개인에게 인지적·정서적 부담을 가중시키는 원인으로 작용하고 있었다.

채점자들이 평가 전체 과정에서 어려움으로 지적한 지점들은 채점 난도가 높은 학생 글과도 연결되었다. 두 집단 모두 채점 기준을 명료하게 적용하기 어려운 글에서 채점 난도가 높았다고 진술하였으며, 특히 이러한 글일수록 인지적 부담이 크고 채점 시간이 오래 걸린다고 보고하였다.

이 두 진술은 문체나 호응처럼 해석이 애매한 요소뿐 아니라, 답안의 길이와 같은 형식적 특성이 채점 난도를 높이는 요인임을 보여준다. 즉, 답안이 모호하거나 분량에 따라 오류 발생 가능성이 달라질 경우 채점 기준의 명확한 적용이 어려워지고, 채점자는 판단 근거를 찾기 위해 더 많은 인지적 노력을 기울여야 하며, 이는 곧 채점 부담으로 이어진다.

이상의 내용을 종합하면, 두 집단 모두 채점 기준 해석의 차이를 가장 큰 어려움으로 인식했다. 채점 고난도 답안은 기준 적용이 애매한 글로, 채점자마다 엄격성과 일관성 차이를 드러냈다. 따라서 채점자 협의는 채점 단계의 절차로 한정하지 않고, 과제 설계 단계부터 채점 기준을 공유·합의하는 구조로 운영할 필요가 있다.

채점자 협의 과정에서 AI의 활용 여부의 차이는 채점자 협의 과정의 양상을 변화시켰다. 채점자 협의 결과에 따른 채점 신뢰도와 관련한 엄격성, 일관성, 그리고 채점자 부담과 관련한 협의 난도와 협의 시간에 대한 채점자의 인식을 확인하였다.

우선 채점 신뢰도 가운데서도 엄격성 조정 측면에서 두 협의 집단은 뚜렷한 차이를 보였다. 이에 대한 채점자들의 구체적인 인식을 살펴보면, 전통적 협의 집단의 채점자들은 협의 과정이 자기 성찰과 조율의 계기가 되었고, 결과적으로 채점 신뢰도를 높이는 데 기여했다고 진술하였다. 채점자들은 협의를 통해 개별 채점에서 나타난 불일치나 경향성을 점검하고, 지나치게 엄격하거나 관대한 채점을 조정할 수 있었다.

R1의 진술은 협의 과정이 채점자의 무의식적 편차를 점검하는 기회로 작용했음을 보여준다. 즉, 개별 채점에서는 인식하지 못했던 불일치가 협의를 통해 드러나고, 이를 수정함으로써 채점의 일관성과 신뢰성을 확보할 수 있었던 것이다. 또한 R2는 협의가 단순히 의견을 교환하는 수준을 넘어, 명시적인 합의 기준을 마련함으로써 채점 부담을 줄이고 결과의 일관성을 높이는 장치로 작용하였다고 진술하였다. 이는 채점자 협의가 단순한 소통 과정을 넘어 채점의 질을 개선하는 핵심 기제로 기능하고 있음을 보여준다.

반면, AI 협의 집단에서는 AI 채점 결과가 협의 과정에 직접적인 영향을 미치는 양상이 나타났다. 채점자마다 AI 활용에 대한 인식 차이는 있었지만, 대체로 AI 결과를 객관적 기준으로 받아들이며 자신의 채점 경향을 수정하거나 조정하는 데 활용하였다.

이 진술은 AI 결과가 제3의 채점자로 기능하면서, 채점자가 스스로의 엄격성이나 관대함을 성찰하고 조정하는 계기가 되었음을 보여준다. 실제로 엄격성이 –2.76 로짓으로 가장 관대한 채점자였던 R3는 AI 결과를 ‘객관적 근거’로 삼아 협의 과정에서 자신의 채점 기준을 수정하였다. 또한 AI가 제시한 근거를 학습함으로써 채점자들이 후반부 협의를 AI 없이도 수행할 수 있었던 점에서, AI는 단순한 합의 도구를 넘어 학습을 통한 자기 성찰과 함께 채점 방식 개선의 도구로 확장될 수 있음을 보여준다.

이처럼 AI 집단의 채점자는 AI 결과와 자신의 판단이 일치할 때 안도감을 느끼거나, 무의식적으로 AI 점수를 ‘정답’으로 받아들이는 경향을 보였다. 따라서 AI 협의 집단에서는 표면적으로 합의가 쉽게 이루어지는 효과가 있었지만, 동시에 협의가 점수 일치 여부에 과도하게 의존하는 경향도 드러났다.

다음으로 채점 신뢰도의 일관성 측면에서 두 집단의 협의는 서로 다른 양상을 보였다. 전통적 협의 집단은 상호작용을 통해 채점 기준의 의미를 조율하며 일관성을 높여 갔던 반면, AI 협의 집단에서는 AI 채점 결과가 강력한 기준점으로 작용하면서 채점자 간 점수 차이의 조정이 AI 채점 결과로 수렴하는 결과로 나타났다. 이와 함께 채점자들이 자신의 해석을 고수하기 어려워지고, 협의가 심층적 논의보다는 표면적 합의로 흐르는 경향이 나타났다.

이 진술은 AI 결과가 정답처럼 받아들여지는 순간, 협의가 본래의 목적을 상실하고 단순한 점수 일치의 장으로 축소될 위험이 있음을 보여준다. 즉, AI 활용이 협의의 효율성을 높일 수 있다는 장점과 달리, 채점자 간 상호 설득과 조율 기능을 약화시키는 구조적 한계도 드러난 것이다. 특히 AI 협의 집단에서는 AI 점수가 일정한 구간에 집중되면서 채점 변별력이 축소되고, 협의 과정에서 AI 결과가 사실상 기준점이 되어 특정 채점자의 의견이 우세하게 반영되는 채점자 지배(Johnson et al., 2005)가 AI에 의해 나타날 수 있음을 보여준다.

이 진술들은 AI 채점 결과가 중앙값에 과도하게 수렴해 점수 분포의 다양성을 약화시키고, 그 결과 학생들의 수행 수준 차이가 충분히 드러나지 못했음을 보여준다. 동시에 AI 점수가 협의의 기준점으로 작용하면서, 협의는 상호 논의의 장이라기보다 AI가 주도하는 표면적 합의 과정으로 변질될 위험을 내포한다. 이는 AI 협의가 효율성을 제공하는 동시에, 채점 변별력 축소와 채점자 지배 현상이라는 구조적 한계를 동반함을 보여준다.

이처럼 R3와 R4는 채점자 협의 과정에서 AI에 대한 인식에 차이가 존재하였다. R3가 비교적 채점자 협의 과정에서 AI 협업을 긍정적으로 인식했으며, 이에 대한 수용적인 자세가 드러났다. 반면, R4는 AI 협업이 오히려, 채점자 간의 협의를 위축시킨다고 보아 AI 협업을 부정적으로 인식하였다. 이는 채점자 협의 과정에서 채점자가 AI 활용을 어떻게 인식하느냐에 따라 채점자 협의에 영향을 줄 수 있음을 보여준다. 따라서 사전에 채점자 협의 과정에서 AI의 역할 내지 활용 방안을 명확히 확립하고 이를 토대로 채점자 협의 과정에서 AI와 협업할 필요가 있다.

다음으로 채점자 부담 측면에서, 전통적 협의 집단은 관계적 부담은 있었으나 비교적 짧은 시간 안에 합의에 도달할 수 있었다. 반면 AI 협의 집단은 AI 점수를 읽고 해석하며 검토하는 절차가 추가되면서 협의 시간이 길어지고 협의 난도도 높아졌다. 우선 이에 대한 전통적 협의 집단의 채점자 인식을 살펴보면, 1:1 협의에서 관계적 부담이 존재했지만, 상호작용과 대화를 통해 초기 해석 차이를 조율하며 점차 합의의 틀을 형성했다.

두 발화는 채점자 협의가 단순한 채점 기준 공유를 넘어, 채점자 간의 관계를 고려하면서 채점 일관성을 높여 가는 과정임을 보여준다. 즉, 초반에는 채점 기준 해석의 차이와 관계적인 심리적 부담이 크지만, 상호 설명, 조정, 합의의 순환을 거치며 후반부로 갈수록 협의 부담이 줄어드는 점을 확인할 수 있다. 이는 채점자 협의가 채점자 간의 심리적 관계와 의사소통 방식에 따라 질적으로 달라질 수 있음을 뜻한다(강민석, 2025).

반면 AI 협의 집단은 전통적 집단에 비해 협의 시간이 길고 협의 난도가 높은 것을 당연한 결과라고 반응하였다. 즉, 논술형 평가의 경우, 채점 해석의 차이로 채점자 협의가 이루어지는데 AI 채점 결과가 있으니, 이에 대한 읽기, 분석, 조율 등의 과정을 거치면서 협의 시간과 협의 난도는 AI를 활용하지 않은 전통적 협의보다 올라갈 수밖에 없다고 판단하였다. 다만 전통적 협의와 비교했을 때, AI 채점 결과까지 더해지면서 2:1의 상황이 되다 보니이에 따른 심리적 부담은 낮았으나, 평가 논의가 심층적으로 이루어지는 과정에서는 관계적 측면 등이 작용하여 채점자의 성향에 따라 앞서 언급한 점수 합의 중심의 협의로 마무리되는 경향이 나타났다.

즉, AI 협의 집단은 협의 과정이 AI의 개입으로 채점자의 인지적 부담이 증가했으나, 동시에 AI가 협의의 기준점을 제공함으로써 불필요한 갈등을 예방하는 효과도 있었다. 그러나 AI의 활용이 표면상 일부 채점자의 부담을 주는 측면이 있으나, 그 이면에는 오히려 AI를 활용함으로 학생 글에 대한 분석과 채점자 간의 조율 과정이 전통적 협의에 비해 좀 더 심층적으로 이루어질 수 있음을 보여준다. 그러나 AI의 역할에 따라 채점자 협의가 점수 합의 방식으로 흐를 우려도 있음을 확인할 수 있었다. 따라서 AI 활용의 효과를 단순히 부담의 증감으로 제한해서 볼 것이 아니라, 협의 과정에서 AI가 어떻게 활용되어 학생 글을 얼마나 타당하게 평가하는지에 초점을 두고 확인할 필요가 있다.

이상의 내용을 종합하면, 전통적 협의 집단은 상호작용과 조율을 통해 엄격성이 강화되면서 일관성을 확보하며 짧은 시간 안에 합의에 도달했다. 반면 AI 협의 집단은 AI 점수를 기준으로 차이를 조정하는 중재 효과가 있었고, 이를 통해 채점 근거를 공유하며 심층적 논의가 이루어질 가능성도 확인되었다. 그러나 동시에 표면적 합의, 협의 시간 증가, 난도 상승 등의 한계가 나타났다. AI 점수가 정답처럼 인식될 경우 특정 해석이 지배할 위험이 있으므로, AI 결과는 참고 자료로 제한하고 협의는 근거 중심 구조와 명확한 역할 분담 아래 운영할 필요가 있다.