시험 지능(Test Intelligence)의 개념화 및 이론적 모델 제안: PRISMA 2020 기반 체계적 문헌 고찰과 주제 합성을 중심으로

전통적 관점에서 지능(intelligence)은 유전적으로 결정되어 생애에 걸쳐 크게 변하지 않는 고정 불변의 것으로 간주되어 왔다(Spearman, 1904). 따라서 IQ 검사 등의 표준화 검사는 이를 언어, 수학 및 추론 등의 영역으로 수치화하여 협소하게 다루어 왔다. 그러나 Gardner(1983)는 기존의 지능 검사가 인간의 광범위한 잠재력을 담아내지 못한다고 비판하며, 지능을 ‘특정 문화적 맥락에서 가치 있는 문제를 해결하거나 산물을 창출하는 능력’으로 재정의할 것을 제안하였다. 이러한 이론적 전환은 Sternberg(1985)의 실용 지능(practical intelligence), Salovey와 Mayer(1990)의 정서 지능(emotional intelligence), Earley와 Ang(2003)의 문화 지능(cultural intelligence)의 이론적 토대가 되었으며, 이들은 특정 맥락에서 발현되는 복합적인 역량 체계로 교육적 개입을 통해 향상 가능한 가변적 특성을 지닌다는 공통점을 지닌다.

이러한 맥락에서 본 연구는 시험 수행과 관련한 학습자의 역량을 ‘시험 지능(Test Intelligence, TI)’이라 명명하고자 한다. 학습자는 엄격한 시·공간적 제약과 압박 속에서 자신의 역량을 최대한 발휘해야 하므로, 수준이 비슷한 학생들 간에도 심리적 압박을 견뎌내는 정도나 학습 내용을 인출하는 과정에 따라 시험 결과가 달라질 수 있다. 따라서 일반적인 학습 상황에서의 학업 수행 역량과 통제된 평가 상황에서의 시험 수행 역량은 엄연히 구별될 필요가 있다. 또한, 본 연구가 학습자의 시험 수행 역량을 단순한 역량을 넘어 시험 지능이라 명명하는 이유는 다음과 같다.

첫째, 학습자가 시험을 치르는 과정은 인지 처리 능력만으로는 설명할 수 없는 맥락 특수적인 역량 체계로, Gardner(1983)의 맥락 중심적 지능의 정의에 부합한다.

둘째, 시험 상황에서의 대처 역량은 고정된 것이 아니라 경험과 훈련으로 충분히 향상될 수 있음이 시험 불안 완화 및 프로그램, 메타인지적 모니터링 교육, 시험 전략 및 시험 지혜 관련 연구들에 의해 검증되었으며(Dodeen, 2015; Folkman & Lazarus, 1985; Martin & Marsh, 2008; Millman et al., 1965; Schutz & Davis, 2000), 이는 지능을 후천적으로 변화 가능한 역동적 개념으로 바라본 현대 지능 이론의 관점에 부합한다. 결론적으로 시험 수행 역량을 시험 지능이라 명명하는 것은 기존의 확장된 다중 지능 담론과 그 학술적 맥을 함께한다고 볼 수 있다.

체계적 문헌 고찰은 연구 문제를 중심으로 문헌을 검토하고 사전에 수립된 기준에 따라 선별한 후, 표준화된 절차를 통해 종합함으로써 특정 주제에 관한 최선의 증거를 산출하는 연구 방법이다(Higgins & Green, 2011). 이는 검색 방법과 선별 기준을 사전에 명시함으로써 엄밀성과 투명성을 확보할 수 있다는 이점이 있다. PRISMA(Preferred Reporting Items for Systematic Reviews and Meta-Analyses)는 국제 보건 및 방법론 전문가그룹(PRISMA group)이 2009년 공동 발표한 체계적 문헌 고찰의 표준화된 지침으로, 문헌 검색 기술과 방법론의 발전을 반영하여 2020년에 전면 개정되었다(Page et al., 2021). 본 연구가 PRISMA 2020 지침을 활용한 것은 최신 국제 보고 표준을 엄격히 준수하여 연구자의 주관적 판단을 최소화하고 연구 절차의 재현성과 신뢰성을 확보하기 위함이다. PRISMA 2020은 연구의 흐름도(flow diagram)에 따른 문헌 선별을 권고하며, 검색 결과를 수집하는 ‘식별(identification)’, 제목, 초록 및 주제어를 검토하여 문헌을 골라내는 ‘선별(screening)’, 원문을 상세히 분석하여 기준 부합 여부를 판단하는 ‘적격성 평가(eligibility)’, 최종 분석 문헌을 확정하는 ‘포함(included)’의 4단계로 구성된다.

주제 합성은 Thomas와 Harden(2008)이 제안한 문헌 종합 방법론으로, 개별 연구 결과를 집계하는 것을 넘어 문헌에 내재된 개념들을 귀납적으로 코딩하여 상위주제로 통합하는 데 목적이 있다. 이는 체계적 문헌 고찰에 질적 연구의 주제 분석(thematic analysis)을 접목한 것으로, 연구 과정을 투명하고 재현 가능한 절차로 제시한다는 특징을 지닌다. 초기에는 질적 메타 합성을 위해 고안되었으나, 최근에는 특정 구인의 개념 구조와 속성을 탐색하거나 새로운 이론적 틀을 구성하는 문헌 고찰 연구에도 폭넓게 활용되어 왔다(Barnett-Page & Thomas, 2009).

주제 합성은 크게 3단계로 진행된다. ‘자유 코딩(free coding)’ 단계는 문헌을 행(line) 단위로 검토하여 의미 있는 단위마다 코드를 부여한다. ‘기술적 주제(descriptive themes)’ 도출 단계는 생성된 코드들을 내용의 유사성에 따라 기술적인 범주로 묶는다. ‘분석적 주제(analytical themes)’ 도출 단계는 기술적 주제에 연구자의 이론적 통찰과 해석을 더해 새로운 개념의 구조를 생성한다. 이처럼 주제 합성은 귀납적 코딩에서 연역적 이론화로 나아가는 체계적인 절차를 거치므로, 분절된 문헌들로부터 상위의 통합적 이론 구조를 도출하는 데 효과적이다.

본 연구는 국내 문헌 검색에 학술연구정보서비스(RISS)와 DBpia를, 국외 문헌 검색에는 교육 분야 특화 데이터베이스인 ERIC(Education Resources Information Center)을 활용하였다. 본 연구에서 제안하는 ‘시험 지능’은 신생 구인으로, 단일 검색어만으로는 관련 문헌을 수집하는 데 한계가 있다. 따라서 ‘학습자의 시험 수행 과정에 영향을 미치는 심리적 요인 및 관련 구인은 무엇인가?’란 연구 문제를 중심으로, 시험 맥락 속에서 발현되는 인지, 정서, 행동 요인들을 포괄하기 위해 선행 연구에서 개별적으로 다루어져 온 심리적 요인들을 핵심 키워드로 선정하였다.

문헌 검색은 제목(title), 초록(abstract), 주제어(keywords) 범위 내에서 이루어졌으며, 국내 문헌에는 시험 맥락과 심리 기제의 교차 검색을 위해 ((“시험 수행” OR “시험 전략” OR “시험 정서” OR “시험 결과” OR “시험 대처” OR “시험 효능감” OR “시험 불안”) AND (“평가” or “시험”)) 검색식 조합을, 국외 문헌에는 ((“test performance” OR “test-taking strategy” OR “test-taking motivation” OR “test result” OR “test coping” OR “test self-efficacy” OR “test anxiety”) AND (“examination” OR “exam” OR “evaluation”)) 검색식을 사용하였다.

본 연구는 데이터베이스 검색 문헌 외에도 PRISMA 2020이 권고하는 수기 검색(hand search)을 통해 초기 검색에서 벗어난 주요 문헌들을 추가로 확보하였다. 1차 선별 문헌의 참고문헌 목록을 검토하는 역추적 방식(ancestry searching)으로 해당 문헌의 이론적 기반이 되거나 그로부터 파생된 후속 논문들을 Google Scholar를 통해 수집하였고, ERIC이 교육학에 국한되어 있는 한계를 보완하기 위하여 시험 불안이나 시험 정서 등을 심도 있게 다루는 심리학 및 인지과학 분야의 핵심 저널을 직접 탐색(journal browsing)하였다. 이러한 다각도적인 자료 수집을 통해 ‘시험 지능’이 특정 학문 분야에 편중되지 않고 인지, 정서, 행동 영역을 아우르는 다차원적인 구인으로 정립될 수 있도록 하였다.

본 연구는 포함 기준과 제외 기준을 엄격히 수립하여 분석 대상 문헌을 선정하였다. 구체적인 포함 기준으로는 첫째, 학술지 게재 논문 또는 박사 학위 논문으로서 시험 수행과 관련한 심리적 구인을 최초로 제안하거나 해당 구인의 조작적 정의를 명확히 제시한 연구, 둘째, 심리적 구인을 조작화하여 측정 도구를 개발하고 타당화한 연구, 셋째, 특정 구인과 학업성취, 시험 수행 간의 관계를 종합한 메타분석 연구, 넷째, 대규모 표본을 활용한 실증 연구, 마지막으로 중학생 이상을 대상으로 한 연구로 한정하였다. 반면, 다음의 기준에 해당하는 문헌은 최종 분석 대상에서 제외하였다. 첫째, 시험 맥락이 아닌 일반 교수·학습 상황만을 다룬 연구, 둘째, 시험 수행 역량 관련 구인을 주변적으로 언급한 연구, 셋째, 특정 교과나 상황에 국한된 연구, 넷째, 교사 등 학습자가 아닌 다른 집단에 초점을 둔 연구, 다섯째, 50명 미만의 소규모 집단을 대상으로 한 질적 연구나 단기적 처치 효과만을 검증하는 연구, 여섯째, 동료 심사를 거치지 않은 저널의 논문, 일곱째, 초등학생 이하의 아동을 대상으로 한 연구, 여덟째, 학술대회 발표 초록, 미출판 원고, 석사학위 논문, 원문 확보가 불가능한 연구 및 동일 데이터를 사용한 중복 출판 연구, 마지막으로 기존 연구를 요약 또는 개관하는 데 그친 2차 문헌 연구이다.

본 연구는 [그림 2]의 PRISMA 2020 흐름도에 따라 식별, 선별, 적격성 평가, 포함의 4단계로 문헌을 선별하였다. 식별 단계에서 데이터베이스 검색을 통해 국외(ERIC) 625편, 국내(RISS, DBpia) 47편으로 총 672편을 확보하고, 중복 36편(국외 22편, 국내 14편)을 제거하여 636편을 식별하였다. 선별 단계에서는 636편의 제목, 초록, 주제어를 검토하여 포함 기준에 부합하지 않는 549편을 제외하고 87편(국외 63편, 국내 24편)을 선별하였다. 한편, 선별된 문헌의 참고 문헌을 역추적하고 심리·인지 과학 분야의 저널을 직접 탐색하여 핵심 문헌 총 31편(국외 27편, 국내 4편)을 추가하였다. 마지막으로 데이터베이스 경로의 87편과 수기 검색 31편을 합한 118편의 원문을 기준에 따라 심층 검토하여 88편을 제외한 최종 30편(국외 24편, 국내 6편; 수기 검색 18편 포함)을 분석 대상으로 확정하였다.

그림 2. PRISMA 2020 흐름도

Download Original Figure

국외 문헌은 초기 식별 대비 최종 포함 비율이 약 38%로 현저히 낮게 나타났는데, 이는 검색어인 ‘test performance’, ‘examination’, ‘evaluation’ 등이 교육뿐 아니라 공학 시험, 프로그램 평가 등 학술 전반에서 쓰이는 고빈도 범용어이기 때문이다. 이로 인해 시험 수행과 무관한 문헌이 대량으로 함께 식별되었고, 제목·초록·주제어 선별 단계에서 이들 대부분이 제외되었다. 반면 국내 문헌은 초기 식별 건수 자체가 적었을 뿐 아니라(47편), 최종 포함된 문헌 또한 소수(6편)에 그쳤다. 이는 두 가지 요인에 기인한다. 첫째, 국내 검색어(‘시험 불안’, ‘시험 효능감’ 등)는 교육 평가 맥락에 특화되어 초기 관련성은 높았으나, 구인을 최초로 제안하거나 정의하기보다 국외에서 정립된 구인과 척도를 국내 표본에 적용하거나 실증하는 데 집중되어 포함 기준에 부합하지 않은 경우가 많았다. 둘째, 국내 문헌 중 상당수는 수학 불안과 같이 특정 교과에 국한되거나 교사 등 학습자가 아닌 집단 또는 초등학생 이하를 대상으로 하여 제외되었다. 요컨대 국내 문헌 포함이 소수에 그친 것은 연구의 질적 열위가 아니라 국내 연구가 구인의 적용 및 실증에, 국외 연구가 구인의 제안 및 정의에 특화되어 있는 연구 지형의 차이를 반영한 결과이다.

본 연구는 Thomas와 Harden(2008)의 주제 합성(thematic synthesis)에 따라 시험 지능의 개념과 하위 구인을 제시하고 가설적 이론 모델을 제안하였다. 1단계는 ‘자유 코딩(free coding)’으로, 최종 선정된 문헌 30편으로부터 연구 유형, 연구 대상, 측정 방식, 핵심 개념의 조작적 정의, 하위 요소 목록 및 정의, 주요 연구 결과, 시험 지능 구인과의 관련성에 관한 내용을 코딩하였다. 2단계는 ‘기술적 주제(descriptive themes)’ 도출로, 공통적으로 등장하는 코딩 내용 단위를 묶어 귀납적으로 범주화하였다. 3단계는 ‘분석적 주제(analytical themes)’ 도출로, 기술적 주제들에 연구자의 이론적 해석을 결합하여 시험 지능의 구인과 개념을 제시하고, 시험 지능에 대한 이론적 모델을 제안하였다.

PRISMA 2020 기준에 따라 선별된 최종 분석은 총 30편으로, 해외 문헌 24편은 주로 시험 수행과 관련한 이론을 최초로 정의하거나 이론과 관련한 척도를 개발하는 연구에, 국내 문헌 6편은 개발된 척도를 한국 사정에 맞게 번안하거나 양적으로 실증하는 연구에 집중되어 있었다. <표 1>에 문헌 선별 결과를 요약하여 나타내었으며, 선별된 문헌에 대한 질 평가는 <부록 1>에 수록하였다. 본 연구의 목적은 어떠한 구인의 효과 크기를 추정하는 것이 아니라 신생 구인을 새롭게 정의하고 개념화하는 데 있으므로, 문헌의 질 평가 결과를 기준으로 최종 문헌에의 포함 여부를 결정하지 않았으며, 연구 결과를 해석하는 데 있어 각 문헌의 중요도와 신뢰도의 근거로만 활용하였다.

1단계 자유 코딩에서는 총 108개의 의미 있는 단위 코드가 생성되었다. 이후 단위 코드들을 반복적으로 비교·분석하는 과정에서 동일한 현상을 다른 용어로 명명하거나 개념적으로 포함 관계에 있는 코드 25개를 정제하여 83개의 단위 코드를 확정하였다. 2단계 기술적 주제 도출 단계에서는 단위 코드의 내용 유사성에 따라 반복적으로 등장하는 공통적인 내용 단위를 귀납적으로 범주화하여 12개의 하위 요소를 도출하였고, 3단계 분석적 주제 도출 단계에서는 이를 상위 차원으로 묶어 4개 구인으로 수렴하였다. <표 2>는 시험 지능의 4개 구인이 도출되는 과정을, <표 3>은 최종 도출된 시험 지능의 4개 구인과 12개 하위 요소를 나타낸 것이다.

본 연구는 체계적 문헌 고찰과 주제 합성 결과로 도출된 4개 구인을 중심으로 시험 지능을 ‘학습자가 시험 상황에서 경험하는 다양한 인지적·정서적 반응을 효과적으로 인식 및 조절하고, 행동 전략을 통해 최적의 수행을 이끌어내는 종합적 실행 역량’으로 정의하고자 한다. 일반적인 지능(IQ)이 ‘학습자가 무엇을 알고 있는가?’를 측정한다면, 시험 지능(TI)은 ’학습자가 지닌 지식과 기술을 시험 상황에서 얼마나 효과적으로 인출할 수 있는가?’를 측정하는 실천적 지표라 할 수 있다. 다시 말해, 시험 지능은 학습자가 보유한 잠재 역량과 실제 시험에서 발현되는 수행 역량 사이의 간극에 관여하는 심리적 기제를 통합적으로 조망하는 개념인 것이다. [그림 3]은 본 연구에서 제안하는 시험 지능에 관한 이론적 모델을 시각화한 것이다.

그림 3. 시험 지능의 이론적 모델

Download Original Figure

본 연구가 제안하는 시험 지능의 이론적 모델에서 학습자의 상황 판단, 정서 인식, 정서 조절, 행동 전략 역량은 시간적 흐름(시험 전·중·후)에 따라 순차적으로 활성화되며, 그 결과가 다음 시험 주기로 환류되는 순환적(cyclic) 구조를 이룬다. 4개 구인을 순차적으로 표현한 것은 앞선 구인이 다음 구인의 발현 방향과 질적 수준에 영향을 미친다는 문헌 고찰 결과를 반영한 것이다. 즉, 학습자가 시험 상황을 어떻게 판단하는지에 따라 발현되는 정서가 달라지고, 그 정서를 어떻게 인식하고 조절하는지에 따라 행동 전략의 효과가 달라질 수 있다. 한편, 순환적 구조는 이전 시험에서 성공적으로 발휘한 시험 지능이 학습자의 효능감을 강화시켜 다음 시험의 상황 판단을 촉진하는 상황을 반영한 것으로, 시험 지능은 평가 경험이 누적됨에 따라 지속적으로 발달할 수 있는 가변적 역량으로 이해될 수 있다.

시험 지능 모델의 가장 근원적인 역량은 ‘상황 판단’으로, 학습자가 시험 상황을 어떻게 평가하는지에 관한 인지적 과정이다. 학습자가 높은 ‘효능감’을 가질수록 시험을 도전적 과제로 인식하여 긍정 정서와 적절한 전략을 이끄는 선순환이 형성된다. 또한, 학습자가 시험의 ‘중요성’을 높게 인식할수록 자부심과 같은 긍정 정서와 동기가 강화되며, 자신의 인지 및 준비 상태를 ‘객관성’ 있게 파악할수록 과도한 불안과 과잉 확신을 억제하며 성취를 높일 수 있다. 본 연구에서 상황 판단 구인을 가장 근원적이라고 본 것은 이 역량이 이후 발현되는 정서에 직접적인 영향을 미치고, 그 정서를 어떻게 인식하고 조절하는지에 따라 수행 결과가 달라지기 때문이다. 따라서 상황 판단 역량의 강화가 시험 수행 향상을 위한 첫 걸음이 될 수 있다고 보았다.

다음으로 연결되는 시험 지능 역량은 ‘정서 인식’으로, 발현된 정서를 학습자가 정확히 지각하고 변별하는 역량이다. 불안, 분노, 수치심과 같은 부정 활성 정서는 학습자의 작업 기억 용량을 점유하여 수행 능력을 저하시키고, 지루함, 절망 등의 부정 비활성 정서는 무력감을 증대시켜 집중력과 노력을 떨어뜨리는 반면, 희망, 자부심, 즐거움, 안도감 등의 긍정 정서는 인지적 유연성을 높여 수행을 향상시키는 데 기여한다. 이렇듯 발현된 정서에 따라 시험 수행이 전혀 다른 방향으로 진행되는 만큼, 학습자는 자신의 정서를 정확하게 인식하고 변별하는 역량을 갖출 필요가 있다.

부정적 정서가 일단 발현되었을지라도 학습자는 ‘정서 조절’을 통해 이를 관리할 수 있다. 시험 지능의 세 번째 역량인 ‘정서 조절’은 인식된 정서를 의도적으로 관리하고 수정하는 과정을 의미한다. 학습자는 ‘과제 초점 유지’를 통해 지금 해결해야 할 문제에 모든 인지적 자원을 집중시켜 평정심을 회복할 수 있고, ‘정서 초점 조절’을 통해 자신의 감정을 적절히 표현하거나 보다 완화된 형태로 전환함으로써 감정에 지나치게 매몰되는 상황을 피할 수 있다. 나아가 학습자가 시험 상황에서 위협적인 과제를 극복 가능한 도전적인 것으로 재해석하는 ‘인지적 재평가’를 통해서도 시험 수행을 성공적으로 이어나갈 수 있다. 이렇듯 학습자는 적절한 정서 조절 방법을 스스로 터득하며 시험에 몰입할 수 있는 상태를 스스로 조성해나갈 수 있어야 한다.

시험 지능의 마지막 역량은 ‘행동 전략’이다. 이는 교과 지식과는 별개로 시험에서 높은 점수를 획득할 수 있도록 돕는 구체적인 전략을 의미한다. 이 구인이 시험 지능의 가장 마지막 단계에 위치한다고 해서 그 중요성이 낮은 것은 아니며, 오히려 행동 전략이 온전히 실행되기 위해서는 상황 판단, 정서 인식, 정서 조절에 이르는 일련의 과정이 선행되어야 함을 의미한다. 행동 전략 역량에는 우선순위를 매겨 자원 배분을 최적화하고 시간을 관리하는 ‘시간·순서 관리’, 출제자의 의도를 정확히 파악하고 단서들을 이용하여 정답률을 높이는 ‘문항풀이 전략’, 지문 오독, 마킹 실수, 성급한 판단 등을 방지하기 위한 검토 행위를 통해 불필요한 점수 하락을 방지하는 ‘오류 방지’가 포함된다.

요컨대 본 연구가 제안하는 시험 지능 모델은 상황 판단, 정서 인식, 정서 조절, 행동 전략의 4개 구인이 단일 시험 맥락 안에서 순차적으로 작동하며, 앞선 구인이 다음 구인의 발현을 조건화하는 과정적 구조를 보여준다. 여기서 상황 판단 구인은 정서의 인식과 조절, 나아가 행동 전략의 실행에 이르는 전 과정을 이끄는 근원적 동력으로 작동한다. 또한 이 구조는 단일 시험에서 마무리되는 것이 아니라, 성공적으로 발휘된 시험 지능이 학습자의 효능감을 강화하여 다음 시험의 상황 판단을 촉진하는 순환적 환류를 형성함으로써 시험 지능이 평가 경험의 누적을 통해 지속적으로 발달할 수 있는 가변적 역량임을 시사한다. 이는 학습자의 고정된 능력이나 우연적 요인에 의해 시험 결과가 결정되는 것이 아니라 교육적 개입을 통해 함양 가능한 역량의 산물일 수 있음을 함의한다.