LLM 기반 정성적 특성을 활용한 대학수학능력시험 국어 독서 문항 정답률 예측
초록/요약
문항 난이도의 정확한 예측은 평가의 공정성과 신뢰성에 직접적인 영향을 미친다는 점에서 대규모 표준화 시험에서 중요한 문제로 여겨진다. 기존 연구들은 주로 언어적 복잡도나 신경망 기반 임베딩 표현에 초점을 맞추어 왔으나, 이러한 접근 방식은 실제 문제 해결 과정에서 요구되는 추론 난이도와 인지적 부담을 명시적으로 반영하는 데 한계가 있다. 이를 해결하기 위해 본 연구에서는 두 가지 유형의 특성 집합을 활용하여 수능 국어 독서 문항의 난이도를 예측하는 머신러닝 기반 프레임워크를 제안하였다. 첫 번째 특성 집합（F1）은 언어적 · 구조적 정보를 포함하는 정량적 문항 특성으로 구성되며, 두 번째 특성 집합（F2）은 대형 언어모델（LLM）을 활용하여 추출한 정성적 특성으로 구성된다. 여기에는 지문 소재 비친숙성 및 정보 밀도, 글의 전개 구조 난해성, 풀이사고 과정 복잡도, 오답 선택지 혼동 가능성이 포함된다. 실험은 2016년부터 2024년까지의 수능 국어 독서 데이터를 활용하여 시간 기반분할과 계층화 분할 환경에서 수행하였다. 실험 결과, 제안한 특성만을 활용한 모델은 문맥 기반 임베딩 모델과 유사하거나 더 우수한 성능을 보였다. 특히 난이도 분류 과제에서는 시간 기반 분할 환경에서 최고 F1-score 0.6215를 기록하였다. 또한 제거 연구 결과, LLM 기반 특성은 기존 정량적 특성만으로 설명하기 어려운 보완적 정보를 제공하는 것으로 나타났으며, 각 특성의 기여 방식은 예측 과제에 따라 다르게 나타났다. 종합적으로 본 연구는 정량적 문항 특성과 LLM 기반 정성적 특성을 결합하는 방식이 수능 독서 문항의 난이도를 효과적이고 해석 가능한 방식으로 설명할 수 있음을 보여준다.
more목차
초록 i
Abstract iii
서문 v
목차 vi
표 목차 viii
그림 목차 ix
1장. 서론 1
2장. 관련 연구 4
2.1 전통적인 문항 난이도 추정 방법 4
2.2 자동 문항 난이도 추정 연구 5
2.3 독해 문항 난이도 추정 연구 5
2.4 언어적 · 의미적 특성 기반 접근 6
2.5 수능 난이도 추정 연구 7
2.6 기존 연구의 한계 7
3장. 연구 방법 9
3.1 데이터셋 9
3.2 특성 설계 10
3.2.1 정량적 문항 특성（F1） 11
3.2.2 LLM 기반 특성（F2） 13
3.3 실험 설정 13
3.3.1 텍스트 표현 방식 14
3.3.2 특성 결합 및 모델 구성 15
3.3.3 데이터 분할 방법 및 평가 지표 15
4장. 실험 결과 18
4.1 정답률 예측 성능 분석 18
4.2 난이도 분류 성능 분석 19
4.3 LLM 기반 특성에 대한 제거 연구 21
4.3.1 정답률 예측 과제 21
4.3.2 난이도 분류 과제 22
4.3.3 고난도 문항 분석 23
4.3.4 회귀 및 분류 과제에서의 특성 역할 비교 24
5장. 결론 25
참고문헌 27
부록 33
A Image description 생성 프롬프트 33
B LLM 기반 정성적 특성 추출 프롬프트 34
