수능 영어 읽기문항 난이도 변인 연구
A Study on Predictors of Difficulty in CSAT English Reading Items
- 주제(키워드) 수능 읽기 문항 난이도 , 평가의 유용성 , 타당성 , 신뢰성 , 수능 영어 킬러 문항
- 발행기관 고려대학교 대학원
- 지도교수 최인철
- 발행년도 2025
- 학위수여년월 2025. 2
- 학위명 석사
- 학과 및 전공 대학원 영어교육학과
- 세부전공 영어교육
- 원문페이지 123 p
- 실제URI http://www.dcollection.net/handler/korea/000000289983
- UCI I804:11009-000000289983
- DOI 10.23186/korea.000000289983.11009.0001881
- 본문언어 한국어
초록/요약
본 연구는 2022학년도부터 2024학년도까지 출제된 수능 및 모의고사 영어 읽기 지문의 난이도 예측 변인을 코퍼스 기반으로 분석하고, 난이도 상승 원인을 규명하여 해결책을 제시하고자 하였다. 최근 수능 영어에서 1등급 비율의 급격한 감소는 난이도 조절 실패로 인식되며, 이에 따라 문항 난이도를 분석하는 것이 필수적이다. 전체 문항을 대상으로 11개의 난이도 예측 변인과 정답률을 활용해 단계적 다중회귀분석을 실시한 결과, 매력 오답 개수와 EBS 연계 여부가 난이도에 가장 큰 영향을 미치는 주요 요인으로 확인되었다. 중심내용 찾기 유형에서는 문장 길이, 어휘 길이, 부정어 빈도가 유의미했으며, 문장이 짧고 부정어가 적을수록 난이도가 낮아지는 경향이 나타났다. 세부사항 유형은 어휘수, 매력 오답 개수, 어휘 친밀도가 중요한 요인으로 확인되었으며, 맥락 파악 유형에서는 어휘수와 어휘 친밀도가 난이도에 유의미한 영향을 미쳤다. 간접쓰기 유형은 어휘수와 매력 오답 개수가 난이도와 정답률에 유의미한 영향을 미치며, 선택지 구성이 지문보다 난이도에 큰 영향을 미치는 것으로 나타났다. 고난도 문항 분석에서는 EBS 연계 여부와 매력 오답 개수가 주요 변인으로 확인되었으며, 정성적 분석에서는 공교육에서 다루지 않는 복잡한 통사 구조와 추상적 개념이 난이도 상승의 원인으로 나타났다. 이러한 요소는 수험자의 언어적 능력과 상호작용하지 못하며, 학습 경험과 시험 과제 간 단절을 초래하여 상호작용성의 문제를 야기한다. 이는 평가 도구로서 수능의 타당성을 저해할 수 있음을 보여준다. 본 연구는 수능 영어 난이도의 주요 변인을 심층적으로 분석함으로써, 공정하고 변별력 있는 문항 출제를 위한 체계적 개선을 제안한다. 시험 설계는 공교육 체계와의 연계성을 강화하고, 수험자와 시험 과제 간의 상호작용을 촉진해야 한다. 이러한 접근은 신뢰도와 타당도를 동시에 확보하여 시험의 평가 목적과 유용성을 근본적으로 향상시키는 데 기여할 수 있다.
more초록/요약
This study aims to analyze the difficulty predictors of English reading texts featured in the College Scholastic Ability Test (CSAT) and mock tests from 2022 to 2024 using a corpus-based approach, identifying key factors contributing to increased test difficulty and proposing potential solutions. Recent sharp declines in the proportion of students achieving the top grade in CSAT English have been attributed to failures in difficulty adjustment, necessitating a deeper investigation into the factors influencing test performance. A stepwise multiple regression analysis was conducted using 11 difficulty predictors and response accuracy rates across all test items. The results identified distractor attractiveness and EBS text linkage as the most significant factors affecting item difficulty. For main idea identification items, sentence length, word length, and the frequency of negations showed significant associations with difficulty, with shorter sentences and fewer negations correlating with lower difficulty. In contrast, detail-focused questions highlighted the number of words, distractor attractiveness, and word familiarity as key predictors, emphasizing the prominence of lexical over syntactic features in determining difficulty. Contextual understanding questions, including inference and purpose-related items, revealed significant correlations between word count and word familiarity, with higher word counts contributing to increased error rates. The indirect writing item type, characterized by its demand for extensive reasoning, showed significant relationships between word count, distractor attractiveness, and item difficulty, suggesting that distractor design influences test-taker performance more than text properties. High-difficulty items were further analyzed through qualitative methods, confirming that these questions often featured complex syntactic structures and abstract concepts not addressed in the public education curriculum. Such features disrupt the interaction between test-takers’ linguistic abilities and task demands, reflecting a lack of alignment between students' learning experiences and test expectations. This mismatch undermines the test’s validity as an assessment tool, contributing to interactional issues and ultimately compromising the usefulness and fairness of the CSAT. This study aims to conduct an in-depth analysis of the key factors influencing the difficulty level of the English section in the CSAT and to propose systematic improvements for developing fair and discriminative test items. Effective test design should strengthen alignment with the public education curriculum and foster meaningful interaction between test-takers and test tasks. Such an approach ensures the simultaneous enhancement of reliability and validity, thereby contributing to the overarching goals of assessment and fundamentally improving its usefulness.
more목차
초록 i
ABSTRACT iii
목차 v
표 목차 viii
그림 목차 x
Ⅰ. 서론 1
1.1 연구의 필요성 1
1.2 연구의 목적 4
Ⅱ. 이론 및 선행연구 6
2.1 평가의 유용성(Test Usefulness) 6
2.1.1신뢰도(Reliability) 8
2.1.2구인 타당도(Construct validity) 8
2.1.3진정성(Authenticity) 11
2.1.4상호작용성(Interactiveness) 12
2.1.5종합 논의 14
2.2 읽기 능력 평가 17
2.3 문항 난이도 연구 20
2.3.1난이도 개념 20
2.3.2 난이도 예측 변인 연구 22
2.4 Coh-Metrix 27
2.4.1 기초 산출지(Basic Counts) 28
2.4.2 어휘 다양성(Lexical Diversity) 29
2.4.3 단어 빈도수(Word Frequency) 29
2.4.4 통사적 복잡성(Syntactic Complexity) 30
2.4.5 응집성(Cohesion) 30
2.4.6텍스트 용이성 요인 지수(Text Easability Principal Component Scores) 31
2.5 대학수학능력시험 34
2.5.1 수능 영어 평가 방식 변화 34
2.5.2 수능 영어 문항 유형 37
2.5.3 수능 모의 평가 38
2.6 킬러 문항 39
2.6.1 수능 영어 킬러 문항 39
2.6.2 킬러 문항의 상호작용성문제 41
2.7 수능 난이도 선행연구 43
2.7.1 수능 난이도 타당성 연구 44
2.7.2 수능 난이도 예측 변인 연구 46
Ⅲ. 연구 방법 51
3.1 분석 대상 51
3.2 코퍼스 구축 51
3.3 분석 도구 52
3.4 분석 방법 59
Ⅳ. 연구결과 및 논의 61
4.1 전체 문항의 난이도 예측 변인 61
4.2 문항 유형별 난이도 예측 변인 66
4.2.1 문항 유형별 난이도 차이 66
4.2.2 중심내용 유형 다중회귀 분석 68
4.2.3 세부사항 유형 다중회귀 분석 71
4.2.4 맥락파악 유형 다중회귀 분석 72
4.2.5 간접쓰기 유형 다중회귀 분석 73
4.3 고난도문항의 난이도 예측 변인 75
4.4 고난도 문항의 정성적 분석 79
4.4.1 간접쓰기 유형 정성적 분석 80
4.4.2 빈칸추론 유형 정성적 분석 82
4.4.3 함축의미 유형 정성적 분석 84
Ⅴ. 결론 및 제언 86
5.1 요약과 결론 86
5.2 의의 및 제언 91
5.3 제한점 94
참고문헌 96
부록 105
A. 교육부 선정 킬러 문항 105
