AI-Assisted Programming Learning Environment and Its Impact on Students’ Learning
- 주제(키워드) Adaptive learning , Large language models , Programming education , Self-determination theory , AI in education , Programming ability
- 발행기관 고려대학교 대학원
- 지도교수 김현철
- 발행년도 2024
- 학위수여년월 2024. 2
- 학위명 박사
- 학과 대학원 컴퓨터학과(정보대학)
- 세부전공 컴퓨터교육 전공
- 원문페이지 131 p
- 실제URI http://www.dcollection.net/handler/korea/000000280296
- UCI I804:11009-000000280296
- DOI 10.23186/korea.000000280296.11009.0000383
- 본문언어 영어
초록/요약
The rapid advancement of information technology and its integration into various fields necessitate the need for programming education across diverse disciplines. Recognizing this need, programming education has been increasingly emphasized from K–12 to higher education. However, providing personalized support for students during programming practice is challenging owing to constraints such as limited teacher availability and large class sizes. The integration of large language models (LLMs) in programming education presents a promising solution by providing adaptive learning support. However, there is a gap in understanding how to tailor these models to address students’ needs and their subsequent impact on students in a formal educational context. To address this gap, this study first designed an LLM-based programming learning environment (LPLE) with a focus on addressing students’ basic psychological needs (BPNs), as outlined in self-determination theory. This environment incorporates a fine-tuned LLM from prompt engineering, offers personalized feedback on students’ code, and effectively responds to inquiries. Experienced teachers validated the quality of the response generated by the LPLE. Subsequently, the LPLE was implemented with novice high school students using a mixed-methods, quasi-experimental design to explore its impact. The results demonstrated that the LPLE significantly supports students’ BPNs, enhancing autonomous motivation and programming ability. In addition, LPLE is more inclusive and accommodating for students with varying levels of autonomous motivation compared to conventional learning environments. This research also explored students’ learning behaviors in the LPLE in addition to their perceptions of how the LPLE affects their BPN satisfaction.
more초록/요약
정보 기술의 급속한 발전으로 다양한 학문 분야에서의 프로그래밍 교육의 필요성이 강조되고 있으며 이에 따라K-12부터 고등교육에 이르기까지 프로그래밍 교육이 확산되고 있다. 프로그래밍 교육에서는 실습이 주요한 학습 방법인데, 프로그래밍의 특성상 다양한 접근법과 해결책이 가능하기 때문에 학생들은 실습 중 맞춤형 학습이 필요하다. 하지만, 실제 수업 환경에서 학생들에게 이러한 맞춤형 학습을 제공하는 것은 매우 어렵다. 거대 언어 모델(Large Language Models, LLMs)의 활용은 이와 같은 문제에 효과적인 해결책이 될 수 있다. 이 생성형 인공지능은 프로그래밍 코드를 생성하거나 학생의 코드에 대해 피드백을 제공함으로써 맞춤형 학습을 제공할 수 있다. 하지만 실제 학습 환경에 LLMs을 효과적으로 적용하는 방법과 학생들에게 미치는 영향에 대한 연구가 미흡한 실정이다. 따라서 본 연구에서는 LLM 기반 프로그래밍 학습 환경(LPLE)을 설계하였고 이를 실제 수업에 적용하여 그 효과를 탐색하였다. 설계된 환경은 학습자의 자율적 동기(Autonomous motivation)을 지원할 수 있도록 자기결정 이론(Self-Determination Theory)에서 제시하는 기본 심리 욕구 (Basic Psychological Needs, BPNs)를 충족할 수 있게 설계되었다. 개발된 LPLE는 준 실험 방법으로 고등학생들을 대상으로 실제 학습 환경에 적용되었다. 연구 결과 LPLE가 기존 학습 환경에 비해 학생들의 BPNs을 유의하게 지원하여 학습자의 자율적 동기와 프로그래밍 능력을 향상시킨다는 것을 확인하였다. 또한, 본 연구는 학습자의 학습 로그를 분석하여 학습자의 LPLE에서의 학습 행동을 탐색하였으며 인터뷰를 통하여 학습자의 BPNs을 충족시켜준 요인들에 대해 분석하였다.
more목차
ABSTRACT i
국문 초록 iii
TABLE OF CONTENTS v
LIST OF TABLES vii
LIST OF FIGURES viii
CHAPTER 1. INTRODUCTION 1
CHAPTER 2. THEORETICAL BACKGROUND 5
2.1 Programming Education 5
2.2 AI in Education 9
2.3 Self-Determination Theory 19
2.4 Research Questions 25
CHAPTER 3. DESIGN OF AI-ASSISTED PROGRAMMING LEARNING ENVIRONMENT 26
3.1 Design Principle and Development 26
3.2 Prompt Design and Validation 34
3.2.1 Prompt Design of the LPLE 34
3.2.2 Evaluation of the Prompt Design of the LPLE 36
CHAPTER 4. EXPERIMENT ON THE IMPACT ON STUDENTS' PROGRAMMING LEARNING 45
4.1 Method 45
4.1.1 Participants 45
4.1.2 Measures 46
4.1.3 Experimental Procedure 48
4.1.4 Analysis 51
4.2 Experimental Results 53
4.2.1 BPN Satisfaction 53
4.2.2 Impact on Motivation 54
4.2.3 Impact on Programming Ability 57
4.2.4 Students’ Learning Behavior 66
4.2.5 Students’ Perceptions 71
CHAPTER 6. DISCUSSION 76
6.1 AI-Assisted Programming Learning Environment 76
6.2 Impact on Students’ Programming Learning 80
CHAPTER 7. CONCLUSION 88
REFERENCES 91
APPENDICES 118
A. Questionnaire 118
B. Examples of the Programming Ability Tests 120