Automated Evaluation of Pronunciation for L2 English Learners
영어 학습자를 위한 자동 발음 평가 연구
- 주제(키워드) Computer-assisted pronunciation training (CAPT) , Automated evaluation of pronunciation , Inter-rater agreement , Feedback , Automatic Speech Recogntiion (ASR) , Computer-assisted language learning (CALL)
- 발행기관 고려대학교 대학원
- 지도교수 남호성
- 발행년도 2021
- 학위수여년월 2021. 8
- 학위구분 박사
- 학과 대학원 영어영문학과
- 세부전공 영어학
- 원문페이지 178 p
- UCI I804:11009-000000251599
- DOI 10.23186/korea.000000251599.11009.0001221
- 본문언어 영어
초록/요약
This research aims to develop an automated evaluation system of English pronunciation which provides score feedback on phoneme, rhythm, intonation, and stress, and empirically test the system’s educational effectiveness. The research questions of this study are as follows: (1) Will an automated evaluation system of English phoneme perform as equivalent as human raters if native English speakers’ phoneme distributions are applied? (2) Will an automated evaluation system of English suprasegmental features, i.e., rhythm, intonation, and stress, perform as equivalent as human raters if proper acoustic features are used? (3) Will the use of the automated pronunciation evaluation system improve L2 English learners’ pronunciation and motivation for practice? Automated evaluation system of English phonemes was developed using the deep neural network-hidden Markov model with American-accented English speech data. Automated evaluation systems of English rhythm, intonation, and stress were developed using multiple linear regression with Japanese-accented English speech data. The system performance was validated by estimating score agreement between the machine and the human raters. The effect of the system on improving English learners’ pronunciation and motivation was studied by experiments with Korean university students. The machine score trend throughout the practice and the survey response after the practice were analyzed. Automated evaluation systems of English phonemes, rhythm, intonation, and stress all showed human-equivalent performance with high human-machine score agreement. The experimental results showed that the system had a positive effect on enhancing pronunciation and motivation. In conclusion, automated evaluation systems of English pronunciation with human-equivalent performance were successfully developed and the system’s educational effectiveness was also proven.
more초록/요약
본 연구는 영어의 음소, 리듬, 강세, 억양 4개 요소별 자동 발음 평가 시스템을 개발하고 해당 기술의 교육적 효용성을 입증하는 것을 목표로 한다. 주요 연구 질문은 (1) 자동 영어 음소 평가 시스템은 원어민 영어 화자의 음소 분포를 적용하면 인간 평가자와 동등한 수준의 평가를 할 것인가? (2) 리듬, 억양, 강세에 대한 자동 발음 평가 시스템은 적절한 음향 단서를 입력하면 인간 평가자와 동등한 수준의 평가를 한 것인가? (3) 자동 발음 평가 시스템의 사용이 영어 학습자의 발음과 발음 연습 동기부여에 도움이 될 것인가? 자동 음소 평가 시스템은 미국 영어 원어민 음성 데이터에 대해 DNN-HMM 알고리즘으로 훈련하였다. 자동 초분절음 평가 시스템은 일본인의 영어 음성 데이터에 대해 다중 회귀 모델 알고리즘으로 훈련하였다. 시스템 성능은 시스템과 인간 평가자 간의 점수 일치도 계산을 통해 검증되었다. 자동 발음 평가 시스템이 영어 학습자의 발음과 학습 동기 부여에 미치는 영향을 알아보기 위하여 한국 대학생들을 대상으로 실험을 진행하였다. 자동 발음 평가 시스템으로 발음 연습을 진행함에 따라 저장되는 발음 점수의 추이와 시스템에 대한 설문조사 답변을 분석하였다. 영어의 음소, 리듬, 억양 그리고 강세에 대한 자동 평가 시스템은 모두 인간 평가자와 유사한 수준의 점수 일치도를 보여 평가 성능이 검증되었다. 대학생들을 대상으로 진행한 실험 결과는 자동 발음 평가 시스템이 발음 정확도와 동기 부여 향상에 긍정적인 효과를 일으키는 것으로 밝혀졌다. 결론적으로, 인간 평가자 수준의 자동 영어 발음 평가 시스템이 성공적으로 개발되었고, 그 교육적 효과까지 입증되었다.
more목차
List of Tables 1
List of figures 3
Abbreviations 4
Glossary 6
1. Introduction 7
1.1 Prologue 7
1.2 Outline 8
1.2.1 Problem 8
1.2.2 Goal 9
1.2.3 Thesis contributions 10
2. Literature Review 11
2.1 Computer-assisted language learning 11
2.2 Computer-assisted pronunciation training 12
2.2.1 Automated evaluation of segmental level pronunciation 12
2.2.2 Automated evaluation of suprasegmental level pronunciation 15
2.2.3 Effectiveness of CAPT system 16
2.3 Summary 17
3. Automated pronunciation evaluation system 17
3.1 Automated evaluation system 17
3.1.1 Process 17
3.1.2 Database 18
3.1.3 Model Algorithms 22
3.1.4 Metrics 24
3.2 Phoneme evaluation 26
3.2.1 Introduction 26
3.2.2 Methods 27
3.2.3 Result 35
3.2.4 Conclusion 36
3.3 Rhythm evaluation 37
3.3.1 Introduction 37
3.3.2 Methods 38
3.3.3 Result 44
3.3.4 Conclusion 48
3.4 Intonation evaluation 50
3.4.1 Introduction 50
3.4.2 Methods 51
3.4.3 Result 56
3.4.4 Conclusion 61
3.4 Stress evaluation 61
3.4.1 ASR-based model 61
3.4.2 Multiple linear regression model 66
4. Study on the effectiveness of feedback in an ASR-based CAPT system 71
4.1 Introduction 71
4.1.1 Problem 71
4.1.2 Goal 72
4.2 Methods 73
4.2.1 Participants 73
4.2.2 Procedure 74
4.2.3 Stimuli preparation 75
4.2.4 CAPT tool 76
4.3 Results 78
4.3.1 Effect of using CAPT on score improvement 78
4.3.2 Effect of feedback type on score improvement 81
4.3.3 Effect of feedback type on participation 85
4.3.4 Effect of English proficiency on score improvement 89
4.3.4 Effect of English proficiency on participation 92
4.3.5 Other findings 93
4.4 Conclusion 96
4.4.1 RQ1: Does an automated evaluation system of English pronunciation have an effect on pronunciation improvement and learner satisfaction? 96
4.4.2 RQ2: Does subword score feedback type have an effect on pronunciation improvement? 97
4.4.3 RQ3: Does subword score feedback type have an effect on motivation in learning? 98
4.4.4 RQ4: Does English proficiency have an effect on pronunciation improvement? 99
4.4.5 RQ5: Does English proficiency have an effect on motivation in learning? 100
4.4.6 Other lessons 100
5. Conclusion 101
6. Future Studies 102
References 104
Appendices 119
국 문 초 록 136
