Automated Judgement of Video Watching in Online Class
- 주제(키워드) watching judgement , viewing judgement , online class , flipped learning , 시청 판단 , 온라인 수업 , 플립러닝
- 발행기관 고려대학교 대학원
- 지도교수 임희석
- 발행년도 2021
- 학위수여년월 2021. 8
- 학위구분 박사
- 학과 대학원 컴퓨터학과(정보대학)
- 세부전공 소프트웨어학 전공
- 원문페이지 121 p
- UCI I804:11009-000000252108
- DOI 10.23186/korea.000000252108.11009.0001257
- 본문언어 영어
초록/요약
Typically, people watch videos, such as dramas, movies, news, and YouTube videos, because they find them entertaining or informative. However, sometimes it is necessary to watch online learning videos or advertisements for personal or work-related goals. Furthermore, sometimes, it is necessary to watch safety videos that address important topics such as school violence, corporate violence, fire, industrial safety, and disasters. However, compelling people to watch videos places pressure on them, as a result of which they may play the videos without watching them. Specifically, in the field of education, videos are actively used in aspects such as e-learning, smart learning, flipped learning, and blended learning. Owing to the COVID-19 outbreak, remote learning has become the norm globally and classes have been moved online. However, online learning is inherently self-directed, and it is difficult to identify false viewers. Currently, online learning videos that have been watched to the end are marked as “viewing complete.” However, it is difficult to determine if the video was genuinely watched. In actual online training experiments, the effectiveness of video learning is often hampered by a lack of consistency. Currently, teachers cannot ascertain whether the students genuinely watched the learning videos. However, the evaluation of video-watching remains under-researched. These methods can easily solve simple obstacles, but even if the video stops, it then plays continuously as long as the obstacle is cleared, so it is eventually misjudged as viewing completion. Such instances can hardly be considered genuine viewing completion because, even if the students are distracted by other activities while watching videos, merely playing the video to the end is misjudged by the system as “viewing complete.” Therefore, it is necessary to accurately determine whether a viewer watched the online video normally. In this dissertation, a time interval different answer popup quiz (TIDAPQ) model to judge video watching is proposed. The proposed model presents two interval popup quizzes in a video that is approximately ten-minutes long. It calculates the time difference between the answer submissions (RESULT 1) and the individual correct answer score (RESULT 2). If both are TRUE, the TIDAPQ will judge the completion of the video as normal viewing, otherwise it will be judged as abnormal viewing. One hundred students of an engineering university were recruited as participants for the experiments through which the model was verified. The TIDAPQ model was able to identify normal and abnormal viewing with 93.31% and 85.71% accuracy, respectively. These results prove that TIDAPQ is highly effective for evaluating video-watching. However, although the effectiveness of TIDAPQ for evaluating video watching is proven by model verification, it is not known whether the model will be effective in real situations. Therefore, it is necessary to investigate its effectiveness in real contexts. Flipped learning classrooms were chosen to evaluate the effectiveness of TIDAPQ. Accurate evaluation of video-watching is essential for flipped learning wherein it is difficult to proceed with classroom activities without prior learning such as watching videos. Flipped learning is a form of education. Therefore, we examined whether the academic performance of students improved when TIDAPQ was applied (Experiment 1), and if the academic performance improved, it is necessary to investigate whether the improvement is attributable to TIDAPQ (Experiment 2). Therefore, we examined the correlation between TIDAPQ and the academic performance of students in the flipped learning context. If a positive correlation is found between TIDAPQ and effective flipped learning, it is necessary to quantitatively determine this correlation (Experiment 3). Therefore, we investigated the correlation between flipped learning with TIDAPQ and general flipped learning methods, specifically lecture video watching. According to the analysis of the average examination scores in Experiment 1, the experimental group scored approximately 20 points higher than the control group. The significance level was 0.018, indicating that students excelled more when TIDAPQ was incorporated into video-based learning compared to lecture-style classes. Therefore, we deduced that TIDAPQ had a positive effect on flipped learning academic performance. The analysis of Experiment 2 revealed a positive correlation between the general academic performance and a high normal watching completion rate according to TIDAPQ. Thus, it is evident that evaluation of video-watching by TIDAPQ has a significant impact on flipped learning, and that TIDAPQ is effective in actual flipped learning contexts. The analysis of Experiment 3 revealed that TIDAPQ encouraged people to watch videos. We also observed that watching lecture videos with TIDAPQ improved the effectiveness of flipped learning by 0.179 (p=0.001). Through this, we can confirm that TIDAPQ significantly improves the effectiveness of flipped learning. The study justifies the usefulness of a TIDAPQ model for ascertaining that online video watching is genuinely completed. In using TIDAPQ, an allowable time range is set using the viewer’s event time and watching completion is evaluated based on the individual correct answers in popup quizzes; herein lies the uniqueness of this study from extant approaches. Through this study, we expect that the TIDAPQ will be effectively deployed in areas requiring evaluation of video-watching completion.
more초록/요약
본 논문은 동영상 시청을 판단하기 위한 TIDAPQ(Time Interval Different Answer Popup Quiz) 모델을 제안한다. TIDAPQ는 10분 정도의 동영상 안에 두 번의 Interval Popup Quiz가 제시되며, ‘답안 제출 시간차’(RESULT 1)와 ‘개인별 차등 정답’(RESULT 2)을 계산하고, 이 둘을 종합하여 모두 TRUE가 나왔을 때 ‘정상 시청’으로 판단하고, 그렇지 않으면 ‘비정상 시청’으로 판단하는 모델이다. TIDAPQ를 개발한 후 공대 100명의 학생들을 실험 대상으로 모집하여 모델 검증을 하였다 동영상은 드라마, 영화, 뉴스, 정보, 타인의 사생활, YouTube 처럼 자신의 흥미와 만족을 위해 적극적으로 시청하는 형태도 있지만, 온라인 학습과 광고 등 원하지는 않지만 자신의 목표나 회사의 목적을 위해 시청해야 하는 경우도 있고, 나아가 학교 폭력, 회사 폭력, 화재, 산업 안전, 재해 등 안전을 위해 필수적으로 시청해야 하는 경우도 있다. 그러나 원치 않는 시청은 사람들에게 부담을 주며, 시청하지 않고 영상을 틀어 놓게 만든다. 특히 이러닝, 스마트러닝, 플립 러닝, 블런디드 러닝 같은 교육 분야에서는 동영상이 매우 활발하게 이용되고 있다. 2020년부터 지금까지 전 세계 대부분의 학교들은 COVID-19로 인해 휴교 령을 내렸으며, 온라인 원격 학습을 통해 수업을 하고 있다. 그러나 자기주도적으로 학습해야 하는 온라인 학습의 형태는 거짓 시청자들을 가려내기 어렵다. 현재 사용되는 온라인 원격 학습은 시스템 상 ‘시청 완료’로 표시되지만 실제 시청 했는지는 판단하기 어렵다. 실제 온라인을 이용한 교육 실험에서 학습 효과성에 일관성이 없는 이유는 동영상 학습과 관련이 매우 크다. 그러나 교사는 동영상 학습이 충실이 이루어졌는지 정확히 알 수 없으며, 동영상 시청 판단과 관련된 연구는 찾아보기 힘들다. 이러한 방법들은 간단한 장애물만으로도 쉽게 구현이 가능하지만 영상이 멈추더라도 장애물만 해결하면 이어서 플레이 되어 결국 시청 완료로 잘못 판단되는 형태이다. 이것은 동영상을 시청하지 않고 다른 활동을 하더라고 ‘시청 완료’로 잘못 판정하기 때문에, 정직한 동영상 시청 완료로 보기 어렵다. 따라서 온라인 동영상을 정상적으로 시청 했는지 정확한 판단이 필요하다. TIDAPQ의 모델을 검증한 결과, ‘정상적인 시청’ 판단 성능은 93.31%, ‘비정상적인 시청’ 판단 성능은 85.71%를 보였다. 이것으로 TIDAPQ가 동영상 시청 판단’에 높은 성능을 보임을 알 수 있었다. Chapter 4에서 TIDAPQ의 모델 검증을 통해 시청 판단의 성능을 확인했지만, TIDAPQ의 시청 판단이 실제 현장에서 목적에 맞게 효과적으로 사용 될지는 알 수 없다. 따라서 TIDAPQ를 실제 현장에 적용하여, TIDAPQ의 시청 판단이 효과적으로 사용되는지 알아볼 필요가 있다. 연구를 위해 선택한 현장은 플립 러닝 교실이다. 플립 러닝은 동영상 시청 등 선행 학습을 하지 않으면, 교실 활동을 진행하기 어려우므로, 정직한 동영상 시청 판단이 반드시 필요한 현장이다. 따라서 TIDAPQ의 시청 판단을 플립러닝 교실에 적용하여, TIDAPQ의 시청 판단이 효과적으로 사용되는지 절차적 세 가지 실험을 하였다. 플립러닝은 교육의 한 형태이므로 TIDAPQ를 적용 했을 때 효과성을 알아보기 위해 가장 먼저 학업성취도를 살펴 보았다. 두 번째, 첫 번째 실험결과로 TIDAPQ를 적용했을 때 학업성취도에서 긍정적인 결과가 도출되었다면, 그 원인이 TIDAPQ의 시청 판단 때문이었는지 확인해 볼 필요가 있다. 따라서 TIDAPQ의 시청 판단과 플립러닝의 학업성취도는 어떤 관계가 있는지 알아보았다. 세번째, 두번째 실험 결과로, 효과적인 플립러닝 학업성취도의 원인으로 TIDAPQ의 시청 판단의 영향이 있었다면, 그 영향 정도는 얼마나 되는지 양적으로 알아볼 필요가 있다. 따라서 TIDAPQ를 적용한 플립러닝과 일반적인 플립러닝 학습방법간의 상관관계를 알아보았고 그 중 강의 동영상 시청 학습방법에 좀 더 주목하였다. 실험 1의 학업성취도 평균 분석결과, TIDAPQ 플립러닝 집단(실험집단)은 강의식 집단(통제집단)에 비해 약 20점 정도의 높은 점수를 보여주었다. 유의수준은 .018로 실험결과는 유의하며, TIDAPQ를 적용한 플립러닝이 강의식 수업에 비해 학업성취도에 효과가 있음을 알 수 있다. 따라서, TIDAPQ를 통한 시청 판단이 플립러닝 학업성취도에 긍정적인 영향을 미친다는 것을 알 수 있다. 실험 2의 분석결과 ‘TIDAPQ의 정상적인 시청 완료 개수’가 증가 함에 따라 성적이 높아지는 ‘양의 상관관계’를 볼 수 있었다. 이것은 TIDAPQ의 시청 판단이 플립러닝 학습에 큰 영향을 주고 있다는 것이며, 실제 플립러닝 수업에서 TIDAPQ의 시청 판단이 효과적으로 사용되고 있다는 증거이기도 하다. 실험 3의 분석 결과TIDAPQ의 동영상 판단이 강의 동영상 시청을 유도한다는 것을 확인하였다. 또한 플립러닝 효과성에 TIDAPQ 강의 동영상 시청이 0.179의 영향을 주고 있음을 알아내었다. 이를 통해 TIDAPQ를 통한 강의 동영상 시청이 플립러닝 학습 효과성에 적지 않은 영향을 미침을 확인할 수 있다. 이 연구는 온라인 동영상의 정직한 시청 완료를 판단할 수 있는 TIDAPQ 모델을 개발했다는 것에 가치가 있다. 시청자의 이벤트 시간을 이용하여 허용 시간 범위를 정하고, 동일한 문제인데도 개인별 다른 정답을 이용해서 ‘시청 완료’를 판단한다는 것은 기존 연구와 차별화 된다. 본 연구를 통해 목적에 따라 ‘시청 완료’ 판단이 필요한 분야에 TIDAPQ가 적절하게 사용되길 기대한다.
more목차
1. Introduction 1
2. Background 7
2.1. Video Watching Judgement 8
2.1.1. The Appearance of the Video Watching Judgement System 10
2.1.2 Current Video Watching Judgement System 12
2.1.3 Khan Academy 13
2.1.4 Advertising Video Viewing Surveillance System 14
2.2. Flipped learning 18
2.2.1 Video and Class Time of Flipped Learning 19
2.2.2 Negative Result of Flipped Learning 21
3. Time Interval Different Answer Popup Quiz Model 25
3.1. Definition of Watching Completion 26
3.2. TIDAPQ Model 27
3.3. Time Interval Pass 31
3.3.1 Time Interval Pass Process 31
3.3.2 Quiz Appearance Time Range 32
3.3.3 Quiz Answer Time Range 34
3.3.4 Judgement of Time Interval Pass (RESULT 1) 35
3.4. Individual, Different Correct Answers 41
3.4.1 Different Correct Answers to the Same Quiz 41
3.4.2 Judgement of Individual, Different Correct Answer (RESULT 2) 43
3.5 Comprehensive Judgement of TIDAPQ 44
4. Time Interval Different Answer Popup Quiz Model Verification 45
4.1 Participants 46
4.2 Research Procedure 47
4.2.1 Experimental Design 47
4.2.2 Video Learning Design 48
4.3 Research Instrument 49
4.4 Analysis and Results 51
5. TIDAPQ’s Field Application Experiment Methods 53
5.1 Experiment Purpose 54
5.2 Experiment 55
5.3 Research Participants 58
5.4 Experimental Design 60
5.5 Learning Design 62
5.6 Classes Design 64
5.7 Experiment Tools 66
5.8 Data Processing 69
6. TIDAPQ’s Field Application Experiment Results 70
6.1 Academic Achievement Effectiveness of TIDAPQ Flipped Learning 71
6.2 TIDAPQ's Audience Judgment Effectiveness 72
6.3 Degree of Influence Between TIDAPQ and Flipped Learning Methods 78
6.3.1 Rankings of that TIDAPQ-Flipped Learning Contributions to Flipped Learning Methods 78
6.3.2 Quantitative Degree of that Flipped Learning Methods Contributions to TIDAPQ-Flipped Learning 80
7. Conclusion 84
Bibliograpy 93
Acknowledgement 102
국문초록 103
