Single view, video-based diagnosis of Parkinson’s Disease
파킨슨병 진단에 대한 단일 카메라를 이용한 연구
- 주제(키워드) Parkinson’s disease , Gait analysis , Pose tracking , Classification , Clinical application , artificial intelligence , machine learning , gait , walking , video analysis , OpenPose , AlphaPose , neural network model , support vector machine , ensemble model , 2D camera , visual analysis , person detection , pose estimation , quantification , UPDRS , gait assessment , 파킨슨병 , 인공지능 , 머신러닝 , 보행 , 걸음 , 영상분석 , 오픈포즈 , 알파포즈 , 신경망모델 , 서포트벡터머신 , 앙상블 모델 , 2D 카메라 , 시각적 분석 , 사람인식 , 자세추정 , 정량화 , UPDRS , 보행평가
- 발행기관 고려대학교 대학원
- 지도교수 Christian Wallraven
- 발행년도 2024
- 학위수여년월 2024. 8
- 학위명 석사
- 학과 및 전공 대학원 인공지능학과
- 원문페이지 57 p
- 실제URI http://www.dcollection.net/handler/korea/000000288445
- UCI I804:11009-000000288445
- DOI 10.23186/korea.000000288445.11009.0001566
- 본문언어 영어
초록/요약
Parkinson's disease is the most common neurodegenerative disorder alongside dementia. It occurs due to the destruction of dopamine-producing cells in a part of our brainstem called the substantia nigra. Parkinson's disease (PD) is a chronic illness that significantly affects the quality of life for millions of patients. Given that many patients suffer from distress once a significant portion of dopamine cells are lost, initiating symptom management as early as possible is crucial. Therefore, extensive research is underway to develop early diagnostic tools. Recently, attempts have been made to diagnose human diseases, including Parkinson's, using artificial intelligence. However, diagnosing Parkinson's disease is challenging using imaging techniques like MRI or CT, especially in its early stages. Thus, diagnosing Parkinson's requires evaluating motor and cognitive symptoms manifested by the patient, which can be assessed using scales like the Unified Parkinson's Disease Rating Scale (UPDRS). In this context, we aimed to develop an artificial intelligence diagnostic system using a 2D camera. We wanted to investigate whether a machine learning approach based on the motor symptoms of Parkinson's could distinguish between Parkinson's patients and healthy individuals. To maximize this, we introduced various scientific methods that can quantitatively evaluate gait, along with several machine learning approaches. This approach yielded promising results. Our research aimed to eliminate inter-rater variability among examiners evaluating Parkinson's disease, thereby increasing reliability and enabling rapid diagnosis through a quantitative and automated system. We attempted two studies utilizing artificial intelligence: Study 1: Gait Analysis Using a 2D Camera We proposed a system that analyzes joint data of arms and legs from frontal videos of individuals walking towards the camera using frequency-based methods. We evaluated three machine learning models on features extracted from joint dynamics using two large datasets containing a total of 300 videos, including over 50 PD patients and healthy controls. The effectiveness of these models was assessed on datasets containing patients with "mild" or "early" symptoms. By maximizing features using Short Time Auto Correlation Function (ST-ACF) and Dynamic Time Warping (DTW), we not only confirmed typical clinical expectations but also demonstrated excellent generalization performance across datasets, with an ensemble classifier achieving up to 97% accuracy. Study 2: Advanced Approach - Multifaceted Analysis Through Scientific Gait Analysis Methods We conducted a multifaceted analysis using two frameworks for estimating human posture, nine quantified gait features, and three classification methods. Additionally, we discussed the limitations of previous approaches using Dynamic Time Warping (DTW). Overall, our results highlighted the potential utility of this approach in PD diagnosis, with gait features such as Margin of Stability achieving accuracies of 98.8% and 97% for "mild" and "early" cases, respectively, emphasizing the reliability of this approach in PD diagnosis.
more초록/요약
파킨슨병은 치매와 더불어 가장 흔한 퇴행성 신경과 질환이다. 이는 우리 뇌의 뇌간의 한 부분인 중뇌에서, 흑질이라는 부분에서의 도파민 세포들의 파괴로 일어난다. 파킨슨병(PD)은 수백만 명의 환자들의 삶의 질에 심각한 영향을 미치는 불치병이다. 도파민 세포들이 많은 부분 소실되어버린 후에 고통을 호소하는 환자들이 많기 때문에, 가능한 빨리 증상 치료를 시작하는 것이 중요하고, 이를 위해 조기 진단 도구를 개발하기 위한 많은 연구가 진행되고 있다. 이와 관련하여 최근 인간의 질병을 인공지능을 이용하여 진단하려는 시도가 일어나고 있는데, 파킨슨 병은 신경과 질환이기는 하나 초기 때에 MRI나 CT와 같은 영상학적 접근으로는 판별이 어렵다. 때문에 파킨슨병들을 진단하기 위해서는 환자에게서 외현적으로 드러나는 운동 증상과 인지 증상을 평가해야 하고, 이를 평가하는 UPDRS와 같은 척도들을 통해서 판별이 가능하다. 따라서 우리는 2D 카메라를 이용한 인공지능 진단 시스템을 개발하고자 하였다. 파킨슨병이 갖는 운동적 증상을 바탕으로 머신러닝적 접근이 파킨슨병과 정상인을 구분할 수 있는지 알아보고자 했다. 이를 극대화 하기 위해 우리는 여러가지 Machine Learning적 접근과 더불어 보행을 정량적으로 평가하는데 쓰일 수 있는 과학적인 방법들을 도입하였고, 이는 훌륭한 성과를 보여주었다. 우리가 진행했던 연구는 파킨슨병을 평가하는 검사자 간의 오차를 없애 신뢰도를 높히고, 정량화되고 자동적인 시스템을 통해 파킨슨병의 진단을 신속하게 할 수 있도록 함을 기대할 수 있다. 우리는 이에 대해 인공지능을 활용한 두 가지 연구를 시도하였다. 연구 1. 2D 카메라를 이용한 보행영상 분석 사람들이 카메라를 향해 걸어오는 전면 영상에서 양팔과 다리의 관절 데이터를 주파수 기반으로 분석하는 시스템을 제시한다. 총 300개 비디오가 포함된 두 개의 큰 데이터세트에서 50명 이상의 PD 환자와 건강한 대조군을 이용하여 관절 역학에서 추출된 주파수 기반 특징에 대해 세 가지 머신러닝 모델을 평가했다. 실험군으로 사용된 환자그룹은 "경미한" 또는 "약간의" 증상만을 가진 환자를 포함하는 두 개의 데이터셋에 대해 그 효과를 평가하였다. Short time Auto correlation function(ST-ACF)와 Dynamic Time Warping(DTW)를 이용하여 환자가 가지고 있는 feature를 극대화 하였고, 결과는 전형적인 임상적 기대(파킨슨병 환자의 다리 주파수가 느리다)를 확인할 뿐만 아니라, 앙상블 분류기의 경우 97%에 달하는 성능으로 데이터세트 간에도 뛰어난 일반화 가능성을 보여주었다. 연구 2. 발전된 방법. 보행을 분석하는 과학적 방법을 통한 다각적 분석. 우리는 사람의 자세를 추정하는 두 가지 framework와, 정량화된 서로 다른 아홉가지의 보행 특징 추출 방법, 그리고 세 가지 분류 방식을 사용하여 분류 성능을 다각적으로 분석하였다. 추가로, Dynamic Time Warping (DTW)을 사용하는 이전 접근법의 한계도 확인하고 논의하였다. 전체적으로, 우리의 결과는 안정성 한계(Margin of Stability)라는 보행 특징이 "경미한" 및 "약간의" 사례에서 각각 98.8% 및 97%의 정확도로 PD를 신뢰성 있게 식별할 수 있음을 보여주며, PD 진단에 있어 이 접근법의 잠재적 유용성을 강조하였다.
more목차
Table of Contents
Abstract i
국문초록 iv
Table of Contents vi
List of Tables viii
List of Figures x
1 General Introduction 1
2 Study I : Single-view,video-based diagnosis of Parkinson’s Disease based on arm and leg joint tracking 3
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.2 Related work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.3 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.3.1 Datasets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.3.2 Pose tracking and feature extraction . . . . . . . . . . . . . . . . 7
2.3.3 Feature extraction. . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.3.4 Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.4 Results. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.4.1 Frequency. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.4.2 Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.5 Discussion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
3 Study II : Single-view, video-based diagnosis of Parkinson’s Disease via Margin of Stability gait analysis 15
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
3.2 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.3 Datasets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.4 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.4.1 Pose Tracking Method . . . . . . . . . . . . . . . . . . . . . . . 19
3.4.2 Gait Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.4.3 Classification Models. . . . . . . . . . . . . . . . . . . . . . . . 26
3.5 Results. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.5.1 Gait Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.5.2 Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.5.3 Influence of Reference Choice for DTW. . . . . . . . . . . . . . 30
3.6 Discussion and Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . 31
4 Summary 36
