검색 상세

Dynamic Multi-biosignal Fusion for Detecting the Mental States of Drivers and Passengers in Vehicles

  • 박서현 (박서현, 대학원 뇌공학과 뇌공학전공)

초록/요약

As transportation systems grow in complexity and autonomous vehicle technologies advance, detecting the mental states of drivers and passengers is crucial for enhancing traffic safety and user experience. Recent studies have explored multi-modal biosignal fusion to monitor these states. Despite these efforts, existing methods fail to reflect the complexity and usefulness of various modalities, and do not consider the informativeness of biosignals based on signal quality or the contribution of each modality as biomarkers. To address this issue, we introduce dynamic multi-biosignal fusion (DMBF) to detect the mental states of drivers and passengers. DMBF employs a dynamic gate mechanism that estimates reliability based on data quality through confidence-aware learning, integrating this information into the learning process. Moreover, a spatial-temporal attention module is utilized to capture and combine key biosignal patterns across channels and time. Extensive evaluations were conducted on five datasets related to motion sickness, drowsiness, distraction, emotions, and sustained attention. Each dataset yielded F1 scores of 0.5569, 0.7187, 0.6647, 0.9378, and 0.8092, respectively, outperforming existing baseline models. The experimental results and ablation studies have demonstrated that DMBF is a more robust and versatile method for detecting the mental states of drivers and passengers. DMBF provides a foundation for future enhancements in traffic safety and passenger experience and has the potential for broader applications in multi-biosignal monitoring systems.

more

초록/요약

교통시스템의 복잡성이 증가하고 자율 주행 차량의 발전에 따라 운전자 및 승객의정신상태를탐지하는시스템의개발이교통안전과사용자경험을향상시키는데에 매우 중요해지고 있다. 최근 이러한 상태를 모니터링하기 위해 다중생체신호 융합 연 구들이 많이 이루어지고 있다. 그럼에도 불구하고, 기존 방법들은 다양한 모달리티의 복잡성과 유용성을 반영하지 못하며, 신호 품질에 따른 생체신호의 정보성이나 각 모달리티의 바이오마커로서의 기여도를 고려하지 않는다. 이 문제를 해결하기 위해, 우리는 운전자와 승객의 정신 상태를 감지하기 위한 동적 다중 생체신호 융합 방법을 제안한다. 제안된 방법은 신뢰도를 추정하는 동적 게이트 메커니즘을 통해 데이터 품질에 기반한 신뢰도 추정을 수행하며, 이 정보를 학습 과정에 통합하는 신뢰도 인식 학습을 활용한다. 또한, 공간-시간 주의 모듈을 사용하여 채널과 시간에 걸쳐 주요 생체신호 패턴을 포착하고 결합한다. 실험은 멀미, 졸음, 부주의, 감정, 그리고 지속적인 주의력에 관련한 데이터세트에 대해 광범위하게 평가되었으며, 4겹 교차검증에서 각각 0.5569, 0.7187, 0.6647, 0.9378, 0.8092 F1 점수로 다섯 개의 데이터 세트 모두에서 뛰어난 성능을 달성했다. 실험 결과를 바탕으로 제안된 동적 융합 방식이 기존의 생체신호 융합 방법론들에 비해 차량 탑승자의 정신상태를 분류하는 데 더 적합하고 효과적이라는 것을 입증하였다. 우리의 방법론은 교통 안전과 사용자 경험의 향상을 위한 미래의 개선에 기초를 제공하며, 다중 생체신호 모니터링 시스템의 더 넓은 응용 가능성을 시사한다.

more

목차

Table of Contents
Abstract i
국문초록 iii
Preface v
Acknowledgment vi
Table of Contents vii
List of Tables x
List of Figures xii
1 Introduction 1
2 Related Works 5
2.1 Multi-modal Fusion Research for Detecting the Mental State . . . . . . . 5
2.2 Dynamic Fusion Research . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.3 Uncertainty Modeling and Confidence Estimation Research . . . . . . . . 7
3 Materials 8
3.1 Dataset Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
3.1.1 Motion Sickness Dataset . . . . . . . . . . . . . . . . . . . . . . 9
3.1.2 Drowsiness Dataset . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.1.3 Distraction Dataset . . . . . . . . . . . . . . . . . . . . . . . . . 13
3.1.4 manD 1.0 Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . 15
3.1.5 Sustained Attention Dataset . . . . . . . . . . . . . . . . . . . . 15
3.2 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.2.1 Motion Sickness Dataset . . . . . . . . . . . . . . . . . . . . . . 16
3.2.2 Drowsiness Dataset . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.2.3 Distraction Dataset . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.2.4 manD 1.0 Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.2.5 Sustained Attention Dataset . . . . . . . . . . . . . . . . . . . . 18
4 Method 19
4.1 Confidence Estimation for Gating Mechanism . . . . . . . . . . . . . . . 19
4.2 Confidence-aware Learning . . . . . . . . . . . . . . . . . . . . . . . . . 20
4.3 Spatial-Temporal Attention Module (STAM) . . . . . . . . . . . . . . . . 23
5 Experiments 25
5.1 Implementation Details . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
5.2 Baseline Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
6 Results and Discussion 28
6.1 Performance Comparison of Various Models . . . . . . . . . . . . . . . . 28
6.2 Evaluation of MoE Backbone Networks . . . . . . . . . . . . . . . . . . 32
6.3 Ablation Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
6.4 Qualitative study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
6.4.1 Performance Comparison of Feature Representations by Layers . 34
6.4.2 Comparison of Label Contributions by Components . . . . . . . 35
7 Conclusion 36

more
반출 Meta View 목록