Robust Nonparametric Bayesian HMMs for Discovering Dynamic Dependency Structures
동적 의존성 구조 발견을 위한 강건한 비모수 베이지안 HMM 연구
- 주제(키워드) Bayesian nonparametric modeling , Dynamic graphical models , Robust Bayesian inference , Hierarchical Dirichlet process (HDP) , Highdimensional time-series analysis , 베이지안 비모수 모델링 , 동적 그래픽 모델 , 강건 베이지안 추론 , 계층적 디리클레 과정 , 고차원 시계열 분석
- 발행기관 고려대학교 대학원
- 지도교수 최태련
- 발행년도 2026
- 학위수여년월 2026. 2
- 학위명 석사
- 학과 및 전공 대학원 통계학과
- 세부전공 통계적데이터과학 전공
- 원문페이지 81 p
- 실제URI http://www.dcollection.net/handler/korea/000000309121
- UCI I804:11009-000000309121
- DOI 10.23186/korea.000000309121.11009.0302409
- 본문언어 영어
초록/요약
This thesis investigates a robust Bayesian nonparametric graphical model for inferring dynamic dependency structures in multivariate time-series data. Existing parametric dynamic graphical models require the number of latent states to be specified in advance and exhibit reduced estimation performance when outliers are present. To address these limitations, this study proposes an extended model, the HDP-dDT, which enhances both the autonomy and robustness of analysis. The flexibility of the proposed model is achieved in two main directions. First, structural flexibility is ensured by introducing a Hidden Markov model based on the Hierarchical Dirichlet Process (HDP-HMM), which allows the data to autonomously learn the number of latent states and transition points without subjective intervention by the researcher. Second, distributional robustness is achieved by combining the Dirichlet-t distribution in the observation model, allowing stable inference even in data environments containing outliers or heavy tails. In addition, a spike-and-slab prior is imposed on the precision matrix to induce sparsity and improve the interpretability of the network structure. Simulation studies show that the proposed model achieves segmentation accuracy comparable to fixed-state models even without prior knowledge of the number of states and demonstrates strong robustness in contaminated data environments. Empirical analysis also confirms that the model successfully identifies latent regimes embedded in real data and stably reconstructs network structures. This study is expected to contribute to reducing the burden of model selection and improving the reliability of analysis in complex time-series modeling.
more초록/요약
본 논문에서는 다변량 시계열 데이터의 동적 의존성 구조를 추론하기 위한 강건한 베이지안 비모수 그래픽 모형을 고찰한다. 기존의 모수적 동적 그래픽 모형은 잠재 상태의 개수를 사전에 지정해야 하며, 이상치가 포함된 환경에서 추정 성능이 저하되는 한계가 있다. 본 연구에서는 이러한 제약을 보완하기 위해 기존 모형을 확장한 HDP-dDT 모형을 제시하고, 분석의 자율성과 강건성 을 확보한다. 본 모델의 유연성은 크게 두 가지 방향에서 확보된다. 첫 번째는 모형 구조의 유연성으로, 계층적 디리클레 과정을 기반으로 한 은닉 마르코프 모형을 도입하여 연구자의 주관적 개입 없이 데이터로부터 잠재 상태의 개수 와 전이 시점을 자율적으로 학습한다. 두 번째는 분포적 가정의 강건성으로, 관측 모델에 디리클레-t 분포를 결합하여 이상치나 두꺼운 꼬리를 가진 데이터 환경에서도 안정적인 추론을 유지한다. 또한, 정밀도 행렬에 스파이크-앤-슬랩 사전분포를 부여하여 네트워크 구조의 희소성을 유도하고 통계적 해석력을 높였다. 시뮬레이션 연구를 통해 본 모델은 상태 수 정보가 없는 상황에서도 기존 고정 상태 모형과 대등한 분절 정확도를 보였으며, 특히 오염된 데이터 환경에서 우수한 강건성을 확인하였다. 실증 데이터 분석에서도 실제 데이터에 내재된 잠재 상태를 식별하고 네트워크 구조를 안정적으로 복원하는 유의미한 결과를 도출하였다. 본 연구는 복잡한 시계열 분석 과정에서 모델 선택의 부담을 완화하고 분석의 신뢰성을 높이는 데 기여할 것으로 기대된다.
more목차
Abstract i
Contents v
List of Tables viii
List of Figures ix
1 Introduction 1
1.1 Research Background 1
1.2 Motivation 3
1.3 Research Objectives 6
1.4 Research Contributions 8
1.5 Organization of the Thesis 9
2 Literature Review 12
2.1 Graphical Models and Conditional Dependence 12
2.1.1 Gaussian Graphical Models and the Precision Matrix 12
2.1.2 Correlation versus Causality: Interpretation Boundaries of Undirected Graphs 14
2.2 Regime Switching and Dynamics 15
2.2.1 Hidden Markov Models and Segmentation 16
2.2.2 Hierarchical Dirichlet Process HMM and Sticky Extension 17
2.3 Robustness: Scale Mixture Models for Heavy-tailed and Outlier-resistant Inference 20
2.3.1 Multivariate Student-t Distribution and Outlier Handling 20
2.3.2 Dirichlet-t Process and Component-wise Adaptive Scaling 22
2.4 Structure Learning: Sparsity and Positive Definiteness 25
2.4.1 Spike-and-Slab Prior for Edge Selection 25
2.4.2 Block Gibbs Sampler and Positive-definiteness Guarantee 26
2.5 Comparative Summary and Research Differentiation 30
2.5.1 Three-axis Comparison: Dynamic, Robust, and Non-parametric Perspectives 30
2.5.2 Comparative Summary Table 31
2.5.3 Integrative Interpretation and Research Gap 32
3 Methodology 33
3.1 Model Overview 33
3.2 Non-parametric State Modeling: The Sticky HDP-HMM 37
3.3 Robust Observation Model with Gaussian Graphical Structure 41
3.4 Posterior Inference 44
3.4.1 State Transition and Dynamic Parameter Updates 44
3.4.2 Robust Scale Parameter Updates (Dirichlet-t Mixture) 45
3.4.3 Precision Matrix and Graph Structure Updates 46
3.4.4 Convergence Diagnostics 48
4 Simulation 49
4.1 Experimental Design and Scenarios 49
4.2 Segmentation Accuracy and Non-parametric Autonomy 51
4.3 Robustness and Structural Sensitivity 51
4.4 Analysis of Effective Number of States 52
4.5 Computational Efficiency and Comparison with Baselines 53
4.6 Summary and Discussion 54
5 Empirical Data Analysis: Application to the UCI HARTH Dataset 55
5.1 Data and Experimental Setup 55
5.2 Parameter Sensitivity and Autonomous State Discovery 56
5.3 Comparative Performance and Robustness Analysis 57
5.4 Interpretation of Precision Structures and Limitations 59
5.5 Summary and Implications 60
6 Conclusion 61
6.1 Summary of the Study 61
6.2 Academic Contributions and Significance 62
6.3 Limitations and Discussion 63
6.4 Concluding Remarks 64
Bibliography 65
