검색 상세

음색 Spectrogram에 대한 CNN 학습 결과의 LRP를 통한 시각화

초록/요약

본 연구는 CNN이 spectrogram으로 변환된 음색 데이터를 학습함에 있어 인간 음색의 어떤 특징을 참조 하는지를 설명 가능한 인공지능 관점에서 시각화 해 보고자 한다. 이를 위해 spectrogram 이미지를 CNN에 input image로 넣어 학습시켰고, 학습된 CNN의 structure에서 input image의 score를 LRP(Layer-wise Relevance Propagation)를 통하여 계산하고 그것을 시각화 하였다. 기존의 특징을 추출해내어 진행되는 음색 분류 연구들과는 달리 본 연구에서는 딥러닝을 통해 학습된 spectrogram에서 LRP score를 통해 직접 특이점들을 시각화할 수 있다.

more

목차

Chapter 1. 서론 6
1.1. Objective of the Thesis 7
1.2. Thesis Structure 7
Chapter 2. CNN(Convolutional Neural Network) 9
2.1. Convolution layer 11
2.2. Pooling layer 13
2.3. Activation Functions 14
Chapter 3. LRP(Layer-wise Relevance Propagation) 18
3.1. LRP general concept 18
3.2. DNN과 CNN의 LRP 20
3.3. Relevance score on LRP 23
Chapter 4. Spectrogram 25
4.1. spectrum이란 25
4.2. spectrogram이란 27
Chapter 5. 실험 28
5.1. 데이터 28
5.2. 시뮬레이션에 쓰인CNN구조 30
5.3. 실험 결과 31
Chapter 6. 결론 36

more