The functional role of inhibition in the propagation of neural codes in the cortical and artificial neural network models
피질 및 인공 신경망 모델에서 신경코드 전파에 억제의 기능적 역할에 대한 연구
- 주제(키워드) Computational neuroscience , Neural code
- 발행기관 고려대학교 대학원
- 지도교수 곽지현
- 발행년도 2019
- 학위수여년월 2019. 8
- 유형 Text
- 학위구분 석사
- 학과 대학원 뇌공학과
- 원문페이지 146 p
- 실제URI http://www.dcollection.net/handler/korea/000000084433
- UCI I804:11009-000000084433
- DOI 10.23186/korea.000000084433.11009.0000939
- 본문언어 영어
- 제출원본 000045999306
초록/요약
초 록 신경코드, 속도코드(Rate code, 발화 속도) 및 시간코드(Temporal code, 정확한 발화 시간)는 뇌에서 신경정보 전파를 위해 사용되는 언어로 여겨진다. 이러한 신경코드가 유용하려면, 피드포워드 네트워크(Feedforward network, FFN) 구조의 뇌에서 안정적으로 전파되어야 한다. 신경코드의 전파는 FFN 모델을 이용한 계산적 연구들을 통해 광범위하게 연구되었다, 하지만, 이러한 연구에서 억제성 뉴런의 신경코드 전파에 대한 기여는 다루어 지지 않았다. 뇌의 피질영역에서 빠른 발화 특성의parvalbumin-양성 (PV) 억제성 뉴런과 낮은 발화 임계치 및 규칙적 발화 특성의 somatostatin-양성 (SST) 억제성 뉴런은 두 가지 독특한 억제성 뉴런의 하위 집단이다. 특히, PV와 SST는 서로 다른 단기 시냅스 가소성 특징을 가지고 있는데, PV로 들어오는 흥분성 시냅스 후 전위는 단기 시냅스 약화를 겪고 SST로 들어오는 흥분성 시냅스 후 전위는 단기 시냅스 강화를 겪는데, 이러한 사실은 그들이 신경코드 전파에 있어서 서로 다른 역할을 할 수 있음을 제시한다. 따라서, 본 학위 논문에서는 5-계층 FFN 모델을 이용하여 전통적인 속도코드(비동기 발화 속도)와 시간코드(펄스 패킷)의 전파에 PV와 SST 억제성 네트워크의 기여에 대해서 우선 조사하였다. 그 후에, 기계 학습 응용에 있어 이러한 생물학적 특성들이 어떤 의미를 가지는지를 확인하기 위해, 생물학적으로 사실적인 3-계층 FFN 모델에 속도 및 시간코드로 변환된 손 글씨 숫자 이미지의 전파 및 처리에 PV와 SST 억제성 네트워크의 기여에 대하여 조사하였다. 비동기 발화 속도 (10-20 Hz)의 전파에 관해서는, FFN에 억제성 뉴런 네트워크가 없을 때, 발화 속도가 현저하게 증가하여 발화 속도는 전파는 실패하였다. 반면, PV 억제성 뉴런 네트워크가 FFN에 있는 경우, 높은 감마 주파수 영역의 발화 속도 (50-80 Hz)에 대해서만 잘 전파됨을 볼 수 있었으며, SST 억제성 뉴런 네트워크가 있는 경우, 베타 주파수 영역의 발화 속도 (10-20 Hz)에 대해서만 잘 전파됨을 볼 수 있었다. 6:4의 비율로 PV와 SST의 억제성 뉴런 네트워크를 FFN에 포함시키면 모든 주파수 영역에서 발화 속도는 잘 전파될 수 있었으며, 이는 속도코드는PV 가 조금 더 다수일 때 전파가 촉진됨을 의미한다. 스파이크 수 a와 시간 분산 σ를 특성으로 하는 펄스 패킷(a: 20-200 스파이크, σ: 0-20 ms)의 전파는, FFN에 억제성 뉴런 네트워크가 없을 때, 오직 극도로 강하고 동기화 된 펄스 패킷 (a ≥ 180, σ ≤ 2)만이 전파되었다. 반면, PV 억제성 뉴런 네트워크가 FFN에 있는 경우, 강하고 비동기화 된 펄스 패킷 (a ≥ 120, σ ≤ 20)이 전파될 수 있었으며, SST 억제성 뉴런 네트워크가 FFN에 있는 경우, 약하고 비동기화 된 펄스 패킷 (a ≥ 60, σ ≤ 20) 또한 전파될 수 있었다. 1:9의 비율로 PV와 SST의 억제성 뉴런 네트워크를 FFN에 포함시키면 가장 많은 수의 펄스 패킷이 전파될 수 있었으며, 이는 시간코드는 SST 가 훨씬 다수일 때 전파가 촉진됨을 의미한다. 속도와 시간코드로 변환된 손 글씨 숫자 이미지의 전파는, PV 억제성 뉴런 네트워크를 포함한 FFN은 속도코드로 변환된 이미지를 성공적으로 전파하고 분류할 수 있었다. 반면 SST 억제성 뉴런 네트워크를 포함한 FFN은 시간코드로 변환된 이미지를 성공적으로 전파하고 분류할 수 있었으며, 이는 PV와 SST 가 선택적으로 속도 및 시간코드 전파 및 분류를 촉진시킴을 의미한다. 이러한 결과는 PV와 SST 의 동적 모집이 대뇌 피질 신경 네트워크에서 신경 정보 전파 및 처리에 중요한 기능적 역할을 할 수 있음을 설명한다. 또한, PV와 SST를 모두 포함하는 신경 과학에 영감을 받은 네트워크 구조는 스파이크 기반 인공 신경망 모델이 적응적으로 신경 정보를 전파하고 처리할 수 있게 합니다.
more초록/요약
Abstract The neural codes, rate (spike firing rates) and temporal codes (precise spike timing), are believed to be the language used in transmitting neural information in the brain. For such neural codes to be useful, they should be reliably propagated through a feedforward network (FFN) of the brain. The propagation of neural codes has been extensively examined in computational studies using FFN models. However, these studies have largely disregarded the contribution of inhibitory interneurons (INs). In the cortical areas, fast-spiking parvalbumin-positive (PV) and low threshold regular-spiking somatostatin-positive interneurons (SST) are the two distinct subtypes of INs. Especially, they display different short-term synaptic plasticity characteristics where excitatory postsynaptic potentials (EPSPs) to PV undergo short-term depression while ESPSs to SST undergo short-term facilitation, suggesting that they might have different roles in the propagation of neural codes. Therefore, in this thesis, I first investigated the contribution of PV and SST-like interneuronal networks on the propagation of conventional rate (asynchronous firing rate) and temporal codes (pulse-packets) using 5-layer FFN models. Then, to see the implication of these biological factors in machine learning applications, I investigated the contribution of PV and SST interneuronal networks on the propagation and processing of rate and temporal-coded handwritten digit images using biologically realistic 3-layer FFN models. As for the propagation of asynchronous firing rate (10-80 Hz), without interneuronal network in the FFN, firing rate failed to propagate because hyperexcitability occurred. However, the FFN that included PV interneuronal network could selectively propagate high-gamma frequency spike (50-80 Hz) while that included SST interneuronal network could selectively propagate beta-frequency spikes (10-20 Hz). Inclusion of both PV and SST interneuronal network to the FFN with a ratio of 6:4 could reliably propagate all ranges of frequencies, indicating that rate code was facilitated to propagate when the ratio of PV was slightly dominant. As for the propagation of pulse-packets characterized by the number of spikes a and temporal dispersion σ (a: 20-200 spikes, σ: 0-20 ms), without interneuronal network in the FFN, only extremely strong and synchronized pulse-packets (a ≥ 180, σ ≤ 2) were propagated. However, the FFN that included PV interneuronal network could propagate strong and dispersed pulse-packets (a ≥ 120, σ ≤ 20) while that included SST interneuronal network could propagate weak and dispersed pulse-packets (a ≥ 60, σ ≤ 20) as well as strong and dispersed pulse-packets (a ≥ 120, σ ≤ 20). Inclusion of both PV and SST interneuronal network to the FFN with a ratio of 1:9 could propagate a maximum number of pules-packets, suggesting that temporal code was enhanced to propagate when the ratio of SST was mostly dominant. As for the propagation of rate and temporal-coded handwritten digit images, the FFN that included PV interneuronal network could successfully propagate and classify rate-coded images. However, the FFN that included SST interneuronal network could successfully propagate and classify temporal-coded images, indicating that PV and SST selectively promoted the propagation and classification of rate and temporal codes, respectively. These results demonstrate that dynamic recruitment of PV and SST might have critical functional roles in the neural information propagation and processing in the cortical neural network. Also, neuroscience-inspired network architecture, including PV and SST makes it possible for spike-based artificial neural network models to propagate and process neural information adaptively.
more목차
Abstract
Contents
List of Figures
List of Tables
Chapter 1. Introduction 1
1.1 Neural codes: the language of the neurons 1
1.2 The propagation of neural codes 4
1.3 Distinct cortical inhibitory interneurons, PV and SST interneurons 7
1.4 The propagation of neural codes using computational modeling approaches 11
1.4.1 The computational neuroscience approaches 11
1.4.2 The machine learning approaches 15
Chapter 2. Objectives and Aim 19
Chapter 3. Materials and Methods 21
3.1 Feedforward network (FFN) models 21
3.1.1 5-layer FFN models 21
3.1.2 3-layer FFN models 30
3.2 Simulation and Analysis 34
3.2.1 Input stimuli 34
3.2.2 Data analysis 38
3.2.3 Simulation Environment 40
Chapter 4. The role of parvalbumin-positive (PV) and somatostatin-positive (SST) interneurons in the propagation of rate code in the 5-layer feedforward network (FFN) models 41
4.1 The propagation of different asynchronous firing rate in a purely excitatory FFN model (EX-FFN) 44
4.2 The propagation of different asynchronous firing rate in an FFN model with IN (EX-IN FFN) 48
4.3 The propagation of different asynchronous firing rate in an FFN model with either PV (EX-PV FFN) and SST (EX-SST FFN) 52
4.4 The propagation of different asynchronous firing rate in an FFN model with PV and SST (EX-PV-SST-FFN) 59
Chapter 5. The role of PV and SST interneurons in the propagation of temporal code in the 5-layer FFN models 63
5.1 Simulation and assessment of the propagation of temporal code 66
5.2 The propagation of pulse-packets in EX-FFN 69
5.3 The propagation of pulse-packets in EX-IN FFN 74
5.4 The propagation of pulse-packets in EX-PV FFN and EX-SST FFN 79
5.5 The propagation of pulse-packets in EX-PV-SST-FFN 88
Chapter 6. The role of PV and SST interneurons in the propagation of handwritten digit images in the 3-layer FFN models 93
6.1 Development and simulation of 3-layer FFN models 97
6.2 The propagation of rate-coded digit images in an FFN model with PV and SST interneurons 100
6.3 The propagation of temporal-coded digit images in an FFN model with PV and SST interneurons 109
Chapter 7. Discussion and Conclusion 118
7.1 The propagation of rate code with distinct inhibitory interneurons 120
7.2 The propagation of temporal code with distinct inhibitory interneurons 122
7.3 The propagation of handwritten digit images with distinct inhibitory interneurons 124
7.4 Conclusion 126
References 127
