[용어정리] Attributes of Connections within Layer - hidden states (25.2.17)

 

출처 : Efficient Processing of Deep Neural Networks (2.1)

 

1. DNN의 Layer 구조

• 대부분의 연산은 weighted sum (가중합) 을 기반으로 수행됨
• Layer의 구조는 "연결 방식"과 "가중치 속성"에 따라 결정됨
  • 대표적인 예로는 FC & CONV

---

1-1. Layer Connection 속성

• Layer의 연결 방식
  • Layer의 종류는 input, output간의 연결 방식으로 결정됨!!
  • Layer 심플하게 생각하자면 아래 그림들의 열축으로 이어진 동그라미들을 이으면  됨
    • • •  

• Fully Connected, FC : 완전 연결
  • 모든 입력이 모든 출력과 연결됨
• Sparsely Connected : 일부 입력만 출력과 연결됨
  • Global Connection
    
    • 입력이 네트워크 내 어떤 출력과도 연결될 수 있음
  • Local Connection
    • 입력이 특정 영역 내의 출력과만 연결됨

---

1-2.  Weight 속성

• Weight의 속성
  • Unique Weights : 각 연결이 서로 다른 가중치를 가질 수 있음 
  • Weight Sharing : 여러 연걸이 동일한 가중치를 공유함

---

1-3.  주요 Layer 속성

• FC Layer
  • 모든 입력과 출력이 연결됨
• CONV Layer (합성곱 레이어)
  • 희소 연결 + 지역 연결 + 가중치 공유
• 이 외에 다른 연산을 수행하는 레이어가 존재하며 이는 2.3절에서 다룸

---

2. 예시를 통한 이해

(a)
- FC : 모든 입력과 출력이 화살표로 연결되어 있음

- Sparsely Connected : Output 2개가 이전 hidden layer의 출력과 일부 화살표로 연결되어 있음

 

(b)

- feed forward  : input layer로 데이터가 입력이 되고 1개 이상으로 구성되는 hidden layer를 거쳐서 마지막에 output layer로 출력 값을 보내는 과정

• 이전 층에서 나온 출력 값 -> 층과 층 사이에 적용되는 가중치 영향을 받음 -> 다음 층의 입력 값으로 들어가는 과정
• 입력 층 -> 은닉 층 -> 출력 층으로, "오직 출력층 방향으로만" 향하는 것을 의미함

- Recurrent : 회귀