AI

[용어정리] Attributes of Connections within Layer - hidden states (25.2.17)

마농농 2025. 2. 17. 12:19

 

출처 : Efficient Processing of Deep Neural Networks (2.1)

 

1. DNN의 Layer 구조

  • 대부분의 연산은 weighted sum (가중합) 을 기반으로 수행됨
  • Layer의 구조는 "연결 방식"과 "가중치 속성"에 따라 결정됨
    • 대표적인 예로는 FC & CONV

1-1. Layer Connection 속성

  • Layer의 연결 방식
    • Layer의 종류는 input, output간의 연결 방식으로 결정됨!!
    • Layer 심플하게 생각하자면 아래 그림들의 열축으로 이어진 동그라미들을 이으면  됨
          •  
  • Fully Connected, FC : 완전 연결
    • 모든 입력이 모든 출력과 연결됨
  • Sparsely Connected : 일부 입력만 출력과 연결됨
    • Global Connection
      • 입력이 네트워크 내 어떤 출력과도 연결될 수 있음
    • Local Connection
      • 입력이 특정 영역 내의 출력과만 연결됨

1-2.  Weight 속성

  • Weight의 속성
    • Unique Weights : 각 연결이 서로 다른 가중치를 가질 수 있음 
    • Weight Sharing : 여러 연걸이 동일한 가중치를 공유함

1-3.  주요 Layer 속성

  • FC Layer
    • 모든 입력과 출력이 연결됨
  • CONV Layer (합성곱 레이어)
    • 희소 연결 + 지역 연결 + 가중치 공유
  • 이 외에 다른 연산을 수행하는 레이어가 존재하며 이는 2.3절에서 다룸

2. 예시를 통한 이해

(a)
- FC : 모든 입력과 출력이 화살표로 연결되어 있음

- Sparsely Connected : Output 2개가 이전 hidden layer의 출력과 일부 화살표로 연결되어 있음

 

(b)

- feed forward  : input layer로 데이터가 입력이 되고 1개 이상으로 구성되는 hidden layer를 거쳐서 마지막에 output layer로 출력 값을 보내는 과정

  • 이전 층에서 나온 출력 값 -> 층과 층 사이에 적용되는 가중치 영향을 받음 -> 다음 층의 입력 값으로 들어가는 과정
  • 입력 층 -> 은닉 층 -> 출력 층으로, "오직 출력층 방향으로만" 향하는 것을 의미함

- Recurrent : 회귀