[용어정리] Inference란 (25.2.17)

출처 : Efficient Processing of Deep Neural Networks (1.2)

1. Inference 의미와 + a

• 학습된 가중치를 활용하여 주어진 입력에 대해 출력을 계산하는 과정
  • 학습 : 네트워크의 가중치를 결정하는 과정
  • 주로 임베디드 시스템에서 활용됨
• DNN은 학습을 통해 Weight, Bias는 조절하지만 기본 프로그램 자체는 변경되지 않음

---

• DNN 훈련 목표
  • 올바른 클래스의 확률을 최대화하고 잘못된 클래스들의 확률을 최소화
• 손실 L 정의 
  • 이상적인 확률과 DNN이 계산한 확률의 차이
    
    • 손실을 최소화 하는 것이 가중치를 찾는 것, DNN의 학습 목표
• 이미지 분류 예시 
  • 입력 : 이미지 출력 : 각 클래스의 확률 값을 갖는 벡터
  • 가장 높은 확률을 가진 클래스가 예측된 객체 클래스가 됨

---

• 학습 방법
  • Supervised Learning
    • 모든 학습 샘플에 정답(레이블) 포함
  • Unsupervised Learning
    • 학습 샘플에 정답이 없음
    • ex. 데이터를 분석하여 패턴, 구조, 군집 찾아냄
  • Semi-Supervised Learning
    • 일부 데이터만 정답을 포함
    • ex.  비지도 학습으로 군집을 형성한 후, 적은 양의 레이블을 사용해 군집 분류
  • Reinforcement Learning
    • 주어진 환경에서 DNN이 최적의 행동을 선택하도록 학습
    • Action 후 즉시 보상이 주어지지 않을 수도 있으며, 일련의 행동이 끝난 후에 보상이 주어질 수 있음
  • Fine-Tuning
    • 이미 학습된 가중치를 새로운 데이터셋이나 제약 조건에(ex. 정밀도 감소) 맞춰 조정 > 미세 조정
    • Transfrer Learning에서 주로 사용되며. 무작위 초기화보다 빠르고 정확도가 향상될 가능성이 있음

---

• Gradient Descent (경사 하강법)
  • 네트워크를 훈련 시, 가중치 최적화 기법
  • learning rate에 따라 갱신 크기는 조정됨
    • learning rate의 역할은 weight를 얼마나 크게 변경할 지 결정
    • 반복적으로 수행하여 전체 loss를 줄임

      

      a : learning rate, 해당 수식의 정의가 "Gradient Descent"

  • Back Propagation
    • 네트워크 훈련 시 loss function의 gradient (편미분) 을 계산 해야 함. 
      • Back Propagation이 이를 효율적으로 계산하는 방법 중 하나
    • Chain Rule를 이용하여 네트워크를 역방향으로 값을 전달하면서 손실이 가중치에 미치는 영향을 계산하는 과정

- Training은 가중치/bias값을 update 하는 과정 (예측과 정답의 차이, loss를 줄이기 위해서)
- Training의 방법은 Gradient descent 가 사용됨 (수식 자체, 편미분 항의 필요성)
= (기존 가중치) - (가중치 편미분값)
- Gradient Descent를 계산하기 위해 Backpropagation이 적용됨 (수식의 항을-편미분 항 구하기 위해)
= 네트워크를 역방향으로 값을 전달하며 loss를 미분하는 과정

 

2. Inference 와 Back Propagation (Training) 의 차이

• Back Propagation과 Inference는 계산 방식은 유사, Training에서 추가되는 요구 사항
  • 추가 저장 공간 필요
    • 네트워크의 중간 출력을 보존해야 하므로, 저장 공간 요구량이 증가함
  • 정밀도 요구 사항 증가
    • gradient descent에서 작은 변화가 중요한 역할을 하기 때문에, 학습 과정에서는 "높은 정밀도" 연산이 필요 

      

    • Batching 처리
      • 여러 입력 데이터의 손실을 한 번에 계산한 후, 가중치를 업데이트 하는 방식으로 학습 속도와 안정성을 높임