작은 연구노트

0. A^3: Accelerating Attention Mechanismswith Approximationhttps://arxiv.org/pdf/2002.109411. IntroductionAttention mechanism 은 transformer 모델 기반의 핵심 연산으로, 자연어 처리와 컴퓨터 비전 영역에서 다용되고 있다. 이 attention mechanism은 inference 단계에서 높은 연산 비율을 차지하고 있음을 background에서 밝히며, 이 문제를 해결하고자 hw, sw co-design 설계 방법을 논문에서 보여준다. 2. Background먼저. attention mechanism을 수도 코드로 표현하였는데 이 수도 코드를 그림으로 크게 그린다면, 아래 그림과 같다. atten..

HW 2025. 4. 6. 21:01