작은 연구노트

0. A^3: Accelerating Attention Mechanismswith Approximationhttps://arxiv.org/pdf/2002.109411. IntroductionAttention mechanism 은 transformer 모델 기반의 핵심 연산으로, 자연어 처리와 컴퓨터 비전 영역에서 다용되고 있다. 이 attention mechanism은 inference 단계에서 높은 연산 비율을 차지하고 있음을 background에서 밝히며, 이 문제를 해결하고자 hw, sw co-design 설계 방법을 논문에서 보여준다. 2. Background먼저. attention mechanism을 수도 코드로 표현하였는데 이 수도 코드를 그림으로 크게 그린다면, 아래 그림과 같다. atten..

HW 2025. 4. 6. 21:01

https://www.youtube.com/watch?v=tiAZUme2ST0참고 영상이전 내용까지는 inference를 가속화 하는 방법에 대해 다룸예로, pruning, quantization, knowledge distillation..이번 내용은 training을 더 빠르게 만드는 방법에 대해 다룰 예정1. Background and motivation더 높은 정확도를 위해서는 더 많은 연산량이 필요함시간이 지날수록 모델 사이즈는 커지고 있음gpu 하나로는 training을 감당할 수 없음 > 시간이 너무 오래 걸림하지만 gpu가 여러 개라면 훈련 시간을 대폭 줄일 수 있음GPU 예 : V100, A100, B100More gpu,, more design cycles..2. Parallelizat..

AI 2025. 2. 25. 19:32

0. EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Predictionhttps://arxiv.org/pdf/2205.14756 * 시간 복잡도 햇갈릴 때 쉽게 생각 하는 법 : 하나의 항이(피연산자A) 다른 "몇개의 항과"(피연산자B) 연산하는 지 우선 생각> 그리고 그 값에 모든 항의 개수를(피연산자A) 곱해준다1. 기존 Self-Attention 의 한계 by softmax2. Linear Attention으로 solution key, value를 미리 계산하여 query와 연산함 (초록, 파랑)기존 linearquery와 key를 매번 연산해야하므로 복잡도는 quadratic개선 linear ReLU로 인해 query는 ..

AI 2025. 2. 20. 00:24

0. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows [Liu et al., 2021][원문 링크]https://arxiv.org/pdf/2103.14030 [참고 영상]https://www.youtube.com/watch?v=SndHALawoag1. 기존 ViT의 한계 : Computational boundViT에서 큰 patch를 사용하면 이미지 주요 정보를  classification하는 작업에는 적절함예. 이미지 전체를 하나의 label로 예측하는 경우하지만, 일부 task에서 image를 pixel단위의 세밀한 정보로 처리해야 할 필요가 있음예로, 이미지 내부에 있는 작은 사람이런 task를 Semantic Segm..

AI 2025. 2. 19. 18:00

0. Segment Anything [Kirillov et al., 2023] [논문링크]https://arxiv.org/pdf/2304.02643[참고영상]https://www.youtube.com/watch?v=gSUpUiqXB6chttps://blog.firstpenguine.school/70 무엇이든 누끼따는✂️ AI! Segment Anything Model 리뷰들어가며 📄 Segment Anything Model 논문 🧑‍💻 Segment Anything Model github ▶️ 리뷰 영상 하나의 모델이 다양한 Computer Vision task를 수행할 수 있다면 어떨까요? 일일이 테스크 별로 모델을 만들 필요가blog.firstpenguine.school Meta AI Resea..

AI 2025. 2. 18. 00:04

1. An Image is Worth 16x16 Words : Transformers for Image Recognition at Scalehttps://arxiv.org/pdf/2010.11929ICLR 2021배경 및 목적 : Transformer 는 NLP에서 표준이지만, 컴퓨터 비전에서는 응용이 제한적, 전통적으로 Vi는 CNN과 함께 attention을 사용주요 발견 : CNN에 의존하는 것은 필요하지 않으며, 이미지 Patch를 직접 사용하는 순수 Transformer가 이미지 분류 작업에서 더 잘 작동할 수 있음충분한 데이터를 pre-training한 후 여러 중소 규모 이미지 인식 밴치마크에서 ViT는 뛰어난 성능을 최신 CNN과 비교하면 보임성과 : ViT는 큰 데이터 셋 (14M ~ 3..

AI 2025. 2. 17. 12:24

출처 : Efficient Processing of Deep Neural Networks (2.1) 1. DNN의 Layer 구조대부분의 연산은 weighted sum (가중합) 을 기반으로 수행됨Layer의 구조는 "연결 방식"과 "가중치 속성"에 따라 결정됨대표적인 예로는 FC & CONV1-1. Layer Connection 속성Layer의 연결 방식Layer의 종류는 input, output간의 연결 방식으로 결정됨!!Layer 심플하게 생각하자면 아래 그림들의 열축으로 이어진 동그라미들을 이으면  됨 Fully Connected, FC : 완전 연결모든 입력이 모든 출력과 연결됨Sparsely Connected : 일부 입력만 출력과 연결됨Global Connection입력이 네트워크 내 어떤 ..

AI 2025. 2. 17. 12:19

출처 : Efficient Processing of Deep Neural Networks (1.2)1. Inference 의미와 + a학습된 가중치를 활용하여 주어진 입력에 대해 출력을 계산하는 과정학습 : 네트워크의 가중치를 결정하는 과정주로 임베디드 시스템에서 활용됨DNN은 학습을 통해 Weight, Bias는 조절하지만 기본 프로그램 자체는 변경되지 않음DNN 훈련 목표올바른 클래스의 확률을 최대화하고 잘못된 클래스들의 확률을 최소화손실 L 정의 이상적인 확률과 DNN이 계산한 확률의 차이 손실을 최소화 하는 것이 가중치를 찾는 것, DNN의 학습 목표이미지 분류 예시 입력 : 이미지 출력 : 각 클래스의 확률 값을 갖는 벡터가장 높은 확률을 가진 클래스가 예측된 객체 클래스가 됨학습 방법Super..

AI 2025. 2. 17. 12:18