[논문리뷰] EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction
0. EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Predictionhttps://arxiv.org/pdf/2205.14756 * 시간 복잡도 햇갈릴 때 쉽게 생각 하는 법 : 하나의 항이(피연산자A) 다른 "몇개의 항과"(피연산자B) 연산하는 지 우선 생각> 그리고 그 값에 모든 항의 개수를(피연산자A) 곱해준다1. 기존 Self-Attention 의 한계 by softmax2. Linear Attention으로 solution key, value를 미리 계산하여 query와 연산함 (초록, 파랑)기존 linearquery와 key를 매번 연산해야하므로 복잡도는 quadratic개선 linear ReLU로 인해 query는 ..
AI
2025. 2. 20. 00:24
