Perceiver: General Perception with Iterative Attention
Abstract
생물학적 시스템에서는 시각, 청각, 촉각, 자기수용감각 등 다양한 양상의 고차원 입력을
Papers Reading
Patches Are All You Need
쓰고 보니 인칭이 좀 이상한데, '우리'는 내가 아니라 이 논문 저자를 이른다고
CoAtNet: Marrying Convolution and Attention for All Data Sizes
요약
이 논문에서는 convolution과 relative attention(의 변형)를 적절히 섞고 JFT에서
AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
요약
하나의 단어를 $W$개의 스칼라를 가진 벡터로 나타낼 때, 하나의 문장은
DETR: End-to-End Object Detection with Transformers(ECCV 2020)
요약
정해진 개수의 bounding box를 구하고, bipartite matching을 통해 ground truth box와
NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
요약
$(x,y,z,\phi,\theta)$를 입력으로 받아 $(R,G,B,
Attention Is All You Need(NIPS 2017)
Google Research의 논문이다.
요약
무려 3만회나 인용된, 가히 혁신적이라고 할 수 있는
Feature Pyramid Networks for Object Detection
이 포스트는 논문 내용을 전체적으로 다루되 간략하게만 정리합니다. 구성도 논문과 다릅니다.
1.
Training data-efficient image transformers & distillation through attention
Training data-efficient image transformers & distillation through attention
Recently, neural networks purely based