【CV-1 논문 리뷰】An Image is Worth 16 x 16 Words: Transformers for Image Recognition at Scale

【CV-1 논문 리뷰】An Image is Worth 16 x 16 Words: Transformers for Image Recognition at Scale

* 해당 글은 작성자의 복습을 위한 포스팅입니다 Alexey Dosovitskiy et. al., Google Research, Brain Team, ICLR, 2021 논문 링크: https://arxiv.org/pdf/2010.11929.pdf Github: https://github.com/lucidrains/vit-pytorch (not official) $\mathscr{A}$ Intro Vistion Transformer (ViT)를 처음으로 제안한 논문으로, Computer vision에서 디폴트로 사용되었던 CNN에 더이상 큰 의존을 하지 않아도 된다고 주장하고 있다. 이 논문 이후로, CV 영역에서 많은 Transformer-based model 연구가 진행되었고 실제로 CNN의 연구의 ..

  • format_list_bulleted 논문 리뷰/Computer Vision
  • · 2021. 11. 27.
  • textsms
【NLP-1 논문 리뷰】Neural Machine Translation by Jointly Learning to Align and Translate

【NLP-1 논문 리뷰】Neural Machine Translation by Jointly Learning to Align and Translate

* 해당 글은 작성자의 복습을 위한 포스팅입니다 Dzmitry Bahdanau et. al., ICLR, 2015 논문 링크: https://arxiv.org/pdf/1409.0473.pdf Github: https://github.com/graykode/nlp-tutorial (not official) $\mathscr{A}$ Intro 본 논문은 Yoshua Bengio, 조경현 교수님이 참여하셨고, Attention 기법의 시초라고 볼 수 있다. 2013년 정도 부터 Neural Machine Traslation (NMT) 이 기계번역 (machine translation) 영역에서 좋은 효과를 보이고 있어 많이 연구되고, 사용되고 있다. NMT의 대표적인 모델로는 encoder-decoder가 많..

  • format_list_bulleted 논문 리뷰/Natural Language Processing
  • · 2021. 11. 19.
  • textsms
【EML-4 논문 리뷰】Post training 4-bit quantization of convolutional networks for rapid-deployment

【EML-4 논문 리뷰】Post training 4-bit quantization of convolutional networks for rapid-deployment

* 해당 글은 작성자의 복습을 위한 포스팅입니다 Ron Banner et. al., Intel, 2019 논문 링크: https://proceedings.neurips.cc/paper/2019/file/c0a62e133894cdce435bcb4a5df1db2d-Paper.pdf Github: https://github.com/submission2019/cnn-quantization $\mathscr{A}$ Intro Deep learning의 주 결점 중 하나는 computational cost가 굉장히 크다는 점이다. 이를 해소하기 위해 딥러닝 경량화 기법들이 많이 연구되고 있는데, 이는 소프트웨어 뿐만 아니라 하드웨어에서도 low precision training & inference은 메모리를 대폭..

  • format_list_bulleted 논문 리뷰/Efficient Machine Learning
  • · 2021. 10. 27.
  • textsms
【EML-3 논문 리뷰】8-bit Inference with TensorRT

【EML-3 논문 리뷰】8-bit Inference with TensorRT

* 해당 글은 작성자의 복습을 위한 포스팅입니다. 논문 링크: https://on-demand.gputechconf.com/gtc/2017/presentation/s7310-8-bit-inference-with-tensorrt.pdf 해당 pdf는 논문 형식이 아닌 발표 pdf를 요약 2017년 5월, NVIDA의 Szymon Migacz가 GPU Technology Conference에서 발표한 자료로, Quantization of Transformer를 공부하기 위한 baseline으로 리뷰를 진행했다. 이 발표는 FP32 CNN을 INT8로 변환하는 과정에서 더 효율적인 Quantization 방법을 찾고자 한다. 본 발표는 "Post-training quantization(PTQ)"에 관한 연구로..

  • format_list_bulleted 논문 리뷰/Efficient Machine Learning
  • · 2021. 10. 26.
  • textsms

Paper 단어 정리

논문 리뷰를 하면서 잘 쓰이거나 Fancy한 표현들을 정리해 놓는 공간 de-facto: 사실상의, 실질적인 - Light-weight convolutional nerual networks (CNNs) are the de-facto for mobile vision tasks. reap: (좋은 수확을) 거두다, 수확하다 - Different designs have been explored to reap the benefits of convolutions and transformers. emulate: 모방하다 - Neuro-inspired computing chips emulate the structure and working principles of the biological brain, and off..

  • format_list_bulleted 논문 리뷰/Paper Information
  • · 2021. 10. 7.
  • textsms

읽어야 할 Paper List

【Efficient ML】 - General (리뷰 完) Tan, Mingxing, and Quoc Le. "Efficientnet: Rethinking model scaling for convolutional neural networks." International Conference on Machine Learning. PMLR, 2019. (리뷰 完) Howard, Andrew G., et al. "Mobilenets: Efficient convolutional neural networks for mobile vision applications."arXiv preprint arXiv:1704.04861(2017). - Quantization (리뷰 完) Banner, Ron, et al. "Post..

  • format_list_bulleted 논문 리뷰/Paper Information
  • · 2021. 9. 24.
  • textsms