【NLP-1 논문 리뷰】Neural Machine Translation by Jointly Learning to Align and Translate

【NLP-1 논문 리뷰】Neural Machine Translation by Jointly Learning to Align and Translate

* 해당 글은 작성자의 복습을 위한 포스팅입니다 Dzmitry Bahdanau et. al., ICLR, 2015 논문 링크: https://arxiv.org/pdf/1409.0473.pdf Github: https://github.com/graykode/nlp-tutorial (not official) $\mathscr{A}$ Intro 본 논문은 Yoshua Bengio, 조경현 교수님이 참여하셨고, Attention 기법의 시초라고 볼 수 있다. 2013년 정도 부터 Neural Machine Traslation (NMT) 이 기계번역 (machine translation) 영역에서 좋은 효과를 보이고 있어 많이 연구되고, 사용되고 있다. NMT의 대표적인 모델로는 encoder-decoder가 많..

  • format_list_bulleted 논문 리뷰/Natural Language Processing
  • · 2021. 11. 19.
  • textsms
【EML-4 논문 리뷰】Post training 4-bit quantization of convolutional networks for rapid-deployment

【EML-4 논문 리뷰】Post training 4-bit quantization of convolutional networks for rapid-deployment

* 해당 글은 작성자의 복습을 위한 포스팅입니다 Ron Banner et. al., Intel, 2019 논문 링크: https://proceedings.neurips.cc/paper/2019/file/c0a62e133894cdce435bcb4a5df1db2d-Paper.pdf Github: https://github.com/submission2019/cnn-quantization $\mathscr{A}$ Intro Deep learning의 주 결점 중 하나는 computational cost가 굉장히 크다는 점이다. 이를 해소하기 위해 딥러닝 경량화 기법들이 많이 연구되고 있는데, 이는 소프트웨어 뿐만 아니라 하드웨어에서도 low precision training & inference은 메모리를 대폭..

  • format_list_bulleted 논문 리뷰/Efficient Machine Learning
  • · 2021. 10. 27.
  • textsms
【EML-1 논문 리뷰】EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

【EML-1 논문 리뷰】EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

* 해당 글은 작성자의 복습을 위한 포스팅입니다 논문 링크: https://arxiv.org/pdf/1905.11946.pdf Github: https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet $\mathscr{A}$ 문제제기 ConvNet의 정확도를 올리기 위해 여러 가지 방법이 사용되고 있는데, 그중 ConvNet의 스케일을 올리는 방법(Scaling up), 즉 ConvNet의 내부 사이즈를 키우는 방법이 많이 사용되고 있다. 기존 Scaling up 방법으로 depth, wideth, image size(resolution) 요소 중 한 가지 혹은 여러 개를 동시해 조절했는데, 이는 사람이 직접 튜닝해야 하고 각 요..

  • format_list_bulleted 논문 리뷰/Efficient Machine Learning
  • · 2020. 7. 21.
  • textsms