Transformer

Pytorch - 구현 완료
Tensorflow - 추후 작업 예정

Papaer

Attention Is All You Need
(https://arxiv.org/pdf/1706.03762v5.pdf)

파일 설명

transformer_code_explanation.ipynb - 코드 설명, 기초적인 동작 확인을 할 수 있는 코드
PyTorch/transformer.py - 모델 사용을 위한 필수 코드만 정리된 파일

Reference

https://paul-hyun.github.io/transformer-01/
https://github.com/sooftware/transformer
https://wikidocs.net/31379