안녕하세요? 좋은 책 써주셔서 잘 보고 있습니다.
제가 책을 읽다가 코드와 그림이 불일치하는 것 같아 문의 드립니다.
예제 2.10을 보면 layer norm을 적용한 결과가 어텐션 이후 잔차연결로 연결되는데
x = self.norm(src)
x = x + ...
그림 2.21에서는 잔차연결이 layer norm을 적용하기 전에 옆으로 빠집니다.
코드로 쓰면 이렇게 될 것 같습니다.
x = self.norm(src)
x = src + ...
이게 의도한 것인지 오류인지 확인 부탁드립니다.
안녕하세요? 좋은 책 써주셔서 잘 보고 있습니다.
제가 책을 읽다가 코드와 그림이 불일치하는 것 같아 문의 드립니다.
예제 2.10을 보면 layer norm을 적용한 결과가 어텐션 이후 잔차연결로 연결되는데
그림 2.21에서는 잔차연결이 layer norm을 적용하기 전에 옆으로 빠집니다.
코드로 쓰면 이렇게 될 것 같습니다.
이게 의도한 것인지 오류인지 확인 부탁드립니다.