분류 전체보기66 Transformer : Attention is All you Need Paper 정리 더보기 원래는 논문리뷰를 하려다가 갑자기 틀어 정리 글을 쓰게 되었다. 허허헣 이런 글을 처음 쓸려니까 너무 어려운거 같다..ㅋㅋ 정리를 좀 더 체계적으로 할 필요성을 느낀다ㅏ다ㅏㅏ Abstract Past : The sequnce transduction model - include complex recurrent or convolutional neural network - encoder and decoder - BEST : connected the encoder and decoder through attention mechanism 더보기 병렬화 어려움 sequence 길이가 길수록 critical한 메모리 제약 문제 장기 의존성 문제(Long-Term Dependency) This Paper : Tr.. 2022. 6. 10. 오랜만에 보호되어 있는 글 입니다. 2022. 6. 5. Pytorch Tutorial (1) _ Tensor Tensor Tensor란 pytorch의 자료형으로, 단일 데이터 타입으로 된 자료들의 다차원 행렬이다. 이를 이용하여 GPU 연산을 수행한다. data : list, ndarray 등의 data type dtype : array 내부의 데이터 타입 (ex.float32, int64...) device: default=None, CPU or GPU requires_grad : default=False, gradient 값 저장 유무 더보기 [오류가 난다면 생각해 볼 것!] ✅ Tensor로 변환되는 데이터인가? ✅ 연산할 tensor 간 dtype이 같은가? ✅ 연산할 tensor가 같은 device에 올라가 있는가? 1. torch.tensor() tensor 변환 시, 새 메모리를 할당한다. ten.. 2022. 6. 5. 으아아아아아아 보호되어 있는 글 입니다. 2022. 5. 28. 이전 1 ··· 11 12 13 14 15 16 17 다음
