Paper Review3 DETR(End-to-End Object Detection with Transformers) 모델 리뷰 [논문] DETR 모델에 대해서 알아보자. DETR 모델은 CV 계에서 처음으로 transformer를 적용한 논문이다. NLP에서 핫했던 transformer를 어떻게 CV에 접목 했는지 오늘 포스팅으로 알아보자. Contribution 모델을 뜯어보기 전에 이 논문의 Contribution을 살펴보자. direct set prediction : bounding box와 category를 set형태로 한번에 직접 예측한다. 후처리가 필요하지 않다! COCO 데이터 셋에서 2-stage model인 faster-RCNN과 비슷한 정확도를 보인다. self-attention을 통한 global information을 학습하기 때문에 크기가 큰 객체들을 faster-RCNN보다 잘 포착한다. Main Con.. 2024. 1. 21. ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators 정리 리뷰 (1) _ intro, method 이번 논문은 저번 프로젝트에서 유용하게 사용했던 모델인 koELECTRA 모델을 리뷰해보도록 하겠습니다. 학습의 효율성에 초점을 둔 부분이 매우 흥미로웠습니다. 📍Introduction 현재 다양하고 널리 사용중인 MLM 모델들은 입력 시퀀스의 토큰 중 약 15%를 마스킹하고, 이를 복원하는 task를 통해 학습합니다. 기존 autoregressive language modeling 학습에 비해 양방향 정보를 고려하여 효과적입니다. 하지만 , 문제 역시 있었습니다. 1. 하나의 시퀀스(per example)에서 15%만 학습하고, 나머지는 버려지기 때문에 학습에 비용이 많이 듭니다. 2. Mismatch : 학습 시 사용된 [MASK] 토큰을 모델이 참고하여 예측하지만, 실제로는 해당 토큰이 존재하지 않.. 2022. 7. 9. Transformer : Attention is All you Need Paper 정리 더보기 원래는 논문리뷰를 하려다가 갑자기 틀어 정리 글을 쓰게 되었다. 허허헣 이런 글을 처음 쓸려니까 너무 어려운거 같다..ㅋㅋ 정리를 좀 더 체계적으로 할 필요성을 느낀다ㅏ다ㅏㅏ Abstract Past : The sequnce transduction model - include complex recurrent or convolutional neural network - encoder and decoder - BEST : connected the encoder and decoder through attention mechanism 더보기 병렬화 어려움 sequence 길이가 길수록 critical한 메모리 제약 문제 장기 의존성 문제(Long-Term Dependency) This Paper : Tr.. 2022. 6. 10. 이전 1 다음
