전체 글66 ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators 정리 리뷰 (1) _ intro, method 이번 논문은 저번 프로젝트에서 유용하게 사용했던 모델인 koELECTRA 모델을 리뷰해보도록 하겠습니다. 학습의 효율성에 초점을 둔 부분이 매우 흥미로웠습니다. 📍Introduction 현재 다양하고 널리 사용중인 MLM 모델들은 입력 시퀀스의 토큰 중 약 15%를 마스킹하고, 이를 복원하는 task를 통해 학습합니다. 기존 autoregressive language modeling 학습에 비해 양방향 정보를 고려하여 효과적입니다. 하지만 , 문제 역시 있었습니다. 1. 하나의 시퀀스(per example)에서 15%만 학습하고, 나머지는 버려지기 때문에 학습에 비용이 많이 듭니다. 2. Mismatch : 학습 시 사용된 [MASK] 토큰을 모델이 참고하여 예측하지만, 실제로는 해당 토큰이 존재하지 않.. 2022. 7. 9. [Collaborative Filtering Recommendation System] Collaborative Filtering(협업 필터링) collaborative filtering 알고리즘은 유저들의 행동에서 부터 시작합니다. 어떤 것에 대해 비슷한 취향을 갖는다면, 다른 것에 대해서도 비슷한 취향을 가질 것이다 라는 전제에 기반합니다. 이러한 전제 하에 user의 관심사 일 수 있는 정보를 예측하고, 추천합니다. 먼저, 추천하고자 하는 대상과 취향이 비슷한 집단이 있을 것이다 라고 가정합니다. 이때 두 가지 방법으로 나뉘는데, User Based : 비슷한 user를 찾아 비슷한 user가 공통적으로 소비(좋게 평가)한 내가 관심을 표하지 않은 item을 추천하는 방식 user data가 풍부한 경우, 정확한 추천이 가능하다. data 업데이트에 대한 결과 변동 위험성이 존재한다... 2022. 6. 26. [GitHub] GitHub Markdown 이미지 사이즈 조절 #이미지 size 조절 필요 없을 때  #이미지 size 조절이 필요할 때 2022. 6. 23. [Flask] Flask 생성, 실행 정리하기 Flask 어플리케이션 생성 # __init__.py from flask import Flask app = Flask(__name__) # Flask(__name__) 은 해당 어플리케이션 폴더의 이름 __name__ : 실행중인 위치의 이름을 가져옴 [magic method] Flask 실행 $ FLASK_APP=flask_app flask run # 다음과 같이 설정해 두면, 끄기 전까지 flask run으로만 실행 가능! $ export FLASK_APP='app이름' $ flask run BluePrint 사용하기 # user.py from flask import Blueprint bp = Blueprint('users', __name__, url_prefix='/user') @bp.route('.. 2022. 6. 21. 이전 1 ··· 10 11 12 13 14 15 16 17 다음
