반응형 전체 글74 RoPE(Rotary Position Embedding)란? 임베딩(Embedding)이란, 단어나 토큰을 AI가 계산할 수 있는 벡터(vector)로 바꾸는 것이다.포지션 임베딩(Position Embedding)이란, 토큰이 ‘어디에 있는지’를 나타내는 숫자 표현이다. “강아지가 사람을 쫓는다.”“사람이 강아지를 쫓는다.” 두 문장에는 같은 단어들이 등장하지만, 뜻은 다르다. 단어의 순서가 다르기 때문이다.AI가 문장을 이해하려면 단어의 의미뿐 아니라 어떤 순서로 놓여 있는지도 알아야 한다. RoPE는 이 위치 정보를 전달하는 포지션 임베딩 방법 중 하나다.'회전을 이용한 위치 표현’이라는 뜻이다. 무엇을 회전한다는 걸까?AI가 "나는 밥을 먹어" 라는 문장에 대해 처리한다고 해보자.AI는 문장을 처리하면서 토큰끼리 비교한다.여기서 토큰은 나는 / 밥을 /.. 2026. 10. 13. 칼만 필터(Kalman Filter) 원리 이해하기 칼만필터는 어떤 개념일까.칼만필터는 측정값에 잡음이 섞여 있을 때, 진짜 값을 매 순간 가장 정확하게 추정하는 계산 절차이다. 무슨말인지 더 쪼개보자.1. 이전 결과로 현재 값을 예측한다.2. 새로운 측정값을 받는다.3. 예측과 측정 중 어느 쪽이 더 불확실한지 계산해 새로운 추정값을 만든다. 실제 계산으로 이해해 보자.어떤 장치의 현재 온도를 추정한다고 해보자. 센서는 매초 온도를 측정할 때마다 약간 다른 값이 나온다. 실제 온도도 시간에 따라 변할 수 있고, 아닐 수 있다. 현재 가지고 있는 정보가 아래와 같다고 하자.이전(t-1) 온도 추정값: \(20^\circ C\)센서의 새로운(t) 측정값: \(23^\circ C\)단순 평균을 사용하면 (20 + 23)/2 = 21.5다. 이렇게 다음 예측을.. 2026. 9. 22. Chronos: Learning the Language of Time Series Chronos 모델Chronos는 과거의 시계열 데이터를(일종의 숫자 배열) 언어의 토큰처럼 변환한 뒤, 언어 모델이 다음 단어를 예측하듯 미래의 시계열 값을 예측하는 모델이다.아이디어기본 Chronos는 T5와 같은 Transformer 언어 모델 구조를 시계열에 적용한다.1. 입력값 정규화 매출·온도·트래픽처럼 단위가 다른 시계열을 일정한 스케일로 맞춘다. 2. 양자화연속적인 숫자를 유한한 구간으로 나눠 불연속적인 토큰 ID로 변환실제 값: 12.1, 12.8, 14.2, 13.7토큰: 103, 109, 121, 117 3. 다음 토큰 예측언어 모델이 다음 단어를 예측하듯 미래 시점의 토큰을 차례로 생성한다. T5 Encoder–Decoder과거 토큰이 Encoder로 들어감다음.. 2026. 9. 15. ANCOVA(Analysis of Covariance, 공분산분석) ANCOVA(Analysis of Covariance, 공분산분석)- 집단 간 평균 차이를 비교하되, 결과에 영향을 주는 연속형 변수의 효과를 회귀로 보정하는 방법 왜 필요한가?두 가지 공부법을 비교한다고 해보자.A반 → 공부법 AB반 → 공부법 B결과 → 시험 점수시험이 끝났더니:A반 평균 80점B반 평균 75점그러면 바로 “공부법 A가 더 좋다!”고 해도 될까?아직은 곤란하다. 왜냐하면 원래부터 A반 학생들의 기초 실력이 더 높았을 수도 있으니까. 사실 우리가 궁금한건 “기초 실력이 같다고 치면, 공부법 A와 B의 최종점수 차이는 얼마나 될까?” 일 것이다. 여기서 기초점수처럼 결과에 영향을 주지만 우리가 주로 비교하려는 대상은 아닌 변수를 공변량(covariate)이라고 한다. 사실 ANCOVA는.. 2026. 9. 8. 이전 1 2 3 4 ··· 19 다음 반응형
