전체 글66 ARIMA : AutoRegressive Integrated Moving Average (이동 평균을 누적한 자기회귀) AR 과 MA 모델의 역동성을 모두 동시에 포괄하는 자기회귀누적이동평균(ARIMA)은 데이터에 나타나는 자기상관(autocorrelation)을 표현하는데 목적이 있다. 이제까지 AR, MA, ARMA모델의 경우 시계열이 정상성이라는 가정이 있는 상황에서 진행했다면, ARIMA모델에서는 차분이라는 개념을 통해 non-stationary한 상황에서 좀 더 나은 예측을 하는 것이 목표다. ARIMA(p,d,q) 모형 d차 차분한 데이터에 위 AR(p) 모형과 MA(q) 모형을 합친 모형으로, 식은 다음과 같다. 💡 차분 : 시계열의 값을 시간에 따른 값의 변화로 바꾸는 것( 비정상성 데이터 → 정상성 데이터) → 현 시점 데이터에서 d시점 이전 데이터를 뺀 것 더보기 차분의 정도 대부분의 데이터가 2차 차분.. 2022. 11. 13. 4.3 마르코브 보상 프로세스 : 강화학습의 수학적 기초와 알고리즘의 이해 마르코브 보상 프로세스 마르코브 프로세스에 보상 개념을 도입한 것이다. 보상은 특정상태에 제공하는 인센티브로 볼 수 있다. 누적보상(리턴)에 대한 기대치 계산이 가능하다. ➢ $S$ = 상태집합 ➢ $P$ = 상태전이확률 $P[S_{t+1} = s^\prime | S_t = s]$ ➢ $R$ = 보상(Reward)함수 $R_s = E[R_t | S_t = s]$ ➢ $\gamma$ = 감가율(discounting factor) ➢ 에피소드(episode) ㅤㅤ특정 상태로부터 시작하여 종료 상태까지의 상태-보상 sequence ➢ $G_t$ = 리턴(Return) ㅤㅤt번째 시각 이후의 (감가율이 반영된) 누적 보상 ㅤㅤ에피소드에서 방문했던 상태별로 얻은 보상의 합 $$ \begin{mat.. 2022. 11. 7. 4.1 마르코브 프로세스 개요 : 강화학습의 수학적 기초와 알고리즘의 이해 강화학습의 수학적 기초와 알고리즘의 이해를 보고 정리한 글임을 밝힙니다. 확률(Probability) 주위에서 발생하는 여러 사건들 → 불확실성 내포 : 이런 불확실성을 표현하는 수단 확률변수 확률분포 → 확률변수가 취하는 값들에 따라 어느 정도의 가능성을 가지고 해당 event가 발생하는지 표현하기 위한 개념 EX) 날씨 X = 1(맑음), 2(흐림), 3(비) : 확률변수 P(X=1) = 0.6, P(X=3) = 0.2, P(X=3) = 0.2 : 확률분포 시간에 따른 날씨 시계열 불확실성 + 내일 날씨와 오늘 날씨의 상관관계 존재 → 시간의 흐름에 따라 불확실성 변동 시간에 따라 확률적으로 변화하는 프로세스를 모델링 하기위한 방법으로 사용하는 것이 무엇일까? 확률과정 (추계적 과정 : Stochas.. 2022. 11. 2. 2.2 동적계획법, 중첩되는 부분문제와 역진귀납법 : 강화학습의 수학적기초와 알고리즘의 이해 강화학습의 수학적기초와 알고리즘의 이해 강의를 보고 정리한 글임을 밝힙니다. 2.1 문제해결전략과 동적계획법 : 강화학습의 수학적 기초와 알고리즘의 이해 강화학습의 수학적 기초와 알고리즘의 이해 강의를 듣고, 정리한 글 임을 밝힙니다. 수학적 귀납법(Mathematical induction) $p_1, p_2, p_3, \dots$ 라는 참 또는 거짓인 명제가 있다고 하자 $p_1$이 참이고, infatigablemente.tistory.com 위의 링크와 이어지는 포스트 입니다. (확정적) 동적 계획법 순차적 의사결정을 내리는 알고리즘 확정적(deterministic)의 의미 → 내가 어떤 상태에서 어떤 액션을 취하면, 그 다음 단계의 상태가 ‘확정적’으로 결정이 되는 경우 단계(Stage), 의사결정.. 2022. 11. 1. 이전 1 ··· 7 8 9 10 11 12 13 ··· 17 다음
