Data Science/TimeSeries7 Savitzky-Golay(사비츠키 골레이) 필터 1. Savitzky-Golay 필터란 무엇일까?센서 데이터를 사용하면, 불필요한 변동 데이터가 들어오거나, 값이 튀는 경우가 많이 발생합니다.따라서 좋은 데이터를 추출하기 위해 노이즈를 제거하는 작업은 매우 중요한데요. 이를 ‘평활화’하는 작업이라고 합니다.예를 들어 동영상 촬영 시에 의도한 움직임과 미세한 손떨림을 구분해 손 떨림만 제거해야하는 경우 등이 평활화 작업이 필요하겠지요. 디테일을 살려야하는 작업에서 일반적인 평활화 필터인 이동 평균은 높게 튀는 값이나, 계단 모양의 변화를 무뎌지게 만드는 단점이 있습니다. 하지만 오늘 알아볼 Savitzky-Golay 필터(이하 SG필터)는 이러한 특성을 잘 보존한다는 장점이 있습니다.이 필터는 디지털 평활화 다항식 필터 또는 최소제곱 평활화 필터라고도 .. 2024. 12. 22. 시계열 클러스터링의 방법들 시계열 데이터 클러스터링이란 데이터 클러스터링은 다음과 같은 이유로 사용한다. 유사한 패턴을 가진 데이터를 그룹화하여 인사이트를 얻을 수 있다. 데이터의 구조와 특성을 이해하고 시계열 데이터의 특정 패턴을 발견할 수 있다. 데이터를 세분화하여 세부적인 분석과 예측을 수행할 수 있다. 이런 클러스터링을 시계열 데이터에 접목해보면 어떻게 될까 시계열 데이터 클러스터링에서 가장 중요한 포인트는 시퀀스 데이터를 사용한다는 점이다. 시간에 따라 변화하는 데이터 포인트들을 분석하여 유사한 패턴, 트렌드, 또는 주기적인 변화를 보이는 데이터 시퀀스를 그룹화하는 것이다. 그룹화를 진행할 때, 시간 종속성과 계절성 같은 시계열 고유 특성을 고려해야 한다. 이러한 그룹화는 다양한 분야에 접목시킬 수 있다. 예를 들면, 금.. 2023. 12. 24. ARIMA : AutoRegressive Integrated Moving Average (이동 평균을 누적한 자기회귀) AR 과 MA 모델의 역동성을 모두 동시에 포괄하는 자기회귀누적이동평균(ARIMA)은 데이터에 나타나는 자기상관(autocorrelation)을 표현하는데 목적이 있다. 이제까지 AR, MA, ARMA모델의 경우 시계열이 정상성이라는 가정이 있는 상황에서 진행했다면, ARIMA모델에서는 차분이라는 개념을 통해 non-stationary한 상황에서 좀 더 나은 예측을 하는 것이 목표다. ARIMA(p,d,q) 모형 d차 차분한 데이터에 위 AR(p) 모형과 MA(q) 모형을 합친 모형으로, 식은 다음과 같다. 💡 차분 : 시계열의 값을 시간에 따른 값의 변화로 바꾸는 것( 비정상성 데이터 → 정상성 데이터) → 현 시점 데이터에서 d시점 이전 데이터를 뺀 것 더보기 차분의 정도 대부분의 데이터가 2차 차분.. 2022. 11. 13. AR, MA : 자기 회귀 모델과 이동 평균 모델 자기 회귀 모델 (AR, Autoregressive Model) 자기 회귀 모델은 변수의 과거 값의 선형 조합을 이용하여 현재 변수의 값을 예측한다. 즉, 과거의 자기 자신 값으로 현재 항을 찾는 모델이다. yt=c+ϕ1yt−1+ϕ2yt−2+⋯+ϕpyt−p+εt εt 는 백색 잡음(i.i.d를 따름)을 의미한다 다양한 AR(1) 모델 yt=c+ϕ1yt−1+ϵt ⋁ ϕ1=0, c=0 일 때, yt : 백색 잡음 ⋁ ϕ1=1, c=0 일 때, yt : 확률 보행 모델 .. 2022. 10. 23. 이전 1 2 다음
