지표, 넌 누구니?

지표, 필요해?

오늘은 "지표"에 대한 이야기를 해보고자 합니다.

데이터를 다루는 사람으로서, 저는 주로 RMSE, R2와 같은 모델 평가 지표들을 활용해 왔습니다.

부끄럽게도 서비스를 위한 지표는 사용하고 있지 않았습니다.

 

현재 재직 중인 회사에서는 특히 실용적인 접근을 중시하여, 작동하는 프로그램 개발에 우선순위를 두었습니다.

분석 결과를 모델링하고, 정해진 일정 내에 개발 환경을 구축하는 것이 주요 과제였죠.

 

개발 환경을 구축하고, 배포한 후 사용자들의 많은 피드백을 들었습니다.

제가 제대로 설명하지 못하거나, 이해관계자들이 이해할 수 있는 요소들이 너무 적었습니다. 서로가 서로를 답답해하는 상황이 이어졌죠.

사용자가 이해할 수 없는 프로젝트가 되었고, 자연스레 서비스 퍼포먼스가 생각한 것만큼 좋지 못했습니다.  

 

저의 심정

 

이러한 과정에서 얻은 중요한 깨달음이 있습니다.

정확한 문제 정의와 지표 정의는 서비스 개발의 필수 요소라는 것입니다.

지표는 단순히 모델을 설명하는 도구를 넘어, 서비스의 가치를 입증하고 개선 방향을 제시하는 나침반 역할을 한다는 것을 알게 되었습니다.

 

그래서! 서비스 회생을 목표로 기존 서비스를 되돌아보며, 보다 체계적인 지표를 설계하여 서비스 방향키를 다시 잡아보려 합니다.

저만의 작고 험난한 지표 여정에 당신을 초대합니다!

그래서 “지표”가 뭔데?

먼저 지표란 무엇인지 알아볼까요.

지표는 복합적이고 추상적인 사회현상을 쉽게 설명하기 위해 관련되는 지수나 척도로 개념화한 것이며, 특정 주제 또는 현상을 다차원적으로 측정하여 요약적으로 보여줄 수 있도록 각 종 상황과 핵심지표를 분류·선정한 것이 지표체계입니다.

- 지표누리

흠, 무슨 말인지는 알겠지만 잘 와닿지는 않네요.

추상적이고 복합적인 것을 어떻게 치수나 척도로 개념화할 수 있을까요?

 

성윤 님의 PM을 위한 데이터 리터러시 강의와 2024년 인프콘 발표를 보게 되었습니다.

*이 강의들을 기반으로 아래 글이 작성되었음을 밝힙니다.

강의를 듣고, 한층 더 지표의 정의와 가까워진 느낌이 들었습니다.

지표란, 원하는 것이 잘 진행되고 있는가? 를 숫자로 표현한 것과 같다.

 

우리가 원하는 것은 우리가 정의 내린 문제에 대한 해답 혹은 어떤 결과입니다.

원하는 결과에 가까워지고 있음을 나타내는 숫자가 “지표”인 것이죠.

지표가 없다면 도착지를 알 수도, 여기가 어디인지도 알 수 없겠죠.

 

그렇기 때문에 지표를 설계하기 위해서는 내가 원하는 결과가 어떤 것인지 먼저 파악할 필요가 있습니다.

“원하는 것이 된다면, 어떤 모습일까? 어떤 일이 생길까?”를 치열하게 고민하다 보면 우리가 정의하고 싶은 숫자들이 생길 테니까요!

 

이제 조금 지표와 가까워지신 느낌인가요?

지표를 설계하기에 앞서 구성요소들을 알아보겠습니다. 어떤 지표를 구성하는 구성요소들은 다음과 같습니다.

• 이벤트/행동 : 유저가 어떤 행동을 했는지
  • 클릭을 했다던지, 스크롤을 했다던지 등
  • "장비 점검 버튼 클릭 수", "알림 확인 횟수"
• 시간 축 : 어떤 시간을 기준으로 데이터를 볼 것인지
  • 날짜별, 월별, 연도별, 시간대별 등
  • "일별 오류 발생 횟수", "주간 장비 가동 시간"
• 차원(그룹) : 어떤 데이터를 볼 것인지
  • 성별, 연령대별, 국가 별 등
  • "장비 유형별 오류 발생률", "지역별 에너지 소비량"
• 집계 방법 : 어떻게 데이터를 계산해 볼 것 인지
  • 평균, 카운트, 합, 최대/최소 등
  • "월별 평균 가동률", "연간 유지보수 비용 합계"
• 조건 : 특정 조건에 해당하는 수치들을 모아볼 것인지
  • 제어 회수가 5회 이상인 하루, 설정 창을 킨 유저 등
  • "24시간 내 3회 이상 경고가 발생한 장비", "정비가 5회 이상 필요했던 장비"

그렇다면, 좋은 지표란 어떤 것일까요.

제가 지표를 설계하고자 하는 이유는 궁극적으로 서비스 퀄리티를 높이기 위해서이고.

이를 조금 더 실리적으로 설명해 보자면 현재를 판단하고, 높아진 퀄리티를 설명할 수 있는 기준을 세우기 위해서입니다.

이 목적을 달성할 수 있는 지표가 좋은 지표라고 생각하는데요!

 

성윤 님의 강의 속 내용을 잠시 살펴보겠습니다.

좋은 지표란, 아래와 같은 지표들입니다.

이런 지표라면 기준으로 손색없겠죠.

• 풀고자 하는 문제와 관련된 지표
• 측정가능한 지표
• Actionable : 지표를 기반으로 행동가능한 지표
• 불확실성을 줄여줄 수 있는 지표
• 누구나 이해할 수 있는 지표
• 여러 의미로 해석될 여지가 없는 지표

기준으로 여겨질 수 있을 만큼 객관적으로 사용할 수 있고,

우리가 해결할 문제를 얼마나 잘 해결하고 있는지를 설명할 수 있는 지표!

 

이런 지표를 스마트 플랜트 서비스에서는 어떻게 구성하는 게 좋을까요?

다음 시리즈에서는 우리가 실생활에 사용하고 있는 대표 지표들을 알아보고,

스마트 플랜트 서비스에서는 어떻게 적용시킬 수 있을지 알아보겠습니다.

 

저만의 작고 험난한 지표 여정은 이제 첫 발을 내디뎠네요! 파이팅!