[항해PM코스] 데이터 기반 실험설계와 KPI설정

안녕하세요, 연이음입니다🌼

다들 어떤 마음과 생각으로 2월 보내고 있는 지 너무 궁금해요ㅎㅎ저는 블로그를 막 열심히 하는 편도 아니고..소통을 크게 하는 것도 아니지만, 제 블로그에 다녀가시는 분들만큼은 따뜻한 겨울을 보내고 계시길 바라요 :)

오늘은 데이터 기반 의사결정에 대해 학습한 내용을 소개해드리고자 합니다. 

 

데이터 드리븐 사고가 PM에게 중요한 이유

1) 직관이나 주관이 아닌 데이터 기반 의사결정이 가능

: 먼저 직관이나 주관이 아닌 의사결정이 가능하다는 점인데요, 주관에 의해 내려진 의사결정은 잘못된 우선순위를 설정하는 오류를 범할 수 있습니다. 잘못된 의사결정은 리소스 낭비로 이어지는 비효율을 초래하게 됩니다.  

2) 고객/시장에 대한 이해와 통찰력 제공

: 고객의 최적 경험을 파악하는 데에는 여러가지가 있지만, 데이터를 통해 고객의 경험을 정량화해서 파악할 수 있습니다.  

3) 성과 측정과 개선 

: 명확한 성과 측정을 통해, 제품의 강점과 약점을 파악하여 개선해갈 수 있도록 돕습니다.

 

 

데이터를 통한 실험설계

먼저 데이터를 확인하여 문제를 정의하고, 해당되는 가설을 수립한 뒤 실험을 진행하게 되는데요, 각 스텝별로 간단히 알아보겠습니다. 

 

1. 데이터 확인 

먼저 사용하는 데이터 분석 툴 등을 통해 보고자 하는 데이터(전환율, 이탈률 등) 를 확인합니다. 데이터를 확인하는 과정에서 주의할 점은, 수치가 낮거나 크다고 해서 무조건 문제라고 판단하지 않는 것입니다. 예를 들어, 수영복 판매 회사에서 판매량이 낮다는 점은 계절의 여름인지, 겨울인지에 따라 문제로 볼 것인지 여부가 달라지게 됩니다. 이렇듯 제품의 특성이나, 서비스의 상황을 고려하여 정확하게 데이터를 이해하는 것이 중요합니다. 

 

2. 문제정의 

데이터를 기반으로 문제의 원인을 파악하고 문제를 정의합니다. 하나의 문제에도 다양한 원인이 있을 수 있는데, 유저 리서치나 벤치마킹 등을 통해 해당 문제가 정말 문제인지, 문제의 임팩트는 어떠한 지 등을 복합적으로 고려하여 정확하게 문제를 정의하도록 노력합니다.

 

3. 가설수립  

📌 암묵적인 믿음(가정) → 반증가능하고 구체적인 형태(가설)

 

문제와 예상되는 솔루션에 대한 가설을 수립합니다. 가설은 '실험을 통해 반증가능한 구체적이고 명시적인 형태' 로 정의된 진술인데요, 참/거짓을 실험을 통해 명확히 입증할 수 있고, 이를 측정가능한 수치로 나타낼 수 있는 구체적인 형태라는 점에서 가정과 차이를 가집니다.  

 

예를 들어, 제가 진행 중인 실전프로젝트에서는 [사용자는 원하는 반려동물 장례식장을 찾기 위해 장례 업체 정보를 한눈에 비교했을 때, 업체 문의 전환율이 30% 이상일 것이다] 라는 가설을 가지고 프로젝트를 진행하고 있는데요, 산재된 정보라는 문제정의를 바탕으로 비교 플랫폼이라는 솔루션, 이에 대한 참/거짓을 측정할 수 있는 수치를 포함하고 있는 것을 확인할 수 있어요! 

 

가설 수립 과정에서의 측정가능한 수치 산정 등 구체적인 과정은 아래 링크에서 좀 더 소개해드리고 있습니다ㅎ:)

[항해99 PM코스] 실전 프로젝트 찐후기 / STEP1. 기획

 

4. 실험 및 회고

실험 계획을 수립하고, 목적을 정의합니다. AB test, 코호트 별 테스트, 포커스 그룹 테스트 등 실험의 목적에 따라 다른 실험 계획을 수립하여 진행합니다. 실험 이후에는 결과와 과정에 대한 회고를 진행하는데요, 가설이 실패하더라도 이후 학습하는 것이 더 중요하다고 이야기해요. 따라서 pm은 이런 회고 과정을 잘 주도하는 것도 중요합니다.  

 

 

KPI (핵심성과지표) 설정

KPI(핵심성과지표) 를 설정할 때는 서비스의 미션과, 북극성 지표를 돌아보면 보다 명확하게 설정할 수 있습니다. 제 실전프로젝트 '포옥'으로 예를 들어보면,  

미션 = 반려동물과 이별의 순간에 보호자가 원하는 장례식장을 잘 찾을 수 있도록

이라면, 미션을 달성하기 위해서는  1) 원하는 것을 발견하기 위한 발견가능성(Discoverability)과, 2) 원하는 것을 편하게 발견할 수 있도록 하는 편의성(Convenience)을 높일 수 있고, 이를 측정할 수 있는 지표를 KPI로 설정할 수 있습니다.  즉, 미션에서 집중해야 하는 부분은 서비스의 기능과 명확히 일치해야 합니다.  

 

 

1. 발견가능성

 

지표 설정을 위해, 발견가능성을 높이려면 어떻게 해야할 지, 또한 유저가 원하는 장례식장을 찾았는 지 어떻게 측정할 수 있을 지를 기준으로 지표를 생각해보았는데요,

 

1) 발견가능성을 높이는 지표설정

 

- 업체의 갯수

: 먼저 발견가능성을 높이려면 보유하고 있는 업체의 수가 많아야 한다는 점을 생각해볼 수 있었어요.(즉, 얼마나 많은 지역을 커버할 수 있는지). 저희 서비스는 초기서비스인만큼 서비스에 등록된 업체의 갯수를 높여가는 것이 발견가능성을 높이는 데에 중요한 지표가 될 수 있습니다.

 

-'검색결과없음' 페이지 노출 impression

하지만 포옥은 mvp단계에서 수도권 지역만 커버하고 있고, 장례식장의 갯수가 빨리 늘어나지는 않기 때문에 업체 등록 갯수를 지표로 설정하지는 않았어요. 다만 mvp에서 보유한 업체의 갯수가 적다는 약점을 커버하고, 동시에 발견가능성을 높이기 위해 '검색결과가 없는' 페이지 노출을 줄이는 전략을 택했습니다. 이에 따라 수도권 지역을 권역(경기 북부, 남부, 인천)으로만 분리하여 검색했을 때 결과가 보여지는 확률을 높이고자 하였어요.

 

2) 발견되었다는 것을 증명할 수 있는 지표 설정

 

- 업체문의 전환율 ✅

포옥의 사용자가 원하는 업체를 발견했다는 것을 명확히 확인할 수 있는 지표로 '업체 문의 전환율'을 설정했습니다. 서비스 내에서 제공하고 있는 CTA(전화, 홈페이지 연결)버튼 클릭 수/DAU로 서비스에 접속한 유저의 업체 이동율을 통해, 원하는 업체를 발견했다는 것을 측정하고 있습니다.  

 

- 길찾기 클릭수 

발견 이후의 액션이 어떤 것이 있을 지 고려해볼 수 있습니다. 포옥의 경우 맘에 드는 업체를 찾았다면? 업체 문의를 하거나, 업체로 가는 길찾기를 클릭해볼 수 있겠죠. 하지만 저희는 장묘업 특성상 업체 선택 이후 예약/상담을 위해 '업체 문의' 과정이 보다 일반적이기 때문에, 업체 문의 전환을 메인kpi로 보았습니다.  

 

- 북마크 수, 라이크 수 등 

이 외에도 북마크, 라이크 수를 원하는 것을 찾았다는 것을 증명할 수 있는 지표로 볼 수 있는데요, 이러한 '저장' 관련 지표가 중요한 이유는 '업체 문의'에 대한 니즈가 당장 있는 유저도 있지만, 서비스에 만족하였어도 당장 문의에 대한 니즈가 없는 유저들도 측정해야 하기 때문인데요, 저희 서비스에서는 기능상..한계로 북마크 및 라이크는 구현하기 어려워, 현재 '업체 문의 전환율'만 메인 kpi로 집중하여 보고 있습니다. 이터레이션 과정에서 가능하면 추가해볼 수 있겠습니다. (제가 개발 담당이라ㅎㅎㅎ제가 할 수 있느냐에 달려있ㅇ..)

 

 

2. 편의성

 

잘 찾을 수 있도록 하는 게 목표라면 찾는 과정이 얼만큼 편했는 지도 측정할 수 있어야 합니다. 찾는다는 행위를 어떻게 편리하게 할 수 있을 지, 또 이 행위가 편리했는 지를 어떻게 측정할 수 있는 지를 중심으로 지표를 설정해보았습니다. 

 

1) 편리하게 해주는 방법 

 

- 필터/검색 사용률

포옥 서비스에서는 원하는 업체를 찾아갈 수 있도록 업체의 특징을 걸러볼 수 있는 필터링 기능을 제공하는데요, 이 기능의 사용률을 서브kpi로 측정하고 있습니다. 단순히 필터 이용을 높여간다고 찾는 과정이 편리해진다고 단정할 수 없기때문에, 1차적으로는 초기서비스인만큼 사이트 활성화 정도를 측정하기 위함이고, 2차적으로는 필터/검색 사용률 대비 전환율 차이를 보기 위한 목적으로 측정하고 있습니다. 필터에 대한 검증 이후에는 필터 이용을 높여갈 수 있을 것 같아요. 

(근데 현재 데이터 상으로는 필터/검색 사용률과 전환율 사이에 크게 상관관계가 없어 보이네요...ㅎ.ㅎ모수가 넘 작아서 그런지..필터가 별로인지..이런 걸 보면서 차.차 개선해나가면 되는거겠죠..^_^)

 

2) 편리했는 지를 측정하는 지표

 

- 업체 리스트 페이지 진입부터 발견(CTA버튼)까지의 평균 lead time

- 페이지 별 체류시간

이 부분은 아직 측정하고 있지는 않지만, 정보를 제공하는 페이지가 편리했는 지 또한 찾는 전반적인 과정에 만족했는 지를 알아보기 위한 지표를 고민하고 있습니다. 원래는 전체 체류시간을 sub지표로 보고 있었는데, 포옥의 경우 장례에 대한 니즈가 있더라도 당장 이를 이용하지 않는 유저들과 당장 업체 문의가 필요한 유저의 체류시간이 많이 차이가 날 것이라는 점에서, 전체 체류시간은 의미가 없다고 판단했어요. 따라서 전환까지의 lead time을 측정하여, 실제로 원하는 업체를 발견한 유저의 체류시간만 분리해서 볼 계획이에요. 

 

 

지금까지 데이터 기반으로 실험을 설계하는 과정과, 측정을 위한 목표설정, 그 중에서도 서비스의 중심이 되는 KPI핵심성과지표에 대해서 알아보았습니다. 오늘 포스트도 재밌게 읽어주셨길 바라며, 다음 글에서 또 만나요! 

 

 

---

 

항해99 부트캠프 PM코스를 수강하고 작성한 콘텐츠 입니다. 

https://hanghae99.spartacodingclub.kr/pm