지표 개선은 어떻게 하는 거에요? - 가설과 검증

목표 지표가 있다는 전제하에 지표를 개선하기 위해서는 '어떤 액션이 지표에 영향을 주었는지' 확인해야 한다.

지표를 개선하려면

1) 달성하고 싶은 지표를 결정한다.
2) 사용자 행동 중에서 지표에 영향을 많이 줄 것으로 보이는 행동을 결정한다.
3) 2)에서 결정한 행동 여부와 횟수를 집계하고 1)에서 결정한 지표를 만족하는 사용자의 비율을 비교한다.

예)
[목표] 다음날 지속률을 개선하고 싶다
[가설] 다음날 지속해서 사용하는 사용자는 등록 당일에 특정 액션을 취하지 않을까?
[검증] 등록 당일에 액션을 했는지 여부를 집계하고 다음날 지속률 비율을 비교한다

출처: 데이터 분석을 위한 SQL 레시피(301p)

돌려 돌려 말했지만 결국 특정 액션 여부와 횟수에 따라 지표의 결과가 어떠한지 액션과 지표의 관계를 밝혀내는 과정이다. 인과관계를 증명하는 것까지는 아니더라도 행동 여부에 따른 고객 세그먼테이션도 가능하다.

---

목표와 가설, 검증 방법 세우기

목표에 따른 가설, 검증 방법이 툭치면 나올 때까지 연습에 연습을 거듭하자. 뭐가 있어야 분석도 할 수 있다.

목표

글의 업로드와 댓글 수를 늘리고 싶다

가설	검증
팔로워가 많을수록 글/댓글을 자주/많이 업로드 하지 않을까?	팔로워의 존재 여부와 팔로워 수를 집계하고 글/댓글 수의 차이를 비교한다
팔로우가 많을수록 글/댓글을 자주/많이 업로드 하지 않을까?	팔로우 추가 여부와 팔로우 수를 집계하고 글/댓글 수의 차이를 비교한다
프로필 사진을 등록한 유저는 글/댓글을 자주/많이 업로드 하지 않을까?	프로필 사진 등록 여부를 집계하고 글/댓글 수의 차이를 비교한다

---

목표

신규 사용자의 재사용율을 개선하고 싶다

가설	검증
등록한 달에 N개의 글을 업로드한 유저는 재사용하지 않을까?	글 업로드 여부와 업로드 수를 집계하고 재사용율을 비교한다
등록한 달에 N명을 팔로우한 유저는 재사용하지 않을까?	팔로우 추가 여부와 팔로우 수를 집계하고 재사용율을 비교한다
등록 다음날부터 N일 사용한 유저는 재사용하지 않을까?	사용 여부와 사용 일수를 집계하고 재사용율을 비교한다

---

목표

전환율(CVR)을 개선하고 싶다

가설	검증
구매 전 상세 페이지를 N회 조회한 유저는 전환율이 높지 않을까?	상세 페이지 조회 여부와 조회 수를 집계하고 전환율을 비교한다
구매 전 관심 상품 기능을 사용한 유저는 전환율이 높지 않을까?	관심 상품 기능 사용 여부를 집계하고 전환율을 비교한다

---

열심히 가설-검증 수립을 연습하긴 했지만.. 사실 목표를 정하는 게 제일 어렵다. 뭐든 그렇지만 목표만 분명하면 세부적인 방법(가설)들은 이것저것 시도해보면 되기 때문이다. 각자의 도메인 지식이나 다양한 경험, 창의력 등이 발휘될 수 있는 영역이기도 하다.
그보다는 달성하고자 하는 지표의 당위성을 증명해내는 게 정말 어렵다. 특히 지금처럼 성장이 어려운 시기에는 더욱 그렇다. 댓글 수 많아지면 좋고 MAU 당연히 높아져야겠지만 궁극적인 목표가 없다면(한 마디로 돈을 못 번다면) 가설 수립까지 가지도 못할 것이다. 그래서 어쩌라는거냐면...이제부터 다시 생각해봐야 된다.