분석이 하고 싶니? 죽도록 하고 싶은거야?

요즘 하는 생각...

분석 하고 싶어요...

1. '데이터 분석 = 끼워맞추기'다?
 데이터 분석에 앞서 데이터를 통해 무엇을 알고 싶은지, 이를 확인할 수 있는 지표를 어떻게 정의할지, 확인한 사실로 무엇을 하고 싶은지 문제를 정의하게 되는데 간혹 이 과정을 '결론을 내 놓고 데이터를 끼워맞춰서 해석한다'로 오해하게 되는 경우가 있다. 데이터를 다루는 실무자로서도 충분히 혼란에 빠질 만하고 그래서 뭘 어떻게 하라는 건지 결론이 시급한 유관부서라면 더더욱 이렇게 생각하기 쉬울 것 같다.

그래서 끼워맞추는 데이터 분석을 하지 않으려면 가설과 검증의 사고방식이 탑재되어야 하지 않을까 생각한다. 정의한 문제, 추측한 원인을 기반으로 현상(데이터)을 분석하고 추측한 원인(가설)이 아닐 시 다시 원인을 추정하는 식으로... 사실 가설 자체가 잠정적 결론이므로 끼워맞추는 데이터 분석이라는 말도 아주 틀린 말은 아닌 듯 하다. (오히려 좋은 듯..!?)

그렇다면 가설과 검증 사고방식의 핵심은 끼워 맞추기를 여러 번 시도하는 것이 되겠다. 하지만 보통 데이터 분석이 건바이건으로 그치기 때문에 잘못된 가설에 데이터를 끼워맞추고 결론을 빨리 내버리게 되는 게 아닐까? 그런 관점에서 보면 분석 자체가 목적인 것도 끼워맞추기의 원인이 될 수 있겠다. (K 회사 특: 실패를 용납하지 않음)

개인적 차원에서는 다양한 케이스를 가정할 수 있도록 유연한 사고를 가질 필요가 있다. 밥 먹고 분기 정의, 엣지 케이스 정의만 해 왔던 나로서는 자신있다. 다만 구조적 차원에서는 어떻게 접근해야 할지 미지수이다.

2. 파이썬 vs SQL
파이썬은 나에게 항상 아픈 손가락이었는데 그래도 최근에는 많이 익숙해졌다. 그리고 데이터 분석에서 언제, 왜 파이썬을 써야하는지 감이 잘 안 와서 더욱 거리감이 느껴졌었는데 대략 1)대용량 데이터인 경우 2)모르는 데이터인 경우 3)정규화 되지 않은 데이터인 경우 등으로 쓰임의 갈피가 잡혀가고 있다. 특히 대용량이라 하면 줄 수(row)가 많은 경우도 있지만 컬럼 수가 많은 경우도 있었다. (게임 행동 데이터가 정말 복잡하더라...)

그렇지만 애초에 데이터베이스로 데이터를 배워서인지 아무래도 SQL이 더 손이 간다. 파이썬으로 재미를 한 번 보면 좀 더 적극적으로 활용할 수 있을 것 같은데... 분석가는 파이썬이 엑셀처럼 쉬워져야 한다고 하던데...

3. 나의 필살기 역량은?
짬이 얼마 되지도 않았는데 이런 질문이 갈수록 어렵다. 오히려 어설프게 알아서 더 혼란스러운 것 같다. 그래서 분석 업무 프로세스에 따른 필요 역량을 일대일로 매칭하고 체크해보았다. 필요 역량은 BI 커뮤니티 비저블의 3기 지원서에서 참고했다. (문제가 될 시 아래 내용은 지우겠습니다)

데이터 분석 업무	필요 역량
기획	문제 정의 역량: 문제를 정의하고 분석의 방향을 설정할 수 있는 능력 해결하고 싶은 문제 정의 😄 분석에 필요한 데이터 속성 정의 😄 분석 목적 정의(현상파악/원인분석/추세분석/예측) 🙂
데이터 수집	데이터 수집 역량: 크롤링, 어려운 포맷으로 제공되는 데이터 수집 🙂
데이터 전처리	데이터 전처리 역량: 데이터 시각화 전 단계에서 깔끔하게 정리할 수 있는 능력 필요한 속성만 추출 😄 조건에 따라 데이터 추출 😄 결측치 확인/처리 😄 이상값 확인/처리 😄 자료형 변경 😄 테이블 변경 😄
데이터 시각화	시각화 역량: 코드나 툴을 이용하여 데이터 시각화를 할 수 있음 😐 디자인 역량: 사용자의 니즈를 파악하고 비주얼 컨셉에 맞는 디자인을 할 수 있음 😐
인사이트 도출	데이터 분석 역량: EDA, 인사이트 및 결론 도출 😐 스토리텔링: 설득력있고 논리적인 이야기 흐름을 만들 수 있는 능력 😄
프로젝트 매니지먼트	프로젝트 매니지먼트: 프로젝트 기획 및 업무 관리 전반에 대한 능력 😄 커뮤니티: 먼저 대화를 주도하고, 팀원들과 커뮤니케이션 할 수 있는 능력) 😄 리더십: 팀 전체의 방향성을 디렉션 할 수 있는 역량 😄

아이러니하게도 데이터 분석의 핵심인 인사이트 도출과 시각화에서 가장 부족함을 느낀다. 문제가 제대로 정의된다면 인사이트를 도출하는 데 적어도 길을 잃지는 않을 것이라고 위안을 해본다. 어쩔티비...

4. 가치관
커리어 관점
개인적인 성향이 항상 미래 지향적이어서 그 탓에 기획으로 커리어를 시작했다. 항상 한 발 앞서 큰 그림을 그려왔고 무언가를 정의하거나 이슈를 발제하는 것이 좋았다. 기획에도 여러 갈래, 단계가 있는데 분석은 큰 틀에서 기획에 포함되더라. 그 중에서도 데이터 분석은 데이터에 기반한 분석인 것이고 트렌드 분석, 시장 분석 이런 것도 다 분석이다. 한 마디로 내 머리에는 '기획 > 분석 > 데이터 분석'의 하이라키가 존재한다.

이렇게 생각하게 된 이유는 당연하게도 내가 기획을 해왔기 때문이다. 지속 가능한 기획(+실행)이 가능하려면 명확한 문제 정의, 성과 측정을 위한 지표 정의, 결과/현황 해석 등이 선행되어야 하고 이런 과정이 분석임을 체감했다. 아마 데이터로, 통계로 분석을 시작하는 사람들과는 여러모로 사고 체계가 다를 것이라고 생각한다. 장점이라고 애써 믿고 있다.

회사 관점
1) 커머스: 무형이든 유형이든 상거래가 일어나야 한다. 돈이 소통의 중심이 되는 게 목표 지향적이고 여러모로 효율적인 것 같다. (리텐션에 지친 것이 맞다..)

2) 일정 규모 이상: 어느 정도 규모라고 정의하기 어렵지만 업력이 5년 이상이거나 사용자 수가 일정 규모 이상이면 좋겠다. (데이터 쌓다가 늙어 죽을 것 같다...)

3) 팀: 가장 이상적인 것은 데이터 조직과 목적 조직으로 구성된 팀에 ^크로스 펑셔널^하게 소속되는 것이지만 팀원이 3명 이상이면 감사할 것 같다.

4) 인하우스: 인하우스와 대행사 둘 다 경험해 본 바로는 반반이지만 아직까지는 인하우스를 더 선호한다. (나중에나중에 프리랜서로 날아다니는 게 꿈이다...)

생각나는 게 있으면 더 추가할 것