허황된 메트릭스 vs. 실행 가능한 메트릭스: 차이를 구별하는 방법
허황된 메트릭스는 진행처럼 느껴지지만 실제로는 그렇지 않습니다. 차이를 구별하기 위한 실용적인 테스트와 가장 일반적인 범죄자들의 참고 표입니다.
"허황된 메트릭"이라는 용어는 Eric Ries의 린 스타트업에서 인기를 얻었지만, 그 개념은 책보다 수십 년 전으로 거슬러 올라갑니다. 페이지 뷰. 총 다운로드. 총 가입. 보도 언급. 트위터 인상. 이 숫자들은 증가하고, 증가하는 것은 승리처럼 느껴지며, 정확히 그 감정이 위험합니다 — 왜냐하면 허황된 메트릭스를 축하하고 보고하는 데 사용된 노력은 실제로 의사결정을 주도하는 숫자에 사용되지 않는 노력이기 때문입니다.
허황된 메트릭스와 실행 가능한 메트릭스 간의 구분은 항상 명확하지는 않으며, 일부 메트릭스는 컨텍스트에 따라 실제로 두 범주에 속합니다. 다음은 결정을 내리기 위한 프레임워크이며, 가장 일반적으로 논의되는 메트릭스를 다루는 참고 표입니다.
세 가지 질문 테스트
추적을 고려하는 모든 메트릭스에 이 세 가지 질문을 적용합니다. 두 개 이상에 실패하면 거의 확실히 허황된 메트릭스입니다.
질문 1: 이 메트릭스가 내려갈 수 있습니까? 항상 증가하는 메트릭스 — 총 등록된 사용자, 누적 페이지 뷰, 전체 다운로드 — 현재 상황이 나아지고 있는지 악화되고 있는지에 대한 정보를 포함하지 않습니다. 실행 가능한 메트릭스는 어느 방향이든 갈 수 있습니다. 하락할 수 있는 능력이 메트릭스를 신호로서 의미 있게 만드는 것입니다.
질문 2: 이 메트릭스의 변화가 특정 조치를 촉발합니까? 이 메트릭스가 다음 달에 20% 떨어지면 다르게 할 일을 알 수 있습니까? 답이 "우리는 더 조사할 것입니다"라면 메트릭스는 직접 실행 가능하기에 너무 높은 수준입니다. 답이 "우리는 아웃바운드 판매 전화를 늘릴 것입니다" 또는 "우리는 3단계에서 온보딩 흐름을 수정할 것입니다"라면 실행 가능합니다.
질문 3: 근본적인 현실를 개선하지 않고도 이 메트릭스를 부풀리기 어렵습니까? 총 등록 사용자는 이메일 목록을 구입하거나 Product Hunt에서 시작하여 부풀려질 수 있습니다. 주간 활성 사용자는 실제로 사용자를 제품으로 돌려놓지 않고는 부풀려질 수 없습니다. 실제 가치를 창출하지 않고도 쉽게 부풀려지는 메트릭스는 설계상 허황된 메트릭스입니다.
허황된 메트릭스는 좋아 보이는 메트릭스가 아닙니다. 그것은 개선되고 있지 않을 때 개선되고 있다고 느끼게 하는 메트릭스입니다. 그 감정이 함정입니다.
참고 표
| 메트릭스 | 판정 | 이유 |
|---|---|---|
| 총 등록된 사용자 | 허황된 | 계속 증가합니다. 참여도, 제공된 가치, 또는 제품 작동 여부에 대해 알 수 없습니다. 월간 활성 사용자 또는 활성화 율로 바꾸십시오. |
| 월간 활성 사용자 (MAU) | 실행 가능한 | 증가하거나 감소할 수 있습니다. 사용자가 반환되는지 여부를 반영합니다 — 유지 및 수익의 전제 조건입니다. 코호트별로 추적할 때 특히 강력합니다. |
| 페이지 뷰 / 웹사이트 세션 | 허황된 | 봇 트래픽, 소셜 스파이크, 또는 유료 지출로 부풀려질 수 있습니다. 전환율이 없으면 주의를 설명하지만 견인을 설명하지 않습니다. 대신 트래픽-시작 전환율을 사용합니다. |
| 시험-유료 전환율 | 실행 가능한 | 가입 단계가 작동하는지 측정합니다. 하락은 온보딩, 가격 책정, 또는 메시징으로의 특정 조사를 유발합니다. 실제 전환을 개선하지 않고는 부풀리기 어렵습니다. |
| 소셜 미디어 팔로워 | 허황된 | 팔로워 수를 구입할 수 있으며, 전력 법칙을 따르는 비즈니스 품질과 무관하며, 모든 다운스트림 비즈니스 결과의 나쁜 예측입니다. 대신 추천 율 또는 정규 커뮤니티에서의 음성 점유율을 추적합니다. |
| 이메일 목록 크기 | 상황에 따라 | 무한정한 미 참여 목록인 경우 허황된입니다. 참여도별로 세분화되고 다운스트림 전환과 상관관계가 있는 경우 실행 가능합니다. 목록 크기는 열려 있는 율과 클릭 율이 건강할 때만 중요합니다. |
| 넷 프로모터 점수 (NPS) | 상황에 따라 | 일관되게 시간을 추적할 때 세그먼트 수준 분석 및 반박자 후속 조치 프로세스를 통해 실행 가능합니다. 한 번 조사하고, 축하하고, 파일링할 때 허황된입니다. 점수는 추세와 정성적 후속 조치보다 덜 가치 있습니다. |
| 수익 (총) | 상황에 따라 | 코호트, 채널, 세그먼트별로 분류할 때 실행 가능합니다. 높은 이탈 뒤에 강한 신규 고객 획득을 숨기는 단일 혼합 숫자로 제시될 때 잠재적으로 오도합니다. 항상 순 수익 유지율과 페어링하세요. |
| 보도 언급 / 미디어 보도 | 허황된 | 초기 단계에서 비즈니스 결과와의 상관관계가 거의 없습니다. 보도가 시험이나 가입을 유도하는지 측정합니다 — 그렇지 않으면 비즈니스 대시보드가 아닌 마케팅 보관소에 속합니다. |
| 30일 유지율 | 실행 가능한 | 신규 사용자가 가입 후 1개월 활동 상태를 유지할 만큼의 가치를 찾은지 여부를 직접 측정합니다. 초기 단계 팀이 이용할 수 있는 장기 유지율 및 LTV의 가장 정직한 선행 지표 중 하나입니다. |
| 앱 스토어 등급 | 허황된 | 가장 만족하고 가장 불만족한 사용자의 편향되고 자체 선택된 샘플을 반영합니다. 정성적 피드백에 유용합니다. 비즈니스 메트릭스로는 쓸모가 없습니다. 진정한 제품 만족도를 측정하려면 30일 유지율과 이탈율을 추적하세요. |
| 고객 획득 비용 (CAC) | 실행 가능한 | 직접 실행 가능합니다 — 상승은 채널 효율성, 전환율, 비용 조사를 유발합니다. 완전한 비용 포함(사람 + 광고 지출 + 도구)으로 계산되고 혼합이 아닌 채널별로 추적할 때만 의미 있습니다. |
"상황에 따라" 범주는 주목할 가치가 있습니다
표의 여러 메트릭스 — NPS, 수익, 이메일 목록 크기 — "상황에 따라" 범주에 있으며, 이는 풀 가치가 있습니다. 이것은 한 컨텍스트에서는 실행 가능하고 다른 컨텍스트에서는 허황된 메트릭스입니다. 차이는 거의 항상 메트릭스 자체가 아니라 어떻게 추적, 세분화, 후속 조치되는지에 관한 것입니다.
NPS는 가장 명확한 예입니다. 연간 조사되고 이사회 갑판에 제시되는 단일 혼합 NPS 숫자는 허황된 메트릭스입니다. 그것은 당신에게 무언가를 말합니다 (점수), 의미 있게 느껴집니다 (40 이상의 숫자가 "좋습니다"), 그러나 어떤 고객이 반박자인지, 왜 반박자인지, 또는 그들을 전환할 방법을 알려주지 않습니다. 월별로 고객 세그먼트별로 추적된 NPS, 모든 반박자 응답에 대한 일관된 후속 조치 프로세스가 있으면 실행 가능한 메트릭스입니다. 동일한 숫자, 완전히 다른 유틸리티입니다.
거의 모든 메트릭스는 세분화될 때 더 실행 가능해집니다. 획득 채널, 고객 세그먼트, 계약 규모별로 분류된 혼합 수익은 혼합 총계와 완전히 다른 인사이트를 생성합니다. 메트릭스를 실행 가능하게 만드는 작업은 종종 변동이 있는 세그먼트로 분해하는 작업입니다 — 왜냐하면 변동은 의사결정 기회가 있는 곳이기 때문입니다.
허황된 메트릭스의 조직 비용
허황된 메트릭스는 무해하지 않습니다. 생성할 시간, 보고할 시간, 가장 손상적으로 팀에 실업계 진행에 대해 기분 좋게 느낄 수 있는 권한을 부여합니다. 총 등록 사용자 100,000명을 축하하는 팀은 그 중 4,000명만 활동 중이라는 질문을 하지 않는 팀입니다. 그 질문, 미답변, 유지 문제를 6월에 해결하는 제품과 성장 궤도가 이미 작성된 18월에 발견하는 제품의 차이입니다.
실제적인 해결책은 대시보드에서 모든 높은 수준의 메트릭스를 금지하는 것이 아니라, 모든 축하하기 쉬운 메트릭스를 그것이 부족한 컨텍스트를 제공하는 더 어려운 메트릭스와 페어링하는 것입니다. 총 등록 사용자, 월간 활성 사용자 및 활성화율과 페어링됩니다. 웹사이트 트래픽, 시험 전환율과 페어링됩니다. 총 수익, 순 수익 유지와 페어링됩니다. 각 페어링은 편안한 메트릭스가 자만을 만드는 것을 방지하는 긴장을 만듭니다.
일부 투자자, 특히 가장 초기 단계에서 총 등록 사용자, 앱 다운로드, 또는 소셜 미디어 팔로우를 견인 증거로 요청합니다. 왜인지를 이해할 가치가 있습니다: 이 메트릭스는 회사 및 단계 간에 비교하기 쉽고, 깊은 도메인 지식이 없는 투자자는 이를 거친 대리인으로 사용합니다. 요청할 때 제공하십시오 — 그러나 항상 실제 이야기를 말하는 실행 가능한 메트릭스로 주도하세요. "우리는 8,000명의 등록 사용자, 3,400명의 월간 활성, 72% 30일 유지율"을 설명하는 창업자는 단순한 사용자 수가 전달할 수 없는 수준의 운영 명확성을 보여줍니다.
허황된 메트릭스에서 실행 가능한 메트릭스로의 전환은 기술만큼 문화적 습관입니다. FabricLoop에서 변화를 이룬 팀은 종종 공식 메트릭스 목록을 유지합니다 — 주간 검토에 나타나는 것, 소유자가 있는 것, 잘못된 방향으로 이동할 때 작업을 생성하는 것. 그 목록은 필터 역할을 합니다: 누군가가 새 메트릭스를 검토에 추가하도록 제안할 때 "이 3가지 질문 테스트를 통과합니까?"라는 질문은 공유 참조점을 가집니다. 목록은 강력하기 위해 길어야 할 필요가 없습니다 — 종종 6~8개의 일관되게 추적된 메트릭스는 성장하는 팀을 올바른 방향으로 유지하기에 충분합니다.