Vanity Metriky vs. Bruiteľné Metriky: Ako Rozlíšiť Rozdiel
Vanity metriky sa cítia ako pokrok a produkujú nič. Tu je praktický test na rozlíšenie rozdielu — a referenčná tabuľka s najbežnejšími vinníkmi.
Termín "vanity metriky" popularizoval Eric Ries v Lean Startup, ale koncept predchádza knihu desaťročiami: popisuje akúkoľvek metriku, ktorá vás robí pocit dobrý o vašom biznise bez toho, aby vám pomohla pochopiť alebo zlepšiť ho. Zobrazenia stránok. Celkové stiahnutia. Hrubé prihlášky. Zmienky v tlači. Dojem na Twitteri. Tieto čísla idú hore, a ísť hore sa cítí ako vyhrať, a to pocit je presne nebezpečenstvo — pretože úsilie strávené oslavovaním a hlásením vanity metrík je úsilie nie strávené na číslach, ktoré skutočne pohánajú rozhodnutia.
Rozdiel medzi vanity a bruiteľnosťou nie je vždy zrejmý, a niektoré metriky sa skutočne dostávajú do oboch kategórií v závislosti od kontextu. Čo nasleduje je rámec na dosiahnutie výzvy, a referenčná tabuľka zahŕňajúca metriky najviac diskutovaní.
Trojotázková skúška
Aplikujte tieto tri otázky na akúkoľvek metriku, ktorú zvažujete sledovať. Ak neuspeje viac ako jeden, je takmer určite vanity metriky.
Otázka 1: Môže táto metrika ísť dole? Metrika, ktorá sa len zvyšuje — celkovo registrovaní používatelia, kumulatívne zobrazenia stránok, stiahnutia po dobu všetkých čias — obsahuje žiadne informácie o tom, či sa veci zlepšujú alebo zhoršujú teraz. Bruiteľné metriky sa môžu ísť oboma smermi. Schopnosť znížiť je to, čo robí metriku zmysluplnou ako signál.
Otázka 2: Zmena v tejto metrike spustí špecifickú akciu? Ak by táto metrika budúci mesiac klesla o 20%, vedeli by ste, čo robiť inak? Ak je odpoveď "vyšetrili by sme ďalej," metrika je príliš vysoká úroveň na to, aby bola priamo bruiteľná. Ak je odpoveď "zvýšili by sme vzostupné predajné volania" alebo "opravili by sme tok onboardingu v tretej fáze," je to bruiteľné.
Otázka 3: Je ťažké nafúknuť túto metriku bez zlepšenia základnej reality? Celkovo registrovaní používatelia sa dajú nafúknuť nákupom e-mailových zoznamov alebo spustením na Produkt Hunt. Týždenne aktívni používatelia sa nedajú nafúknuť bez toho, aby sa používatelia skutočne vrátili do produktu. Metriky, ktoré sa dajú ľahko nafúknuť bez vytvorenia skutočnej hodnoty, sú z návrhu vanity metriky.
Vanity metriky nie je metriky, ktorá vyzerajú dobre. Je to metriky, ktorá vás robí pocit ako by ste sa zlepšovali, keď byste nepotrebne. Pocit pokroku, ktorý produkuje, je presne pasť.
Referenčná tabuľka
| Metriky | Verdikt | Prečo |
|---|---|---|
| Celkovo registrovaní používatelia | Vanity | Ide iba hore. Nepovedá nič o zapojení, hodnote doručenej, alebo či produkt funguje. Nahraďte mesačnými aktívnymi používateľmi alebo mierou aktivácie. |
| Mesačne aktívni používatelia (MAU) | Bruiteľné | Môže ísť hore alebo dole. Odráža, či sa používatelia vracajú — predpoklad pre retenciu a príjmy. Obzvlášť silný, keď sa sleduje podľa kohorty. |
| Zobrazenia stránok / relácie webov | Vanity | Môže sa nafúknuť bot dopravou, sociálnym špicom, alebo akýmkoľvek placeným výdavkami. Bez miery konverzie pripojená, popisuje pozornosť, nie trakciu. Namiesto toho použite mieru konverzie na skúšku. |
| Miera konverzie na skúšku-na-zaplatenie | Bruiteľné | Meria, či váš nabúrací lej funguje. Pokles spustí špecifické vyšetrovanie do onboardingu, ceny, alebo správ. Ťažko sa nafúkuje bez zlepšenia skutočnej konverzie. |
| Sociálne média nasledovací | Vanity | Počet nasledovateľov sa dá kúpiť, nasleduje výkonový zákon, ktorý nesúvisí s kvalitou obchodu, a je zlý predpovedač akéhokoľvek výsledku podnikania po stiahnutí. Sledujte mieru odkazu alebo podiel hlasu v kvalifikovaných komunitách. |
| Veľkosť e-mailového zoznamu | Závisí | Vanity, ak je nekvalifikovaný a neurčitý. Bruiteľné, ak je segmentované podľa úrovne zapojenia a koreluje sa s downstreamovej konverziou. Veľkosť zoznamu nie je dôležitá, pokiaľ otvorené sadzby a kliknuté sadzby sú zdravé. |
| Net Promoter Score (NPS) | Závisí | Bruiteľné, keď sa sleduje konzistentne v čase so segmentovými vyraďovaniami a procesom pokračovania pre odporúčaní. Vanity, keď sa opýta raz, oslavuje, a uložená. Skóre je menej vzácne ako trend a kvalifikatívny follow-up. |
| Príjmy (brutto) | Závisí | Bruiteľné, keď je rozdelené podľa kohorty, kanálu, a veľkosti zmluvy. Potenciálne zavádzajúci, keď je prezentovaný ako jedno zmiešané číslo, ktoré maskuje vysoký odtok za silným získaním nového zákazníka. Vždy spárujte s netto-príjmovou retenciou. |
| Zmienky tlače / pokrytie médií | Vanity | Zriedka sa koreluje s podnikovými výsledkami v ranom štádiu. Merajte, či tlač riadi skúšky alebo prihlášky — ak to neurobí, patrí do archívov marketingu, nie na panel s podnikením. |
| Miera retencie na deň-30 | Bruiteľné | Priamo meria, či noví používatelia našli dosť hodnoty na zostanie aktívnych mesiac po registrácii. Jeden z najotvorenejších vedúcich ukazovateľov dlhodobej retencie a LTV dostupných pre tímy v ranom štádiu. |
| Hodnotenie App Store | Vanity | Odráža skreslenú, sebavybranú vzorku vašich najpokojnejších a najmiernejších spokojných používateľov. Užitočný pre kvalitatívnu späť; zbytočný ako obchodná metriky. Sledujte retenciu na deň-30 a churn, aby ste merali skutočnú spokojnosť produktu. |
| Náklady na získanie zákazníka (CAC) | Bruiteľné | Priamo bruiteľný — vzostup spustí vyšetrovanie do efektívnosti kanála, miery konverzie, a nákladov ľudí. Zmysluplný len, keď sa vypočítava s plným zahrnutím nákladov (ľudia + výdavky na reklamu + nástroje) a sleduje sa podľa kanálu, nie len zmiešané. |
Kategória "závisí" si zaslúži pozornosť
Niekoľko metrík v tabuľke — NPS, príjmy, veľkosť e-mailového zoznamu — sedí v kategórii "závisí", ktorá stojí za rozpakovaním. Toto sú metriky, ktoré sú bruiteľné v jednom kontexte a vanity v inom. Rozdiel je takmer vždy spôsob ich sledovania, segmentovania, a pokračovania, nie samotná metriki.
NPS je najjasnejší príklad. Jedno zmiešané NPS číslo, opytané ročne a prezentované v tabuli bordu, je vanity metriky. Povie vám niečo (skóre), cítí sa to zmysluplné (číslo nad 40 je "dobré"), ale nepovedá vám, ktorí zákazníci sú odporúčaní, prečo sú odporúčaní, alebo čo by ste mali urobiť na ich konverziu. NPS sledovaný mesačne podľa zákazníka segmentu, s konzistentným procesom pokračovania pre každý odpoved odporúčanú, je bruiteľná metriky. Rovnaké číslo, úplne iná utilita.
Takmer akákoľvek metriki sa stáva viac bruiteľnou, keď sa segmentuje. Zmiešané príjmy rozdelené podľa kanála akvizície, zákazníka segmentu, a veľkosti zmluvy generujú úplne iný vhľad z zmiešaného súčtu. Práca na vytvorení bruiteľnej metriky je často práca rozpojenia na segmenty, kde žije variácia — pretože variácia je, kde žije príležitosť rozhodovania.
Organizačné náklady na vanity metriky
Vanity metriky nie sú nevinné. Trvajú čas na výrobu, čas na nahlasovanie, a — najskodlivejší — dávajú tímom povolenie cítiť sa dobre o práci, ktorá nie je pokrok podnikania. Tím, ktorý oslavuje 100 000 celkovo registrovaných používateľov, je tím, ktorý sa nepýta, prečo len 4 000 z nich je aktívny. Táto otázka, nepýtaná, je rozdiel medzi produktom, ktorý rieši problém retencie v mesiaci 6, a tým, ktorý ho objavuje v mesiaci 18, keď je trajektória rastu už napísaná.
Praktické riešenie nie je zakázať všetky vysoké metriky z panela — je to spárovať každú ľahko slávnu metriku s ťažšou metrikou, ktorá poskytuje chýbajúci kontext. Celkovo registrovaní používatelia, spárovaní s mesačnými aktívnymi používateľmi a mierou aktivácie. Doprava webov, spárovaná s mierou konverzie na skúšku. Hrubý príjem, spárovaný s netto-príjmovou retenciou. Každé spárovanie vytvárajú napätie, ktoré zabraňuje komfortnej metrike v produkovaní zbytkosti.
Niektorí investori, obzvlášť v najranejších štádiách, budú žiadať celkovo registrovaných používateľov, stiahnutia aplikácií, alebo sociálne nasledovanie ako dôkaz trakcie. Stojí za chápaním prečo: tieto metriky sú ľahko porovnateľné medzi spoločnosťami a štádiami, a investori bez hlbokého znalosti domény ich používajú ako hrubé proxies. Poskytnite ich, keď sa spýtajú — ale vždy vedúci s bruiteľnými metrikami, ktoré hovoria skutočný príbeh. Zakladateľ, ktorý vysvetľuje "máme 8 000 registrovaných používateľov, 3 400 z nich je mesačne aktívny, s 72% retenciou na deň-30" demonštruje úroveň operačnej jasnosti, že jednoduchý počet používateľov nemôže prenášať.
Posun z vanity na bruiteľné metriky je tak veľa kultúrnou zvykom ako technickou. V FabricLoop, tímy, ktoré urobili posun, často udržiavajú jednu, zdieľanú poznámku, ktorá uvádza oficiálne metriky — tie, ktoré sa objavujú v týždňovej recenzii, tie, ktoré majú vlastníkov, tie, ktoré generujú úlohy, keď sa pohybujú nesprávnym smerom. Táto zoznam pôsobí ako filter: keď niekto navrhne pridať novú metriku do recenzie, otázka "prejde táto trojotázková skúškou?" má zdieľaný referenčný bod na aplikáciu proti. Zoznam nemusí byť dlhý, aby bol silný — často šesť až osem metrík, konzistentne sledované, je dosť na to, aby sa rastúci tím držal v správnom smere.