Vanity Metrike vs. Mjerljive Metrike: Kako Prepoznati Razliku
Vanity metrike izgleda kao napredak i ne stvaraju ništa. Evo praktičnog testa za razlikovanje — i referentne tablice najčešćih krivaca.
Termin "vanity metrika" popularizirao je Eric Ries u "The Lean Startup", ali koncept predatira knjiga za desetljeća: opisuje bilo koju metriku koja vas čini dobronamjerno oko vašeg poslovanja bez pomoći u razumijevanju ili poboljšanju. Prikazi stranica. Ukupna preuzimanja. Bruto registracije. Spominjanja u medijima. Utisci na Twitteru. Ovi brojevi rastu, a rastući rast izgleda kao pobjeda, i taj osjećaj je upravo opasnost — jer se napor provođenja i izvještavanja vanity metrika je napor ne provođenja brojeva koji zapravo vožnjaju odluke.
Razlika između vanity i mjerljive nije uvijek očita, a neke metrike doista spadaju u obje kategorije ovisno o kontekstu. Što slijedi je okvir za donošenja odluke i referentne tablice koje pokrivaju metrike koje se najčešće raspravljaju.
Tri testna pitanja
Primijenite ova tri pitanja na bilo koju metriku koju razmatraš pratiti. Ako ona ne uspije više od jednog, gotovo je sigurno vanity metrika.
Pitanje 1: Može li ova metrika pasti? Metrika koja samo raste — ukupni registrirani korisnici, kumulativni prikazi stranica, sva vremenska preuzimanja — ne sadrži informacije o tome je li stvar bolje ili gore sad. Mjerljive metrike mogu ići u bilo kojem smjeru. Mogućnost odbijanja je ono što čini metriku smislenom kao signal.
Pitanje 2: Zahtijeva li promjena ove metrike specifičnu akciju? Ako bi ova metrika pala 20% sljedeći mjesec, znali bi što učiniti drugačije? Ako je odgovor "trebali bismo dalje istražiti", metrika je previše visoke razine da bi bila izravno mjerljiva. Ako je odgovor "povećali bismo pozive prodaje na odlasku" ili "popravili bismo tok uključivanja na trećem koraku", mjerljiva je.
Pitanje 3: Je li ova metrika teško naduti bez poboljšanja temeljne stvarnosti? Ukupni registrirani korisnici mogu se naduti kupnjom popis e-pošte ili pokretanjem na Product Hunt. Tjedno aktivni korisnici ne mogu se naduti bez doista vraćanja korisnika u proizvod. Metrike koje se lako mogu naduti bez stvaranja stvarne vrijednosti su vanity metrike prema dizajnu.
Vanity metrika nije metrika koja izgleda dobro. To je metrika koja vam čini da se čini da se poboljšavate kada se možda ne. Osjećaj je zamka.
Referentna tablica
| Metrika | Presuda | Zašto |
|---|---|---|
| Ukupni registrirani korisnici | Vanity | Samo raste. Ne govori ništa o angažmanu, dostavljena vrijednost ili je li proizvod funkcionira. Zamijenite s mjesečnim aktivnim korisnicima ili stopom aktivacije. |
| Mjesečno aktivni korisnici (MAU) | Mjerljive | Mogu ići gore ili dolje. Odražava da li se korisnici vraćaju — preduvjet za retenciju i dohodak. Posebno moćan kada se prati po kohorti. |
| Prikazi stranica / web sesije | Vanity | Može se naduti prometom robota, društvenim vršcima ili bilo kakvom plaćenom potrošnjom. Bez stope konverzije priložene, ona opisuje pažnju, ne vučnu snagu. Umjesto toga koristite stopu konverzije prometa u prubu. |
| Stopa konverzije probnog u plaćanja | Mjerljive | Mjeri je li vaš lijevak za akviziciju funkcionira. Pad okida specifičnu istragu u uključivanju, cijene ili porukama. Teško je naduti bez poboljšanja stvarne konverzije. |
| Brojač ljubitelja društvenih medija | Vanity | Broj pratilaca može se kupiti, slijedi zakona moći nepovezane s kvalitetom posla, i je loš predvidač bilo kojeg odvodnog ishoda poslovanja. Umjesto toga pratite stopu referala ili udio glasa u kvalificiranim zajednicama. |
| Veličina popisa e-pošte | Ovisi | Vanity ako nije kvalificiran i nije angažiran. Mjerljive ako je segmentiran po razini angažmana i povezan s konverzijom nizvodno. Veličina popisa važna je samo kada su otvorene stope i stope klika zdrave. |
| Net Promoter Score (NPS) | Ovisi | Mjerljive kada se dosljedno prati tijekom vremena s rascjepima na razini segmenta i procesne za detraktore. Vanity kada se anketi jednom, slave i datira. Rezultat je manje vrijedan od trenda i kvalitativnog praćenja. |
| Dohodak (bruto) | Ovisi | Mjerljive kada se razbije po kohorti, kanalu i segmentu. Potencijalno zabunjujuće kada se prikaže kao jedan blandi broj koji maskira visoku broju s jakom akvizicijom novog kupca. Uvijek uparite s neto retencijom dohotka. |
| Spominjanja u medijima / medijska pokrivanja | Vanity | Rijetko u korelaciji s poslovnim ishodima u ranoj fazi. Mjerite je li medij poganja pokuse ili registracije — ako ne, to pripada arhivama marketinga, ne nadzornom ploči poslovanja. |
| Stopa retencije na dan 30 | Mjerljive | Izravno mjeri je li novi korisnici naći dovoljno vrijednosti da ostanu aktivni mjesec dana nakon registracije. Jedan od najpošteniji vođenja indikatora dugotrajne retencije i LTV dostupan ranim timovima. |
| Ocjena App Store-a | Vanity | Odražava pristran, samoisabran primjer vašeg najzadovoljnijeg i najmanje zadovoljnog korisnika. Korisno za kvalitativnu povratnu informaciju; beskorisno kao poslovna metrika. Pratite Day-30 retenciju i stopu odlaska da biste mjeli pravu zadovoljstvo proizvoda. |
| Trošak Akvizicije Kupca (CAC) | Mjerljive | Izravno mjerljive — povećanje aktivira istragu u učinkovitost kanala, stopu konverzije i trošak. Smisleno samo kada se izračuna s punim uključivanjem troškova (ljude + novčanu potrošnju + alate) i prati po kanalu, ne samo blandi. |
Kategorija "Ovisi" Zaslužuje Pozornost
Nekoliko metrika u tablici — NPS, dohodak, veličina popisa e-pošte — sjedi u kategoriji "ovisi" koja je vrijedna raspakivanja. To su metrike koje su mjerljive u jednom kontekstu i vanity u drugom. Razlika je gotovo uvijek o tome kako se prate, segmentiraju i prate, ne o samoj metrici.
NPS je najjasniji primjer. Jedan blandi NPS broj, anketetiran godišnje i predstavljen u ploči odbora, je vanity metrika. Govori vam nešto (rezultat), izgleda smisleno (broj iznad 40 je "dobar"), ali vam ne govori koji su kupci detraktori, zašto su detraktori ili što trebate učiniti da ih pretvorite. NPS prate mjesečno po segmentu kupca, s dosljednom praćenja procesa za svaki detraktora odgovora, je mjerljiva metrika. Isti broj, potpuno drugačija utiliti.
Gotovo bilo koja metrika postaje veću mjerljiva kada je segmentirana. Blandi dohodak razbijen po kanalu akvizicije, segmentu kupca i veličini ugovora generiše potpuno drugačije uvide od blandi ukupnog. Rad činjenja metrike mjerljive je često rad razblinjenja na segmente gdje živiće varijacija — jer je varijacija gdje je mogućnost donošenja odluke.
Organizacijski Trošak Vanity Metrika
Vanity metrike nisu bezopasne. Zauzimaju vrijeme za proizvodnju, vrijeme za izvještavanje i — najrazornije — daju timovima dozvolu da se osjećaju dobro kod rada koji možda ne napreduje poslovanje. Tim koji slavuje 100,000 ukupnih registrirani korisnika je tim koji ne pita zašto su samo 4,000 aktivne. To pitanje, neispostavljeno, je razlika između proizvoda koji rješava problem retencije u mjesecu 6 i onog koji ga otkrije u mjesecu 18 kada je putanja rasta već napisana.
Praktičan popravak nije zaustavljanje svih metrika visokog nivoa iz nadzorne ploče — to je uparivanja svake lako slave metrike s težim metikom koje daju kontekst koji nedostaje. Ukupni registrirani korisnici, upareni s mjesečnim aktivnim korisnicima i stopom aktivacije. Web promet, upareni sa stopom konverzije proba. Bruto dohodak, upareni s neto retencijom dohotka. Svako uparivanja stvara napetost koja sprječava udobnu metriku od produkcije samozadovoljnosti.
Neki investitori, posebno u najranijim fazama, trebati će ukupne registrirane korisnike, preuzimanja aplikacija ili društvene medije nakon kao dokaz vučnu snagu. Vrijedna je razumijevanja zašto: te metrike su lako uspoređiti između tvrtke i faze, i investitori bez duboke domenalne znanja koriste ih kao grubu aproksimaciju. Unesite ih kada se traži — ali uvijek vodite s mjerljivim metrikama koje govore pravu priču. Zakladnite koji objašnjava "imamo 8,000 registriranih korisnika, od kojih su 3,400 mjesečno aktivne, sa 72% Day-30 retencije" pokazuje razinu operativne jasnoće koju jednostavna broj korisnika ne može prenijeti.
Prelazak od vanity do mjerljivih metrika je koliko i kulturna navika kao tehnička. U FabricLoopsu, timovi koji su napravili smjenu često održavaju jednu, zajedničku napomenu koja navodi službene metrike — one koje se pojavljuju u tjedno pregledu, one koje imaju vlasnike, one koje stvaraju zadatke kada se kreću u pogrešnom smjeru. Taj popis djeluje kao filter: kada netko predloži dodavanje nove metrike u pregled, pitanje "postavlja li ovo tri testna pitanja?" ima zajedničku referentnu točku. Popis ne mora biti dugačak da bi bio moćan — često šest do osam metrika, dosljedno prataka, je dovoljno da se razmjera raste tim upućena u pravi smjer.