Ματαιόδοξες Μετρήσεις έναντι Δράσιμων Μετρήσεων: Πώς να Πείτε τη Διαφορά
Οι ματαιόδοξες μετρήσεις φαίνονται σαν πρόοδος και δεν παράγουν κανένα. Ακολουθεί ένα πρακτικό τεστ για να πείτε τη διαφορά — και έναν πίνακα αναφοράς των πιο συνηθισμένων παραβατών.
Ο όρος "ματαιόδοξη μέτρηση" δημοφιλιοποιήθηκε από τον Eric Ries στο The Lean Startup, αλλά η έννοια προηγείται του βιβλίου κατά δεκαετίες: περιγράφει οποιαδήποτε μέτρηση που σας κάνει να αισθάνεστε καλά με την επιχείρησή σας χωρίς να σας βοηθά να την καταλάβετε ή να την βελτιώσετε. Προβολές σελίδας. Συνολικές λήψεις. Ολικές εγγραφές. Αναφορές τύπου. Εντυπώσεις Twitter. Αυτοί οι αριθμοί αυξάνονται, και η αύξηση φαίνεται σαν νίκη, και αυτό το αίσθημα είναι ακριβώς ο κίνδυνος — επειδή η προσπάθεια που ξοδεύεται για να γιορτάσετε και να αναφέρετε ματαιόδοξες μετρήσεις είναι προσπάθεια που δεν ξοδεύεται στους αριθμούς που πράγματι οδηγούν αποφάσεις.
Η διάκριση μεταξύ ματαιόδοξης και δράσιμης δεν είναι πάντα προφανής, και ορισμένες μετρήσεις πραγματικά ανήκουν και στις δύο κατηγορίες ανάλογα με το περιεχόμενο. Τι εξής είναι ένα πλαίσιο για να κάνετε την κλήση, και έναν πίνακα αναφοράς που καλύπτει τις μετρήσεις που συζητούνται περισσότερο.
Το τεστ τριών ερωτήσεων
Εφαρμόστε αυτές τις τρεις ερωτήσεις σε οποιαδήποτε μέτρηση σκεπάζετε να παρακολουθείτε. Αν αποτύχει περισσότερο από μία, είναι σχεδόν σίγουρα μια ματαιόδοξη μέτρηση.
Ερώτηση 1: Μπορεί αυτή η μέτρηση να πάει κάτω; Μια μέτρηση που αυξάνεται μόνο — συνολικοί εγγεγραμμένοι χρήστες, αθροιστικές προβολές σελίδας, κατεβάσεις σε όλους τους χρόνους — περιέχει καμία πληροφορία για το εάν τα πράγματα γίνονται καλύτερα ή χειρότερα αυτή τη στιγμή. Οι δράσιμες μετρήσεις μπορούν να πάνε και προς τα δύο. Η ικανότητα να απορριφθούν είναι αυτό που κάνει μια μέτρηση σημαντική σαν σήμα.
Ερώτηση 2: Αλλάζει μια αλλαγή σε αυτή τη μέτρηση μια συγκεκριμένη δράση; Αν αυτή η μέτρηση έπεσε 20% το επόμενο μήνα, θα ξέρατε τι να κάνετε διαφορετικά; Αν η απάντηση είναι "θα ερευνούσαμε περισσότερο", η μέτρηση είναι πολύ υψηλό επίπεδο για να είναι άμεσα δράσιμη. Αν η απάντηση είναι "θα αυξάναμε τις εξερχόμενες κλήσεις πωλήσεων" ή "θα καθαρίζαμε τη ροή ενσωμάτωσης στο βήμα τρία", είναι δράσιμη.
Ερώτηση 3: Είναι αυτή η μέτρηση δύσκολο να πληθεί χωρίς να βελτιωθεί η υποκείμενη πραγματικότητα; Οι συνολικοί εγγεγραμμένοι χρήστες μπορούν να πληθούν αγοράζοντας λίστες email ή εκκίνηση στο Product Hunt. Οι εβδομαδιαίοι δραστήριοι χρήστες δεν μπορούν να πληθούν χωρίς πραγματικά να επιστρέψετε τους χρήστες στο προϊόν. Οι μετρήσεις που είναι εύκολο να πληθούν χωρίς να δημιουργήσετε πραγματική αξία είναι ματαιόδοξες μετρήσεις κατά σχεδιασμό.
Μια ματαιόδοξη μέτρηση δεν είναι μέτρηση που φαίνεται καλή. Είναι μέτρηση που σας κάνει να αισθάνεστε σαν να βελτιώνεστε όταν ίσως δεν είστε. Το αίσθημα είναι η παγίδα.
Ο πίνακας αναφοράς
| Μέτρηση | Απόφαση | Γιατί |
|---|---|---|
| Συνολικοί εγγεγραμμένοι χρήστες | Ματαιόδοξη | Αυξάνεται μόνο. Σας λέει τίποτα για την ενασχόληση, αξία που παρέχεται ή εάν το προϊόν λειτουργεί. Αντικαταστήστε με μηνιαίους δραστήριους χρήστες ή ρυθμό ενεργοποίησης. |
| Μηνιαίοι δραστήριοι χρήστες (MAU) | Δράσιμη | Μπορεί να αυξηθεί ή να πέσει. Αντανακλά εάν οι χρήστες επιστρέφουν — το προαπαιτούμενο για διατήρηση και έσοδα. Ιδιαίτερα ισχυρή όταν παρακολουθείται ανά ομάδα. |
| Προβολές σελίδας / περίοδοι ιστοσελίδας | Ματαιόδοξη | Μπορεί να πληθεί από κίνηση τσιμπουκιού, κοινωνικές άνδρες ή οποιαδήποτε δαπάνη που πληρώνεται. Χωρίς ρυθμό μετατροπής συνδεδεμένο, περιγράφει προσοχή, όχι έλξη. Χρησιμοποιήστε το ρυθμό μετατροπής κίνησης-σε-δοκιμή. |
| Ρυθμός μετατροπής δοκιμής-σε-πληρώνουν | Δράσιμη | Μετρά εάν ο χώνος απόκτησης σας λειτουργεί. Μια πτώση ενεργοποιεί συγκεκριμένη έρευνα σε ενσωμάτωση, τιμολόγηση ή μεσολάβηση. Δύσκολο να πληθεί χωρίς να βελτιωθεί η πραγματική μετατροπή. |
| Ακόλουθοι μέσων κοινωνικής δικτύωσης | Ματαιόδοξη | Ο αριθμός των ακολούθων μπορεί να αγορασθεί, ακολουθεί έναν νόμο εξουσίας άσχετο με την ποιότητα της επιχείρησης και είναι κακός προγνώστης οποιουδήποτε αποτελέσματος κατάστρεψης της επιχείρησης. Παρακολουθήστε τον ρυθμό αναφοράς ή το μερίδιο φωνής σε εργαζόμενες κοινότητες. |
| Μέγεθος λίστας email | Εξαρτάται | Ματαιόδοξη αν δεν διευκρινίσθη και να αποπροσανατολίσθει. Δράσιμη αν χωρίσθηκε κατά επίπεδο ενασχόλησης και συσχετίσθηκε με μετατροπή κατάστρεψης. Το μέγεθος της λίστας σημαίνει μόνο όταν τα ποσοστά ανοίγματος και τα ποσοστά κλικ είναι υγιή. |
| Σκορ Net Promoter (NPS) | Εξαρτάται | Δράσιμη όταν παρακολουθείται συνεχώς κατά τη διάρκεια του χρόνου με διακυμάνσεις επιπέδου τμήματος και διαδικασία παρακολούθησης για απογοητευμένων. Ματαιόδοξη όταν δοκιμάσθηκε μία φορά, γιορτάσθηκε και αρχειοθετήσθηκε. Το σκορ είναι λιγότερο πολύτιμο από την τάση και τη ποιοτική αρχειοδότηση. |
| Έσοδα (ακαθάριστα) | Εξαρτάται | Δράσιμη όταν χωρίσθηκε κατά ομάδα, κανάλι και τμήμα. Δυνητικά παραπλανητική όταν παρουσιάσθηκε ως ένας μόνο αναμιγμένος αριθμός που κρύβει υψηλή σύνταξη πίσω από ισχυρή απόκτηση νέου πελάτη. Πάντα παντρέψτε με διατήρηση καθαρών εσόδων. |
| Αναφορές τύπου / κάλυψη μέσων | Ματαιόδοξη | Σπάνια συσχετίσθηκε με αποτελέσματα της επιχείρησης στο πρώιμο στάδιο. Μετρήστε εάν ο τύπος οδηγεί δοκιμές ή εγγραφές — αν δεν το κάνει, ανήκει στα αρχεία μάρκετινγκ, όχι στο πίνακα επιχειρήσεων. |
| Ρυθμός διατήρησης ημέρας-30 | Δράσιμη | Άμεσα μετρά εάν οι νέοι χρήστες βρήκαν αρκετή αξία για να παραμείνουν ενεργοί ένα μήνα μετά την εγγραφή. Ένας από τους πιο ειλικρινής ενδεικτικούς δείκτες διατήρησης μακροπρόθεσμης και LTV που διαθέτουν τα ομάδες πρώιμου σταδίου. |
| Αξιολόγηση καταστήματος εφαρμογών | Ματαιόδοξη | Αντανακλά ένα μεροληπτικό, αυτοεπιλεγμένο δείγμα των πιο και λιγότερο ικανοποιημένων χρηστών σας. Χρήσιμο για ποιοτική ανατροφοδότηση· άχρηστο σαν μέτρηση της επιχείρησης. Παρακολουθήστε τη διατήρηση της ημέρας-30 και τον ρυθμό σύνταξης για να μετρήσετε τη πραγματική ικανοποίηση του προϊόντος. |
| Κόστος Απόκτησης Πελάτη (CAC) | Δράσιμη | Άμεσα δράσιμη — αύξηση ενεργοποιεί έρευνα στην αποτελεσματικότητα του καναλιού, ρυθμό μετατροπής και κόστη ανθρώπων. Σημαντικό μόνο όταν υπολογίσθηκε με πλήρη συμπερίληψη κόστους (άνθρωποι + ξοδοδύν διαφημίσεων + εργαλεία) και παρακολουθούνται ανά κανάλι, όχι μόνο αναμιγμένα. |
Η κατηγορία "εξαρτάται" αξίζει προσοχής
Πολλές μετρήσεις στον πίνακα — NPS, έσοδα, μέγεθος λίστας email — κάθονται σε μια κατηγορία "εξαρτάται" που αξίζει ξεδίπλωμα. Αυτές είναι μετρήσεις που είναι δράσιμες σε ένα περιεχόμενο και ματαιόδοξη σε άλλο. Η διαφορά είναι σχεδόν πάντα σχετικά με τον τρόπο που παρακολουθούνται, χωρίζονται και αρχειοδετούνται, όχι σχετικά με τη μέτρηση καθαυτή.
Το NPS είναι το πιο σαφές παράδειγμα. Ένας ενιαίος αναμιγμένος αριθμός NPS, δοκιμασμένος ετησίως και παρουσιασθείς σε ένα κατάστρεμα εισηγμένων, είναι μια ματαιόδοξη μέτρηση. Σας λέει κάτι (ένα σκορ), φαίνεται σημαντική (ένας αριθμός πάνω από 40 είναι "καλός"), αλλά δεν σας λέει ποιοι πελάτες είναι απογοητευμένοι, γιατί είναι απογοητευμένοι ή τι πρέπει να κάνετε για να τους μετατρέψετε. Το NPS που παρακολουθείται μηνιαία ανά τμήμα πελάτη, με μια συνεπή διαδικασία παρακολούθησης για κάθε απάντηση απογοητευμένων, είναι μια δράσιμη μέτρηση. Ο ίδιος αριθμός, εντελώς διαφορετική χρησιμότητα.
Σχεδόν οποιαδήποτε μέτρηση γίνεται πιο δράσιμη όταν χωρίσθηκε. Τα μπλεντ έσοδα που χωρίστηκαν ανά κανάλι απόκτησης, τμήμα πελάτη και μέγεθος συμβάσεων παράγουν εντελώς διαφορετικές γνώσεις από το αναμιγμένο σύνολο. Η δουλειά της δημιουργίας μιας μέτρησης δράσιμης είναι συχνά η δουλειά της διακοπής της στα τμήματα όπου ζει η διακύμανση — επειδή η διακύμανση είναι όπου ζει η ευκαιρία λήψης αποφάσεων.
Το οργανωτικό κόστος των ματαιόδοξων μετρήσεων
Οι ματαιόδοξες μετρήσεις δεν είναι αβλαβείς. Ώρες χρόνου για να παράγουν, ώρες να αναφέρουν και — πιο καταστροφικά — δίνουν στις ομάδες άδεια να αισθάνονται καλά γι' αυτό που δεν μπορεί να προωθούν την επιχείρηση. Μια ομάδα που γιορτάζει 100.000 συνολικούς εγγεγραμμένους χρήστες είναι μια ομάδα που δεν ρωτάει γιατί μόνο 4.000 από αυτούς είναι δραστήριοι. Αυτό το ερώτημα, χωρίς να ζητηθεί, είναι η διαφορά μεταξύ ενός προϊόντος που επιλύει το πρόβλημα διατήρησης στο μήνα 6 και ενός που το ανακαλύπτει στο μήνα 18 όταν η τροχιά ανάπτυξης έχει ήδη γραφθεί.
Το πρακτικό σε αυτό δεν είναι η απαγόρευση όλων των ψηλού επιπέδου μετρήσεων από το πίνακα ελέγχου — είναι να ζευγαρώσετε κάθε εύκολα επιγραφή μέτρηση με τη δύσκολη μέτρηση που παρέχει το περιεχόμενο που της λείπει. Συνολικοί εγγεγραμμένοι χρήστες, ζευγαρωμένοι με μηνιαίους δραστήριους χρήστες και ρυθμό ενεργοποίησης. Κίνηση ιστοσελίδας, ζευγαρωμένη με ρυθμό μετατροπής. Ακαθάριστα έσοδα, ζευγαρωμένα με καθαρή διατήρηση εσόδων. Κάθε ζευγάρωση δημιουργεί την ένταση που αποτρέπει τη άνετη μέτρηση από τη παραγωγή της αυτοσυγχαρίας.
Ορισμένοι επενδυτές, ιδιαίτερα στα πρώιμα στάδια, θα ζητήσουν συνολικούς εγγεγραμμένους χρήστες, λήψεις εφαρμογών ή ακολούθησης μέσων κοινωνικής δικτύωσης ως απόδειξη έλξης. Αξίζει να καταλάβουμε γιατί: αυτές οι μετρήσεις είναι εύκολο να συγκρίνουμε σε εταιρείες και στάδια και οι επενδυτές χωρίς βαθιά γνώση δομών τις χρησιμοποιούν ως τραχείς δείκτες. Παρέχετε τα όταν ζητηθεί — αλλά πάντα ηγεῖστε με τις δράσιμες μετρήσεις που λένε την πραγματική ιστορία. Ένας ιδρυτής που εξηγεί "έχουμε 8.000 εγγεγραμμένους χρήστες, 3.400 από τους οποίους είναι μηνιαίως δραστήριοι, με διατήρηση της ημέρας-30 72%" παρουσιάζει ένα επίπεδο λειτουργικής σαφήνειας που ένας απλός αριθμός χρήστη δεν μπορεί να μεταφέρει.
Η αλλαγή από ματαιόδοξες σε δράσιμες μετρήσεις είναι τόσο πολύ μια πολιτιστική συνήθεια όσο τεχνική. Σε FabricLoop, ομάδες που έχουν κάνει τη μεταστροφή συχνά διατηρούν ένα ενιαίο, μοιρασμένο σημείωμα που παραθέτει τις επίσημες μετρήσεις — αυτές που εμφανίζονται στην εβδομαδιαία αναθεώρηση, αυτές που έχουν ιδιοκτήτες, αυτές που δημιουργούν εργασίες όταν κινούνται προς τη λάθος κατεύθυνση. Αυτό το κατάλογος λειτουργεί ως ένα φίλτρο: όταν κάποιος προτείνει να προσθέσει μια νέα μέτρηση στην αναθεώρηση, το ερώτημα "περνά αυτό το τεστ τριών ερωτήσεων;" έχει μια μοιρασμένη σημείο αναφοράς. Ο κατάλογος δεν χρειάζεται να είναι μεγάλος για να είναι ισχυρός — συχνά έξι έως οcho μετρήσεις, συνεπώς παρακολουθούνται, είναι αρκετά για να κρατήσουν μια αναπτυσσόμενη ομάδα δείχνοντας προς τη σωστή κατεύθυνση.