Метрики тщеславства проти дійсних метрик: як розрізнити
Метрики тщеславства здаються прогресом та не дають жодного. Ось практичний тест для розрізнення - та довідкова таблиця найпоширеніших порушників.
Термін "метрика тщеславства" популяризував Ерік Ріс у книзі "The Lean Startup", але концепція випереджає книгу на десятиліття: вона описує будь-яку метрику, яка змушує вас добре почуватися щодо своєї справи без допомоги в розумінні чи покращенні її. Перегляди сторінок. Загальні завантаження. Брутто реєстрації. Згадування в пресі. Імпресії Twitter. Ці цифри зростають, а зростання здається перемогою, і саме цей коротинок небезпечен - тому що зусилля, витрачені на святкування та звітування про метрики тщеславства, - це зусилля, які не витрачаються на цифри, які насправді керують рішеннями.
Розмежування між тщеславством та дійсністю не завжди очевидне, і деякі метрики по праву належать до обох категорій залежно від контексту. Далі наводиться структура для прийняття рішення та довідкова таблиця, що охоплює найдискутовані метрики.
Тест з трьома запитаннями
Застосуйте ці три запитання до будь-якої метрики, яку ви розглядаєте відстежувати. Якщо вона не пройде більше одного, це майже напевно метрика тщеславства.
Запитання 1: Чи може ця метрика знизитися? Метрика, яка тільки збільшується - загальна кількість зареєстрованих користувачів, кумулятивні перегляди сторінок, всі завантаження - не містить інформації про те, чи справи йдуть краще чи гірше прямо зараз. Дійсні метрики можуть рухатися в обох напрямках. Здатність до спаду - це те, що робить метрику змістовною як сигнал.
Запитання 2: Чи спонукає зміна цієї метрики конкретну дію? Якби ця метрика в наступному місяці впала на 20%, чи ви б знали, що робити по-іншому? Якщо відповідь "ми б провели подальше дослідження", метрика занадто високого рівня для безпосередньої дійсності. Якщо відповідь "ми б збільшили вихідні продажні дзвінки" або "ми б виправили потік посадки на третьому кроці", то вона дійсна.
Запитання 3: Чи важко раздути цю метрику без покращення базової реальності? Загальна кількість зареєстрованих користувачів може бути раздута купівлею списків електронної пошти або запуском на Product Hunt. Щотижневі активні користувачі не можуть бути раздуті без справжнього повернення користувачів до продукту. Метрики, які легко раздути без створення реальної цінності, за дизайном є метриками тщеславства.
Метрика тщеславства - це не та, яка виглядає добре. Це та, яка змушує вас почуватися, що ви поліпшуєтесь, коли можливо, ви не робите. Почуття - це пастка.
Довідкова таблиця
| Метрика | Рішення | Чому |
|---|---|---|
| Загальна кількість зареєстрованих користувачів | Тщеславство | Тільки зростає. Говорить вам нічого про залучення, цінність, яка доставляється, чи працює продукт. Замініть на щомісячних активних користувачів або показник активації. |
| Щомісячні активні користувачі (MAU) | Дійсна | Може зростати або знижуватися. Відображає, чи користувачи повертаються - передумова утримання та доходу. Особливо потужна при відстеженні за когортою. |
| Перегляди сторінок / сеанси веб-сайтів | Тщеславство | Може бути раздута ботами, соціальними сплесками або будь-якими платними видатками. Без прикріпленого показника перетворення це описує увагу, а не тягу. Замість цього використовуйте показник перетворення трафіку на пробну версію. |
| Показник перетворення пробної версії в платну | Дійсна | Вимірює, чи працює ваша воронка придбання. Падіння спонукає конкретне розслідування в посадці, ціноутворенні чи повідомленнях. Важко раздути без покращення справжнього перетворення. |
| Послідовники соціальних мереж | Тщеславство | Кількість послідовників можна купити, слідує закону влади, який не пов'язаний з якістю бізнесу, і є поганим передбачувачем будь-якого подальшого результату бізнесу. Замість цього відстежуйте показник рекомендацій або частку голосу в кваліфікованих спільнотах. |
| Розмір списку електронної пошти | Залежить | Тщеславство, якщо неквалісні та неактивні. Дійсна, якщо розділена за рівнем залучення та пов'язана зі зниженням перетворення. Розмір списку важливий лише тоді, коли показники відкриття та натиснення здорові. |
| Net Promoter Score (NPS) | Залежить | Дійсна при послідовному відстеженні часу з розподілами рівня сегмента та процесом подальших кроків для опозиціонів. Тщеславство, коли проведено один раз, святкується та архівується. Оцінка менш цінна за тенденцію та якісне подальші кроки. |
| Дохід (брутто) | Залежить | Дійсна при розподілі за когортою, каналом та сегментом. Потенційно вводить в оману, коли представлена як одна змішана цифра, яка приховує високе відпадання за рахунок сильного придбання новим покупцем. Завжди парируйте з утриманням чистого доходу. |
| Зовавання в пресі / висвітлення в медіа | Тщеславство | Рідко корелює з результатами бізнесу на ранній стадії. Виміряйте, чи спонукає преса пробні версії чи реєстрації - якщо не робить, вона належить до архівів маркетингу, а не до панелі бізнесу. |
| Показник утримання на день 30 | Дійсна | Безпосередньо вимірює, чи нові користувачі знайшли достатньо цінності, щоб залишатися активними через місяць після реєстрації. Один з найчесніших провідних показників довгострокового утримання та LTV, доступних командам на ранній стадії. |
| Рейтинг магазину додатків | Тщеславство | Відображає упереджену, самовибрану вибірку ваших найбільш і найменш задоволених користувачів. Корисно для якісного зворотного зв'язку; марно як показник бізнесу. Відстежуйте утримання на день 30 та показник відпадання для вимірювання справжнього задоволення продуктом. |
| Вартість придбання клієнта (CAC) | Дійсна | Безпосередньо дійсна - зростання спонукає розслідування ефективності каналу, показника перетворення та видатків людей. Змістовна лише при обчисленні з повним охопленням витрат (люди + видатки на оголошення + інструменти) та відстеженням за каналом, а не лише змішаною. |
Категорія "залежить" заслуговує уваги
Кілька метрик у таблиці - NPS, розмір списку електронної пошти, дохід - сидять у категорії "залежить", яка варта розпаковування. Це метрики, які дійсні в одному контексті та тщеславство в іншому. Різниця майже завжди тому, як вони відстежуються, розділяються та супроводжуються, а не про саму метрику.
NPS є найясніший приклад. Одна змішана цифра NPS, опитана щорічно і представлена в палубі, - це метрика тщеславства. Вона вам розповідає щось (оцінку), вона здається змістовною (цифра вище 40 "хороша"), але не говорить вам, які клієнти опозиціонів, чому вони опозиціонів, чи що слід робити для їх перетворення. NPS відстежується щомісяця за сегментом клієнта, з послідовним процесом подальших кроків для кожної реакції опозиціонів, є дійсною метрикою. Та ж цифра, абсолютно інша утиліта.
Майже будь-яка метрика стає дійснішою при розділенні. Змішаний дохід, розділений за каналом придбання, сегментом клієнта та розміром контракту, генерує абсолютно інші ідеї від змішаного загального. Робота зробити метрику дійсною часто полягає у розбиванні її на сегменти, де проживає варіація - тому що варіація - це де живе можливість прийняття рішень.
Організаційна вартість метрик тщеславства
Метрики тщеславства не безпечні. Вони займають час для виробництва, час для звітування, та - найбільш шкідливо - вони дають командам дозвіл на добре почуватися від роботи, яка може не просуватися бізнес. Команда, яка святкує 100000 загальних зареєстрованих користувачів, - це команда, яка не запитує, чому лише 4000 з них активні. Це запитання, невисловлене, - це різниця між продуктом, який вирішує проблему утримання на місяці 6, та одним, який виявляє його на місяці 18, коли траєкторія зростання вже написана.
Практичне виправлення не полягає у забороні всіх метрик високого рівня з панелі - це парування кожної легко святкованої метрики з складнішою метрикою, яка забезпечує контекст, який їй бракує. Загальна кількість зареєстрованих користувачів, поєднана з щомісячними активними користувачами та показником активації. Веб-трафік, поєднаний з показником перетворення пробної версії. Брутто дохід, поєднаний з утриманням чистого доходу. Кожне парування створює тенденцію, яка запобігає зручної метриці від створення самовдоволення.
Деякі інвестори, особливо на найранніших стадіях, просять загальну кількість зареєстрованих користувачів, завантажень додатків або соціальних медіа як доказ тяги. Варто розуміти чому: ці метрики легко порівнюються між компаніями та етапами, а інвестори без глибоких знань в галузі використовують їх як грубі проксі. Надайте їх, коли просять - але завжди ведіть дійсними метриками, які розповідають реальну історію. Засновник, який пояснює "у нас 8000 зареєстрованих користувачів, 3400 з яких щомісячно активні, з утриманням 72% на день 30", демонструє рівень операційної ясності, який проста кількість користувачів не може передати.
Перехід від метрик тщеславства до дійсних метрик - це стільки ж культурна звичка, скільки технічна. У FabricLoop команди, які вижили цей перехід, часто ведуть одну спільну замітку, яка вказує офіційні метрики - ті, що з'являються в щотижневому огляді, ті, які мають власників, ті, які генерують завдання, коли вони рухаються в неправильному напрямку. Цей список діє як фільтр: коли хтось пропонує додати нову метрику до огляду, запитання "чи проходить це тест з трьома запитаннями?" має спільну точку референції. Список не повинен бути довгим, щоб бути потужним - часто шість-вісім метрик, послідовно відстежуються, достатньо, щоб утримати зростаючу команду, спрямовану в правильному напрямку.