Тщеславные метрики против действенных метрик: как различить
Тщеславные метрики выглядят как прогресс и не дают ничего. Вот практический тест для различия — и справочная таблица наиболее распространенных нарушителей.
Термин "тщеславная метрика" был популяризирован Эриком Райсом в книге "The Lean Startup", но концепция предшествует книге на десятилетия: она описывает любую метрику, которая заставляет вас чувствовать себя хорошо в отношении своего бизнеса, не помогая вам понять его или улучшить его. Просмотры страниц. Общее количество загрузок. Валовые подписки. Упоминания в прессе. Впечатления в Twitter. Эти числа растут, и рост выглядит как победа, и это чувство — именно опасность — потому что усилия, потраченные на празднование и отчетность о тщеславных метриках, — это усилия, не потраченные на числа, которые действительно определяют решения.
Различие между тщеславием и действенностью не всегда очевидно, и некоторые метрики действительно принадлежат обеим категориям в зависимости от контекста. Далее следует фреймворк для принятия решения и справочная таблица, охватывающая наиболее обсуждаемые метрики.
Тест трех вопросов
Примените эти три вопроса к любой метрике, которую вы рассматриваете отслеживание. Если она не пройдет более одного, это почти наверняка тщеславная метрика.
Вопрос 1: может ли эта метрика снижаться? Метрика, которая только когда-либо увеличивается — общее количество зарегистрированных пользователей, совокупные просмотры страниц, все загрузки всех времен — не содержит информации о том, станет ли ситуация лучше или хуже прямо сейчас. Действенные метрики могут идти в обе стороны. Способность к снижению — это то, что делает метрику значимой как сигналом.
Вопрос 2: побуждает ли изменение в этой метрике конкретное действие? Если эта метрика упадет на 20% в следующем месяце, вы будете знать, что делать по-другому? Если ответ "мы бы расследовали дальше", метрика слишком высокого уровня для прямого действия. Если ответ "мы бы увеличили исходящие звонки продаж" или "мы бы исправили поток подключения на этапе три", она действенна.
Вопрос 3: сложно ли увеличить эту метрику без улучшения основной реальности? Общее количество зарегистрированных пользователей можно увеличить, купив списки электронной почты или запустив на Product Hunt. Еженедельно активные пользователи не могут быть увеличены без того, чтобы действительно привлечь пользователей обратно в продукт. Метрики, которые легко увеличить без создания реальной ценности, по дизайну являются метриками тщеславия.
Тщеславная метрика — это не метрика, которая выглядит хорошо. Это метрика, которая заставляет вас чувствовать, что вы улучшаетесь, когда вы можете этого не делать. Чувство — это ловушка.
Справочная таблица
| Метрика | Вердикт | Почему |
|---|---|---|
| Всего зарегистрированных пользователей | Тщеславие | Только растет. Ничего не говорит об участии, доставленной ценности или работает ли продукт. Замените на ежемесячно активных пользователей или коэффициент активации. |
| Ежемесячно активные пользователи (MAU) | Действенная | Может расти или падать. Отражает, возвращаются ли пользователи — необходимое условие для удержания и дохода. Особенно мощная при отслеживании по когортам. |
| Просмотры страниц / сеансы веб-сайта | Тщеславие | Может быть увеличена трафиком ботов, социальными всплесками или любыми платными расходами. Без прикрепленного коэффициента конверсии описывает внимание, не движение. Используйте вместо этого коэффициент конверсии трафика в пробную версию. |
| Коэффициент конверсии пробной версии в платную | Действенная | Измеряет, работает ли воронка приобретения. Падение вызывает конкретное расследование в подключении, цене или сообщениях. Сложно увеличить без улучшения фактической конверсии. |
| Подписчики социальных сетей | Тщеславие | Количество подписчиков можно купить, соответствует степенному закону, не связанному с качеством бизнеса, и является плохим предсказателем любого результата бизнеса. Отслеживайте процент направления или долю голоса в квалифицированных сообществах вместо этого. |
| Размер списка электронной почты | Зависит | Тщеславие, если неквалифицированные и неактивные. Действенна, если сегментирована по уровню участия и коррелирует с конверсией downstream. Размер списка имеет значение только при здоровых открытых и коэффициентах кликов. |
| Net Promoter Score (NPS) | Зависит | Действенна при последовательном отслеживании с разбиением по сегментам и процессом наблюдения за критиками. Тщеславие при опросе один раз, отмечание и подача на хранение. Оценка менее ценна, чем тренд и качественная работа. |
| Доход (валовый) | Зависит | Действенна при разбивке по когортам, каналам и сегментам. Потенциально вводит в заблуждение при представлении в виде единого смешанного числа, которое скрывает высокий отток за сильным приобретением новых клиентов. Всегда сочетайте с чистой задержкой дохода. |
| Упоминания в прессе / медиакавер | Тщеславие | На ранних этапах редко коррелирует с результатами бизнеса. Измеряйте, приводит ли пресса к пробным версиям или подпискам — если не приводит, она принадлежит архивам маркетинга, а не панели бизнеса. |
| Коэффициент удержания 30-го дня | Действенная | Непосредственно измеряет, нашли ли новые пользователи достаточной ценности для того, чтобы оставаться активными через месяц после регистрации. Один из наиболее честных опережающих показателей долгосрочного удержания и LTV, доступных командам на ранних стадиях. |
| Рейтинг приложения | Тщеславие | Отражает предвзятую, самовыбранную выборку ваших наиболее и наименее удовлетворенных пользователей. Полезно для качественной обратной связи; бесполезно как метрика бизнеса. Отслеживайте удержание 30-го дня и коэффициент отттока для измерения истинной удовлетворенности продуктом. |
| Стоимость привлечения клиента (CAC) | Действенная | Непосредственно действенна — рост вызывает расследование эффективности канала, коэффициента конверсии и затрат на персонал. Значима только при расчете с полным включением затрат (люди + расходы на объявления + инструменты) и отслеживается по каналам, а не только смешанная. |
Категория "зависит" заслуживает внимания
Несколько метрик в таблице — NPS, доход, размер списка электронной почты — находятся в категории "зависит", которая стоит разобрать. Это метрики, которые действенны в одном контексте и тщеславны в другом. Разница почти всегда в том, как они отслеживаются, сегментируются и отслеживаются, а не в самой метрике.
NPS — самый ясный пример. Единая смешанная цифра NPS, опрошенная ежегодно и представленная в колоде правления, является тщеславной метрикой. Это что-то говорит (оценка), выглядит значимо (число выше 40 — "хорошо"), но не говорит, какие клиенты являются критиками, почему они критикуют или что вы должны делать для их преобразования. NPS отслеживается ежемесячно по сегментам клиентов с последовательным процессом наблюдения для каждого ответа критика — это действенная метрика. То же число, совершенно различная полезность.
Почти любая метрика становится более действенной при сегментации. Валовый доход, разбитый по каналам приобретения, сегментам клиентов и размерам контрактов, дает совершенно различные идеи по сравнению с смешанным итогом. Работа по превращению метрики в действенную часто является работой по разбиению ее на сегменты, где живет вариация — потому что вариация — это место, где живет возможность принятия решения.
Организационная стоимость тщеславных метрик
Тщеславные метрики не безвредны. Они занимают время для производства, время для отчета и — наиболее вредно — они дают командам разрешение чувствовать себя хорошо в отношении работы, которая может не продвигать бизнес. Команда, которая отмечает 100 000 всего зарегистрированных пользователей, — это команда, которая не спрашивает, почему только 4 000 из них активны. Этот вопрос, не заданный, — это разница между продуктом, который решает проблему удержания в Месяце 6, и тем, который открывает ее в Месяце 18, когда траектория роста уже написана.
Практическое исправление — не запретить все высокоуровневые метрики с панели инструментов — это сопоставить каждую простую для отмечания метрику с более сложной метрикой, которая обеспечивает необходимый ей контекст. Всего зарегистрированных пользователей, в паре с ежемесячно активными пользователями и коэффициентом активации. Трафик веб-сайта, в паре с коэффициентом конверсии пробной версии. Валовый доход, в паре с чистой задержкой дохода. Каждая пара создает напряжение, которое предотвращает комфортную метрику от создания самодовольства.
Некоторые инвесторы, особенно на самых ранних этапах, просят всего зарегистрированных пользователей, загрузок приложений или подписчиков социальных сетей как доказательство движения. Стоит понять почему: эти метрики легко сравнивать между компаниями и этапами, и инвесторы без глубоких знаний домена используют их как грубые прокси. Предоставляйте их при запросе — но всегда начинайте с действенных метрик, которые рассказывают реальную историю. Основатель, который объясняет "у нас 8 000 зарегистрированных пользователей, 3 400 из которых ежемесячно активны, с удержанием 72% на 30-й день" демонстрирует уровень операционной ясности, который простой подсчет пользователей не может передать.
Сдвиг от тщеславных к действенным метриками — это столько же культурная привычка, сколько техническая. В FabricLoop команды, которые сделали сдвиг, часто ведут единую, общую заметку, которая перечисляет официальные метрики — те, которые появляются на еженедельном обзоре, те, которые имеют владельцев, те, которые генерируют задачи, когда движутся в неправильном направлении. Этот список действует как фильтр: когда кто-то предлагает добавить новую метрику в обзор, вопрос "проходит ли она тест трех вопросов?" имеет общую справочную точку. Список не должен быть длинным, чтобы быть мощным — часто шесть-восемь метрик, последовательно отслеживаемых, достаточно, чтобы держать растущую команду указывающей в правильном направлении.