Метрики · Продакт-аналитика · Goodhart's Law · Причинность · PTOS

Метрики: как не врать себе цифрами и найти причинную связь между поведением и деньгами

Разбираемся, почему метрики могут создавать ложную уверенность, и как отличить прокси-метрики от бизнес-метрик, чтобы управлять продуктом, а не 'погодой в дашборде'.

Метрики: как не врать себе цифрами, а измерять реальность

В продуктовой разработке метрики — это наш способ контактировать с реальностью. Но очень часто они превращаются в инструмент самообмана. Мы смотрим на красивые графики, которые идут вверх, и думаем, что делаем всё правильно, в то время как продукт медленно умирает.

Чтобы этого избежать, нужно научиться отличать «хорошие» метрики от «плохих» и всегда помнить о главном принципе: метрика должна отражать реальное изменение поведения пользователя, а не нашу активность.

Главный вопрос к любой метрике

Если пользователь совершил это действие, он действительно получил ценность?

Если ответ «не уверен» или «не всегда», скорее всего, вы измеряете шум, а не ценность.

Value-Event: сердце вашей системы метрик

В основе любой здоровой системы метрик лежит Value-Event (ценностное событие).

Value-Event — это минимальное, измеримое, повторяемое действие пользователя, после которого можно честно сказать: «Да, продукт выполнил своё обещание».

Примеры Value-Event:

• Duolingo: Урок завершён.
• Spotify: Трек прослушан ≥ 30 секунд.
• Notion: Создан и сохранён документ.
• Маркетплейс: Отправлено сообщение продавцу.

НЕ Value-Event:

• Регистрация.
• Прохождение онбординга.
• Открытие приложения.
• Клик по кнопке «Начать».

Это всё — инфраструктура, а не ценность. Пользователь регистрируется не для того, чтобы зарегистрироваться, а для того, чтобы решить свою проблему.

Лестница метрик: от прокси к деньгам

Не все метрики одинаково полезны. Их можно представить в виде лестницы, где на нижней ступени — самые быстрые, но самые «лживые» метрики, а на верхней — самые честные, но самые медленные.

1. Прокси-метрики (Proxy Metrics): Это метрики активности, которые косвенно могут указывать на ценность.

   • Примеры: DAU/MAU, время в приложении, количество кликов.
   • Проблема: Они легко поддаются «накрутке» и часто не имеют связи с реальной ценностью (см. Закон Гудхарта). Пользователь может проводить много времени в продукте, потому что у вас запутанный интерфейс.

2. Метрики ценности (Value Metrics): Это метрики, построенные вокруг value-event.

   • Примеры: Количество пользователей, совершивших value-event; частота value-event на пользователя.
   • Сила: Они гораздо честнее отражают, получают ли пользователи реальную пользу.

3. Бизнес-метрики (Business Metrics): Это метрики, которые напрямую связаны с деньгами.

   • Примеры: Выручка (Revenue), пожизненная ценность клиента (LTV), стоимость привлечения клиента (CAC), удержание (Retention).
   • Проблема: Они «запаздывают». Вы можете увидеть, что retention падает, только через несколько месяцев после неудачного релиза.

Как строить здоровую систему?

1. Определите свой Value-Event. Это ядро вашей системы.
2. Постройте иерархию. Свяжите ваши прокси-метрики с value-event, а value-event — с бизнес-метриками. Вы должны понимать, как рост одной метрики влияет на другие.
3. Используйте Guardrails. У любой целевой метрики должен быть «охранник». Если вы оптимизируете активацию, следите, чтобы не упал retention. Если работаете над retention, следите, чтобы не росла нагрузка на поддержку.
4. Фокусируйтесь на причинности. Не просто наблюдайте за корреляцией, а доказывайте причинно-следственную связь через эксперименты (например, A/B-тесты).

Помните, цифры не врут. Врём мы сами себе, когда выбираем неправильные цифры или интерпретируем их так, как нам удобно. Начните с честного определения ценности — и ваша система метрик превратится из кривого зеркала в точный компас.