- продуктовые стратегии
- инструменты
- разбор рынка
Ошибки первого и второго рода в A/B тестировании
A/B тест - это инструмент принятия решений под неопределённостью. Вы никогда не знаете «правду» о вашем продукте со 100% уверенностью: у вас есть только выборка данных. Именно поэтому в любом тесте возможны два типа ошибок - и задача хорошего дизайна эксперимента состоит не в том, чтобы их исключить (это невозможно), а в том, чтобы заранее договориться, какой риск допустим.
A/B-тесты - как получать уверенный неверный ответ
Тест идёт третий день. PM открывает дашборд — версия B ведёт с конверсией 6.8% против 5.9% у контроля. P-value — 0.04. Коллеги в Slack пишут «запускаем?». PM останавливает тест и отправляет версию B в прод.
Van Westendorp: как найти идеальную цену для продукта
Cколько должен стоить наш продукт? Занизишь — потеряешь выручку и доверие. Завысишь — потеряешь клиентов. Угадать интуитивно почти невозможно, а вот измерить — вполне реально.
Retention как главный сигнал PMF: что смотреть и когда паниковать
Квартальный ревью. На экране — дашборд с активными пользователями, выручкой и NPS. Всё растёт. Инвесторы довольны. PM рассказывает про планы на новые фичи.
Lean Analytics: правильный выбор метрики NSM
На очередном планировании команда показывает инвестору дашборд: MAU вырос на 22% за квартал, регистрации бьют рекорд. Инвестор доволен, разработчики получают задачи на новые фичи. Через квартал выясняется: retention на третий месяц — 9%. Большинство пользователей регистрировались, делали одно-два действия и навсегда исчезали.
Conjoint-анализ: как узнать, за что клиенты реально готовы платить, до того как вы соберёте тариф
Вы сидите на встрече по ценообразованию. На столе — три варианта тарифной сетки. Продакт говорит: «давайте добавим в средний план аналитику, клиенты точно за это заплатят». Маркетинг возражает: «клиенты хотят интеграции, а не отчёты». CEO резюмирует: «давайте просто поднимем цену на 15% и посмотрим».
Дизайн A/B эксперимента: как спроектировать тест, который даст честный ответ
Большинство A/B тестов в продуктовых командах технически корректны и концептуально неверны: они отвечают не на тот вопрос, измеряют не ту метрику или работают на выборке, которая не репрезентирует нужный сегмент