Reports — как продакт‑менеджер видит результат

5.1 Цель

Отчёты — это место, где продакт наконец перестаёт спорить с разработкой и дизайнером: “сработало или нет?”. Платформа должна давать продакт‑менеджеру и команде сводный отчёт по эксперименту, чтобы:

• оценить эффект вариантов на целевые метрики,
• сравнить качество и производительность (на выбранных метриках),
• принять решение о раскатке победителя или откате.

Отчёт строится по событиям, пришедшим от продукта и атрибутированным к эксперименту/варианту через «идентификатор решения».

5.2 Окно отчёта

В истории: продакт заранее фиксирует, за какой период мы смотрим эффект, чтобы потом не было “давай ещё недельку подождём, вдруг вырастет”. Метрики считаются в заданном временном окне:

• от начала периода (включительно) до конца периода (не включительно).

5.3 Единица агрегации

В истории: если один пользователь может сделать 10 кликов, важно понимать, считаем ли мы “клики” или “пользователей, которые кликнули”. Отчёт строится:

• по эксперименту в целом, и
• по каждому варианту эксперимента отдельно («идентификатор варианта»).

5.4 Набор метрик

В истории: для гипотезы про “избранное” команда выбирает основную метрику (например, доля пользователей, добавивших в избранное) и пару guardrails (ошибки/латентность), чтобы не выиграть ценой поломки.

5.4.1 Каталог метрик

Платформа должна поддерживать настраиваемые метрики, которые аналитик может заводить в админке:

• задавать уникальный идентификатор, название и назначение метрики;
• задавать правило вычисления по событиям (какие события и как агрегируются);
• задавать условия атрибуции (например, требовать подтверждённый факт показа для части метрик).

5.4.2 Что считается в отчёте

Для каждого варианта в отчёте показываются:

• значения метрик, выбранных для конкретного эксперимента (основная и дополнительные);
• контекст расчёта (окно, атрибуция, единица агрегации);
• динамика метрик в выбранном диапазоне времени.

Важно: метрики не должны быть «зашиты в коде навсегда».
У разных команд и гипотез набор целевых/защитных метрик может отличаться.

5.4.3 Базовые примеры метрик

Платформа может поддерживать метрики из коробки как референс:

• число показов, число конверсий, «доля конверсий»;
• число ошибок, «доля ошибок»;
• «средняя задержка», «95-й перцентиль задержки».

Это примеры, а не закрытый перечень.