Когда сервис вырастает до многомиллионной аудитории, то любые изменения сервиса могут усложнить жизнь большому количеству пользователей. Для минимизации рисков мы раскатываем новые фичи на процент аудитории.
Такой подход называется A/Б-тестирование.
A/Б-тестирование — популярный подход для проверки гипотез. Он заключается в показе одной группе пользователей измененной версии веб-приложения, а другой — текущей версии из продакшена (контрольная группа).
Такой подход позволяет подсчитать метрики для обеих версий и сравнить результаты между собой.
Мы используем цветовую идентификацию результата:
- серый — изменения не стат. значимы
- зеленый — улучшение конкретной метрики
- красный — ухудшение конкретной метрики
Эксперименты несут с собой дополнительные накладные расходы, замедляющие выкладку новой функциональности. Ведь необходимо реализовать эксперимент, протестировать его и выложить в продакшен. После чего подождать, когда он пройдет, подсчитать метрики, влить эксперимент в основную ветку. А затем опять протестировать и выложить.
Поэтому некоторые изменения мы раскатываем без экспериментов. Мы накопили достаточный опыт, чтобы понимать, что можно катить без эксперимента, а что нельзя.