Астра Банк: переход на инкрементальные тесты в регуляторно ограниченной среде

Ограничения на передачу данных обычно считают препятствием для нормального измерения. Этот кейс показывает обратное: они заставили команду выбрать метод, который оказался точнее прежнего.

Исходная ситуация

Отчётность строилась на модели последнего клика внутри контура банка. Перформанс-каналам приписывалась значительная доля привлечения, медийная часть выглядела убыточной и ежегодно защищалась с трудом.

Передавать пользовательские идентификаторы во внешние аналитические системы было нельзя, что закрывало путь к большинству готовых решений по атрибуции.

Что построили

Вместо моделирования на пользовательском уровне команда перешла к экспериментам на уровне регионов. Страна была разделена на сопоставимые по структуре спроса группы; в тестовых группах канал отключался на три недели, контрольные оставались без изменений.

Параллельно строилась модель медиамикса на недельных агрегатах — она не требовала персональных данных и давала оценку вклада каналов на горизонте квартала.

Главный результат

Первый же цикл экспериментов показал, что вклад перформанс-каналов был существенно завышен: значительная часть конверсий, приписываемых им, происходила бы и без рекламного контакта. Одновременно подтвердился отложенный эффект медийной части, который прежняя модель не видела в принципе.

Это привело к перераспределению бюджета, которое два предыдущих года не удавалось обосновать.

Чего это стоило

Отключение канала в регионе означает сознательную потерю выручки на время теста. Команде пришлось защищать этот бюджет отдельной строкой и объяснять, что это расход на знание, а не потери.

Второй издержкой стало время: цикл «гипотеза — тест — вывод» занимает около двух месяцев, что медленнее привычной еженедельной оптимизации и требует другого ритма управления.

Ограничения кейса

Метод требует географической однородности бизнеса и достаточного объёма в каждом регионе. Для компаний, у которых восемьдесят процентов выручки приходится на два города, географические эксперименты не работают — там нужны другие схемы разделения.

Что забрать в работу

• Ограничения на данные не закрывают путь к измерению — они закрывают путь к пользовательским моделям.
• Заложите бюджет на потерю выручки во время тестов и назовите его расходом на знание.
• Проверьте географическую однородность бизнеса до выбора метода.
• Перестройте ритм управления под двухмесячный цикл принятия решений.