5 инкрементальных тестов в app-performance: какой выбрать и что важно учесть
На что обратить внимание при подготовке инкрементального теста, какие ошибки чаще всего искажают результаты, и какие типы тестов наиболее эффективны для разных источников и задач, рассказал Head of App Performance в «Мобилке» Константин Мекеня.
Сегодня хорошие показатели в отчетах — уже не гарант того, что канал приносит бизнесу пользу. Действительно ли источник работает эффективно или просто забирает себе чужие конверсии? Вот где главный вопрос. Ответить на него помогает инкрементальность — оценка реального вклада канала в результат.
О чем поговорим:
8 пунктов, на которые нужно обратить внимание при подготовке к инкрементальному тесту
Собрали в таблице.
|
На что обратить внимание |
Почему это важно |
Что нужно делать |
|
Объем тестируемого источника |
Если источник формирует слишком маленькую долю конверсий, изменения в тотал-метриках могут оказаться статистически незаметными на фоне естественных колебаний |
Следить, чтобы канал давал не менее 8–10% целевого объема установок, регистраций или других KPI. Иначе тест скорее покажет недостаточную чувствительность измерения, чем реальное отсутствие инкрементальности |
|
Стабильность трафика до запуска теста |
Если кампания находится в фазе обучения, масштабирования или резких изменений аукциона, сравниваться будут уже разные состояния закупки, а не влияние рекламы на бизнес |
Перед тестом желательно иметь хотя бы несколько недель стабильной открутки и понятную динамику KPI |
|
Пересечения между источниками |
Если несколько источников работают на одном и том же инвентаре, одной и той же аудитории или пересекаются по механике показа, тестировать их по отдельности может быть некорректно. Это может привести к перетоку конверсий и переатрибуции между системами |
Источники с выраженным пересечением тестировать одновременно, временно фиксировать остальные сопоставимые активности или учитывать влияние смежных каналов при интерпретации результатов. Особенно это касается DSP, ретаргетинг-механик и view-through источников. Если не учитывать такие пересечения, можно получить ложное ощущение эффективности одного канала за счет другого |
|
Внешнее влияние в период теста |
Любые резкие колебания медиамикса, новые CRM-активности, изменения ставок, пуш-рассылки, ASO или сезонные всплески спроса могут исказить разницу между тестом и контролем и привести к ложной оценке uplift |
Проводить тест в максимально стабильной среде |
|
Учет лагов и окон атрибуции |
В мобильной рекламе эффект канала редко заканчивается в момент его отключения: часть конверсий продолжает дотекать еще какое-то время |
При анализе учитывать click-through и view-through атрибуцию, а также окно до целевого KPI. Это особенно важно для ON/OFF тестов: если эффект дотекает в следующие дни, ON и OFF периоды начинают смешиваться, а чистота теста снижается |
|
Оценка тотал-метрик |
Задача инкрементального теста — не понять, сколько конверсий записал на себя источник, а увидеть, изменился ли общий результат бизнеса |
Анализ нужно строить вокруг total installs, total purchase/first trip/целевого KPI. Дополнительно важно отслеживать organic и изменение других paid-источников |
|
Длительность теста |
Слишком короткий тест легко искажается случайными колебаниями |
Закладывать две—четыре недели для большинства тестов: короткие тесты подходят только для предварительных гипотез, но не для финальных выводов |
|
Проверка трафика |
Не стоит проверять изначально мошеннический трафик (с долей фрода выше 20%) — чаще всего он нестабилен и непрозрачен |
Почти всегда для проверки таких источников не нужны глобальные тесты — достаточно остановить трафик |
Какой тест выбрать
На практике универсального метода проверки инкрементальности не существует. Тип теста зависит от особенностей источника, доступности данных, возможности разделения трафика и длины воронки до целевого KPI. Методы отличаются:
-
При работе с UA (когда у нас нет аудитории и мы ищем новых пользователей) мы используем четыре типа тестов:
-
При работе с ремаркетингом (когда у нас есть аудитория, ее можно разделить до начала теста) применяем отдельный тип теста — holdout-тест.
Геотест
Считается одним из наиболее надежных подходов, может работать либо на текущем трафике, либо на новом.
Задача такого теста — понять, давал ли источник дополнительный прирост во время работы.
Суть теста на примере текущего трафика:
-
Делим аудиторию по регионам на тестовую и контрольную группы: в тестовых георекламу отключаем, а в контрольных — оставляем.
-
Строим baseline — прогноз того, как вел бы себя тестовый регион, если бы реклама продолжала работать.
-
Считаем инкрементальность как разницу между фактом конверсий в тестовом городе и прогнозом «как было бы с рекламой», построенным по динамике контроля (учет изменений в контрольном городе).
Правила проведения геотеста:
-
источник должен уметь работать с разделением по гео;
-
можно брать несколько гео, чтобы в тотале было больше конверсий для анализа;
-
тестовые и контрольные гео должны быть максимально сопоставимы по объему трафика, поведению пользователей и исторической динамике;
-
регионы желательно сравнивать не только по installs, но и по более глубоким KPI;
-
в период теста не должно быть локальных акций, офлайн-активностей или других факторов, влияющих только на часть регионов;
-
остальные рекламные активности желательно зафиксировать, чтобы изменение тотал-результата было связано именно с тестируемым источником.
Разберем на примере.
Клиент: OTT (стриминговый сервис).
Тестируемый источник: CTV.
Целевой KPI: подписка.
Что делали:
-
Запустили CTV-кампанию по всей России, чтобы оценить вклад канала в общий рост конверсий.
-
После провала трафика в течение двух месяцев в тестовом режиме отключили показы в двух регионах — Челябинске и Новосибирске, за контрольные гео взяли два похожих региона.
-
Спрогнозировали baseline для Челябинска и Новосибирска, а также скорректировали прогноз в зависимости от изменений в контрольных городах.
По итогам теста инкрементальность источника составила 68–72%.
Это значит, что 68% пользователей точно бы не появились, если бы мы не запустили рекламу. В целом для каждого бренда хороший показатель будет разный. Есть сервисы, у которых большая узнаваемость — их и так скачивают. Сложно гарантировать 100% инкрементальности, но искать новую аудиторию нужно.
Шахматный тест
Альтернативные названия этого теста — switchback или ON/OFF. В этом случае источник поочередно включается и выключается по заранее заданному расписанию.
Задача теста: определить, инкрементален ли источник.
Суть теста:
-
Строим сравнение не между регионами, а между любыми временными периодами (часы, дни, недели и так далее). Например, реклама может работать один день и отключаться на следующий.
-
Анализируем, как меняются total-install, органика и продуктовые KPI в ON- и OFF-периоды.
Правила проведения шахматного теста:
-
расписание ON/OFF не должно меняться по ходу теста, важно задать его заранее;
-
настройки текущих кампаний (бюджеты, стратегии и так далее) в период теста должны оставаться неизменными;
-
важно учитывать чувствительность кампаний к обучению или распределению недельного бюджета;
-
в течение теста необходимо охватывать все дни недели;
-
оптимальное время теста — две или четыре недели для охвата всех дней.
Разберем на примере.
Клиент: e-grocery (доставка продуктов).
Тестируемый источник: premium in-app (группа источников, где закупаются рекламные показы в приложениях и играх).
Целевой KPI: установки/покупки.
Что делали:
-
Провели switchback-тест по схеме «1 день ON/1 день OFF» в течение нескольких недель. Выбрали такой формат, так как источник закупался на весь доступный объем, но он был небольшим при делении на отдельные гео.
-
Посчитали атрибуцию событий ко дню установки, так как была задержка между установкой и отправкой заявки.
По итогам теста выяснилось, что в ON-периоды около 70% установок и 65% конверсий действительно были дополнительными, а не результатом переатрибуции органики. В OFF-периоды мы наблюдали снижение тотал-метрик без полного компенсирующего роста органики.
Placebo Ads
Этот и следующий тесты нельзя в полной мере назвать оценкой инкрементальности источника, но, учитывая, что способов проверки инкрементальности не так много, мы также используем их.
Задача теста: проверить, действительно ли пользователь устанавливает приложение благодаря рекламному сообщению или источник просто переатрибуцирует органику, создавая условия для перехвата атрибуции.
Суть теста:
-
Запускаем две кампании: в первой используем брендовый баннер, во второй — баннер, не связанный с брендом.
-
По результатам открутки сравниваем воронку показателей от установки до целевого события, а также стоимость событий.
Правила проведения placebo-теста:
-
в небрендовом объявлении важно стараться не упоминать бренд, вертикаль, лого, название приложения — чтобы его пропустила модерация площадки;
-
на каждую кампанию должно быть потрачено примерно одинаковое количество средств;
-
важно исключить пересечение — сделать кросс-минусацию по посмотревшим либо запускать последовательно;
-
в кампании не должно быть много разных плейсментов, иначе результат будет смазан.
Placebo-тест — это не финальное доказательство инкрементальности, а способ выявить переатрибуцию и завышение эффекта, а также проверить только определенный формат, а не весь источник.
Разберем на примере.
Клиент: компания по доставке товаров для животных.
Тестируемый источник: социальная сеть.
Целевой KPI: install/первый заказ.
Цель: проверить, действительно ли канал создает дополнительный спрос, а не переатрибуцирует уже существующий интерес.
Что делали:
-
Сделали кросс-минусацию тех, кто видел объявление в одной из групп.
-
Создали креатив, который не говорил ничего о бренде, но был одобрен модерацией.
-
Ограничили плейсменты, в которых креатив был показан.
В итоге placebo-кампания фиксировала объем установок и покупок. При этом:
-
их стоимость по CPI была выше в пять раз;
-
стоимость конверсий — в 10 раз;
Все конверсии и в тестовой, и в контрольной были по view-атрибуции, но при рассмотрении VTIT-долей:
-
в брендовой кампании доля установок до 6 часов была 80%;
-
в небрендовой основной объем был на установках с окном от 12 часов.
Мы оставили источник, но сократили окно view до 6 часов, чтобы сократить возможный перекуп органики.
Source-off анализ
В рамках такого теста источник или группа источников полностью останавливаются на определенный период.
Задача теста: проанализировать, как изменились total-метрики проекта.
В отличие от ON/OFF-теста здесь нет чередования периодов включения и выключения: источник просто отключается, а затем сравниваются показатели до остановки и после нее.
Перед тестом фиксируется baseline, а сам период наблюдения обычно занимает две—три недели — этого времени достаточно, чтобы получить статистически значимые результаты.
Такой подход особенно полезен как быстрый диагностический тест, если есть подозрение, что источник не создает дополнительный спрос, а только перераспределяет существующий трафик.
Правила проведения source-off анализа:
-
важно иметь стабильный предтестовый период, чтобы корректно сравнивать динамику;
-
необходимо учитывать лаги атрибуции: часть конверсий может продолжать приходить уже после отключения источника;
-
во время теста важно не менять медиамикс и фиксировать остальные рекламные активности;
-
анализировать нужно не только атрибуцию, но и total, organic и динамику других paid-каналов;
-
чаще всего в тест имеет смысл брать источники с пересекающимися плейсментами и похожими механиками закупки.
Source-off анализ хорошо подходит как первый этап проверки инкрементальности. После него можно скорректировать настройки закупки и снизить переатрибуцию — например, через ограничения по плейсментам, quality-фильтры или работу на более глубокие продуктовые события.
Разберем на примере.
Клиент: travel-компания, которая предоставляет услуги онлайн-бронирования.
Тестируемый источник: DSP.
Целевой KPI: install/booking.
На старте работы у клиента уже был большой объем DSP-трафика. При этом источников было много, но фактически большинство из них работали через одни и те же SSP и пересекались между собой по инвентарю.
Что делали:
-
Временно отключили DSP-источники, которые исторически закупались без жестких ограничений по качеству трафика, чтобы понять, какие каналы действительно влияют на бизнес-результат.
-
После полной остановки DSP-трафика зафиксировали динамику проекта по тотал и organic-метрикам, а затем начали подключать источники обратно — поочередно и уже с дополнительными ограничениями:
-
whitelist/blacklist по площадкам;
-
ограничения по плейсментам;
-
контроль quality-метрик;
-
оптимизация на более глубокие продуктовые события.
-
По итогам теста installs по атрибуции после отключения DSP резко снизились, однако total search и booking просели значительно слабее ожидаемого. При повторном подключении часть источников не показала заметного влияния на total-метрики и не была возвращена в сплит. При этом несколько DSP, наоборот, подтвердили положительный вклад в search и booking после запуска с ограничениями.
Holdout-тест для ремаркетинга
Отдельно для оценки ремаркетинговых кампаний мы используем holdout-тест.
Задача теста — понять, насколько реклама действительно влияет на дополнительные конверсии внутри уже существующей аудитории.
В рамках теста пользователи делятся на группы:
-
тестовую, которая продолжает видеть рекламу;
-
контрольную, которая полностью исключается из показов.
После этого сравнивается количество целевых действий между группами и рассчитывается uplift — дополнительный прирост конверсий, который был получен благодаря ремаркетингу.
Такой подход позволяет оценить не только сам факт влияния ремаркетинга, но и стоимость дополнительных конверсий, которые удалось получить за счет рекламной поддержки.
Правила проведения holdout-теста:
-
аудитория делится на тестовую и контрольную группы — чаще всего в соотношении 80/20, в зависимости от объема;
-
контрольная группа передается на все площадки для исключения из рекламных показов;
-
ремаркетинговая кампания запускается только на тестовую аудиторию;
-
на тест обычно закладывается три—четыре недели, чтобы получить статистически значимые результаты;
-
после завершения сравнивается uplift по целевым конверсиям между тестовой и контрольной группами.
При проведении Holdout-теста особенно важно проверять только одну гипотезу за раз.
Можно тестировать что-то одно:
-
Инкрементальность источника — то есть реальный вклад рекламной площадки в дополнительные конверсии.
-
Инкрементальность самой аудитории: действительно ли пользователи из конкретного сегмента нуждаются в дополнительной рекламной поддержке или совершили бы целевое действие самостоятельно.
Если одновременно смешать обе гипотезы, результаты могут оказаться некорректными. Например, неинкрементальная аудитория способна создать впечатление, что источник работает хуже, чем есть на самом деле. И наоборот: инкрементальный источник не означает автоматически, что сегмент для ремаркетинга был собран правильно.
Зачем инкрементальные тесты нужны бизнесу
Инкрементальные тесты сегодня — не просто инструмент аналитики, а основа для принятия маркетинговых решений. Они помогают понять:
-
какие рекламные источники действительно создают дополнительный эффект для бизнеса;
-
какие лишь получают заслугу за пользователей, которые пришли бы и без рекламы.
Такой подход позволяет эффективнее распределять бюджет, точнее оценивать вклад каждого канала и строить стратегию продвижения, ориентируясь не на атрибуцию, а на реальный рост бизнес-показателей.
Возможно, вам будет интересно:
Последние комментарии