Инструмент для проведения А/Б-тестов в Директе стал доступен всем рекламодателям. А в Метрике заработал специальный отчет, с помощью которого можно будет оценить результаты тестирования.
Новый отчет можно найти в разделе «Источники — Директ» после создания эксперимента, говорится в блоге Директа. Чтобы оценить статистику по эксперименту, необходимо переключить отчет в режим сравнения.
Система аналитики автоматически рассчитывает статистическую значимость — она важна для того, чтобы сделать верные выводы о результатах теста.
Данных для сравнения достаточно, когда показатели, по которым оценивается эксперимент, выделены в отчете цветом:
- зеленый означает, что экспериментальный вариант оказался значимо лучше контрольного — то есть того, с которым вы его сравниваете;
- красный — значимо хуже;
- серый — данных достаточно, но показатели контрольной кампании не отличаются от экспериментальной.
Отсутствие цвета может означать две вещи:
- Данных еще недостаточно. Нужно подождать или запустить новый эксперимент с другими настройками.
- Для показателя недоступно сравнение. Список всех показателей, которые можно сравнивать, есть в справке Метрики.
Эксперименты в Директе запущены год назад и ранее были доступны по запросу. С их помощью можно:
- выбрать наиболее эффективную стратегию управления ставками;
- сравнить размещения на поиске и в сетях;
- протестировать разные типы кампаний или любые их настройки.
Подробнее о настройке эксперимента читайте в нашем материале и в чек-листе от Яндекса.
