А/Б-тест в Яндекс Директе: как тестировать новое и оптимизировать кампании в период неопределенности

Представим ситуацию. У вас есть сайт с настроенной на него контекстной рекламой. Вы смотрите объявления в одной из рекламных кампаний и думаете, что аудитория охотнее бы делала заказ, если бы в качестве посадочной страницы вы выбрали не раздел основного сайта, а отдельно созданный под рекламируемую услугу лендинг с формой обратной связи. При этом вы понимаете, что это всего лишь предположение, основанное на личном опыте, и оно может не совпадать с поведением вашей целевой аудитории. В такой ситуации на помощь приходит A/Б-тестирование.

Суть А/Б-тестов в том, что аудитория вашего сайта будет разделена на группы, одна из которых увидит исходный вариант посадочной страницы, а другая — новый. Вы сможете собрать данные об обеих аудиториях и проанализировать, какая сделала больше заказов.

Зачем использовать A/Б-тесты

A/Б-тестирование помогает решать следующие задачи:

• Эффективнее привлекать трафик. Например, тестирование показало, что подключение нескольких категорий автотаргетинга повышает количество переходов на ваш сайт. Применив его во всех кампаниях, вы увеличите объем трафика.

• Улучшить позиции рекламного объявления в поисковой выдаче. Например, вы добавили в быстрые ссылки акции, и тестирование показало, что у нового объявления CTR выше. Такое объявление будет чаще показываться на более высоких позициях поиска.

• Увеличить конверсии сайта. В ходе тестирования вы увидели, что новые корректировки ставок отсекают нецелевую аудиторию. Используя их, вы увеличите количество визитов с достижением цели на сайте.

• Упростить структуру рекламного аккаунта. В вашем аккаунте работало много отдельных рекламных кампаний, настроенных на разные города. А/Б-тест показал, что новая кампания, которая объединила в себе текущие с разбивкой по городам внутри групп, работает лучше за счет того, что получает больше конверсий для обучения. Вы делаете выбор в пользу новой рекламной кампании, и управление аккаунтом становится проще, поскольку кампаний стало меньше.

Как настроить А/Б-тестирование

Пошагово объясним, как проводить А/Б-тесты в Яндекс Директе.

Шаг 1. Формулируем гипотезу

Для начала нужно сформулировать гипотезу, которую мы хотим проверить. Тестировать можно:

• посадочные страницы;

• УТП в объявлении;

• креативы;

   

• стратегии назначения ставок;

• время показа рекламы;

  

  

• корректировки ставок;

• типы устройств;

  

  

• площадки показа;

• объединение таргетингов из разных кампаний;

• разделение аудитории по местоположению.

Можно тестировать целые медиапланы, если вы хотите узнать, какой сработает эффективнее. В общем, сценариев может быть огромное количество. Мы советуем выбирать один элемент для тестирования, чтобы быть уверенным в том, что именно он повлиял на поведение пользователей.

Например, сформулированная гипотеза может звучать так — лендинг в качестве посадочной страницы будет приносить больше конверсий за меньшую стоимость, чем раздел основного сайта.

Кроме этого, на первом шаге нужно определить метрики, по которым будет оцениваться результат A/Б-теста. Как правило, для этого выбирают коммерческие показатели, например, количество конверсий, стоимость заявки, ДРР и т. д. Но можно проводить и тестирование технических характеристик: охвата или кликабельности.

Шаг 2. Создаем эксперимент

Мы определились с гипотезой и приступаем к настройке. Для правильного A/Б-тестирования лучше пользоваться инструментом Яндекс Директа «Эксперименты». Он позволяет точно распределить количество входящего трафика между тестируемыми кампаниями и получить наглядные отчеты, по которым легко и быстро можно проанализировать результаты тестов.

Создаем новый эксперимент в Яндекс Директе. В настройках добавляем количество сегментов, которое равно количеству тестируемых вариантов — для нашего примера нужно два. Далее распределяем между ними весь объем трафика так, чтобы сумма частей составляла не больше 100% — чаще всего это равные доли, 50% на 50%, но можно задать любую пропорцию.

Если вы сильно переживаете, что работа новой кампании негативно скажется на показателях вашего рекламного аккаунта, вы можете назначить для исходной кампании 70–80% трафика, а на тестовую оставить лишь 20-30%.

После того, как мы создали эксперимент, переходим в интерфейс Директа и создаем копии кампании, в которую планируем вносить изменения. Количество копий должно соответствовать количеству созданных в эксперименте сегментов. Одну из созданных кампаний оставляем как есть, а в другие вносим соответствующие корректировки. В нашем примере внутри одной из наших двух копий меняем исходные посадочные страницы в объявлениях на лендинг.

Важно, чтобы изменен был только тестируемый элемент, а остальные настройки кампаний оставались идентичными, иначе вы не сможете точно определить, что именно повлияло на полученные результаты.

Далее в настройках новых кампаний добавляем созданный эксперимент и для каждой кампании выбираем соответствующий сегмент.

Тестирование обеих копий обязательно проводить параллельно — это исключит влияние внешних факторов на результат, например, сезонности или изменений в стратегии конкурентов. Последний важный шаг настройки — сделать так, чтобы остановка исходной кампании и запуск ее копий произошли одновременно. Это можно сделать с помощью настройки даты включения и отключения кампаний.

Шаг 3. Копим данные

Когда эксперимент запущен, начинается накопление данных. Следить за ходом тестирования полезно, но не нужно вносить значительные изменения в кампании до окончания эксперимента, иначе результаты будут искажены. К примеру, в рекламной кампании, работающей на ручной стратегии, вы вполне можете корректировать ставки, но менять цель в кампании с конверсионной стратегией не стоит.

Также не следует торопиться и делать выводы сразу после запуска — необходимо набрать достаточно статистики. Обычно эксперимент нужно проводить как минимум две недели, а в среднем в течение месяца — все зависит от объема трафика и набранных за этот период конверсий. Проверить, достаточно ли было накоплено статистики, можно в специальном отчете в Метрике или в калькуляторе А/Б-тестирования, подробнее об этом — в шаге 4.

При расчете времени эксперимента учитывайте особенности тестируемого элемента — например, если вы думаете над внедрением автостратегии вместо ручного управления ставками, нужно понимать, что первые две недели после запуска кампании уйдут только на обучение стратегии. Поэтому первые две недели для оценки не очень подходят, лучше брать последующие.

Шаг 4. Строим отчеты

Мы уже запустили эксперимент, следили за ним в течение условного месяца и теперь переходим к результатам. Их можно проанализировать на основе отчета в Директе, отчета в Метрике или калькулятора достоверности A/Б-тестирования от Яндекса.

Чтобы посмотреть результаты теста в интерфейсе Директа, нужно зайти в Мастер отчетов и выбрать метрики, по которым было решено оценивать результаты тестирования, и фильтр «Эксперименты».

В Яндекс Метрике нужный отчет называется «Директ, эксперименты». Если открыть его, выбрать интересующие нас метрики и перейти в режим сравнения, можно увидеть разметку данных разными цветами.

• зеленый цвет означает, что экспериментальный вариант оказался лучше исходного;

• красный — хуже;

• серый — показатели обоих вариантов значительно не отличаются.

Если ячейки не размечены цветом, значит, еще набралось недостаточно данных, чтобы делать выводы, либо для выбранных показателей недоступно сравнение. Подробнее об этом можно прочесть по ссылке.

Чтобы посмотреть результаты через калькулятор A/Б-тестирования, нужно заполнить в нем данные, согласно набранной в ходе эксперимента статистике и указать значение p-value — оно отражает степень вашей уверенности в результате теста (рекомендованное значение — 80%).

Смотрим на значения показателя в последнем столбце:

• «Да» означает, что экспериментальный вариант сработал лучше исходного;

• «Нет» — экспериментальный вариант сработал хуже;

• «?» — значимой разницы нет.

Любой из этих трех способов поможет понять, внедрять ли изменения в настройку рекламы или искать новые идеи для улучшения ее работы.

А/Б-эксперименты в Яндекс Метрике

В ноябре прошлого года Яндекс анонсировал инструмент Вариокуб, который позволяет проводить А/Б-тесты прямо в Метрике. С его помощью можно выяснить, какие изменения на сайте влияют на увеличение его конверсии. Для этого после формирования гипотезы и выбора целевых метрик, по которым планируется оценивать результат, нужно создать тестируемые версии сайта и запустить эксперимент. В ходе тестирования пользователи с разными идентификаторами взаимодействуют с разными версиями сайта, а Метрика фиксирует их действия. После окончания эксперимента можно изучить статистику и решить, стоит ли вносить корректировки.

Подробнее о Вариокубе:

Вариокуб Яндекса для А/Б-тестов: как грамотно сформулировать гипотезу, выбрать цель и оценить результаты