Как с помощью тестов масштабировать рекламные кампании в Яндекс Директе — гайд
Если вы уперлись в потолок, перепробовали много идей, а увеличение бюджета не принесло желаемых результатов, то пора миксовать различные типы кампаний с разными стратегиями и внедрять систему тестирования. Как масштабироваться в Яндекс Директе и при этом улучшать KPI по ДРР, рассказал Дмитрий Старосотников, Account Group Head в агентстве ответственного маркетинга «Артикс».
Обозначим ключевые моменты:
Внедряем систему тестирования
Если вы уже разобрались с данными, провели детальный анализ рекламной кампании и избавились от лишнего, то самое время подумать о выборе стратегии для масштабирования. Чтобы не тыкать пальцем в небо, используйте тесты. Они нужны, чтобы:
-
Отследить эффективность, скорректировать результаты.
-
Доказать, что конкретные действия, настройки, форматы, гипотезы приносят результат. Учитывайте другие расходы бизнеса на акции, скидки, бонусы и разработку для сайта, если тестируете страницы.
-
Оптимизировать бюджет, чтобы заложить верный процент расхода на риски.
-
Внедрить глобальные изменения, сильно влияющие на результаты. Это поможет безопасно расти, легко откатываться назад в случае неудач (понимая их причины).
Тесты бывают типовые и оригинальные. Типовые тесты проверяют тексты объявлений, посадочные страницы, спецпредложения и многое другое.
Объект тестирования |
Подробности |
Тексты объявлений |
Заголовки, описание, изображения, видео, БС, уточнения, промоакции, условия доставки. Особенно важно, если есть акции и яркая активность конкурентов, либо тестируем релевантность vs акция. |
Посадочные страницы |
|
Спецпредложения |
Акции, скидки и прочее |
Настройки стратегии |
CPC, CPA, ДРР |
Пакетная или обычная |
|
Подбор целевых действий |
|
Стратегии — рост и масштабирование кампаний |
На разные доли выигрыша (SOI) по выделению определенного процента трафика и разной силы повышения, увеличения ставок |
Атрибуция |
Для роста обучаемости стратегий |
Устройства |
Десктопные и мобильные |
Автотаргетинг |
Различная активизация, выбор разных категорий автотаргетинга и его ставок |
Настройки кампаний |
Рекомендации Яндекса, корректировки текстов, выбор объявлений для показа |
Таргетинг в кампаниях и корректировки |
Семантика, гео, аудитории, соцдем , платежеспособность и прочее |
Фиды |
Состав товаров (расширение/сокращение на лучших), дополнительные параметры |
Форматы объявлений |
Использование многих форматов объявлений в рамках кампании (на группах объявлений в ЕПК) |
Новые форматы, типы кампаний |
Выбираем тест «до/после» или «Эксперименты»
Механику для типового теста выбираем, исходя из потребностей, целей и результата, который хотим получить. Есть два варианта: «Эксперименты» и тесты «до/после».
«Эксперименты» нужны, когда:
-
планируются серьезные изменения в стратегиях;
-
нужно безопасно расти и при этом легко откатываться назад в случае неудач;
-
требуется комплексная оценка эффекта на всю аудиторию;
-
есть статистика, емкость, конверсии;
-
статистика волатильная (переменчивая) на периодах недели и месяца;
-
есть время на тесты и эксперименты.
При работе с «Экспериментом» в Яндекс Метрике, можно:
-
Разделять кампании по разному принципу, а не строго 50 на 50.
-
Связывать несколько типов кампаний, делать сквозные эксперименты на медиа и performance.
-
Сокращать расходы на запуск благодаря выделению процента аудитории.
-
Учитывать весь эффект вне канала, влияние органики, других кампаний. Это помогает вычислить Uplift многих показателей: визиты, покупки, заявки, доход, брендовые запросы, влияние на CR, средний чек и пр.
-
Можно вносить несколько радикальных изменений на определенном проценте трафика, когда переделывается сразу многое и меняется подход (да, без четкого понимания, что сработало, но зато пойти по другому пути).
-
Можно делать не половину, а четверть трафика для теста. Несколько тестов (для текстов, атрибуции, посадочной, объемов), затем исходя из результатов и динамики выбрать лучший путь.
При этом в «Экспериментах» есть ряд ограничений:
-
Нельзя провести единый эксперимент между кампаниями разных типов (например, медийными кампаниями или ЕПК).
-
Действует в рамках рекламных площадок Яндекса, то есть нельзя подключить сторонние рекламные системы (например, соцсети).
-
Распределение в эксперименте автоматическое по всей аудитории, которую знает Яндекс на основе своей технологии Крипты. При этом могут быть случаи, когда распределенные группы дают разное поведение по целям в Метрике. Поэтому проверяем, как сходятся полученные группы на показателях, важных для теста. И если разница большая, пересоздаем эксперимент для нового распределения аудитории.
«Эксперимент» в Метрике показывает:
-
как изменения повлияли на результаты в разрезе городов, устройств, соцдема, поисковых запросов, структуры покупок;
-
изменения в целевых заявках между направлениями;
-
как изменились другие источники между экспериментальными группами.
К тому же только эксперимент покажет реальный эффект на бизнес в качестве прироста результата (и то, если он емкий и значимый), а не результат в рамках любой атрибуции.
На тесты «до/после» обращаем внимание, когда:
-
статистика показателей кампаний — стабильная;
-
сильно ограничен бюджет и время;
-
мало целевых действий.
Такие тесты дают высокую скорость изменений и сразу более масштабируемый эффект.
Рассмотрим, какие могут быть возможности и ограничения работы с механикой «до/после».
Возможности |
Ограничения |
Высокая скорость изменений. Не нужно тратить время на разгон и обучение новых кампаний. |
Не всегда понятно, почему изменился результат. Необязательно это может быть из-за показателя, который тестировали. Влиять на конверсию могут и другие факторы (изменение спроса, сезонность, изменения на сайте, влияющие на конверсию). |
Изменения вносятся в текущие кампании, которые уже обучены, у них есть накопленная статистика — хорошая база для вносимых изменений. Если они дают положительный эффект, то он быстро приводит к хорошим изменениям. Если статистика кампаний стабильная, то результат изменился из-за вносимых изменений. Это помогает быстро масштабировать удачные тесты. |
Рискованно применять на большие рекламные кампании с высокими объемами бюджетов и результатами по KPI, потому что изменения вносятся на всю аудиторию кампании. Неудачный тест негативно влияет на накопленную статистику по CTR, обучаемость стратегий, восстановление кампаний даже после отката изменений, а еще требует времени и несет потери в KPI, пока восстанавливается статистика. |
Легко вносить изменения в отличие от создания новых кампаний и разделения на эксперименты. |
Не подходят для ряда тестов, где объекты тестирования и результат основаны на сравнении. Например, тестирование креативов, стратегий, посадочных страниц. |
Отдельно можно вынести геотесты, которые позволяют выделить похожие города по спросу и конверсии в бизнесе, и при этом есть емкость и бюджет, чтобы сделать заметный тест.
Определяем будущее теста
Определять приоритетность тестов можно с помощью методик HADI (Hypothesis Action Data Insights), RICE (Reach Impact Confidence Effort).
Критерий |
Что показывает |
Как рассчитать |
Время |
Сколько займет реализация и поддержка в рамках теста |
7 баллов — 1 день |
6 баллов — 1,5 дня |
||
5 баллов — 2 дня и т. д. |
||
Эффект |
На сколько процентов улучшится ДРР, CPA, CR, рост дохода |
Для относительных показателей это величина изменения на 15% для каждого балла, 1 балл = 15%, 7 баллов 100% — удвоит результат |
Для абсолютных показателей, например, если это доход: 1 балл = 1 млн рублей |
||
Вера |
Личный прогноз успеха теста |
1 — не верю, что получится, зря потратим время и силы |
3 — возможно, будет эффект, а возможно, и нет |
||
5 — уверен, что точно будет положительный результат |
||
7 — результат будет отличным |
||
Масштабирование |
Насколько можно полученный результат перенести на другие направления |
Балльная система, где % — это степень покрытия кампаний: 1 балл — до 5%, 2 балла — 10%, 3 балла — 30%, 7 баллов — более 70% |
Скорость появления результата |
Через сколько времени будет первый статистически значимый результат |
1 балл — 7 недель и более |
2 балла — 6 недель |
||
7 баллов — 1 неделя |
Эта методика учитывает факторы, значимые для performance-рекламы. Когда есть цели для роста, мы учитываем их в факторах — добавляем масштабирование и скорость, чтобы выбрать наиболее влиятельные тесты.
Факторы помогают выбрать приоритеты по тестам, так как учитывают основные переменные, с которыми мы работаем для достижения результата: объем работ, скорость, эффективность. При этом наш ключевой ресурс — время. Тестов может быть сгенерировано много, важно распределять усилия на то, что даст эффект быстрее и больше. Особенно это касается проектов, где бэклог тестов может занять два—три месяца.

У теста должно быть продолжение: нужно понимать, как он масштабируется дальше и сколько будет итераций. На первом этапе оцениваем прогнозы и, в случае успеха, масштабируемся на весь объем.
Поэтому стоит смотреть на тест через призму 100% масштабирования: какой процент текущих кампаний и их результатов статистики он охватит и как изменит результат, какой прирост даст и в чем.
Благодаря экспериментам можно проводить оригинальные тесты, которые нельзя сделать с помощью логики «до/после».
В случае с оригинальными тестами обращаем внимание на логику тестирования, структуру кампаний и еще ряд моментов.
На что обращать внимание |
Подробности |
Комплекс кампаний |
Логика тестирования: делите стандартные кампании на две части через «Эксперименты» и добавляйте в тестовую часть новые кампании. Группа А — стандартные кампании, 50% аудитории. Группа Б — стандартные кампании, 50% аудитории + расширение новыми кампаниями и инструментами, чтобы коммуникация с аудиторией была эффективна на всем CJM. Используйте как объявления на Поиске Яндекса в дополнительной семантике (запросы по конкурентам или широкие запросы по ключевым словам рекламируемого направления), так и в РСЯ. Задействуйте медийные кампании, в том числе с видеокреативами (направленные на рост целевых действий на сайте либо на активный ретаргетинг). |
Структура кампаний |
Увеличивайте кампании для более быстрого обучения алгоритмов стратегий (особенно если это плата за конверсию) |
Ускорение тестов |
Делите тесты на три части, где две активные части и одна контрольная группа, чтобы быстрее проводить эксперименты и находить лучшие идеи. Например, одна часть — на тестирование текстов, другая — на тестирование посадочной страницы, а третья — без изменений. По итогу выбирайте лучший вариант, влияющий на результат. |
Экономить бюджет, но полноценно проверять гипотезы |
Уменьшать процент эксперимента, чтобы на меньшем бюджете качественно закупать долю трафика для проверки гипотез. Например, если емкость спроса довольно большая, и чтобы добиться высокого процента показов в спецразмещении, требуется много бюджета, то можно взять через эксперимент 20% аудитории и тестировать повышение ставок на них. Благодаря этому вы увидите изменения показателей по CR, среднему чеку, CPC, CPA и сделаете выводы для последующего масштабирования. |
Запускать новые направления и типы кампаний, выделяя 20% трафика |
Стартовать осторожно на часть трафика, например, РСЯ. Потом фильтровать площадки, работая с более высокими ставками, но не получая много показов. |
Тестируем и масштабируем
Переходим к самому интересному — тестированию и способам его масштабирования. Методика для проведения масштабирования рекламных кампаний включает несколько элементов:
- Оценка потенциала — доля выигрышей.
- Рост доли и проверка емкости.
- Модели роста
Оценка потенциала — доля выигрышей. Показатели для сравнения:
-
средняя ставка за клик;
-
средняя позиция показа;
-
доля выигрышей.
Долю выигрышей можно перевести в максимальный объем возможных показов, поняв тем самым максимальную емкость (с учетом всех таргетингов и ограничений в рамках кампаний и экспериментов). Пример ниже сделан по CPA-оплате. Сравните стратегии по ставке аукциона и поймете, что выгодно. Но для этого приведите CPA и CPC кампании к близкой ставке в аукционе.
Доля выигрышей — доля выигранных аукционов за показ рекламы в общем количестве аукционов, в которых участвовала кампания.

Рост доли и проверка емкости. Поднимайтесь по доле выигрышей, тестируйте разные уровни и смотрите за метриками. Остановитесь в наилучшей точке по выкупаемым объемам и получаемым KPI. CR, средний чек, а также расходы по CPC или CPA / ДРР будут разными на разных объемах выкупа.
Логика подхода к тестированию разной доли выигрышей следующая: стоит идти итерационным путем, проверяя разный объем выигрыша.
Модели роста. В процессе работы с рекламными кампаниями мы часто сталкиваемся с мнением специалистов, что при росте бюджетов будут расти и показатели по ДРР, а это будет ухудшать окупаемость. Однако, как показывает практика, многие рекламные кампании работают по стратегиям с оплатой за конверсии. На эффективность влияет то, как обучаются стратегии в зависимости от объема данных по целям. В результате мы получаем абсолютно другой тренд показателей эффективности.
Ниже на первом графике показаны частые убеждения (как со стороны специалистов, так и клиентов), а на втором — реальная ситуация, которая получается при росте. Поэтому мы используем для себя концепцию, где рост бюджетов может вести за собой улучшение KPI по ДРР. А это влияет на то, какие ожидания мы закладываем в тесты по масштабированию.
Эксперимент по корректировкам внутри кампании
Рекомендуем делать как положительные, так и отрицательные корректировки, дополнительно создавать группу контроля без изменений ставок.
Тестирование разной доли выигрышей можно проводить в рамках одной кампании, выставлять различные корректировки к используемым ставкам.
Через «Эксперимент» разделите пользователей на несколько частей, к каждой из которых будут применяться разные ставки внутри одной кампании. В зависимости от настроек стратегии ставки могут быть связаны как с ценой за клик, так и со стоимостью конверсии, если стратегия работает по оплате за конверсии на сайте (например, покупка или отправка заявки).
Благодаря этому вы найдете оптимальный вариант по изменению ставок, который даст лучший результат с точки зрения эффективности, а также измерите то, как будут меняться показатели по CTR, CPC, CPA, CR, ДРР в зависимости от роста ставок для каждой из экспериментальных групп.

Ускорение обучения через ДРР-стратегию
Собирайте в рекламные стратегии несколько целевых действий и ранжируйте CPA. Например, устанавливайте разную стоимость за конверсию на уровне стратегии кампании. Например, цели могут быть такими:
-
покупка на сайте и оформление заявок;
-
покупка клиентами B2B или B2C;
-
покупка на сайте и в приложении на iOS, Android.
Если есть понимание, что каждая цель приносит разную ценность, то выставляйте разный CPA. Например, если цель по B2B-клиенту дает средний чек в 20 000 рублей, B2C-покупка в 10 000 рублей, при этом ценность для бизнеса разная ввиду получаемого эффекта, то для каждой из них стоит выставлять тот CPA, который даст выполнение целевого ДРР. CPA на B2B может быть в этом примере в два раза выше.
Атрибуции — ускоритель роста и принятия решений
Атрибуция — это правило, по которому конверсия относится к какому-либо источнику трафика. Она помогает понять, какие рекламные каналы приводят клиентов. В Яндекс Директе существует несколько видов атрибуции, например:
-
последний переход из Директа;
-
последний значимый переход;
-
автоматическая атрибуция и др.
В зависимости от применяемой атрибуции меняется количество конверсий, которые мы можем увидеть по установленным в стратегии целям. Количество видимых конверсий напрямую влияет на эффективность обучения стратегии: чем больше данных, тем лучше. Любой результат можно посмотреть в срезах по разным атрибутам и уже на основе этих данных принять решение об изменении атрибуции и корректировке CPA или ДРР. Это особенно актуально в ситуациях, когда применяемая атрибуция в рекламной кампании отличается от той, по которой учитываются KPI.
Принимать решения об изменениях стратегий и целевых значений CPA/ДРР можно на основе исторически накопленных данных. Как это делать:
-
заранее смотреть статистику и принимать решение, на какую переходить и как менять целевые CPA;
-
всегда смотреть четыре атрибуции для оптимизации, чтобы ускорить в два—три раза принятие решений, даже если KPI считается по Last Click;
-
следить, что покажет первый переход: смотрим на уровне кампаний, групп объявлений, фраз — это покажет, как влияет источник или кампания на прирост бизнеса и в целом на AppLift.
Обучаем рекламные стратегии
Чтобы рекламные кампании росли, обучайте рекламные стратегии. Это приведет к позитивным изменениям:
-
Самое серьезное изменение для роста — это объединение кампаний (в целом то, что раньше было кампанией, можно делать группой в рамках ЕПК).
-
Возможен другой вариант — разгон кампаний по CPC (если данных много, то можно и CPA/ДРР), тестирование разных уровней выкупа доли выигрышей.
-
Идеальный сценарий — переход на оплату за конверсии.
Но всегда есть исключения. Часть трафика, для которого важно вручную выкупать высокую долю показов — это либо свой бренд, либо высоко конверсионные фразы, либо высокоэффективный поисковой ремаркетинг, который работает с небольшим охватом, но эффективно.
Единая перфоманс-кампания
Это новый тип кампаний, который объединяет и расширяет возможности привычных графических, текстово-графических и товарных объявлений, динамических и смарт-баннеров. Чем он хорош:
-
ручная или автоматическая настройка мест показа;
-
стратегия: обычная или пакетная;
-
доступность APP-целей, можно сделать связку Web-To-App;
-
полноценная работа с корректировками;
-
возможность подключать «Эксперименты»;
-
возможность запрещать показы: по фразам и по площадкам;
-
полный контроль условий автотаргетинга;
-
работа с таргетингами на уровне групп: отдельно для Поиска, отдельно для РСЯ — можно сделать поисковый и сетевой ремаркетинг по любым условиям;
-
сбор аудитории в пиксель на уровне группы;
-
корректировки стоимости привлечения на группу по CPA, ДРР, CPC от настроек стратегии кампании;
-
объявления: ТГО, товарные объявления, комбинированные форматы.
Выбор лучшего теста для роста рекламной кампании
Как грамотно проводить тестирование, чтобы нарастить рекламную кампанию? Можно провести дополнительный расчет показателей, чтобы понять объем заявок с разных вариантов текстов:
CTR x CR =и 10 000 х CTR x CR (берем одинаковый объем показов).

Фокусировка: разные тесты для разных направлений / ситуаций
При работе с тестами важно держать фокус на разных целях бизнеса, которые вам нужно достигнуть. В каждой ситуации — свои приоритеты и метрики, на которые должны быть направлены тесты. По сути, в этом и состоит стратегия работы с тестами.

Регулярно контролируем показатели
Используйте инструменты автоматизации, задавайте правила для изменения в кампании. И возьмите себе за правило:
-
Ежедневно контролировать бюджеты, динамику трафика.
-
Еженедельно контролировать бюджеты, динамику трафика, спрос в Вордстате, динамику направлений в целом в Метрике и между экспериментальными группами.
-
Ежемесячно оценивать Uplift динамики в бизнес-направлениях.
Разбросы в статистике — это нормально, особенно по дням или неделям, если данных мало. Время идет неравномерно до конверсии: скученно или пусто. Важно уметь ждать.
Первые несколько недель на тест не смотрим — это момент старта и разгона, и показатели могут быть не сразу в нужном объеме.
Оцениваем тесты, даем рекомендации
Чтобы тесты работали на вас, а не вы на тесты, ловите несколько рекомендаций:
-
Следите за разделениями А и Б в Метрике по целям и распределению конверсий.
-
Запускайте тестовые кампании, А/А-тесты (если позволяет время и ресурсы).
-
Оценивайте результаты не только через Метрику, но и через Директ, поскольку атрибуцию стоит брать из Мастера отчетов, чтобы верно привязывать к дате клика целевое действие (покупка, заявка).
-
Первые две недели оценивайте результаты критично.
-
Учитывайте пороги для достоверности статистической значимости теста. У каждого показателя они могут быть разные: показы, клики, покупки (транзакции), заявки, доход.
-
Создавайте правила остановки тестов для трех случаев: результата нет совсем, результат незначительный и показатели неэффективные, данных достаточно, чтобы принять решение.
Последние комментарии