Зачем проверять А/Б-тестами самые очевидные гипотезы

A/Б-тестирование проводят для того, чтобы проверить гипотезу. Она может основываться на предположении, на вашем предыдущем опыте, на чужом опыте, наконец, на надежде и вере в здравый смысл. Ни в одном из этих случаев нельзя отказываться от тестов просто потому, что вы убеждены — гипотеза точно сработает (или точно не сработает). Лучше проверить, чем переделывать неудачную кампанию после запуска.

Я расскажу две истории о том, как А/Б-тестирование принесло удивительные результаты и уберегло нас от ошибок. В обоих случаях в агентство приходил клиент со странными идеями: весь наш опыт говорил, что они абсолютно бесперспективны. И в обоих случаях прав оказался именно клиент.

Немного теории

Если вы знаете, как запускать сравнительные тесты в Директе и Google Ads, смело пропускайте эту главу и переходите прямо к кейсам. Для остальных — несколько важных правил и полезных советов.

Что можно и чего нельзя делать при А/Б-тестировании:

Тестировать можно только один элемент объявления за один раз. Если вы проверяете новый заголовок и доработанный лендинг одновременно, то никогда не узнаете, что принесло успех (или обрушило показатели).
Нельзя заканчивать тестирование раньше, чем достигнут доверительный интервал. Доверительный интервал — это количество кликов, которое нужно получить в рамках теста, чтобы результаты последнего оказались репрезентативными.
Обязательно отслеживайте метрики, напрямую влияющие на бизнес-показатели: цену заказа (CPO), коэффициент конверсии (CR), долю рекламных расходов (ДРР), рентабельность инвестиций (ROI) и другие.

Самый удобный метод тестирования — «шахматка». Для «шахматки» создаются две кампании с разными объявлениями, равномерно чередующиеся в течение дня. Настройки временного таргетинга в Директе при этом выглядят как шахматная доска, что и дало название методу.

С собранной за время теста статистикой проще всего работать в такой таблице (этим шаблоном мы и будем пользоваться дальше):

В колонке «Цели» должны отражаться именно те конверсии, которые важны для вашего проекта: посещение определенной страницы или регистрация, звонок или заявка с сайта, покупка и т. д. Само собой, в таблицу можно добавить и сразу несколько целей.

Такие показатели, как CTR, CPC, CPO, CR, AOV, ROAS и ДРР, лучше рассчитывать прямо в таблице. В этом случае формулы автоматически пересчитают все показатели, если вы измените данные в каких-то ячейках.

История первая. Матрасы без правил

Недавно мы начали работать с интернет-магазином, продающим матрасы. Клиент пришел к нам с аккаунтом, наполненным готовыми кампаниями. Он сам их проработал и не хотел вносить никаких изменений. При этом в объявлениях было примерно все, чего мы стараемся избегать:

грамматические и орфографические ошибки;
много восклицательных знаков;
каждое слово с большой буквы;
отсутствие в тексте цифр;
повторы одних и тех же предложений по всему телу объявления;
короткие тексты (не использовался весь лимит символов);
отказ от второго заголовка;
расплывчатые УТП ( «широкий выбор», «много брендов»);
и так далее.

Мы предположили, что тексты, созданные по принятым в нашем агентстве правилам, способны отработать лучше существующих. Уговорили клиента на эксперимент и подготовили объявления, в которых не дублировались одни и те же УТП, были более структурированные тексты, отсутствовали несогласованности и ошибки. Затем запустили сравнительное тестирование двух кампаний: с нашими креативами и с текстами клиента.

Доверительный интервал для теста был рассчитан исходя из коэффициента конверсии, который показывала соответствующая кампания до проведения теста. 78 кликов, необходимых для достоверных результатов, мы собрали через три недели, а весь тест занял месяц.

Грустно признавать, но объявления с нашими текстами не просто собрали меньше кликов и показали уровень конверсии почти втрое ниже, чем креативы клиента. Мы заметно проиграли по CPC и CPO, а по показателю ROAS вообще ушли в минус.

Обратите внимание, что процент отказов, глубина просмотра и время на сайте в обеих кампаниях не сильно отличаются. Посетители интернет-магазина вели себя примерно одинаково, а это значит, что по объявлениям из первой и второй кампании кликали одни и те же категории пользователей. То есть вторая кампания показала низкие результаты именно из-за текстов объявлений.

История вторая. Считаем шины

Другой наш клиент — интернет-магазин автомобильных шин — предлагал добавить в обычную поисковую кампанию «информационные» ключевые слова. Мы были против: такие ключи обычно не приносят реальных покупателей. Люди, которые ищут «как выбрать ноутбук» или «сравнить телевизоры lg», как правило, еще не готовы к покупке. Команда магазина настаивала.

В конце концов, мы решили добавить в кампанию ключ «шинный калькулятор». На сайте как раз появился такой инструмент, и было хотя бы понятно, куда направлять пользователей. На иллюстрациях ниже сравнивается статистика рекламных аккаунтов клиента до и после добавления нового ключевого слова.

Такое сравнение результатов — лучший способ проверить, как изменения семантики повлияли на эффективность рекламы. При этом обязательно нужно сравнивать одинаковые периоды: месяц без новых ключей и месяц с новыми ключами, неделю без ключей и неделю с ключами. Кроме того, очень важно учитывать праздники и сезонность тематики, поскольку эти факторы могут серьезно исказить снятую статистику.

Сравнив результаты, мы выяснили, что за месяц новый ключ принес клиенту 22 транзакции из 92, полученных через Яндекс. Средняя цена конверсии составила 282 рубля (при этом CPO по кампании в целом превышал тысячу рублей). В Google «шинный калькулятор» обеспечил 28 транзакций из 39. И каждая из этих 28 транзакций обошлась рекламодателю всего в 85 рублей, в то время как средний CPO по кампании был почти в восемь раз выше.

Общие показатели CR и ROI выросли в несколько раз, а доля рекламных расходов и цена конверсии здорово упали. За месяц мы достигли всех KPI по проекту. Никто — ни в агентстве, ни на стороне заказчика — не ожидал таких результатов, но получили мы их только потому, что были в диалоге и договорились протестировать «бесперспективную» гипотезу.

Тест — благородное дело

Идеи клиента часто кажутся агентству странными и даже вредными, чреватыми потерей времени и сливом бюджета. А предложения агентства так же часто вызывают сомнения у клиента. К счастью, в этих случаях совсем не обязательно спорить — простой А/Б-тест быстро и наглядно покажет, верна ли выдвинутая гипотеза. И только последовательно проверяя каждую гипотезу, можно сделать свою контекстную рекламу максимально эффективной.