10 лучших инструментов для A/Б-тестирования

Этот материал был написан в октябре 2022 года, мы обновили его в ноябре 2022 года: добавили обзор нового инструмента Яндекса для тестирования сайтов — Вариокуба. 

Суть А/Б-тестирования довольно проста: вы запускаете два варианта одного и того же объявления или создаете две версии посадочной страницы и смотрите, какая из них лучше работает. Объявления могут отличаться только текстом на кнопке или креативами, сайты — цветом кнопки действия или расположением отдельных блоков.

Как это работает. Одинаковое количество пользователей видит разные варианты объявлений и посадочных, взаимодействует с ними. А потом вы оцениваете, что привлекло больше внимания аудитории: скажем, синяя кнопка или зеленая, блок с формой заявки на первом экране или на всплывающем уведомлении, объявление с кнопкой «Купить курс» или «Посмотреть программу».

Сколько времени нужно на А/Б-тесты. Всё зависит от количества трафика на сайте: нужно тестировать до тех пор, пока вы не соберете достаточно данных для получения результатов со статистической значимостью.

В этом материале мы рассмотрим:

• 6 инструментов для А/Б-тестов сайта

• 2 инструмента для А/Б-тестов контекстной рекламы

• 2 инструмента для А/Б-тестов email-рассылок

• Советы специалистов, как грамотно провести A/Б-тесты

6 инструментов для А/Б-тестов сайта

А/Б-тесты сайта нужны, чтобы улучшить его качество и повысить конверсионность. В нашей подборке есть и платные, и бесплатные инструменты для тестирования — каждый найдет подходящий.

Google Оптимизация

По-другому этот инструмент еще называют Google Optimize. Он поможет бесплатно проверить, какие элементы сайта удобнее для пользователей. Когда вы это выясните, сможете внести изменения в сайт и тем самым увеличить его конверсионность.

Что можно сделать:

• провести А/Б-тесты всех элементов сайта: цветов, размеров кнопок, картинок, текстов, полей в лид-формах и прочего;

• сравнить эффективность двух страниц — например, двух лендингов, на одном из которых больше текста, а на другом — фото;

• добавить персональные предложения для разных сегментов аудитории: например, пользователям, которые пришли из ВКонтакте, показать акцию «Скидка 20% за репост закрепленного поста из группы ВКонтакте».

Главный плюс инструмента — в том, что для проведения А/Б-теста вам не придется менять код сайта. То есть можно справиться своими силами и не привлекать разработчиков. А еще можно настраивать аудиторию и выбирать, кто из посетителей сайта будет участвовать в тесте.

Google Оптимизация разработана на основе Google Analytics и работает на его базе. Так что для работы с Оптимизацией не придется заводить новую учетную запись — можно войти через свой аккаунт в Google Analytics.

Перед началом работы с Google Оптимизацией можно настроить уведомления под себя: например, указать, что вы хотите получать подсказки.

По результатам тестирования можно посмотреть подробные отчеты и решить, нужно ли что-то менять на сайте, и если нужно, то что именно.

Воспользоваться инструментом

Андрей Рожков руководитель отдела аналитики в E-Promo

Для проведения тестов я обычно использую инструмент Google Optimize — он довольно простой и бесплатный. Его плюс — в том, что часто для его внедрения достаточно поработать с Google Tag Manager. Это не отнимает много сил и времени, что действительно важно при нашей работе, ведь нужно решать задачи нескольких клиентов одновременно.

Анна Ергунова веб-аналитик ArrowMedia

С помощью А/Б-тестов можно проверять совершенно различные элементы интерфейса на предмет продающей способности сайта. Обычно перед запуском A/Б-тестирования мы проводим полный юзабилити-аудит сайта. Проверка помогает выявить явные и косвенные недочеты интерфейса и сформулировать гипотезы для теста, которые в дальнейшем мы подтверждаем или опровергаем. Это могут быть как минимальные правки — например, цвет конверсионной кнопки или наличие/отсутствие определенной формы обратной связи, — так и полное изменение карточки товара, корзины, страницы оформления заказа, меню и т. д.

Помимо наличия гипотез важно остановиться на инструментах. Если нужно протестировать цвет кнопок, баннеров, надписей или конверсионность лендингов, то обычно используем сервис Google Optimize. Он достаточно прост в настройке, легко интегрируется с менеджером тегов Google Tag Manager и системой веб-аналитики Google Analytics. С помощью встроенного в сервис редактора можно изменить цвет конверсионной кнопки в два клика.

«1С-Битрикс: Управление Сайтом» + Яндекс Метрика

Здесь мы предлагаем использовать сразу два инструмента в связке: «1С-Битрикс: Управление Сайтом» и Яндекс Метрику. Первый инструмент платный — стоимость от 40 900 рублей и выше (модуль А/Б-тестирования появляется только в этой версии лицензии и тех, что дороже), а второй инструмент бесплатный.

«1С-Битрикс: Управление Сайтом» — это коммерческая CMS-система, внутри которой можно улучшать и оптимизировать сайты. По шести сценариям можно протестировать:

• новый дизайн;

• главную страницу;

• детальные карточки товаров;

• страницу корзины;

• страницу оформления заказа;

• произвольно выбранную страницу.

И после этого на основе отчетов по тестированию можно выбрать наиболее эффективный вариант для показа.

 

Воспользоваться инструментом

Зачем тут Яндекс Метрика? Она помогает убедиться, что по результатам тестов вы сможете выбрать наиболее конверсионные варианты на основе данных о визитах. В целом, можно ориентироваться и только на отчеты «Битрикса», но чем больше данных вы соберете и проанализируете, тем лучше.

Анна Ергунова веб-аналитик ArrowMedia

При необходимости проведения более трудозатратного A/Б-тестирования, например, изменения дизайна карточки товара или страницы оформления заказа, мы используем инструменты CMS-системы сайта и систему веб-аналитики Яндекс Метрика. CMS-система «1С-Битрикс: Управление Сайтом» имеет модуль A/Б-тестирования, с помощью которого можно настроить сценарий теста. А для Яндекс Метрики настраивается передача параметров визита. Анализируя полученные данные в Метрике, мы сможем оценить, какой из вариантов теста оказался более конверсионным.

В момент выбора инструмента тестирования нужно чётко понимать механику работы и возможности каждого сервиса, а также учитывать вероятные барьеры в подготовке. В сложных тестах, например, при изменении страниц корзины или каталога, лучше использовать инструменты, которые предлагают сами CMS-системы, потому что без привлечения дизайнеров и разработчиков не обойтись. Если же нужно провести тест цвета конверсионной кнопки, то достаточно использовать Google Optimize, а запуск провести самостоятельно.

Freshmarketer

Это платный инструмент компании Freshworks, который позволяет провести А/Б-тесты для всех элементов сайта. 21 день можно пользоваться им бесплатно в рамках демо, дальше — только за деньги. Стоимость подписки варьируется от $19 до $359 в месяц — в зависимости от опций, включенных в пакет. Например, можно также получить полную автоматизацию маркетинговых процессов и оптимизацию коэффициента конверсии, а не только функционал для А/Б-тестов.

Что можно сделать:

• провести А/Б-тесты всех элементов сайта;

• создать несколько вариантов страниц сайта;

• проанализировать сегменты аудитории;

• отследить доходы;

• интегрировать тепловые карты и записи сеанса, чтобы лучше понимать, с какими проблемами сталкиваются посетители сайта: какие кнопки, формы или блоки им сложно найти.

Достоинство инструмента — в том, что с его помощью можно вносить как простые изменения (например, на уровне текста), так и расширенные (менять код). Всё это делается в одном редакторе, не нужно использовать сразу несколько инструментов.

Но тем, кто плохо знает английский, придется сложновато — здесь нет встроенного перевода на русский. Хотя в целом можно справиться и с автопереводом Google.

Также в Freshmarketer есть подробные отчеты по результатам тестирования — можно узнать, почему один элемент отработал лучше другого.

Воспользоваться инструментом

Optimizely

Инструмент для крупных компаний, который может работать сразу с большим количеством данных и проводить несколько тестов одновременно. Он платный: цены стартуют от $1000 в месяц, точнее можно узнать, оставив свои контакты на сайте — вам придет письмо с актуальной стоимостью. Его можно протестировать бесплатно, но при этом подключить можно будет только один сайт — в целом, рабочий способ для владельцев бизнеса юзать дорогой инструмент.

Что можно сделать:

• одновременно запустить неограниченное количество А/Б-тестов;

• персонализировать контент для разных сегментов аудитории;

• добавить группы исключений;

• использовать искусственный интеллект для прогнозирования аудитории;

• настроить таргетинг более чем по 15 критериям;

• одновременно работать с контентом всей командой;

• получить подробные отчеты по результатам тестов.

Воспользоваться инструментом

ABTasty

ABTasty тоже создан скорее для крупных компаний, чем для малого или среднего бизнеса, но стоимость подписки у него более доступная, чем у Optimizely — она стартует от $200 в месяц. Точную цену тоже вышлют вам на почту, если вы оставите свои контакты в лид-форме.

Что можно сделать:

• провести А/Б-тесты всех элементов сайта в разных версиях — для мобильных и десктопов;

• сегментировать пользователей на основе их взаимодействия с сайтом;

• добавить на сайт разные виджеты без работы с кодом;

• спрогнозировать результаты тестов;

• получить подробную отчетность.

Воспользоваться инструментом

Вариокуб

Это новый инструмент Яндекса, интегрированный в Метрику. Компания представила его в конце ноября 2022 года на конференции «Матемаркетинг». Пока Вариокуб работает в тестовом режиме, но каждый может присоединиться к тестированию, оставив заявку на лендинге. Судя по всему, инструментом можно пользоваться бесплатно.

Что можно сделать:

• тестировать разные сайты: от одностраничного лендинга до сайта большой компании;
• проводить эсперименты тремя способами: с помощью встроенного визуального редактора, интеграции через API и флаги в коде и через настройку редиректа;
• просматривать подробную отчетность по результатам тестов;
• на основе результатов тестов прогнозировать, какие изменения положительно скажутся на конверсии и сайте в целом.

Плюс инструмента — в том, что он интегрирован в Метрику. Например, после окончания эксперимента результаты появятся в специальном разделе в Метрике — не придется отдельно заходить в Вариокуб и не нужно будет разбираться с непривычным интерфейсом нового инструмента. 

Воспользоваться инструментом

2 инструмента для А/Б-тестов контекстной рекламы

Тестирование объявлений помогает оптимизировать затраты на продвижение и увеличивать эффективность рекламы. В ходе тестов можно найти наиболее удачные варианты объявлений и перераспределить бюджет на них, а неэффективные отключить. Делать это только на основе своих предположений опасно — вы можете считать, что пользователи лучше отреагируют на один текст или креатив, а на деле эффективнее окажется другой. Рассказываем, какие инструменты помогут принять обоснованные решения.

Эксперименты в Яндекс Аудиториях

Это бесплатный инструмент, который доступен всем рекламодателям Директа. Удобно то, что он встроен в Директ — не придется скачивать и осваивать новые программы, настраивать интеграции между сервисами. К тому же, система дает подсказки, а интерфейс интуитивно понятный.

Что можно сделать:

• узнать, как влияют друг на друга кампании разных типов;

• проанализировать влияние показов рекламы на конверсии на сайте;

• сравнить эффективность автоматических стратегий и ручного управления ставками;

• получить подробную отчетность по результатам тестирования в Яндекс Директе или Яндекс Метрике.

Всего в Яндекс Аудиториях можно создать до 200 экспериментов и сразу использовать их в Яндекс Директе.

Воспользоваться инструментом

Дарья Никитина менеджер отдела контекстной рекламы департамента перформанс-рекламы в СберМаркетинге

Мы любим тестить все возможные параметры для изменения в РК и в первую очередь сравниваем между собой:

• стратегии (ручные, авто);

• структуру логина (схлопнутые кампании и сегментированные);

• посадочные страницы;

• креативы (как графические баннеры, так и тексты).

Также, если по схожим продуктам необходимо использовать одну и ту же семантику в рамках одного аккаунта, можно разводить околотематику с помощью A/Б-тестов. Например, для инвестиционного страхования жизни и просто инвестиций.
Есть несколько инструментов для контекстной рекламы, позволяющих провести А/Б-тестирование. Для Яндекс Директа — «Эксперименты в Яндекс Аудиториях», в Google Ads — встроенные в интерфейс Drafts and Experiments, а для различных тестирований контента сайта есть Google Optimize.

Сейчас для нас наиболее актуален Яндекс Директ, поэтому чуть подробнее расскажем про него.

В данном инструменте можно делить аудиторию как на равные сегменты, так и на сегменты с разными долями. Когда какие использовать:

• сегменты с разными долями используем, когда необходимо получать в одних тестируемых кампаниях больше трафика, чем в других;

• равные сегменты — когда сравниваем больше двух текстов, креативов, стратегий и т. д.

Вариант с делением аудитории пополам на два сегмента

Вариант с делением аудитории на разные доли

Вариант с делением на несколько сегментов с равными долями

Тестировать можно несколько кампаний против нескольких, несколько против одной или одну против одной.

Как мы рекомендуем работать с Экспериментами:

1. Создавайте сразу два дубля основной кампании, чтобы запускать две чистые кампании без накопленной статистики — так сравнение будет более точным.

2. Используйте одинаковые настройки для всех параметров, кроме тестируемого.

3. Отдельно промечайте кампании в названии и с помощью UTM для упрощения сбора статистики.

4. Останавливайте эксперимент и принимайте решение тогда, когда наберется достаточно статистики и станет видно, что одна из кампаний отработала значительно лучше другой. Корректно оценить результаты поможет «Калькулятор достоверности A/Б-тестирования» Яндекса.

Drafts and Experiments в Google Ads

Google Ads приостановил рекламу для российских рекламодателей и пользователей. Информации о том, когда показы смогут возобновиться, нет. ppc.world продолжит держать своих читателей в курсе ключевых обновлений Google Ads.

Это инструмент, встроенный в рекламный кабинет Google Ads. Он бесплатный и позволяет проводить тесты внутри кабинета.

С его помощью рекламодатели могут менять отдельные настройки в поисковых кампаниях и в рекламе для контекстно-медийной сети и анализировать, что отработало лучше.

Можно:

• создать дубли поисковых кампаний и кампаний для контекстно-медийной сети;

• частично изменить настройки главной кампании в дублях и запустить А/Б-тесты;

• получить подробную отчетность о результатах тестирования;

• проанализировать, помогло ли изменение настроек улучшить эффективность рекламы.

Воспользоваться инструментом

2 инструмента для А/Б-тестов email-рассылок

Качество email-маркетинга во многом зависит от того, насколько хорошо маркетолог знает целевую аудиторию и ее поведение: какие письма люди вероятнее прочитают, какие отправят в спам, а какие не просто откроют, но и перейдут по кнопке действия внутри. Лучше понять, какие письма работают, поможет А/Б-тестирование.

Часто специалисты проводят его вручную: отправляют половине базы один вариант письма, другой половине — второй вариант письма, а потом анализируют результаты. Но можно упростить эту работу, используя специальные инструменты.

Калькулятор достоверности А/Б-тестирования от Mindbox

Это бесплатный инструмент, внутри которого есть два встроенных калькулятора:

1. Для расчета размера выборки. Он поможет понять, сколько людей должно поучаствовать в тесте для получения достоверных результатов.

2. Для подведения итогов А/Б-тестирования. Он поможет понять, отличаются ли результаты в тестируемых вариантах, какой из них лучше и можно ли считать результаты значимыми.

На странице инструмента есть пояснения, которые помогут вам правильно заполнить все необходимые поля калькуляторов и оценить результаты А/Б-тестов.

Калькулятор поможет с тестированием Open rate, Click rate, конверсии в заказы и других показателей.

Воспользоваться инструментом

Анастасия Сычева руководитель команды email-маркетинга хостинг-провайдера REG.RU

В своей работе мы активно используем подход Growth Marketing, поэтому регулярно проводим А/Б-тесты в email-рассылках. Например, этим летом мы запланировали и провели 11 А/Б-тестов на разных сегментах и всей базе нашей рекламной рассылки (это свыше 900 000 адресов).

Такой подход помогает нам быстро внедрять лучшие практики в жизнь, повышать окупаемость инвестиций (ROI), влиять на конверсию: увеличивать долю пользователей, которые совершают целевые действия.

Что мы тестируем:

• варианты темы письма и прехедера,

• имя отправителя,

• лучшее время и день отправки,

• частоту отправки массовых рассылок,

• длину письма,

• дополнительные кнопки и блоки,

• формулировки призывов к действию (CTA),

• контент в письмах на разных сегментах аудитории.

Также А/Б-тесты помогают снизить риски при изменениях. Например, в ближайшие месяцы мы запланировали обновление дизайна рассылок, но сначала мы проверим его на тестовой группе. Как пользователи отреагируют на изменения? Как обновления в дизайне повлияют на метрики OR, CTOR, процент отписок, конверсию в заказы?

Когда продвигаешь сложный IT-продукт и работаешь с большим объемом базы, без А/Б-тестов не обойтись. Именно они помогают совершить кратный рост и увидеть зоны роста.

Мы используем в работе Калькулятор достоверности А/Б-тестирования от Mindbox. Сервис очень удобен, так как подходит для тестирования всех основных метрик email-маркетинга:

• открываемость писем (Open rate),

• количество кликов из письма по отношению к тем, кто открыл письмо (CTOR),

• количество отписок по отношению к тем, кто открыл письмо (UTOR),

• конверсия в заказы и другие показатели.

Каждый раз перед тем, как запустить тест, мы рассчитываем размер выборки, необходимой для проведения эксперимента. Важно знать, сколько пользователей нужно включить в тестовую выборку, чтобы получить достоверные результаты.

В сервисе как раз есть удобный функционал, в котором можно рассчитать размер выборки, указать средний показатель и ожидаемый абсолютный прирост, процент достоверности и мощности.

Затем на этапе подведения итогов мы опять возвращаемся к сервису Mindbox, чтобы понять, отличаются ли результаты в тестируемых вариантах, какой вариант лучше и можно ли считать результаты значимыми.

В сервисе можно не только увидеть, какой вариант лучше, но и посмотреть процент конверсии и доверительный интервал.

Sendsay

Это российский сервис автоматизации рассылок, внутри которого есть возможность проводить А/Б-тестирование. Инструмент платный, стоимость подписки зависит от того, на какое количество человек вы планируете запускать рассылки. Цена стартует от 660 рублей за месяц.

Что можно сделать:

• провести А/Б-тестирование темы письма, имени отправителя, контента, времени отправки или нескольких параметров одновременно;

• выбрать процент тестовой группы;

• настроить условия тестирования;

• получить подробную отчетность по результатам тестов.

Воспользоваться инструментом

Анастасия Сычева руководитель команды email-маркетинга хостинг-провайдера REG.RU

В своей работе мы используем встроенный функционал для А/Б-тестов в сервисе Sendsay. Через Sendsay мы отправляем массовые рекламные рассылки. Раньше, когда мы пользовались самописным решением для отправки рассылок, нам приходилось вручную выгружать адреса, делить их пополам и заново по очереди загружать в систему, чтобы провести А/Б-тест. Это было долго и не очень удобно, особенно, когда нужно оперативно протестировать какую-то фичу.

В Sendsay всё настраивается автоматически в разделе А/Б-тестов. Сервис предлагает выбрать, что именно мы хотим протестировать (тему письма, имя отправителя, контент, время отправки). Также можно настроить процент тестовой группы и условия для победы.

Умные алгоритмы сами выберут вариант-победитель на основе поведения пользователей и отправят на оставшуюся часть аудитории лучшую версию письма.

Например, недавно с помощью Sendsay мы тестировали следующую гипотезу: «Если добавить эмодзи в тему скидочной рассылки, открываемость увеличится на 3%». Так выглядели итоги теста. Оба варианта письма расположены рядом, снизу представлена подробная статистика по каждому письму — это очень удобно и наглядно.

Как грамотно провести А/Б-тесты — советы специалистов

Тестировать вслепую всё подряд не стоит — сначала нужно тщательно проработать гипотезы и решить, как вы будете оценивать результаты тестов. Ответы на вопросы «Как это сделать? И какой должна быть хорошая гипотеза?» — в комментарии практикующего веб-аналитика Андрея Рожкова.

Андрей Рожков руководитель отдела аналитики в E-Promo

В маркетинге очень много работают с тестированием — от посадочных до объявлений, я же по большей части занимаюсь интерфейсами. Однако провести тест — это примерно 20% работы. Куда сложнее понять, что именно нужно тестировать и как измерять результат. Для этого нужно сформировать правильные гипотезы и только потом их тестировать.

В своей работе я придерживаюсь следующего алгоритма:

1. Провожу исследование продукта и целевой аудитории. Без этого невозможно понять, как работает продукт и какие проблемы клиентов он закрывает. Хорошим решением будет проведение интервью с продактом или фаундером проекта — нужно расспросить их о целях и задачах продукта.

2. Юзабилити-аудит по инсайтам, полученным на первом этапе. Он позволит выявить проблемные зоны в цепочках конверсии пользователей: не нашел форму оформления заказа, условия доставки и прочее. Уже на этом этапе должны быть сформированы первые гипотезы для улучшения продукта, но тестировать их еще рано.

3. Опрос и глубинное интервью с респондентами. Самое время проверить гипотезы, полученные во время общения с командой проекта и аудита. На этом этапе необходимо составить опросник для интервью и пообщаться с пользователями. Например, узнать, что для них было удобным при взаимодействии с сайтом, а что нет? Какие ситуации запомнились, когда они не смогли что-то найти или сделать на сайте? Заметили ли они изменения на сайте? Если да, то почему заметили — потому что им стало удобнее пользоваться сайтом или, наоборот, сложнее?

   Глубинные интервью надо повторять до тех пор, пока аналитик не сможет предсказать почти все ответы респондентов.

4. UX/Usability-тестирование. На этом этапе важно убедиться в том, что проблемы, выявленные на прошлом шаге, действительно существуют. Для этого готовим тест-кейсы — это небольшие задания для пользователей: например, найти рецепт борща на сайте с помощью фильтров или скачать прайс-лист. Ищем респондентов из ЦА продукта — тех, кто ни разу не взаимодействовал с продуктом. Часто бывает, что новые пользователи не испытывают проблем тех, кто давно пользуется сайтом: например, при обновлении навигации.

5. Составление ТЗ на тесты и проведение A/Б-тестирования. Вот теперь, когда у нас готовы ключевые гипотезы, можно проводить тесты.

Хорошая гипотеза должна четко отвечать на следующие вопросы:

• Что мы хотим изменить в продукте?

• Какая метрика изменится в результате?

• На ком мы будем измерять результат?

• На сколько изменится нужная метрика?

• За какой период мы получим данные?

Удачи вам с A/Б-тестами и не забывайте правильно генерировать гипотезы!

Полезные материалы по теме:

• A/Б-тесты на сайте: что можно тестировать и как получать достоверные результаты

• А/Б-тестирование на маркетплейсах: что тестировать и как провести тест

• А/Б-тестирование в Яндекс.Директе: как провести и где брать идеи