Надстройка Excel для упрощения А/Б-тестирования в Яндекс.Директе

Последняя часть серии материалов об A/Б-тестировании от ведущего специалиста по контексту Media108 Евгения Юдина. Автор рассказывает о собственной надстройке для Excel, ее использовании при проведении тестов и анализе результатов.

Эта статья — третья и заключительная в серии моих материалов об А/Б-тестах. В первой мы говорили о теоретических аспектах тестирования. Во второй рассмотрели, как анализировать статистику по объявлениям при проведении А/Б-тестирования, а также разобрали пример группировки данных по объявлениям.

Надстройка, которую мы рассматриваем в этой статье, упростит процесс сравнения объявлений в большом количестве групп. Она работает только с данными Яндекс.Директа, для этого нам достаточно выгрузить отчет из Мастера отчетов.

Также надстройка включает пользовательскую функцию, которая упрощает процесс составления запроса для Директ Коммандера для остановки старых объявлений и запуска нового теста.

Установка надстройки

Поскольку сама по себе надстройка предназначена для Excel (протестирована на версиях 2010 и 2013), нам необходимо скачать ее и установить.

Скачать надстройку

Видео по установке на примере другой моей надстройки в Excel 2013 (первые полторы минуты видео):

Чтобы проверить, корректно ли прошла установка, попробуйте добавить макрос «ЗапускФормыАБТестирования» на панель быстрого доступа. Открываем пункт меню «Файл»:

Макрос

Переходим в параметры:

Переход в параметры

Добавляем макрос на панель быстрого доступа:

Панель быстрого доступа

Если у вас все получилось и установка надстройки прошла корректно, то на панели быстрого доступа появится соответствующая иконка:

Иконка на панели доступа

Как работает надстройка?

В качестве исходных данных надстройка принимает отчеты из Мастера отчетов Директа. При этом в зависимости от настроек необходимо включить в них столбцы с номерами объявлений, групп и/или кампаний.

Важно! Не добавляйте лишние срезы. Это может повлиять на работоспособность надстройки.

Надстройка будет работать так, как задумано, когда отмечены срезы:

  1. Кампании, группы, объявления.
  2. Группы, объявления.
  3. Кампании + один любой другой срез.

Надстройка НЕ будет работать корректно, если отмечены срезы:

  1. Кампании, группы, объявления, устройства, пол.
  2. Группы, объявления, возраст.
  3. Кампании, группы + два и более других срезов.
  4. Группы + два и более других срезов.

Предположим, что мы уже скачали отчет в нужном формате (XLS или XLSX), отметив группировку «за выбранный период» и следующие срезы (период, атрибуцию и столбцы можем отмечать любые по своему усмотрению):

Срезы и столбцы

Далее при запуске надстройки нам необходимо выбрать, по какому параметру и при каких условиях мы будем сравнивать наши объявления. Предположим, что мы хотим найти объявления с самым низким CPA в группе. Такие объявления мы будем считать наиболее эффективными и остальные сравнивать с ними. Первая часть настроек:

Первая часть настроек

Далее мы должны указать обязательное условие для сравнения. К примеру, мы хотим учитывать при сравнении только те объявления, по которым было больше одной конверсии. Соответственно, мы создаем условие «Не учитывать объявления, по которым было меньше 1 конверсии». Вторая часть настроек:

Вторая часть настроек

Результат работы надстройки:

Результат работы надстройки

Используя данные об относительной разнице и количестве обращений, мы можем принять решение о том, какие объявления останавливать, а какие оставлять.

Предположим, что теперь мы хотим остановить часть объявлений, которые плохо отработали. Фильтруем объявления, которые хотим остановить, и копируем их номера на отдельный лист. Фильтровать можно по своему усмотрению, я выделил те, по которым CPA выше на 30%:

Пользовательский автофильтр

На новом листе под объявлениями вставляем формулу и немного модифицируем ее:

=«= Номер = [«„„&СЦЕПИТЬДИАПАЗОН(A2:A7; ““»; «„„)&““»]«

«A2:A7» заменяем на диапазон, в котором находятся номера ваших объявлений.

Замена диапазона

Получившееся значение в ячейке с формулой вставляем в Директ Коммандер — это готовый запрос для фильтрации данных объявлений:

Запрос для фильтрации

Теперь мы можем остановить эти объявления и создать новые в этих же группах для запуска нового А/Б-теста.

Нестандартное использование надстройки

Надстройку можно использовать не по прямому назначению. Например, мы хотим добавить корректировки ставок по устройствам. Для этого выгружаем отчет из мастера отчетов в следующем виде: группировка «за выбранный период», срезы «Кампании» и «Тип устройства». Период, атрибуцию и столбцы можем отмечать любые:

Нестандартное использование надстройки

Открываем отчет и запускаем форму для примера со следующими настройками:

Форма с настройками

Получившиеся результаты можем использовать для настройки корректировок ставок на уровне кампаний:

Результаты

Из таблицы выше видно, что не по всем типам устройств была хотя бы одна конверсия.

В этих примерах я отсеивал срезы (объявления и типы устройств) по принципу «было менее 1 конверсии», но фактически вы можете использовать тот фильтр, который посчитаете нужным. К примеру, можно попробовать отфильтровать объявления и срезы по принципу «фактический расход меньше среднего CPA по аккаунту».

Заключение

При большом количестве групп эта надстройка способна серьезно облегчить задачу сравнения рекламных объявлений. Буду рад, если она окажется вам полезной. Если возникнут вопросы — пишите в комментариях.

 
Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: