Робот против человека: кто работает лучше в контекстной рекламе? — эксперимент

В феврале 2019 года Яндекс.Директ запустил инструмент, который позволяет сравнить эффективность автоматической стратегии и ручного управления ставками. В Google Ads для этих целей уже довольно давно есть «Проекты и эксперименты». Команда сервиса Rookee решила выяснить, что эффективнее: довериться технологиям машинного обучения или использовать максимальный контроль в «ручном режиме». Product Owner компании Екатерина Хиндикайнен поделилась результатами эксперимента.

Если компания занимается контекстной рекламой, то рано или поздно у специалистов возникнет вопрос: как управлять ставками таким образом, чтобы количество конверсий увеличивалось, а расходы не росли? Что эффективней: использовать одну из автоматических стратегий или работать в «ручном» режиме? Ведущие платформы размещения контекстной рекламы делают ставку на машинное обучение. Особое внимание уделяется технологиям интеллектуального назначения ставок, в которых машинное обучение используется для оптимизации ставок по конверсиям. Алгоритм способен учитывать сотни сигналов, в том числе: устройство и местоположение, поисковые запросы, время суток и язык интерфейса.

Но так ли это эффективно, как утверждают ведущие рекламные площадки? Чтобы ответить на этот вопрос, мы провели эксперименты в Директе и Google Ads.

Эксперимент «Робот против человека» в Яндекс.Директе

В Директе для разных задач рекламодателей предусмотрены разные стратегии. Под определение интеллектуального управления наиболее подходят две из них:

  1. Средняя цена конверсии.
  2. Средняя рентабельность инвестиций (ROI).

Эти стратегии напрямую ориентируются на целевые показатели бизнеса.

Мы сравнили показатели стратегий «Ручного управления ставками» со стратегией «Средняя цена за конверсию» на 10 проектах за месяц работы в тематиках: интернет-магазины, b2b, продвижение услуг, недвижимость.

Тест 1. Пример сравнения «Ручного управления ставками» со стратегией «Средняя цена конверсии».

Результаты теста в Яндекс.Директе

Результаты:

  1. Целевая конверсия по проекту — 300 рублей.
  2. Стратегия «Средняя цена конверсии» дала 105 конверсий по цене 282,11 рубля.
  3. Ручное управление ставками принесло 64 конверсии по цене 441 рубль.
Таблица проектов в эксперименте «Средняя цена конверсии» в Яндекс.Директе и при «ручном» управлении

Проект

Конверсии при ручном управлении ставками

Конверсии при стратегии «Целевая цена конверсии»

Дельта конверсий

KPI по CPA

CPA при ручном управлении

Дельта

CPA по стратегии

Дельта

Проект 1

64

105

41

300

441

-141

282

18

Проект 2

35

41

6

1000

1532

-532

1055

-55

Проект 3

102

118

16

500

491

9

505

-5

Проект 4

47

62

15

800

1420

-620

912

-112

Проект 5

120

139

19

450

506

-56

323

127

Проект 6

28

27

-1

1000

1365

-365

1270

-270

Проект 7

49

31

-18

1500

1477

23

980

520

Проект 8

89

109

20

500

498

2

256

244

Проект 9

32

56

24

1000

1236

-236

856

144

Проект 10

42

31

-11

1500

1809

-309

1203

297

В 8 из 10 случаев «Стратегия средней цены конверсии» показала лучший результат, чем ручное управление ставками.

В 4 из 10 проектов с ручным управлением были относительно близки к целевому СРА.

В 3 из 10 проектов «Стратегия средней цены» не выполнила удержание стоимости конверсии.

Эксперимент «Робот против человека» в Google Ads

Интеллектуальное назначение ставок в Google Ads — это комплекс стратегий, в которых технологии машинного обучения используются для оптимизации ставок по конверсиям или их ценности непосредственно в ходе аукциона.

Скриншот со стратегиями в Google Ads

Мы сравнили показатели стратегий «Ручного управления ставками» со стратегией «Целевая цена за конверсию» на семи проектах за месяц работы в тематиках: интернет-магазины, сайты b2b-компаний, продвижение услуг, недвижимость.

Тест 2. Пример сравнения «Ручного управления ставками» со стратегией «Целевая цена за конверсию»

Результаты эксперимента в Google Ads

Результаты:

  1. И автоматическое, и ручное управление удержали желаемый CPA 800 рублей.
  2. Экспериментальный проект, который управлялся роботом, дал на 53 конверсии больше, чем при ручном управлении.
  3. Несмотря на то что робот приносит более дорогие клики, он знает, как сделать количество конверсий больше и достигнуть желаемый СРА!

Таблица проектов в эксперименте «Целевая цена за конверсию» в Google Ads и при «ручном» управлении

Таблица проектов в эксперименте «Целевая цена за конверсию» в Google Ads и при «ручном» управлении

Проект

Конверсии при ручном управлении ставками

Конверсии при стратегии «Целевая цена конверсии»

Дельта конверсий

Целевой CPA

CPA при ручном управлении

Дельта

CPA при автоматическом управлении

Дельта

1

36

89

53

800

688

112

772

28

2

39

68

29

1000

1011

-11

923

77

3

29

30

1

1500

1850

-350

1621

-121

4

45

81

36

900

590

310

489

411

5

100

130

30

550

556

-6

398

152

6

35

39

4

900

987

-87

953

-53

7

56

78

22

700

692

8

715

-15

Во всех проектах стратегия «Целевая цена за конверсию» показала лучший результат, чем ручное управление.

В 5 из 7 проектов автоматическая стратегия увеличила количество конверсий со значительным отрывом от «ручного» управления.

В 4 из 7 проектов с автоматизированным управлением робот удержал целевой СРА. При ручном управлении целевой СРА удалось удержать в 3 из 7 проектах.

 

Выводы

Как показывают вышеописанные примеры, если делиться с рекламными площадками данными о совершаемых конверсиях (нужна грамотно настроенная веб-аналитика с данными о маржинальности), то автоматические стратегии показывают результаты лучше, чем ручное управление ставками.

Но к сожалению, подойдут они не всем. Существенный минус внутренних автоматических стратегий рекламных площадок — в том, что прежде чем их подключить, рекламодателю придется накопить значительный объем статистики. Но есть и хорошая новость: с таким же успехом можно использовать внешние автоматизированные системы оптимизации, например, К50, Alytics, Origami или «Автопилот контекстной рекламы». Многие из них гораздо проще в управлении и либо имеют небольшой входной порог по количеству конверсий, либо вообще не требуют накопления статистики.

Использовать автоматизированные системы в контекстной рекламе сегодня — это как иметь мобильный телефон: просто, удобно, эффективно, странно не пользоваться. Кроме того, управление рекламой требует очень много времени, которое теперь, с использованием автоматизации, может быть потрачено на важные стратегические задачи.

 
Видео по теме
Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: