80% рекламодателей предпочли автостратегии Директа ручному управлению после A/B-теста — эксперимент Яндекса и eLama

Сервис eLama и команда Яндекс Директа осенью 2021 года организовали для рекламодателей A/B-тест автостратегий и ручного управления ставками. 80% участников, завершивших тестирование, продолжили использовать конверсионные стратегии после окончания эксперимента. У этих рекламодателей доля расходов в аккаунте на кампании с конверсионными стратегиями в январе — после эксперимента — была выше среднего значения показателей до и после теста.

Для эксперимента были отобраны 662 кампаний у 287 клиентов eLama — самостоятельных рекламодателей и агентств и фрилансеров. Заявку на участие отправили 56 рекламодателей, 30 экспериментов были запущены, 15 — завершились успешно. У остальных 15-ти или были нарушены условия проведения теста, или останавливались кампании — из-за нехватки бюджета или действий рекламодателей.

Автоматические стратегии превзошли ручное управление ставками по трём ключевым показателям (оценивались данные по итогам вторых двух недель теста, когда стратегии вышли из обучения):

• наименьшая средняя цена за конверсию (CPA);

• наибольшее количество конверсий — достигнутых ключевых целей;

• отношение цены к достигнутым целям. Например, если в кампании с автостратегией цена цели выше в 2,5 раза, а целей достигнуто в 2 раза больше, то считаем, что ручное управление сработало лучше.

Кампании из проведенных по всем правилам экспериментов продвигали проекты в 10 тематиках.

По стоимости цели автостратегия показала лучший результат в тематиках «Лекарственные препараты и БАДы», «Образование», «Уход за домом». Цена конверсии в таких кампаниях была на 37–47% ниже, чем в кампаниях с ручным управлением.

Больше конверсий, чем ручное управление ставок, автостратегии принесли в тематиках «СМИ/информационные сайты», «Образование», «Уход за домом», «Юридические услуги и консалтинг», «Медицинские услуги». Разница в количестве достигнутых целей составила от 30 до 62%.

Подробнее о проведении эксперимента

Эксперимент проводился с 25 октября по 19 декабря 2021 года, тестовые кампании работали четыре недели. Кампании отбирались по критериям:

1. Настроено ручное управление ставками и назначены ключевые цели.

2. Активные показы и накопленная статистика за последние 14 дней.

3. Не менее 20 конверсий по одной из ключевых целей за последние 7 дней в кампаниях.

4. В аккаунте работают минимум две рекламные кампании (если в ходе эксперимента что-то пойдёт не так, это не затронет всю рекламу клиента).

Тип кампании — поисковая или для сетей — был не важен.

A/B-тестирование проводилось с помощью инструмента в Яндекс Аудиториях, эксперимент настраивали специалисты Яндекса. Рекламодателю нужно было указать исходную кампанию, недельный бюджет, ключевые цели, стоимость их достижения, модель оплаты (за клики или конверсии) и другие параметры. Специалисты Яндекса создавали две копии исходной кампании, в одной оставалось ручное управление ставками, во второй — устанавливали конверсионную стратегию по параметрам, заданным клиентом.

Чтобы запустить эксперимент, рекламодатель выключал исходную кампанию и запускал две тестовые. Тест считался успешным, если выполнялись три условия:

1. Две тестовые кампании работали непрерывно в течение четырёх недель в период с 25 октября по 19 декабря.

2. В кампаниях не менялись бюджет, стратегия, цена конверсии, средняя цена конверсии, модель атрибуции, не добавлялись и не удалялись ключевые цели. В кампании с ручным управлением допускалось изменять ставки, применять корректировки и использовать бид-менеджер eLama.

3. Минимальный бюджет равнялся или превышал 4200 рублей в неделю (делился поровну на две тестовые кампании).

Во всех 15 кампаниях, завершивших тест, использовалась стратегия «Оптимизация конверсий», в четырёх из них — рекламодатели выбрали оплату конверсий, в остальных — оплату кликов.

Решение о продолжении работы со стратегиями участники принимали самостоятельно.

Присылайте свои комментарии к ситуации на digital-рынке (короткие или развёрнутые, во втором случае сделаем вам полноценную колонку в статейной ленте Коссы):

Email: 42@cossa.ru
Телеграм: @cossawer
VK:

IT-конференция МТС True Tech Day 17 мая

Что будет:

• 5 тематических треков: Main, Development, AI/ML, Cloud, Science;
• 50 спикеров с докладами про архитектуру, облачные платформы, NLP4Code, вероятностное программирование, безопасность контейнеров и другое;
• 10 часов нетворкинга;
• Цифровые зоны и digital-интеграции;
• А ещё вечеринка со звездой.

Все спикеры и темы уже на сайте. Регистрируйся на True Tech Day. Участие бесплатное.

Реклама. ПАО «МТС». ИНН 7740000076. ОГРН 1027700149124