Инкрементальный тест в рекламе: 5 методов проверки

Отчет показывает 40 000 установок за месяц и CPI ниже, чем у конкурентов по гео. Выглядит отлично, но часть этих установок случилась бы и без рекламы — просто источник успел записать их на себя раньше органики или другого канала. Разница между тем, что показывает атрибуция, и тем, что реально создал канал, называется инкрементальностью. Инкрементальный тест — единственный способ увидеть эту разницу вместо того, чтобы верить дашборду.

Больше новостей, без спама и навязчивости в нашем телеграм-канале @zaleycash

Почему цифры в кабинете обманывают чаще, чем кажется

Last-click модель отдает всю заслугу источнику, который оказался последним касанием перед конверсией — даже если пользователь уже решил установить приложение и просто кликнул на ближайший баннер. В индустрии CTV и view-through каналов расхождение между атрибуцией и реальным вкладом может превышать 30% — платформы сами признают эту дистанцию между "показал рекламу" и "вызвал продажу". Meta приводит собственную статистику: бизнесы, которые провели 15 экспериментов по инкрементальности за год, в среднем показывают на 30% лучшие результаты по рекламе, чем те, кто не тестировал ни разу. Разница в цифрах — это разница в бюджете, который либо уходит на реальный рост, либо на канал, который просто дособирает чужие конверсии.

Что проверить до запуска теста

Тест имеет смысл запускать только на источнике, который дает не менее 8–10% целевого объема установок или KPI. Меньшая доля тонет в естественных колебаниях, и тест покажет не отсутствие инкрементальности, а недостаточную чувствительность измерения.

Перед стартом источник должен откручиваться стабильно хотя бы несколько недель — без фазы обучения, резкого масштабирования или скачков аукциона. Если кампания меняется на глазах, тест сравнит не эффект рекламы, а два разных состояния закупки.

Отдельно стоит смотреть на пересечения: если источник делит инвентарь или аудиторию с ретаргетингом, DSP или view-through каналами, тестировать его изолированно нельзя — конверсии просто перетекут между системами и создадут ложную картину. Мошеннический трафик с долей фрода выше 20% тестировать не нужно вовсе: такой источник нестабилен, и для него достаточно просто остановить закупку, а не проводить эксперимент.

Пять способов проверить инкрементальность

Универсального теста нет — выбор зависит от того, есть ли готовая аудитория, можно ли делить трафик по гео и какая атрибуция у источника.

Геотест

Работает при делении аудитории по регионам: в тестовых гео источник отключают, в контрольных оставляют. Дальше строится baseline — прогноз, как вел бы себя тестовый регион, если бы реклама продолжала работать, и разница между фактом и прогнозом дает величину инкрементальности.

Стриминговый сервис тестировал так CTV-канал с целевым KPI "подписка". После нескольких месяцев работы кампании по всей России показы отключили в Челябинске и Новосибирске, а за контроль взяли два похожих по динамике региона. Инкрементальность источника вышла на уровне 68–72% — то есть почти треть установок все равно случилась бы без CTV-рекламы, а остальное канал действительно принес сам.

Шахматный тест (switchback, ON/OFF)

Источник поочередно включают и выключают по заранее зафиксированному расписанию, а сравнивают не регионы, а периоды — дни или недели. Расписание нельзя менять по ходу теста, а бюджеты и стратегии кампаний должны оставаться стабильными все время эксперимента.

Сервис доставки продуктов тестировал так premium in-app источник по схеме "1 день ON / 1 день OFF" на несколько недель — источник закупался на весь доступный объем и не делился по гео, поэтому геотест не подходил. В ON-периоды около 70% установок и 65% конверсий оказались действительно дополнительными, а в OFF-периоды тотал-метрики падали без компенсирующего роста органики.

Placebo Ads

Здесь проверяют не сам источник, а конкретный формат: запускают две кампании, брендовую и небрендовую, с примерно равным бюджетом на каждую, и сравнивают воронку от установки до целевого события. В небрендовом объявлении важно не упоминать название приложения и лого, чтобы креатив прошел модерацию.

Компания по доставке товаров для животных тестировала так канал в соцсети. Placebo-кампания без единого упоминания бренда все равно зафиксировала установки и покупки, но CPI оказался выше в пять раз, а стоимость конверсии — в десять. При этом в брендовой кампании 80% установок укладывались в окно view-атрибуции до 6 часов, а в небрендовой основной объем приходил в окне от 12 часов — источник оставили в закупке, но сократили окно view до 6 часов, чтобы не давать ему перехватывать органику на дистанции.

Source-off анализ

Источник полностью отключают на 2–3 недели без чередования, фиксируют baseline до отключения и сравнивают динамику до и после. Метод быстрее геотеста и шахматного теста, но грубее: он не изолирует эффект внутри периода, а только показывает, изменился ли тотал после остановки закупки.

Travel-компания с онлайн-бронированием применяла его к DSP-источникам, которые исторически закупались без ограничений по качеству и пересекались друг с другом по инвентарю через одни и те же SSP. После отключения DSP-трафика installs по атрибуции резко просели, а total search и booking упали значительно слабее ожидаемого — часть трафика просто дублировала уже существующий спрос. При повторном подключении с whitelist по площадкам, ограничением плейсментов и оптимизацией на более глубокие события несколько DSP подтвердили реальный вклад в booking, а часть источников решили не возвращать в сплит.

Holdout-тест для ремаркетинга

Единственный тест из пяти, который работает с уже существующей аудиторией, а не с поиском новых пользователей. Пользователей делят на тестовую и контрольную группу — типовое соотношение 80/20 — и контрольную группу полностью исключают из показов на всех площадках на 3–4 недели. После этого сравнивают целевые действия между группами и считают uplift.

Важно проверять только одну гипотезу за тест: либо инкрементальность самого источника ремаркетинга, либо инкрементальность аудитории (нуждается ли сегмент в допоказе вообще). Смешение гипотез искажает результат — неинкрементальная аудитория может создать впечатление, что источник работает хуже, чем на самом деле, и наоборот.

Что портит результат теста

Любой из пяти методов теряет смысл, если во время теста меняется медиамикс, запускаются новые CRM-рассылки, пуши или сезонные акции — эти факторы искажают разницу между тестом и контролем не хуже, чем сам источник. Второй частый сбой — атрибуционные лаги: часть конверсий продолжает поступать уже после отключения источника, и если это не учесть в ON/OFF или source-off тесте, чистота эксперимента размывается.

Оценивать нужно тотал-метрики бизнеса, а не то, сколько конверсий записал на себя источник по своей же атрибуции — задача теста в том, изменился ли общий результат, а не в перепроверке отчета источника о самом себе. И тест короче двух недель почти всегда стоит считать предварительной гипотезой, а не финальным выводом: случайные колебания за такой срок легко перепутать с эффектом канала.

Зачем тратить на это время

Инкрементальный тест не бесплатен: две-четыре недели выключенного или урезанного трафика — это прямые издержки на период эксперимента. Но альтернатива — платить месяцами за канал, который просто перехватывает органику, обходится дороже. В CTV-примере выше почти треть заявленных установок не была бы потеряна при отключении канала — при типичных ставках DSP и premium in-app это конкретные суммы, слитые на переатрибуцию, а не на рост.

Тест не обязан выдавать однозначный вердикт "отключить" или "оставить". После source-off анализа travel-компания не убрала DSP целиком, а вернула часть источников с ограничениями по плейсментам и качеству — результат теста стал основой для настройки закупки, а не поводом для паники.

Время тестов

Прежде чем запускать инкрементальный тест на канале, стоит убедиться, что бюджет на него поступает из удобного источника пополнения. Иначе тестирование одного канала будет упираться в неудобства с оплатой на разных площадках.

Если кампании крутятся сразу в TikTok Ads, Facebook Ads и VK Рекламе, ZALEYCASH решает это на уровне пополнения: из одного личного кабинета можно закинуть деньги на счета всех этих сетей, без захода в каждый рекламный кабинет отдельно для оплаты.

Сервис маркирует объявления и автоматически формирует закрывающие документы для бухгалтерии. Работает с 40+ рекламными сетями в России и за рубежом, а бонусы на пополнение доходят до 30% — удобно, если тестирование инкрементальности заодно подталкивает к диверсификации трафика между источниками.

Получите промокод на 5% бонусами на первое пополнение по ссылке