logo
logo
Кейсы
О компании
FAQ
Блог

Проблема роботности в программатике

18.02.2021
Проблема роботности в программатике
Сегодня мы решили осветить, пожалуй, одну из самых сложных и проблемных тем — роботность в программатике. Вместе с нашими экспертами Екатериной Войновой, руководителем сервисного отдела Segmento и Романом Филипповым, генеральным директором компании Internest, мы постараемся разобраться в этом явлении. И главное — в конце статьи вы найдёте короткий чек-лист, как результативно снижать роботность. С ним вы сможете более эффективно планировать свои кампании и понимать, как работает ваше медийное размещение.

Екатерина Войнова
Екатерина Войнова
Руководитель сервисного отдела Segmento
Роман Филиппов
Роман Филиппов
Генеральный директор компании Internest
Роман, платформа Segmento и множество источников замечают, что с марта 2020-го началось настоящее нашествие ботов, с чем это может быть связано?
Да, мы тоже наблюдаем значительный рост количества активных ботов.
С весны прошлого года — почти в шесть раз (от 1,5 до 8 миллионов в сутки).
Яндекс.Браузер в конце декабря заблокировал несколько расширений, которые занимались накруткой видеосервисов, общая ежедневная аудитория которых порядка 8,5 миллионов.
Причины я вижу в следующем: ограничения по brand safety (защита бренда от упоминаний в негативном информационном окружении), которые используют большинство крупных покупателей, приводят к высокой конкуренции и нехватке качественного инвентаря, попытки оптимизировать цену поддерживают спрос на инвентарь у средних и небольших селлеров и сеток. Отсутствие адекватной верификации создает возможность фрода при очевидном мотиве и спросе. Можно ещё отметить, что сейчас фрод смещается в сторону видео, так как большая цена делает накрутку видео экономически более оправданной, в том числе через сложные типы накрутки, требующие значительных затрат.
Есть ли единое определение роботности и какой её процент в кампании программатика является допустимым?
Простого определения не существует. На уровне отраслевой классификации определены две категории недействительного трафика (IVT, Invalid Traffic): 1) GIVT (General Invalid Traffic) — все, что можно отфильтровать с помощью black lists IP-адресов, браузеров. Сюда же относится и аномальная активность, которую можно определить на уровне отдельного размещения. 2) SIVT (Sophisticated Invalid Traffic) — остальные, более совершенные способы фрода, выявление которого требует анализа больших объёмов информации за длительный период.

Таксономия видов недействительного трафика и их описание занимает несколько страниц текста в отраслевых документах, но если общими словами описать это явление, то роботизированный трафик — это любые манипуляции с трафиком с помощью технических средств. Как злонамеренные действия, так и следствие технических особенностей работы автоматизированных систем. Также любая активность, которая не связана с обычным просмотром пользователями рекламы, или же подмена источника трафика с целью введения покупателя в заблуждение о месте продажи или характеристиках продаваемого инвентаря.

Допустимый уровень роботности не определяется стандартом, MRC (Media Rating Council — организация, которая отвечает за все медиаизмерения в США)
рекомендует рассматривать как серьезный уровень, заслуживающий внимания, значения выше 5% IVT. И в таких случаях уже проводить анализ ситуации.

Хотелось бы ещё отметить, что существует два схожих термина, применяющихся в различных контекстах: «роботность» в Яндекс.Метрике, то есть оценка качества трафика, привлечённого на сайт, и «боты», «роботизированный трафик» в смысле, которым его трактует IAB (Ассоциация развития интерактивной рекламы) применительно к SIVT трафику при оценке показов в рекламных кампаниях.
Как роботность распределяется в мобайле и десктопе?
В десктопе накрутку сделать технически проще.
Использование верификаторов сейчас обязательная гигиена любой кампании?
Да, сейчас это уже насущная необходимость. Правда, есть ситуации, когда провести измерение невозможно по техническим причинам или политике площадки. Например, возможность верифицировать YouTube сейчас имеют всего несколько сертифицированных технологий, среди которых нет ни одной российской. Получается, что часть кампании измеряется одними инструментами, а другая — другими. С точки зрения оптимизации бюджета это хорошо, а с точки зрения сравнения результатов не совсем корректно.
Есть мнение, что высокий процент роботности — это отчасти следствие недоработок некоторых SSP-платформ, которые не модерируют сайты самостоятельно.
SSP-платформы (Supply-Side Platform) пока не заинтересованы в том, чтобы вычищать весь трафик. В текущей ситуации им проще работать по прецедентам, так как стопроцентное покрытие верификацией стоит больше, чем компенсации клиентам, которые обнаружат фрод. К тому же не все типы фрода определяются верификаторами и не все зарубежные верификаторы обладают достаточным объёмом информации для эффективной работы в России. Есть множество причин, почему фрод может «просочиться» в поставку даже у добросовестных SSP. Для примера: даже у лидеров — Google AdX и Рекламной сети «Яндекса» — постоянно находятся все новые и новые источники фрода.

У обычных SSP недостаточно данных для создания собственных технологий верификации, так как они видят только сторону продажи и не видят активности, которая случается позже. Этой информацией обладают уже закупочные платформы, DSP (Demand Side Platform).
Идеальная ситуация — когда компания имеет и SSP-, и DSP-подразделения, то есть покупает собственный инвентарь и видит реальные результаты его применения, особенно при оплате за результат. Тогда сразу появляется мотив и потребность в тщательной очистке инвентаря.
При работе с роботностью какие наиболее эффективные инструменты сейчас применяются? Как превентивные, так и по ходу развития кампании?
Превентивный механизм только один — фильтрация на уровне входного потока запросов. При этом применяется и фильтрация по black lists сайтов, IP диапазонов и т. д., для которых уровень фрода превышает допустимые показатели. Такие случаи проще отфильтровать сразу, чем нагружать систему расчётами в момент показа.
По ходу кампании — текущий контроль верификационными отчётами.
Выявлять роботность в момент, когда пользователь оказался на сайте рекламодателя, уже поздно. Специфика состоит в том, что деньги расходуются на неэффективные и недействительные показы, которые в частном случае могут вообще не приводить к кликам. Фрод может быть распределен по десяткам тысяч доменов с небольшим количеством показов, таким маленьким, что отсутствие кликов в кампании не вызывает подозрений, однако суммарно на этот длинный хвост может быть потрачена значительная сумма.
«Проблема роботности — одна из самых острых и сложных. Принципиальная позиция нашей платформы, что такого трафика в кампаниях быть не должно. Внутри платформы мы используем собственную систему фильтрации ботового трафика, и если мы определили его как фродовый, то он автоматически будет списан и не уйдет в биллинг клиенту. Но, к сожалению, возможны ситуации, когда фрод в кампании все же окажется. Например, к одной из используемых нами SSP подключится паблишер, который начнет активно приводить ботов с выделенной подсети IP-адресов. Может случиться так, что мы это обнаружим только постфактум, а верификатор клиента или Яндекс.Метрика отследят это быстрее.

В такой ситуации важно вовремя заметить проблему, исключить такой трафик из кампании, принять решение по компенсации фрода и выставить претензию площадкам.

Очень важно вести работу по оптимизации фрода в кампании сообща с клиентом, а это значит, регулярно получать выгрузки от верификаторов, если клиент их использует, иметь доступ к клиентской Яндекс.Метрике, чтобы самостоятельно анализировать и оптимизировать показатель роботности по „Метрике“ (по нашему опыту, этот показатель в большинстве случаев правдив). Для оптимизации роботности по „Метрике“ мы используем макрос (программу), который при переходе на сайт клиента передает хеш, в котором зашифрованы SSP и паблишер, с которых произведен переход. Как только по какому-то хешу мы замечаем аномальное значение роботности, мы выключаем его из кампании, а также отправляем претензию в SSP. Только благодаря совместной регулярной работе с нашими клиентами можно добиваться минимальных значений фрода в кампаниях».

Екатерина Войнова, Руководитель сервисного отдела Segmento
Чек-лист
Чек-лист по работе с роботностью
для рекламодателя
  1. Верификация по возможности всех размещений, где это возможно. Использовать независимые верификаторы, которые предоставляют возможность исключать размещение в том или ином контенте или показывают, в каком контенте произошло размещение по факту (post buy отчёты).
  2. Оперативный контроль и реакция не после кампании, а в ходе нее. Желательно на ежедневной основе или раз в неделю. Не должно существовать списка «хороших» априори сайтов. Практика показывает, что иногда фрод присутствует и на «благополучных» площадках без их умысла.
  3. Разметка источников закупки метками при возможности для дополнительного анализа на стороне клиента. Проведение анализа прецедентов и расширение стоп-листов в случае выявления чувствительной доли фрода. Проверять отчёты верификационных тулов и отслеживать фактические домены рекламных размещений и контентное окружение, дополнительно проверять сайты с высокими показателями некачественного инвентаря или же замеченные в продвижении исключенных категорий контента.
  4. Постоянно делать сравнительный анализ и собирать статистику по своим кампаниям. Сравнивать референсные размещения, к примеру, тот же креатив, похожие таргетинги в одинаковый период на одних и тех же площадках.
Связаться с нами
Людмила Дмитриева
Pharma • Fashion • Beauty • Fintech • Seasonal goods • Auto
Марина Исаенко
FMCG • Petfood • Product retail • Недвижимость
Саида Халимова
Агентства
ЮЛИЯ ЧЕТВЕРИКОВА
Агентства
Связаться с нами Заполнить заявку
Получить консультацию
Фамилия и имя
Email
Мобильный телефон
Опишите вашу ситуацию и сформулируйте вопрос
Введите символы с картинки
Отправить резюме
Резюме (.pdf, .doc, .docx, .txt)
Имя
Фамилия
Email
Телефон
Введите символы с картинки