User Agent
В клоакінгу User Agent — один з основних параметрів для фільтрації трафіку. З його допомогою можна розпізнати, хто заходить на сторінку: живий користувач або бот-модератор. Наприклад, User Agent на кшталт HeadlessChrome або FacebookExternalHit часто вказують на сканери та автоматичні системи перевірки. При їх виявленні клоакінг-система завантажує «білу» версію сторінки, мінімізуючи ризики блокування. Також UA дозволяє на льоту підлаштовувати контент під тип пристрою.
Як визначити платформу та браузер користувача за User Agent?
User Agent здатен визначити сигнатури платформ та обчислити браузер за ключами. Можна швидко направляти користувачів Android чи iPhone на відповідні офери. Також деякі антибот-системи використовують UA як частину набору поведінкових сигнатур для виявлення підозрілих дій. Це має приблизно такий вигляд: Edge → Edg/114.0.0.0, Chrome → Chrome/114.0.0.0, macOS → Macintosh.
UA можна підмінити, оскільки це одна з вразливостей, особливо в антифроді. Тому для точнішої фільтрації його часто використовують у поєднанні з іншими параметрами: IP, screen resolution, cookies, патернами поведінки.
Навіщо міняти User Agent та як це зробити?
User Agent легко підміняється як вручну, так і за допомогою спеціальних інструментів. Це важлива частина арбітражного маскування. Підміна використовується при фармі акаунтів і роботі з антидетект-браузерами (щоб уникнути повторюваних цифрових відбитків), або при тестуванні, щоб емулювати поведінку різних пристроїв. Також метою може бути обхід фільтрів та отримання альтернативних версій сайту, недоступних за звичайної конфігурації.
Зміна UA можлива через інтерфейс браузера. Наприклад, у DevTools у розділі Network conditions, за допомогою розширень на зразок User-Agent Switcher, в антидетект-середовищах на кшталт Dolphin{anty}, AdsPower або Incogniton, а також на рівні HTTP-запитів при парсингу та автоматизації.
В арбітражі User Agent стає частиною широкої стратегії щодо обфускації поведінки, адже він впливає на «чистоту» акаунтів, проходження модерації, точність клоакінгу та в цілому на ефективність усієї рекламної воронки.