🧪 Модульные тесты детектора ботов

1. WHOIS база данных

Проверяется организация-владелец IP:

• • Residential IP - домашний провайдер (Ростелеком, МТС) → ✅ Без риска
• • Datacenter IP - хостинг (Hetzner, DigitalOcean) → ⚠️ +30% к suspicion score
• • VPN IP - VPN провайдер (NordVPN, ExpressVPN) → 🔶 +20% к suspicion score
• • Proxy IP - прокси сервис (Bright Data, Oxylabs) → 🚨 +50% к suspicion score
• • Tor IP - выходной узел Tor → 🚨 +80% к suspicion score

2. HTTP заголовки

Проверяются заголовки, указывающие на прокси:

X-Forwarded-For: реальный IP клиента
X-Real-IP: реальный IP
Via: прокси-цепочка

3. Blacklist базы данных

Проверка IP в черных списках (Spamhaus, AbuseIPDB, Tor Exit Nodes)

4. Поведенческий анализ

Анализ паттернов использования IP:

• • Количество уникальных пользователей с одного IP
• • Количество запросов за час
• • История блокировок этого IP

Действия системы:

• • Residential IP: нормальная работа, 60 req/min
• • Datacenter/VPN: строгий rate limit (10 req/min), CAPTCHA при suspicion > 0.7
• • Proxy/Tor: очень строгий лимит (5 req/min), часто блокировка

1. Поведенческие паттерны

ML анализирует комбинации параметров:

// Человек
behaviorPattern: "human-like"
- Неравномерные интервалы между действиями
- Естественные траектории мыши
- Присутствуют ошибки и исправления

// Бот
behaviorPattern: "bot-like"
- Идеально регулярные интервалы
- Прямые линии движения мыши
- Нет ошибок, идеальная точность

2. Статистические метрики

Вычисляются статистические характеристики:

• • Mean (среднее): среднее значение параметров
• • Variance (дисперсия): разброс значений
• • Distribution (распределение): закон распределения данных

Пример: У человека интервалы между кликами: [850ms, 1200ms, 980ms] - большая дисперсия ✅
У бота: [500ms, 500ms, 500ms] - нулевая дисперсия 🚨

3. Сравнение с базой данных

ML сравнивает поведение с известными примерами:

similarity: {
  toKnownBots: 0.15,      // 15% похоже на известных ботов
  toKnownHumans: 0.85     // 85% похоже на людей ✅
}

Если похожесть на ботов > 0.7 → подозрительно
Если похожесть на людей > 0.8 → безопасно

4. Обнаружение аномалий

ML находит необычные комбинации параметров:

• • Мобильный User-Agent + Desktop разрешение экрана
• • Много кликов + нет движений мыши
• • Идеально ровные интервалы + отсутствие ошибок

Результат анализа:

• • 85% пользователей проходят автоматически (без капчи)
• • 15% пользователей видят капчу для дополнительной проверки
• • Точность детекции: >95%

1. Детекция блокировщиков

Система определяет установленные блокировщики рекламы:

Всего поддерживается 12+ блокировщиков, включая Brave Browser, Firefox Tracking Protection, Kaspersky.

2. Типы заблокированных ресурсов

• ELEMENT (0): Заблокированные DOM элементы
  HTML элементы, CSS стили, Style Sheets
• NETWORK (1): Заблокированные сетевые запросы
  URL, HTTP метод, статус, время загрузки
• IN_IFRAME (2): Заблокированные iframe
  URL iframe, размер, видимость
• INSTANT (3): Мгновенная детекция
  Обнаружено через специфичные признаки

3. Как это используется для детекции ботов

Система анализирует паттерны блокировки:

• • Аномальные паттерны: Боты могут использовать специфичные блокировщики
• • Несоответствие устройства: Мобильный UA + блокировщик для десктопа
• • Паттерны использования: Всегда блокируются одни и те же ресурсы

4. Структура данных

Отправляется на сервер в виде события:

{
  "blocker": "ADBLOCK",
  "element": "network resource (GET) https://example.com",
  "blockedResource": {
    "type": "NETWORK",
    "url": "https://example.com",
    "status": 0,
    "method": "GET"
  },
  "labels": {
    "browser": "Chrome",
    "device": "desktop",
    "blocker": "ADBLOCK"
  }
}

Косвенная детекция ботов:

Blocked Resources Analysis НЕ является прямым механизмом детекции ботов, но используется косвенно:

• • Анализ аномальных паттернов блокировки
• • Несоответствие технических параметров (UA vs блокировщик)
• • Детекция специфичных блокировщиков для автоматизации

1. TCP/IP Fingerprinting

Анализ параметров TCP/IP стека, уникальных для каждой ОС:

• • TCP Window Size: размер окна передачи
• • TCP Options: порядок и набор опций TCP
• • Initial Sequence Number: алгоритм генерации ISN
• • Timestamp: использование временных меток
• • MSS (Maximum Segment Size): максимальный размер сегмента

// Пример TCP fingerprint
{
  windowSize: 65535,
  mss: 1460,
  options: ["MSS", "SACK", "Timestamp", "Window Scale"],
  ttl: 64,
  flags: "SYN",
  os: "Linux/Windows/macOS/iOS"  // Определяется по комбинации параметров
}

2. TLS Fingerprinting

Анализ параметров TLS handshake для идентификации клиента:

• • Cipher Suites: порядок поддерживаемых шифров
• • TLS Extensions: набор и порядок расширений
• • TLS Version: поддерживаемые версии TLS/SSL
• • SNI (Server Name Indication): имя сервера
• • Elliptic Curves: поддерживаемые кривые

// Пример TLS fingerprint
{
  tlsVersion: "1.3",
  cipherSuites: ["TLS_AES_256_GCM_SHA384", "TLS_CHACHA20_POLY1305_SHA256"],
  extensions: ["server_name", "supported_groups", "key_share"],
  browser: "Chrome 120 / Firefox 121 / Safari 17"  // Определяется по комбинации
}

3. HTTP/2 Fingerprinting

Анализ параметров HTTP/2 соединения:

• • SETTINGS Frame: параметры соединения
• • WINDOW_UPDATE: размер окна потока
• • HEADERS: порядок и формат заголовков
• • Priority: приоритеты потоков

4. Network Timing Patterns

Анализ временных характеристик сетевого трафика:

• • RTT (Round Trip Time): время отклика
• • Jitter: вариация задержки
• • Packet Timing: интервалы между пакетами
• • Connection Patterns: паттерны установки соединений

Пример: Боты из датацентров часто имеют стабильный низкий RTT (5-20ms), в то время как домашние пользователи имеют более высокий и переменный RTT (30-200ms).

5. Как используется для детекции ботов

Network fingerprinting помогает определить:

• • Эмуляторы: необычные комбинации TCP/TLS параметров
• • VPN/Proxy: несоответствие TLS fingerprint и IP геолокации
• • Автоматизация: одинаковый fingerprint от разных IP (ферма ботов)
• • Headless браузеры: отсутствие специфичных TLS расширений

Применимость для детекции:

Network fingerprinting используется на сервере для дополнительной проверки:

• • Комбинация TCP/TLS fingerprint + IP Type Detection → более точная детекция
• • Анализ timing patterns → выявление автоматизации
• • Одинаковый fingerprint от разных IP → вероятна ферма ботов
• • Несоответствие fingerprint и User-Agent → подозрительно