1. Каталог FMCGPlaywright & Python

FoodTrack

Автоматизированный сбор 8 800+ товаров федеральной сети, обход WAF и AI-уникализация контента.

2. Структура каталога

Древовидная структура без пропусков

Сбор ссылок на 22 товарные категории с пагинацией и дедупликацией на лету.

3. Эмуляция человека

Органические движения вместо бот-паттернов

Плавный скролл с микроколебаниями, случайные движения курсора и естественное чтение витрины.

4. Анти-бот джиттер

Умные паузы и непредсказуемый тайминг

Случайные интервалы между запросами и периодические длинные паузы для имитации внимания человека.

5. Маскировка сессий

Размытие поискового следа

Перемешивание очереди URL и случайные «отвлекающие» визиты в популярные разделы каталога.

6. Глубокий парсинг

Полный цифровой паспорт товара

Извлечение состава, пищевой ценности (БЖУ), сроков годности, условий хранения, цен и фотогалерей.

7. Очистка каталога

Очистка от нерелевантных позиций

Многоуровневая проверка состава, категорий и брендов под строгие критерии заказчика.

8. AI-уникализация

Уникализация контента нейросетью

Пакетная обработка описаний через LLM: продающий тон с сохранением всех технических фактов и граммовок.

9. Готовый результат

7 880+ товаров, готовых к интеграции

Структурированный JSON/CSV каталог для маркетплейса, аналитики цен или службы доставки.

FoodTrack // Core

FMCG Retail Harvester

Active 200 OK

8 841

Товаров в базе

Категории

Блокировок

Режим: Headful Playwright + Human JitterWAF Bypass ✓

Бананы спелые фас.Фрукты

3 ракурса фото119 ₽ / кг

Сыр Пармезан 45%Сыры

Жирность 45% · БЖУ389 ₽ / 200г

Кофе в зернах CremaБакалея

Обжарка темная · 1 кг1 290 ₽

Playwright 1280x800

GET /catalog/

→ 22 root categories

HTTP 200 OK

User-Agent: macOS Safari

Диспетчер категорий

22 раздела

Сбор URL товаров8 841 / 8 841 URL

✓ Овощи и фрукты

✓ Молочные продукты

✓ Сыры и гастрономия

✓ Бакалея и снеки

Пагинация: ?page=1..NДедупликация: 100% уникально

WAF RadarLIVE

Risk Score:0.020 (Human)

Kinematics: Bézier Inertia

Jitter: ±4px micro-noise

WAF Verdict: Safe Shopper ✓

Эмуляция органического поведенияBézier Motion

Плавный скролл колесиком:450 px (+микро-откат -40px)

Курсор мышиv: 0.4px/msv: 1.8px/ms

Пауза на чтение: 0.9сБот-паттерн: 0% детекции

Защита от анти-фрод эвристикРеалистичная физика ✓

Adaptive Rate Limit

Min Delay: 2.0s

Max Delay: 5.0s

Cooling Break: 45s

WAF Rate: Safe

Тайминг предзапросных пауз

Random Jitter

Случайная задержка:3.42 сек

Диапазон: 2.0 – 5.0 с0 признаков авто-скрейпинга

Длинная пауза на отдых:45 сек каждые 25 товаров

Distraction Session

Queue: Shuffled

Fake Visit: Every 12 req

Target: /catalog/bytovaya/

Pattern: Natural shopper

Размытие поискового профиляrandom.shuffle

Отвлекающий серфинг:Каждые 10–15 товаров

Переход в раздел «Бытовая химия»12 сек

Случайный скролл витриныOK

Возврат к целевой очередиResume

Защита от поведенческих анти-ботовЕстественная корзина ✓

DOM Extractor

h1.detail-card__title

span.card__price-num

.nutrition-table

.swiper-slide img (x3)

Молоко пастеризованное 3.2%

Объем: 930 мл · ГОСТ 31450

89.90 ₽

Акция -25%

Пищевая ценность (на 100 г):

Ккал

Белки

3.0 г

Жиры

3.2 г

Углев.

4.7 г

Хранение: +2°C..+6°CГалерея 3 фото ✓

Filter Rules

!pork_keywords

!alcohol_categories

!retail_private_label

Output: Clean JSON

Глубокий аудит состава

Семантический фильтр категорий и брендов

7 884

чистых товаров

Исключено по свинине/шпику:-534 поз.

Исключен алкоголь и аналоги:-248 поз.

Исключены СТМ бренды ритейлера:-175 поз.

Исходно: 8 841 позицийИсключено: 957 позиций

LLM Batch CLI

Batch Size: 15 items

Model: Gemini E-commerce

Format: Strict JSON array

Facts: 100% preserved

Семантический AI-рерайт

LLM Copywriter Engine

До (сухой заводской текст):Шаблон

«Творог зерненый 5% в сливках. ГОСТ 31453-2013. Масса 130г.»

После (AI-уникализированное):100% Уникально

«Нежный рассыпчатый творог с отборными зернами в натуральных сливках 5% жирности. Идеален для сытного белкового завтрака или легкого перекуса. 130 г.»

✓ Жирность сохранена (5%)✓ Масса сохранена (130 г)✓ Продающий e-commerce tone

Пакетная обработка: 15 шт/батчТочность граммовок 100%

Иерархия категорий

22 товарных раздела

📁 01. Овощи и фрукты

📁 02. Молочные продукты

📁 03. Сыры и масло

📁 04. Бакалея и снеки

140+ подкатегорий ✓

Цифровой каталог200 OK

7 884 валидных товара

Цены, акции, БЖУ и Ккал

Фотографии высокого разрешения

Готово к импорту:JSON / CSV

Экспортный поток

LLM Рерайтинг

✓ Уникальный контент

✓ Точные граммовки

✓ Температурный режим

✓ Штрихкоды и фасовка

Без блокировок ритейлера ✓

Автоматизация сбора данных // Web Scraping & AI

FoodTrack — надёжный сбор каталогов под ключ

Разработан полный конвейер: от обхода WAF и глубокого парсинга БЖУ до семантической фильтрации и автоматического LLM-рерайтинга.

Калькулятор архитектуры парсинга

Расчет в реальном времени

Объём каталога:15 000 товаров

5 000 (Локальный)50 000 (Супермаркет)150 000 (Сеть)

Пресеты:

LLM-рерайтинг и БЖУВыгрузка и CDN фотоDaily delta-sync

Время сбора

~ ч

с анти-бот задержками

Асинхронные воркеры

потоков

Playwright async cluster

Резидентские прокси

IP адресов

ротация без капчи

Стек технологий:

Python 3.12Playwright (Async)BeautifulSoup4Asyncio & ConcurrencyLLM E-commerce BatchJSON & Clean Architecture

Обсудить задачу в Telegram Все проекты в портфолио