Парсер маркетплейса — 2,8 млн товаров/день

Нужно было видеть цены и остатки конкурентов по всему ассортименту — в реальном времени, а не раз в неделю руками.

Каталог маркетплейса — это миллионы SKU, которые меняются ежеминутно: цена, скидка, наличие, рейтинг. Готовые сервисы отдавали данные с задержкой в сутки и по верхушке категорий, а наивный скрапер упирался в антибот, капчу и блокировки по IP уже на первых тысячах запросов.

Требовался пайплайн, который держит миллионы товаров в день, не падает под блокировками, отдаёт чистые валидные данные и обновляет их достаточно часто, чтобы на них можно было строить цены и закупки.

Планировщик на Airflow раскладывает каталог на пачки задач и кладёт их в очередь Redis. Пул воркеров разбирает очередь параллельно: лёгкие страницы тянет Scrapy, JS-тяжёлые — Playwright с обходом антибота, и каждый запрос уходит через ротацию прокси, чтобы не упереться в блокировки. Пул автоматически масштабируется под объём очереди.

Сырой HTML проходит парсер-валидатор: данные извлекаются, приводятся к единой схеме, дедуплицируются и проверяются — мусор и аномалии цены/остатка отсекаются (отсюда <0,3% ошибок). Битые задачи возвращаются в очередь на повтор. Чистые строки ложатся в PostgreSQL как актуальное состояние, сырьё и снапшоты — в S3, а наружу всё отдаётся через API. Весь конвейер упакован в Docker.