Клиент пришёл к нам с задачей: нужна база контактов малого бизнеса Украины — ФОП, ООО, магазины. Сроки — 3 дня. Объём — как можно больше. Рассказываем как мы это сделали.

Архитектура парсера

Мы построили распределённую систему на Node.js с очередью задач через Redis. 12 параллельных воркеров, ротация прокси каждые 50 запросов, хранение в PostgreSQL с дедупликацией по ИНН/номеру телефона. Puppeteer для JavaScript-рендеринга, Axios для статических страниц.

Источники данных

Открытые реестры юридических лиц, агрегаторы компаний, социальные сети бизнесов, картографические сервисы. Каждый контакт обогащался: название → сфера → телефон → email → адрес → соцсети. После дедупликации и валидации получили 2 140 000 уникальных записей.

Результат и цена

72 часа непрерывной работы системы. Стоимость проекта — $800. Клиент получил Excel + PostgreSQL-дамп с полной структурой. Контактная цена за лид вышла $0.0004. Если у вас есть похожая задача — цена за контакт у нас от $0.005, объём — от 10 000 записей.