Парсить сайты недвижимости можно двумя способами: через HTTP-библиотеки вроде Scrapy, если сайт отдаёт готовый HTML, или через headless-браузеры Selenium/Playwright, когда карточки объявлений подгружаются JavaScript-ом. Выбор инструмента напрямую влияет на скорость сбора — разница между подходами доходит до 50–100 раз. Дальше важны задержки между запросами, чистка дублей и работа с персональными данными продавцов, если парсер собирает телефоны.
Scrapy или Selenium: что быстрее и когда какой нужен
Scrapy обрабатывает 10 000–50 000 страниц в час — подходит для площадок с серверным рендерингом, где HTML приходит сразу с данными. Selenium и Playwright эмулируют реальный браузер, поэтому медленнее: 200–800 страниц в час. Зато только они справляются с сайтами, где выдача формируется динамически или стоит поведенческая антибот-защита.
| Параметр | Значение | Комментарий |
|---|---|---|
| Scrapy | 10 000–50 000 стр/час | статический HTML, без сложного JS |
| Selenium/Playwright | 200–800 стр/час | динамический контент, антибот |
| Безопасная задержка | 1 запрос раз в 2–5 сек | снижает риск бана по IP |
| Мусор в сырых данных | 15–40% | дубли, пустые поля, устаревшие цены |
| Срок экспозиции (Авито) | 45–60 дней | ориентир для расчёта оборачиваемости |
На практике связку часто комбинируют: список объявлений собирают через Scrapy, а карточки со скрытыми номерами телефонов — через Playwright, если раскрытие требует клика по кнопке.
Как не получить бан и штраф при сборе данных?
Задержка 1 запрос раз в 2–5 секунд — минимум, который снижает риск блокировки по IP на большинстве площадок недвижимости; для крупных агрегаторов эту паузу иногда приходится увеличивать. Отдельная история — телефоны собственников и агентов. Штраф за хранение номеров без согласия субъекта персональных данных — до 300 000 рублей, а с 2024 года ответственность ужесточили: до 15 млн рублей за нарушение обработки персональных данных. Поэтому номера либо не сохраняют вовсе, либо получают согласие, либо обезличивают перед записью в базу.
Про парсинг конкретных площадок вроде Парсинг домклик стоит почитать отдельно — у каждого сервиса своя вёрстка, свои селекторы и своя защита от ботов.
Что делать с сырыми данными после сбора?
Сырые данные с сайтов недвижимости содержат 15–40% «мусора» — дубли объявлений, устаревшие цены, пустые поля адреса. Без очистки такой массив непригоден для анализа рынка. Обычный пайплайн: дедупликация по адресу и площади, нормализация цены отдельно за м² и за объект целиком, фильтр по дате последнего обновления карточки.
Средний срок экспозиции квартиры на Авито — 45–60 дней, эту цифру используют как ориентир, чтобы отсеивать «зависшие» объявления и считать реальную оборачиваемость лотов, а не просто количество активных карточек в базе.
Вопросы и ответы
Можно ли парсить недвижимость без риска бана?
Полностью исключить риск нельзя, но задержка 2–5 секунд между запросами и ротация IP снижают вероятность блокировки до минимума на большинстве площадок.
Нужно ли согласие на сбор телефонов из объявлений?
Да, для хранения номеров требуется согласие субъекта персональных данных — иначе штраф до 300 000 рублей, а с 2024 года до 15 млн рублей.
Почему после парсинга данных получается меньше, чем ожидалось?
Из-за дублей и мусора в сырых данных: обычно 15–40% строк отсеивается при очистке, и это нормальная ситуация для веб-скрапинга недвижимости.
