Как создать свой сервис, «воруя» чужие данные: веб-скрапинг как акселератор для бизнеса

Углубленный доклад, основанный на практическом производственном опыте, о технологиях и методологиях веб-скрапинга в контексте современных бизнес-задач. Мы рассмотрим полный цикл разработки решений для автоматизированного сбора данных: от этапа планирования до промышленной эксплуатации.

Решаемые проблемы:

• систематизация подходов к разработке надежных систем веб-скрапинга;
• выбор оптимальных технологических решений для различных сценариев сбора данных;
• построение масштабируемой архитектуры с учетом современных методов защиты веб-ресурсов;
• обеспечение этичного и легального сбора данных.

Будет интересно разработчикам на Python, желающим освоить технологии веб-скрапинга; CTO, планирующим внедрение систем автоматизированного сбора данных; специалистам по данным, заинтересованным в автоматизации процессов сбора информации.  

Используемые технологии: Python 3.x, requests/httpx/aiohttp, beautifulsoup4, Selenium WebDriver, Playwright, undetected-chromedriver, Camoufox, Residential Proxies, Capsolver.