AtlasLeads
Schlanker Scraper mit Playwright, der Firmeneinträge aus Google Maps extrahiert, Kontakte über die Websites anreichert und nach CSV und Excel exportiert. Projekt zu Lernzwecken.
Zu Lernzwecken · beachte die NutzungsbedingungenAutomatisierung · Scraping2026
- Kontext und Ziel
- Erfasst Name, Adresse, Website, Telefon, Kategorie, Bewertungen und Koordinaten anhand von Suchbegriffen und erzeugt Suchbegriffe pro Stadt automatisch über die IBGE-API.
- Problem
- Firmenlisten nach Nische und Region reproduzierbar und parallel erstellen, ohne bereits erledigte Suchen zu wiederholen.
- Technologien
- pythonplaywrightpytestdockeribge api
01 / Architektur
Eingesetzte Architektur
- cli
- query builder (ibge)
- maps scraper
- enrichment
- csv · xlsx
CLI
Orchestriert drei Abläufe: scrape, locations und queries.
Scraper
Google Maps über Playwright, mit automatischer Behandlung des Einwilligungsdialogs.
Anreicherung
Besucht die Website jeder Firma und extrahiert zusätzliche E-Mails und Telefonnummern.
IBGE
Bundesstaaten, Gemeinden und Einwohnerzahlen; kombiniert Städte × Keywords zu Suchbegriffen.
02 / Entscheidungen
Technische Entscheidungen
Und der Trade-off hinter jeder einzelnen.
- Jede Suche läuft in einem eigenen Prozess (ProcessPoolExecutor) mit eigener Chromium-Instanz.
- Unterseiten für die Anreicherung werden parallel mit ThreadPoolExecutor abgerufen.
- Modus --enrich-only, um CSVs erneut zu verarbeiten, ohne die Suche zu wiederholen.
- Ausgabe nach Ausführungsdatum organisiert.
03 / Herausforderungen
Herausforderungen
Noch offen
Was waren die schwierigen Probleme? Was hat beim ersten Versuch nicht funktioniert?
04 / Ergebnisse
Erreichte Ergebnisse
Noch offen
Gemessene Ergebnisse (Zeit, Kosten, Nutzer, Erkenntnisse). Am besten mit Zahlen.