AtlasLeads

Schlanker Scraper mit Playwright, der Firmeneinträge aus Google Maps extrahiert, Kontakte über die Websites anreichert und nach CSV und Excel exportiert. Projekt zu Lernzwecken.

Zu Lernzwecken · beachte die NutzungsbedingungenAutomatisierung · Scraping2026
Kontext und Ziel
Erfasst Name, Adresse, Website, Telefon, Kategorie, Bewertungen und Koordinaten anhand von Suchbegriffen und erzeugt Suchbegriffe pro Stadt automatisch über die IBGE-API.
Problem
Firmenlisten nach Nische und Region reproduzierbar und parallel erstellen, ohne bereits erledigte Suchen zu wiederholen.
Technologien
pythonplaywrightpytestdockeribge api
01 / Architektur

Eingesetzte Architektur

  1. cli
  2. query builder (ibge)
  3. maps scraper
  4. enrichment
  5. csv · xlsx
cli → query builder (ibge)cli → maps scrapermaps scraper → enrichmentenrichment → csv · xlsx

CLI

Orchestriert drei Abläufe: scrape, locations und queries.

Scraper

Google Maps über Playwright, mit automatischer Behandlung des Einwilligungsdialogs.

Anreicherung

Besucht die Website jeder Firma und extrahiert zusätzliche E-Mails und Telefonnummern.

IBGE

Bundesstaaten, Gemeinden und Einwohnerzahlen; kombiniert Städte × Keywords zu Suchbegriffen.

02 / Entscheidungen

Technische Entscheidungen

Und der Trade-off hinter jeder einzelnen.

  • Jede Suche läuft in einem eigenen Prozess (ProcessPoolExecutor) mit eigener Chromium-Instanz.
  • Unterseiten für die Anreicherung werden parallel mit ThreadPoolExecutor abgerufen.
  • Modus --enrich-only, um CSVs erneut zu verarbeiten, ohne die Suche zu wiederholen.
  • Ausgabe nach Ausführungsdatum organisiert.
03 / Herausforderungen

Herausforderungen

Noch offen

Was waren die schwierigen Probleme? Was hat beim ersten Versuch nicht funktioniert?

04 / Ergebnisse

Erreichte Ergebnisse

Noch offen

Gemessene Ergebnisse (Zeit, Kosten, Nutzer, Erkenntnisse). Am besten mit Zahlen.