AtlasLeads

Scraper leve com Playwright que extrai listagens de empresas do Google Maps, enriquece contatos visitando os sites e exporta para CSV e Excel. Projeto educacional.

Educacional · respeite os Termos de ServiçoAutomação · scraping2026
Contexto e objetivo
Coleta de nome, endereço, site, telefone, categoria, avaliações e coordenadas a partir de termos de busca, com geração automática de termos por cidade usando a API do IBGE.
Problema
Montar listas de empresas por nicho e região de forma reprodutível, em paralelo e sem repetir buscas já feitas.
Tecnologias
pythonplaywrightpytestdockeribge api
01 / Arquitetura

Arquitetura utilizada

  1. cli
  2. query builder (ibge)
  3. maps scraper
  4. enrichment
  5. csv · xlsx
cli → query builder (ibge)cli → maps scrapermaps scraper → enrichmentenrichment → csv · xlsx

CLI

Orquestra três fluxos: scrape, locations e queries.

Scraper

Google Maps via Playwright, com tratamento automático do diálogo de consentimento.

Enriquecimento

Visita o site de cada empresa e extrai e-mails e telefones extras.

IBGE

Estados, municípios e população; combina cidades × palavras-chave em termos de busca.

02 / Decisões

Decisões técnicas

E o trade-off por trás de cada uma.

  • Cada busca roda no seu próprio processo (ProcessPoolExecutor) com sua instância do Chromium.
  • Sub-páginas do enriquecimento buscadas em paralelo com ThreadPoolExecutor.
  • Modo --enrich-only para reprocessar CSVs sem repetir a busca.
  • Saída organizada por data de execução.
03 / Desafios

Desafios enfrentados

A preencher

Quais foram os problemas difíceis? O que não funcionou na primeira tentativa?

04 / Resultados

Resultados alcançados

A preencher

Resultados medidos (tempo, custo, usuários, aprendizados). Prefira números.