AtlasLeads
Scraper leve com Playwright que extrai listagens de empresas do Google Maps, enriquece contatos visitando os sites e exporta para CSV e Excel. Projeto educacional.
Educacional · respeite os Termos de ServiçoAutomação · scraping2026
- Contexto e objetivo
- Coleta de nome, endereço, site, telefone, categoria, avaliações e coordenadas a partir de termos de busca, com geração automática de termos por cidade usando a API do IBGE.
- Problema
- Montar listas de empresas por nicho e região de forma reprodutível, em paralelo e sem repetir buscas já feitas.
- Tecnologias
- pythonplaywrightpytestdockeribge api
01 / Arquitetura
Arquitetura utilizada
- cli
- query builder (ibge)
- maps scraper
- enrichment
- csv · xlsx
CLI
Orquestra três fluxos: scrape, locations e queries.
Scraper
Google Maps via Playwright, com tratamento automático do diálogo de consentimento.
Enriquecimento
Visita o site de cada empresa e extrai e-mails e telefones extras.
IBGE
Estados, municípios e população; combina cidades × palavras-chave em termos de busca.
02 / Decisões
Decisões técnicas
E o trade-off por trás de cada uma.
- Cada busca roda no seu próprio processo (ProcessPoolExecutor) com sua instância do Chromium.
- Sub-páginas do enriquecimento buscadas em paralelo com ThreadPoolExecutor.
- Modo --enrich-only para reprocessar CSVs sem repetir a busca.
- Saída organizada por data de execução.
03 / Desafios
Desafios enfrentados
A preencher
Quais foram os problemas difíceis? O que não funcionou na primeira tentativa?
04 / Resultados
Resultados alcançados
A preencher
Resultados medidos (tempo, custo, usuários, aprendizados). Prefira números.