Scrapling

Raspador quebra quando o site muda o layout. O Scrapling é um framework Python de scraping que tenta reduzir esse retrabalho. Ele guarda os elementos que você selecionou e consegue reencontrá-los depois da mudança. Também abre navegador para páginas em JavaScript e roda rastreamentos em paralelo.

Para que serve

• Extrair dados com seletores CSS, XPath, texto ou regex, e manter o seletor vivo após mudanças de layout com o modo adaptativo.
• Renderizar páginas que dependem de JavaScript com o DynamicFetcher, que controla um navegador via Playwright.
• Montar spiders no estilo do Scrapy, com limite de concorrência, pausa e retomada e exportação em JSON, CSV ou XML.
• Acompanhar preços e catálogos públicos em projetos de inteligência competitiva.

Como começar

O projeto pede Python 3.10 ou superior. A instalação básica traz só o parser, então para usar fetchers e spiders instale o extra e baixe os navegadores:

pip install "scrapling[fetchers]"
scrapling install

Há também imagem Docker (pyd4vinci/scrapling), um shell interativo e um servidor MCP para assistentes de IA. Quando o site oferece API, o post o que é API explica o caminho mais limpo.

O README diz que a biblioteca é para fins educacionais e de pesquisa e pede que você respeite os termos de uso de cada site e o robots.txt. As spiders têm uma opção de obediência ao robots.txt: deixe ligada. O Scrapling também tem modo furtivo contra sistemas antibot, e usá-lo contra a vontade do site pode violar os termos dele e leis de privacidade, como a LGPD.

Licença e custo

A BSD-3-Clause libera uso comercial com duas regras: o aviso de copyright fica, e ninguém usa o nome dos autores para promover derivados. Não há versão paga do Scrapling. O README e a documentação exibem anúncios de patrocinadores, em geral serviços de proxy pagos.

Quando vale a pena

É indicado para quem programa em Python e coleta com frequência de sites que mudam. Para poucas páginas estáveis, requests com BeautifulSoup resolve com menos dependências. Quem quer páginas em Markdown para alimentar IA pode comparar com Crawl4AI e Firecrawl. Veja onde a coleta entra em inteligência de mercado.