Firecrawl

Você passa uma URL ao Firecrawl e recebe o conteúdo da página limpo, em Markdown, HTML, captura de tela ou JSON estruturado. Ele cuida da parte chata da coleta na web: carregar a página, clicar e rolar quando precisa e entregar um texto que um modelo de IA consegue ler. Existe como serviço em nuvem e como código aberto para hospedar.

Para que serve

• Raspar uma página e receber o conteúdo em Markdown pronto para um LLM.
• Rastrear um site inteiro numa requisição, ou só listar as URLs dele com o endpoint de mapa.
• Pedir dados em linguagem natural ao endpoint de agente, que navega e devolve no formato que você definir.
• Acompanhar páginas públicas de concorrentes em projetos de inteligência competitiva.

Como começar

O jeito mais curto é criar conta em firecrawl.dev, pegar a chave de API e instalar um SDK:

pip install firecrawl-py

Há SDK também para Node.js, Go, Ruby, .NET e PHP, e um servidor MCP para assistentes de IA. O post o que é API explica o conceito. O repositório tem guia de self-hosting, mas o README avisa que a nuvem tem recursos a mais, e o site diz que o Fire-engine da versão hospedada é proprietário.

O README deixa a responsabilidade com quem usa: respeite as políticas e os termos de cada site e as regras de privacidade. Por padrão, o Firecrawl obedece ao robots.txt.

Licença e custo

O núcleo é AGPL-3.0. O uso e a modificação são livres, mas a AGPL exige publicar as mudanças de uma cópia alterada que vire serviço. Os SDKs e alguns componentes de interface são MIT. Na nuvem, o plano gratuito dá 1.000 créditos por mês sem cartão, e cada página raspada custa um crédito. Os planos pagos são Hobby, Standard, Growth e Scale.

Quando vale a pena

O usuário típico do Firecrawl monta agentes, RAG ou monitoramento e não quer manter um raspador próprio. Para coletas pequenas e estáveis, bibliotecas como Scrapy ou Playwright resolvem sem custo por página. Se o objetivo é estudar o mercado com fontes públicas, o post sobre inteligência de mercado mostra onde a coleta entra.