Crawl4AI

Modelos de linguagem leem melhor um Markdown limpo do que um HTML cheio de menu, anúncio e rodapé. O Crawl4AI é um crawler e raspador de código aberto em Python que visita páginas e devolve esse Markdown pronto para RAG, agentes e pipelines de dados.

Para que serve

• Converter páginas em Markdown com títulos, tabelas e blocos de código, usando filtros que removem o conteúdo repetido.
• Extrair dados em JSON por seletores CSS ou XPath, sem LLM, ou com um modelo de qualquer provedor que o LiteLLM aceite.
• Rastrear um site em profundidade e retomar rastreamentos longos de onde pararam.
• Coletar páginas públicas para estudos de inteligência de mercado ou de inteligência competitiva.

Como começar

pip install -U crawl4ai
crawl4ai-setup
crawl4ai-doctor

Depois, poucas linhas com AsyncWebCrawler já devolvem o Markdown de uma URL. A extração com LLM depende de acesso a um modelo de algum provedor.

Use o Crawl4AI como biblioteca, dentro do seu código. O servidor Docker teve falhas graves em 2026, incluindo execução remota de código sem autenticação, e parte das falhas atingia também a biblioteca. Mantenha a versão 0.9.4 ou mais nova. Se precisar do servidor, deixe o token de API ligado e não exponha a porta na internet. E respeite os termos de uso e o robots.txt de cada site que visitar.

Licença e custo

A Apache 2.0 do Crawl4AI deixa usar o código num produto comercial; você mantém os avisos de licença e indica o que alterou. O README pede atribuição com um selo ou uma linha de texto, mas não deixa claro se ela é obrigatória ou só recomendada.

Existe também o Crawl4AI Cloud, a versão hospedada. O plano gratuito tem 1.000 créditos por mês sem cartão, e os pagos vão de US$ 10 (Starter) a US$ 499 (Scale) por mês. O site avisa que preços e crédito grátis podem mudar.

Quando vale a pena

O Crawl4AI atende quem programa em Python e monta RAG ou agentes que precisam ler a web. Firecrawl e Scrapling são as alternativas mais próximas para comparar.