Airbyte

Levar dados do CRM, do ERP e de planilhas para um data warehouse costuma virar um script diferente para cada fonte. O Airbyte troca esses scripts por conectores de um catálogo que, segundo o README, passa de 600 opções entre APIs, bancos, warehouses, data lakes e aplicações de IA.

Para que serve

• Sincronizar tabelas de um banco de produção com o warehouse de análise, no modelo ELT.
• Puxar dados de ferramentas SaaS para um data lake sem programar a integração.
• Criar um conector para uma API interna pelo Connector Builder, sem código, ou pelo CDK de baixo código.
• Dar a agentes de IA acesso a dados de outros sistemas pelo Agent SDK.

Como começar

A instalação local usa o abctl, que cria um cluster Kubernetes dentro do Docker. No Mac ou no Linux:

curl -LsfS https://get.airbyte.com | bash -
abctl local install
abctl local credentials

O último comando mostra o e-mail e a senha de acesso. A interface fica em http://localhost:8000. O guia pede o Docker rodando e recomenda 4 CPUs e 8 GB de memória. Sem servidor próprio, a saída é a Airbyte Cloud.

Licença e custo

Apesar de o README falar em open source, a maior parte do repositório, conectores incluídos, segue a Elastic License 2.0 (o arquivo metadata.yaml de cada conector informa a licença). Só o Airbyte Protocol usa MIT. A Elastic License deixa qualquer empresa usar o Airbyte de graça nos próprios pipelines, mas proíbe oferecer o produto a terceiros como serviço gerenciado. Essa licença não tem aprovação da OSI. A edição Core é gratuita para hospedar por conta própria, sem suporte. Na nuvem, o plano Standard começa em US$ 20 por mês e o Plus em US$ 189, ambos com 14 dias de teste; Pro e Enterprise Flex saem por cotação.

Quando vale a pena

Com muitas fontes alimentando o warehouse, o Airbyte poupa o time de dados de manter integração por integração, e o volume que justifica isso costuma entrar no terreno do Big Data. Para duas ou três fontes estáveis, um script agendado pode bastar, sem o Kubernetes que a instalação própria exige.