exo

Dois ou três Macs na mesma rede passam a funcionar como um único servidor de IA com o exo. O programa descobre sozinho os aparelhos que rodam exo, mede memória e velocidade de cada conexão e reparte o modelo entre eles. Assim cabe um modelo que não caberia na memória de nenhuma das máquinas isoladas.

Para que serve

• Rodar localmente modelos abertos de centenas de bilhões de parâmetros, somando a memória de vários computadores.
• Ligar Macs por Thunderbolt 5 com RDMA, o que, segundo o README, corta em 99% a latência entre aparelhos.
• Servir os modelos por API compatível com OpenAI, Claude e Ollama, o que inclui usar o Open WebUI como interface.
• Comparar configurações de distribuição com o exo-bench, que mede velocidade de leitura e de geração.

Como começar

No Mac, há um app para baixar ou o Homebrew:

brew install --cask exo

O app pede macOS Tahoe 26.2 ou mais novo. Também dá para compilar o código com uv, Node.js e Rust nightly, em macOS ou Linux. Com o exo no ar, painel e API respondem em http://localhost:52415, e os modelos vêm do Hugging Face para o disco local. A variável EXO_OFFLINE faz tudo rodar sem internet, só com modelos já baixados. No Linux, por enquanto, só a CPU trabalha; o suporte a GPU está em desenvolvimento.

Licença e custo

Projeto da Exo Technologies sob Apache 2.0, o exo pode ser redistribuído com três cuidados: incluir a licença, manter os avisos e o arquivo NOTICE, quando houver, e apontar os arquivos alterados. A licença ainda concede direitos de patente sobre as contribuições. Produto pago não aparece no README; a despesa está no hardware.

Quando vale a pena

O exo combina com quem já tem Macs com Apple Silicon sobrando, ou quer um laboratório de IA local sem comprar placa de vídeo de servidor. O RDMA, que dá o maior ganho, exige máquinas com Thunderbolt 5, como Mac Studio M3 Ultra ou Mac mini M4 Pro. Se um modelo pequeno resolve, como explica o post sobre IA local com modelos pequenos, um só computador com Ollama dá menos trabalho.