LocalAI

Um sistema que hoje chama a API da OpenAI pode passar a conversar com um servidor dentro da empresa trocando só o endereço. Esse é o uso central do LocalAI: ele expõe a mesma API, e também as da Anthropic e da ElevenLabs, em cima de modelos que rodam no seu hardware. O README resume a promessa assim: os dados não saem da sua infraestrutura.

Para que serve

• Trocar a nuvem por modelos abertos num app que já usa a API da OpenAI.
• Gerar e transcrever áudio, inclusive conversa voz a voz pela API Realtime.
• Rodar agentes com ferramentas, RAG e MCP sem mandar documento interno para fora.
• Dividir a carga entre várias máquinas pelo modo distribuído ou P2P.

Como começar

Com Docker, a imagem só para CPU sobe assim:

docker run -ti --name local-ai -p 8080:8080 localai/localai:latest

Existem imagens para NVIDIA, AMD, Intel e Vulkan, e um instalador DMG para Mac. O DMG não tem assinatura da Apple, por isso o README ensina a liberar o app com xattr. A interface web sobe junto, e os modelos vêm do Hugging Face, de uma galeria própria ou do registro do Ollama. Cada motor (llama.cpp, whisper.cpp, vLLM e outros) só é baixado quando um modelo precisa dele.

Licença e custo

Embutir o LocalAI num produto fechado é permitido pela MIT, licença escolhida pelo criador, Ettore Di Giacinto. Em contrapartida, cada cópia, ou parte substancial dela, traz a nota de copyright e a permissão da licença. O README e o site não listam plano pago nem nuvem gerenciada; o projeto vive de patrocínio no GitHub Sponsors, e o site tem um contato para empresas.

Quando vale a pena

Ele se paga na equipe que precisa de IA sem enviar dado a terceiros, por contrato ou por LGPD, e já tem código escrito para a API da OpenAI. Quem só quer conversar com um modelo no notebook acha o Ollama mais direto de instalar.