VibeVoice

Da Microsoft, o VibeVoice reúne modelos abertos de fala nos dois sentidos: texto para voz e voz para texto. Um tokenizador de áudio a 7,5 Hz, ligado a um modelo de linguagem, permite processar gravações longas inteiras. Hoje o repositório concentra a parte de transcrição e um modelo leve de síntese em tempo real.

Para que serve

• Transcrever até 60 minutos de áudio numa passada só, com quem falou e quando.
• Informar nomes de produto ou jargão como palavras-chave para a transcrição acertar.
• Gerar fala a partir de um texto que ainda está chegando, com cerca de 300 ms até o primeiro som.
• Rodar transcrição só na CPU, pela versão BitNet e pelo motor VibeASR.cpp.

Como começar

A documentação parte de um contêiner PyTorch da NVIDIA com GPU. Dentro dele:

git clone https://github.com/microsoft/VibeVoice.git
cd VibeVoice
pip install -e .

Um script sobe então uma demo em Gradio, que baixa o modelo do Hugging Face. O modelo de tempo real instala com o extra streamingtts e, segundo a documentação, acompanha a fala numa T4 ou num Mac M4 Pro. Ele foi feito para inglês; o português aparece entre nove idiomas experimentais, pouco testados.

Licença e custo

Pelo texto da MIT, licença do repositório, toda cópia ou parte substancial do código carrega a nota de copyright da Microsoft e a própria permissão. O README, porém, diz que os modelos são para pesquisa e desenvolvimento e desaconselha uso comercial ou em produção sem mais testes.

Quando vale a pena

Interessa a quem pesquisa transcrição de reuniões com vários falantes e tem GPU NVIDIA. Na síntese, há um histórico a considerar: em setembro de 2025 a equipe retirou o código do VibeVoice-TTS depois de encontrar usos fora do propósito declarado, e a documentação desse modelo marca instalação e uso como desativados por abuso generalizado. No modelo de tempo real, as vozes vêm embutidas; personalizar exige falar com a equipe. Voz de pessoa real, com esta ou outra ferramenta, só com o consentimento dela; o README recomenda avisar quando o áudio é gerado por IA. Para narrar em português, as opções comerciais do guia de IA para marketing, como o ElevenLabs, resolvem mais rápido.