Stability AI lança modelo de IA para geração de sons e músicas, a Stable Audio Open

A Stability AI, conhecida por seu gerador de arte movido por IA, o Stable Diffusion, acaba de lançar um novo modelo de IA aberto para a geração de sons e músicas, chamado Stable Audio Open.

Este novo modelo foi treinado exclusivamente em gravações isentas de royalties, ampliando as possibilidades criativas para músicos e produtores de áudio.

Leia também:

Unstable Diffusion, IA que gera conteúdo pornográfico, cria mais de 500 mil imagens eróticas por dia
Essa ferramenta para avaliar o desempenho da placa de vídeo em Stable Diffusion custa US$ 5.000

Stable Audio Open traz inovação na criação de sons

O Stable Audio Open é um modelo generativo que transforma descrições textuais (como “Batida de rock tocada em um estúdio tratado, bateria de sessão em um kit acústico”) em gravações de até 47 segundos. Treinado com aproximadamente 486.000 amostras de bibliotecas de música gratuita, como FreeSound e Free Music Archive, o modelo oferece uma vasta gama de possibilidades para a criação de sons.

Segundo a Stability AI, o Stable Audio Open pode ser usado para criar batidas de bateria, riffs de instrumentos, ruídos ambientes e elementos de produção para vídeos, filmes e programas de TV. Além disso, é possível “editar” músicas existentes ou aplicar o estilo de uma música a outra.

Um dos principais benefícios do Stable Audio Open, de acordo com uma postagem da Stability AI no blog corporativo, é sua natureza de código aberto, permitindo que os usuários ajustem o modelo com seus próprios dados de áudio personalizados. “Por exemplo, um baterista pode ajustar o modelo com gravações de sua própria bateria para gerar novas batidas exclusivas.”

Limitações e considerações da nova ferramenta

Apesar de suas capacidades inovadoras, o Stable Audio Open tem suas limitações. Ele não é otimizado para produzir músicas completas, melodias ou e nem vocais de alta qualidade. Para esses propósitos, a Stability AI recomenda seu serviço premium Stable Audio.

Além disso, o uso comercial do Stable Audio Open é proibido pelos seus termos de serviço. O modelo também apresenta desempenho desigual em diferentes estilos musicais e culturais, além de ter viéses quando utilizado com descrições em idiomas diferentes do inglês. A Stability AI atribui essas limitações aos dados de treinamento, que podem carecer de diversidade cultural.

“A fonte de dados possivelmente carece de diversidade e todas as culturas não estão igualmente representadas no conjunto de dados”, escreve a Stability AI na descrição do modelo. “As amostras geradas pelo modelo refletirão os vieses dos dados de treinamento.”

Controvérsias e futuro da IA na música

A Stability AI tem enfrentado desafios para estabilizar seu negócio e recentemente se envolveu em controvérsias após a renúncia de Ed Newton-Rex, vice-presidente de áudio generativo da empresa. Newton-Rex discordou da postura da empresa de que o uso de obras protegidas por direitos autorais para treinar modelos de IA constitui “uso justo”. O lançamento do Stable Audio Open parece ser uma tentativa de redefinir essa narrativa e, ao mesmo tempo, promover os produtos pagos da empresa.

É certo que alguns geradores de música movidos por IA, como os da Stability AI, estão ganhando cada vez mais popularidade. Com isso, questões de direitos autorais estão se tornando cada vez mais centrais. Em maio, a Sony Music, que representa artistas como Billy Joel, Doja Cat e Lil Nas X, enviou uma carta a 700 empresas de IA advertindo contra o uso não autorizado de seu conteúdo para treinar geradores de áudio. Em março, o estado do Tennessee nos EUA aprovou a primeira lei destinada a reprimir abusos de IA na música.

Fonte: techcrunch