Desde Nvidia afirman que su nuevo editor de música con Inteligencia Artificial (IA) tiene la capacidad de poder crear “sonidos nunca antes escuchados”, como por ejemplo; una trompeta que maúlla. La herramienta, denominada “Fugatto”, es capaz de generar música, así como sonidos y voz utilizando entradas de texto y audio con las que nunca ha sido entrenada.
Nvidia señala que su nuevo editor de música con IA puede producir sonidos nunca antes escuchados
Como se muestra en el video incrustado arriba, esto le permite a Fugatto armar canciones basadas en indicaciones salvajes, como “Crea un saxofón aullando, ladrando y luego música electrónica con perros ladrando”.
Del mismo modo, otros ejemplos compartidos por la compañía incluyen la capacidad de producir efectos de sonido únicos basados en una descripción, como “Pulsos graves profundos y retumbantes combinados con chirridos digitales intermitentes y agudos, como el sonido de una enorme máquina sensible despertándose”. Cita textual
Inclusive, tiene la capacidad de transformar el sonido de la voz de alguien, cambiando su acento o proporcionándole un tono diferente, como enojado o incluso otros como tranquilo. También hay formas de editar música, puesto que Fugatto tiene la posibilidad de aislar las voces de una canción, agregar instrumentos y así mismo, cambiar una melodía al reemplazar un piano por un cantante de ópera.
Vale la pena destacar que un documento publicado con el anuncio muestra la larga lista de todos los conjuntos de datos con los que Nvidia dice que se entrenó Fugatto, uno de los cuales incluye una biblioteca de efectos de sonido de la BBC.
Por si no lo sabía, ya existen otras herramientas de audio basadas en Inteligencia Artificial, como las de Stability AI , OpenAI , así como Google DeepMind , ElevenLabs y Adobe , sin embargo, ninguna de ellas afirma crear sonidos completamente nuevos e inauditos. Algunas compañías emergentes de IA incluso se enfrentan a demandas por derechos de autor por sus herramientas de creación musical, mientras que un informe reciente descubrió que Nvidia y otras empresas entrenaron modelos de Inteligencia Artificial con subtítulos de miles de videos de YouTube.
Para crear Fugatto, Nvidia asevera que los investigadores tuvieron que reunir un conjunto de datos con millones de muestras de audio. Luego crearon instrucciones “que ampliaron considerablemente el rango de tareas que el modelo podía realizar, al tiempo que lograban un rendimiento más preciso y permitían nuevas tareas sin requerir datos adicionales”. Cabe aclarar que Nvidia no dice cuándo, o si, la herramienta estará ampliamente disponible.
