La experiencia DJ b2b del Merge Madrid presentó a dos pinchadiscos en un tradicional back to back –uno pone un tema y el otro le responde– pero con una particularidad que nos adentra en el futuro de la música en vivo. Mientras que de un lado estaba AWWZ, una de las DJ más reconocidas en España y Latinoamérica, del otro, se encontraba un programa de Inteligencia Artificial, diseñado por un equipo de investigadores de la Universitat Politècnica de Catalunya (UPC).
Aunque no era una batalla entre humanos y máquinas, aclaran a Innovaspain sus creadores. “Realmente lo vemos como una colaboración entre IA y creatividad humana. Es una herramienta para incluso expandir la creatividad humana”, indica Casimiro Pio, investigador en NLP y Machine Learning de la UPC que diseñó la DJ artificial en un proyecto con Sónar.
La sesión de música dance fue precisamente el cierre del primer día del Merge Madrid, un evento del ecosistema Web3 en Europa y América latina que explora la fusión entre el arte y la tecnología. La DJ artificial vino a proponer una nueva forma de seleccionar música, distinta a la que conocemos hasta ahora.
Para pinchar acorde al mood y vibe del momento, no elige temas aleatoriamente por el género o estilo del audio, sino que se basa en las emociones y sensaciones que las canciones generan en los humanos –y eso lo aprendió de los comentarios de usuarios en internet. “Es muy interesante porque no va a responder desde la música, desde cómo suena, sino que va a responder desde lo que nos genera nosotros la música”, destaca Pio.
A partir de las emociones en Youtube
“La idea inicial fue extraer el estado emocional de las canciones a partir de los comentarios en los videos en YouTube. De esta manera, podemos relacionar canciones, agruparlas y agregarlas en diferentes estados emocionales para que la IA tenga una visión global, una perspectiva de cómo mantener el vibe, por así decirlo”, explica Pio.
El programa de IA tiene una base de cientos de canciones provista por AWWZ, el nombre artístico de Gemma P.M, joven productora y DJ catalana. Identifica las canciones en los videos de Youtube y analiza cientos de miles de comentarios (alrededor de 400.000 en su última versión), limpiando los que son SPAM o no corresponden. Mediante procesamiento del lenguaje natural (NLP, por sus siglas en inglés) puede “leer” y “entender” el texto y captar significados semánticos similares entre comentarios, el ánimo o emoción que genera la canción, en más de 50 lenguajes. No solo analiza palabras, sino también emojis y códigos del teclado.
Como resultado, se genera una red o mapa de música que se denomina AI-DJ-SongMap y que muestra qué canciones están conectadas y en qué medida. “Entonces, a partir de una canción determinada, puede conectarse con otra. Esta es una especie de memoria del DJ de IA, y así es como aprovecha la estructura para seleccionar la siguiente pista en el set”, cuenta Pio.
También tiene en cuenta las canciones que se han tocado, para no repetir artistas y priorizar el estilo de las más recientes, y aplica un filtro Tempo o BPM, para hacer transiciones suaves y acordes a lo que está ocurriendo en el set.
El futuro de la música en vivo: interactuar con la IA
El proyecto AWWZ b2b AI DJ comenzó en 2021 como una colaboración entre AWWZ y un equipo de investigadores de la UPC en Sónar+D, una plataforma para la experimentación y la exploración en la cultura digital. Presentaron una primera versión ese año en el AI and Music Star Festival de Barcelona, y desde entonces, ha ido evolucionando.
“Fuimos estabilizando el sistema desde el punto de vista de la ingeniería, mejorando la detección de los moods, con inteligencia artificial más avanzada”, dice Pio. Por su parte, AWWS se ha ido familiarizando más con la tecnología para poder producir juntos un set más amenos y entretenidos.
¿Cómo creen que la IA puede ser una herramienta para expandir la creatividad? “Dando una perspectiva externa, basada en datos”, dice Pio. Ocurre que el programa no ha sido entrenado por una pinchadiscos ni está diseñado para imitar a una, sino que sigue su propia lógica. “Está sintetizando datos y categorizando y a partir de ahí creando”, indica el científico, y eso puede aportar nuevas ideas.
El siguiente paso, coinciden, es la integración con el público. Buscan que la audiencia pueda “interactuar de forma dinámica, real-time, y guiar el set hacia un flow de moods”. “Creemos que este tipo de tecnología es realmente única y, si logramos tener también esta interacción, podríamos ofrecer una experiencia muy personalizada y en tiempo real”, cierra Pio.
