El SEALI: intra-acciones humano-máquina en la improvisación libre intra-acciones humano-máquina en la improvisación libre

Este artículo presenta el desarrollo de SEALI (Sistema de escucha automática para la libre improvisación), un sistema interactivo que utiliza la escucha de máquina para analizar elementos sonoros e incidir activamente en la práctica de la libre improvisación musical. El sistema emplea técnicas algorítmicas aplicadas a la segmentación, el análisis y el entrenamiento de un corpus sonoro a través de redes neuronales, para generar modelos que describen la improvisación libre en términos tímbricos y formales. Para lograrlo, se analiza cómo el aprendizaje supervisado y sin supervisión pueden describir numéricamente esta práctica, así como las redes neuronales recurrentes—particularmente las redes LSTM—, pueden ofrecer una alternativa para la predicción de la forma musical. Estos modelos constituyen la base de este sistema, lo que posibilita la interacción en tiempo real con otros músicos. El artículo detalla las funcionalidades y hallazgos principales en torno a SEALI, aborda los estudios de caso que han contribuido a su evolución continua y retoma algunas discusiones sobre la agencialidad algorítmica en las prácticas artísticas.

improvisación libre, escucha artificial, sistemas interactivos, redes neuronales, música algoritmica, inteligencia artificial

Alpaydin, E. (2004). Introduction to machine learning. MIT Press.

Bailey, D. (1980). Improvisation. its nature and practice in music. Moorland.

Barad, K. M. (2007). Meeting the universe halfway: Quantum physics and the entanglement of matter and meaning. Duke University Press.

Briot, J., Hadjeres, G., Pachet, F. (2019). Deep Learning Techniques for Music Generation. Alemania: Springer International Publishing.

Brownlee, J. (2017). Long short-term memory networks with Python: Develop sequence prediction models with deep learning. Machine Learning Mastery.

Collins, N. (2006). Towards autonomous agents for live computer music: Realtime machine listening and interactive music systems (Tesis doctoral). University of Cambridge.

Collins, N. (2012). Automatic composition of electroacoustic art music utilizing machine listening. Computer Music Journal, 36(3), 8-23.

Davis, S., & Mermelstein, P. (1980). Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences. IEEE Transactions on Acoustics, Speech, and Signal Processing, 28(4), 357-366.

Comaniciu, D., & Meer, P. (2002). Mean shift: A robust approach toward feature space analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(5), 603-619.

Dudas, R. (2010). Comprovisation: The various facets of composed improvisation within interactive performance systems. Leonardo Music Journal, 20, 29–31.

Escobar Castañeda, A. A. (2022). Resistencias maquínicas: Una caracterización a la improvisación libre con aprendizaje y escucha de máquina [Tesis doctoral, Universidad Nacional Autónoma de México]. Facultad de Música.

Fiebrink, R. A. (2011). Real-time human interaction with supervised learning algorithms for music composition and performance (Tesis doctoral). Princeton University, USA.

Fiebrink, R., Trueman, D., Britt, C., Nagai, M., Kaczmarek, K., Early, M., Cook, P. (2012, marzo). Toward understanding human-computer interaction in composing the instrument. ICMC.

Galiana Gallach, J. L. (2018). De la naturaleza de la improvisación libre: Elementos esenciales para su identificación y diferencias con la composición escrita. Itamar. Revista de Investigación Musical: Territorios para el Arte, 0.

Gillespie, T. (2013). The relevance of algorithms. En T. Gillespie, P. J. Boczkowski y K. A. Foot (Eds.), Media technologies: Essays on communication, materiality, and society (pp. 167-194). MIT Press.

Hastie, T., Tibshirani, R., & Friedman, J. (2009). The elements of statistical learning: Data mining, inference, and prediction. Springer.

Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780.

Johnston, J. D. (1988). Transform coding of audio signals using perceptual noise criteria. IEEE on Selected Areas in Communications, 6, 314–323.

Kotsiantis, S. B. (2007). Supervised machine learning: A review of classification techniques. Informatica, 31(3), 249-268.

Kotsiantis, S. B., Zaharakis, I. D., & Pintelas, P. E. (2006). Machine learning: A review of classification and combining techniques. Artificial Intelligence Review, 26, 159–190.

Lerch, A. (2022). An introduction to audio content analysis: music information retrieval tasks and applications. Reino Unido: Wiley.

Matthews, W. (2012). Improvisando: La libre creación musical. Turner Publicaciones.

Oliveros, P. (2005). Deep listening: A composer's sound practice. iUniverse.

Painter, T., & Spanias, A. (1997). A review of algorithms for perceptual audio coding of digital audio signals.

Peeters, G., & Rodet, X. (2004). Automatically selecting signal descriptors for sound classification. En Proceedings of the 2004 International Computer Music Conference (pp. 464-467).

Peeters, R. (2020). The agency of algorithms: Understanding human-algorithm interaction in administrative decision-making. Information Polity, 25, 1-16.

Vinet, H., Herrera, P., & Pachet, F. (2002). The CUIDADO project. En 3rd International Society for Music Information Retrieval (ISMIR) Conference (pp. 197-203). Paris, France. Content Based Retrieval.

Schaeffer, P., & de Diego, A. C. (1996). Tratado de los objetos musicales (Serie Alianza música). Alianza.

Xu, R., Wunsch, D. (2008). Clustering. Reino Unido: Wiley.

Zhang, T., Kuo, C. J. (2013). Content-Based audio classification and retrieval for audiovisual data parsing. Suiza: Springer US.