Metaflauta : uma abordagem ecológica aplicada ao design e processos criativos a partir de um instrumento expandido

Assunto: Inteligencia artificial - Aplicacoes musicais,Composicao musical por computador,Sistemas de computacao interativos,Aprendizado de maquina,Musica por computador,Multimidia interativa,Artificial intelligence - Musical applications,Computer composition,Interactive computer systems,Machine learning,Computer music,Interactive multimedia

Resumo: Resumo: A presente pesquisa compreende um estudo teórico, computacional e criativo sobre sistemas interativos com suporte de Interfaces Digitais Musicais (Digital Music Interfaces - DMIs). Propomos a construção de um instrumento expandido ¿ a MetaFlauta ¿ que explora a captura gestual direta da flauta transversal via sensores de movimento e a extração de informações via sinal de áudio aplicados a contextos de criação multimodal. O design interativo abordado pela pesquisa baseou-se num modelo ecológico de mapeamento da interface, de modo que as relações entre os dados de entrada e os parâmetros de geração sonora pudessem de modificar dinamicamente a partir dos padrões de movimento e som detectados. Utilizamos algoritmos de treinamento não supervisionado no reconhecimento de padrões de entrada do sistema, que por sua ver modificavam as funções de mapeamento que associava os dados de entrada aos parâmetros de controle dos sistemas de geração sonoros. A partir da plataforma desenvolvida, foram concebidas duas obras audiovisuais que exploram diferentes propostas de improvisação musical, criando-se assim pressuposto para que a interface se adequasse às situações performáticas apresentadas pelo performer. Nosso intuito é que a aplicação de tal arquitetura propiciasse uma certa plasticidade à interface, capaz de modificar-se em relação às contingências ambientais encontradas. Por fim, apresentamos uma análise das performances realizadas com a MetaFlauta, dando ênfase à caraterização de padrões de recorrência

Abstract: Abstract: This research comprises a theoretical, computational and creative study on interactive systems with support of Musical Digital Interfaces (DMIs). We propose the construction of an augmented instrument ¿ the MetaFlute ¿ that exploits direct gestural capture trough coupled sensors and music information retrieval via audio signal processing applied to multimodal creative contexts. The interactive design was based on an ecological model of interface mapping, in which the relationships between input data and sound generation parameters could dynamically modify in relation to sonic and motion detected patterns. We used clustering and unsupervised machine learning techniques for pattern recognition to modifying the mapping functions which associate the input data to the control parameters of the sound generation systems. We conceived two audiovisual works exploring different proposals of musical improvisation with the MetaFlute, thus creating a presupposition for the interface to suit the performance situations presented by the performer. Our intention is that the application of such architecture provided a certain plasticity to the interface, capable of changing in relation to the environmental contingencies encountered. Finally, we present an analysis of the performances performed with MetaFlauta, emphasizing the characterization of recurrence patterns,\$aMúsica, Teoria, Criação e Prática,\$a14/13166-7,\$aFAPESP

Referência: RIMOLDI, Gabriel. Metaflauta: uma abordagem ecológica aplicada ao design e processos criativos a partir de um instrumento expandido. 2018. 1 recurso online (172 p.). Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Artes, Campinas, SP.

Tags: