Pure data y motion detection and tracking (interfaces de control).

Pure Data, es un software de código abierto desarrollado por Miller Puckette, quien fuera el desarrollador de MAX MSP. Pensado como una versión más ligera y portable de MAX, (PD) Pure Data se convirtió rápidamente en una herramienta sumamente versátil para la síntesis y el procesamiento de señales de audio en tiempo real, así como también el uso, manejo, parametrización y desarrollo de superficies e interfaces de control externo.

En alusión a lo anterior, para este proyecto fue necesario desarrollar un sistema que permitiera integrar diversos lenguajes de programación a fin de crear un puente comunicativo e interpretativo entre software y hardware, y por qué no, entre humano y máquina. Este proceso tuvo varias etapas en las cuales se hallaron soluciones para enrutar y utilizar datos en bruto con fines sonoros. En primera instancia, a través del objeto pix_drum (desarrollado originalmente por el compositor peruano Jaime Oliver), se diseñó un patch que permitiese al intérprete controlar a través de su desplazamiento por el espacio, el inicio de la envolvente de una serie de samples curados con anticipación. (Sonus in motu II, 2020).

En segundo lugar, usando el sistema Kinect ™ para la consola XBOX 360, se diseñó un patch que permitiera enrutar los datos obtenidos por el scanner del Kinect enviados usando el protocolo OSC a través del software NiMate, creado específicamente para lidiar con la transmisión de la señal análoga entre aplicaciones. Al interior del patch se llevó a cabo el enrutamiento de los mensajes OSC para ser usados como valores de entrada para síntesis FM, aditiva y sustractiva. (Sonus in Motu I) Adicionalmente, fue necesario usar un adaptador de corriente para el sistema Kinect, debido a que se necesitaba una fuente de poder alterna para poder conectar y controlar el dispositivo a través de USB.

El uso de software de código abierto permite flexibilidad en términos de presupuesto y personalización, pero supone un reto pues la documentación puede ser en extremo obsoleta y los proyectos que sirven como antecedente y referente pueden haber sido abandonados hace mucho tiempo, dificultades que fueron solventadas, por fortuna.

Sobre las Unidades Semio-Temporales (UST) y la Musicosofía

Las Unidades Semiótico-temporales de François Delalande son categorías que responden a la necesidad de establecer una relación explícita entre un sonido con determinadas características (articulación de la energía, prolongación, densidad sonora) y la posible gestualidad impresa en el sonido debido a la acción que lo produce y que podría corresponderle de manera visual y kinésica. Para el presente proyecto se tradujeron del francés algunas de las unidades que hacían alusión a movimientos y sonidos de maneras medianamente generales, con el fin de crear unas USTs que respondieran a las necesidades del proyecto. Tal es el caso de las piezas número 3 y número 4, en las cuales el material sonoro fue concebido con la intención de propiciar un movimiento determinado, una Unidad Semiotico-temporal que pudiese corresponder a sus características sonoras. Es entonces como la composición se centró en crear el gesto a través del sonido, replanteando la relación de causalidad y la jerarquización que establece al gesto como origen del sonido.

Una lista de las USTs tomadas como referencia puede encontrarse en este sitio web.

La Musicosofía como disciplina independiente e integrada dentro de la Musicoterapia, centra sus esfuerzos y consideraciones en el goce de la experiencia musical, lo cual tiene implicaciones considerablemente relevantes en procesos de rehabilitación de pacientes que han sufrido accidentes o que han visto sus funciones motoras y motrices alteradas debido a una enfermedad neurodegenerativa. La melorrítmia es considerada como una herramienta fundamental para hilvanar el ámbito terapéutico y el ámbito de la escucha consciente.

De manera sucinta, el uso de notación gráfica, a través de neumas que describen el comportamiento del sonido asemejándose a una suerte de tipomorfología en sus etapas iniciales y en un mayor grado de profundidad y especificidad, a las clasificaciones de las Unidades Semio-Temporales. Su interpretación y su estrecha relación con la dimensión kinestésica y corporal probaron ser de especial importancia en el desarrollo de estrategias de comunicación entre las distintas disciplinas que integran el proyecto, a saber, la música y las artes escénicas y visuales, y su manejo de la corporalidad.

Representación melorrítmica de un coral de Bach.

Representación del movimiento precedente a la clasificación de USTs, después de la escucha de una pieza de Debussy.

Sistemas de control interactivos

En el ámbito del Arte Sonoro y la creación multimedial mixta, los sistemas de control interactivos se constituyen como una alternativa a los medios tradicionales para desencadenar sucesos, generar eventos, disparar secuencias y en un todo, establecer la comunicación entre el humano y la máquina. Al dotar dicha comunicación de un mayor grado de interactividad en tiempo real, se abre la puerta a un nuevo tipo de expresividad que enfatiza otro tipo de gestualidad, una que involucra al cuerpo como agente de transformación. Recientemente, uno de los caminos más explorados para lograr esta expresividad, es el uso de la tecnología motion tracking para traducir de una manera cada vez más orgánica el movimiento en tiempo real en instrucciones y datos que puedan ser interpretados, almacenados, redireccionados (enrutados) y transformados por un computador o dispositivos digitales. Es entonces necesario contar con herramientas tecnológicas que permitan el desarrollo de nuevas maneras de interacción. Propósito que atañe al presente proyecto, pues si bien el motion tracking no será transversal a la composición de las cinco piezas, sí desempeñará un rol de suma importancia en varias de ellas y posibilitará la ampliación de conceptos y criterios en lo referente al cuerpo y la increíble plasticidad y expresividad que le reviste.