MUSICA Y RAMOS GENERALES
PROYECTO CARRUSEL
2019/2023
Investigación y obra
en progreso
Idea y dirección: Esteban Gonzalez
Programaciones: Federico Marino
Diseño de pantallas: Fernando Molina
Proyecto Carrusel es a la vez una obra de arte inmersiva, en imagen y sonido 3D (espacializacieon sonora), y a su vez una app multiplataforma de desarrollo y composición audiovisual para uso en móvil, computadora y realidad virtual (en desarrollo).
Nació durante el aislamiento por Covid19 como obra artística y contó con el apoyo de una beca del FNA, continuando su desarrollo de manera independiente. Al tiempo decidí como director del proyecto profundizar el desarrollo de la programación del espacio virtual como plataforma abierta para que otres artistes presenten sus obras virtualmente, ósea crear un auditorio virtual inversivo de cógido abierto.
Programada en base a WebGL. La misma contempla una versión “Audición” de tiempo acotado (presentación de obra) y “Usuario” versión con interfaz de usuario para mayor accesibilidad.
Nota: los gráficos utilizados son a mera ilustración y fueron extraídos de bibliografía autorizada, principalmente de "Música y espacio" (Basso/Di Liscia), Universidad de Quilmes.
ALCANCES DEL PROYECTO
El camino necesario para la realización de la obra comprendió la creación de una aplicación multiplataforma web basada en WebGL de fácil acceso desde todo dispositivo conectado a internet, y la realización de pequeñas interfaces para el proceso creativo visual y sonoro y la localización de fuentes. Llegué a esta investigación y proyecto movido por la problemática de aislamiento que dio la pandemia de Covid19 y que nos planteó reformular como artistas la dependencia de los espacios de exposición de nuestro arte y las relaciones de poder en ella implícitas y la falta de acceso físico a los mismos. Esto no solo me pasó a mí como ser/artista sino que es la realidad en la que gran parte del mundo del arte se vió inmiscuido durante la pandemia y es también una problemática permanente de las producciones independientes no acceder fluidamente a estapacios de audio espacializado complejo. Este camino recorrido por iniciativa propia y como meta creativa y expansión de una búsqueda puede colaborar con otres artistas, universidades e instituciones dedicadas brindándoles a futuro un espacio virtual para la realización de obras inmersivas con sonido e imagen 3D.
Sobre Proyecto Carrusel
Lo virtual y lo real nos plantea la existencia del limite de lo tangible, de aquello que nuestro cuerpo puede sentir en el acto de tocar, al mismo tiempo que da lugar a nuevas posibilidades conjugadas en el dominio del código y la percepción pseudocyborg del dispositivo como extensión del cuerpo y la mente. Una ventana por la que miramos porciones del mundo que conocemos al mismo tiempo que damos realidad a universos paralelos, espacios emergentes del acto humano en la dimensión del dato.
Es en este contexto que Proyecto Carrusel genera en tiempo real un paisaje sonoro y visual inmersivo y multiplataforma que permite al espectador/usuario ser parte de la obra y al mismo tiempo convertirse en partícipe y colaborador en la creación de ese territorio virtual y de los elementos que lo componen.
Una gran sala oscura de horizontes difusos y sonidos oníricos que se realimentan constantemente y poseen sus propias órbitas de movimiento y transformación. Una galería de pantallas circulares como paredes transparentes audioreactivas y generativas que despliegan color y abstracciones. El concepto cuántico de “efecto túnel” que dobla la realidad y permite al usuario atravesar las paredes, corriendo los límites del mundo natural a instancias de los sentidos y dando lugar a nuevas realidades.
Antecedentes
Durante 2019/20 gracias al apoyo del Fondo Nacional de las Artes (FNA-Argentina) pude llevar adelante la composición y realización de “Carrusel-Trilogía Sonora”, obra planteada como performance inmersiva para sonido 3D en tiempo real que por motivos de la pandemia de Covid19 y el consecuente aislamiento debió ser replantada en su formato de presentación a una composición binaural (espacialización para auriculares). Esta situación sumada a investigaciones sobre sonido inmersivo que vengo desarrollando hace algunos años en diversos ámbitos académicos y no, llevó a plantaerme la posibilidad de crear un espacio virtual donde presentar obras de estas características por fuera de los espacios convencionales.
La realización de la beca 2019 derivó así en una investigación que contempla dimensiones tan diversas como la percepción auditiva y visual, las plataformas y espacios virtuales asincrónicos, la realidad virtual (VR) y el espacio real, el artista y el programador; conjugando arte, código, programación y problemáticas socioculturales.
Así fue que convoqué a un equipo de artistas, programadores y arquitectos que desde comienzos de 2020 brindan sus conocimientos y colaboraciones en post del desarrollo de la obra.
Al día de hoy se ha creado un prototipo de plataforma basada en WebGL y librerías para la creación de escenas interactivas y la gestión de audio 3D, y una serie de interfaces de programación simple para que el artista con bajo conocimiento en programación dura pueda acceder a experimentar y componer sobre este tipo de plataformas complejas y multidispositivo.
Así mismo veo posible la ampliación de “Proyecto Carrusel” habilitando a que otres artistes utilicen el espacio virtual multiplataforma creado para la presentación de obras propias sonoras en línea para realidad virtual, móviles y computadoras como nuevos horizontes expresivos y espacios de difusión por fuera de las salas de concierto y exposición convencionales.
La obra/plataforma de desarrollo pretende investigar y ahondar en espacios virtuales para la realización de arte sonorovisual digital.
Nota: de investigación: en el transcurso de la investigación desarrollo del proyecto detectamos una falla del Webaudio Api y la referimos a Chrome siendo esta aceptada. La falla es notoria principalmente a frecuencias por debajo de los 300 hz y es un clípeo relacionado a las curvas de trasnferencias de los oídos (HRTF). Recientemente fuimos comunicados de que el error en WebAudio se estaba trabando de solucionar para nuevas actualizaciones.
Más detalle en: https://stackoverflow.com/questions/68462726/webaudio-panner-crackling-sound-when-position-is-changed?noredirect=1#comment121839267_68462726
Aspectos técnicos
Sonido 3D/binaural
Basadas en principios de percepción sonora y espacialización (IID,ITD, HRTF, patrones de radiación) las fuentes son ubicadas dentro del espacio tridimensional según parámetros de localización angular y directividad en relación a los planos esféricos del usuario (gráfico 1 y 2. Basso 2009). Las mismas poseen o no sus propios movimientos y órbitas, que a su vez son modificadas por las acciones del usuario y en relación a parámetros de aleatoriedad y generatividad a partir de shaders.
Gráfico 1 Planos esféricos
Gráfico 2 Diferencia angular interaural
Como desprendimiento de la trilogía sonora Carrusel casi la totalidad de los sonidos fueron generados con cajas musicales intervenidas y la idea de circularidad, constelación, centro y periferia.
Gráfico 3 Ubicación de fuentes sonoras en prototipo versión 1.0
Gráfico 4 Programación fuentes de audio en prototipo versión 2.0
Gráfico 5 Programación fuentes de audio y orbitas simples en prototipo versión 2.1
Gráfico 6 Programación fuentes de audio con control de movimiento
por escenas 3D en prototipo versión 3.0
Gráfico 7 Directividad de la fuente omnidireccional a hipercardioide según Di Liscia 2009
Gráfico 8 Simulación de directividad de la fuente omnidireccional a hipercardioide en prototipo
Gráfico 9 Ubicación en prototipo de fuentes sonoras teniendo en cuenta su directividad y patrón de radiación versión 1.0
Gráfico 10 Ubicación en prototipo de fuentes sonoras teniendo
en cuenta su directividad y patrón de radiación versión 2.0
Gráfico 11 Ubicación en prototipo de fuentes sonoras
teniendo en cuenta su directividad y patrón de radiación versión 2.0
Gráfico 12 Ubicación en prototipo de fuentes sonoras teniendo
en cuenta su directividad y patrón de radiación versión 3.0
Lo visual
Modelado por diseño arquitectónico 3D y transcodificado en coordenadas se distribuyen tres bandas periféricas de pantallas a escala 1/5 del usuario. Sobre las mismas se fragmentan franjas laterales continuas en gradientes de colores que poseen movimientos audioreactivos creando efectos sinestésicos correlativos entre imagen y sonido.
Gráfico 13 Primer bosquejo de pantallas
Gráfico 14 Diseñando en equipo el espacio virtual
Gráfico 15 Prototipo visual en capas traslúcidas
Las pantallas interrumpen el paso del espectador/actor, se desvanecen, el cuerpo intangible del usuario las atraviesa revelando espacios contiguos que lo rodean mientras las superficies se transforman y cambian sus planos.
Gráfico 16 Pantalla en versión 3.0
De las programaciones
La aplicación web funciona sobre cualquier navegador, esta programada sobre WebGL, Three.js, Javascript, HTML y CSS.
La misma consiste en una escena 3D interactiva con audio espacializado.
Funciona en diversos sistemas operativos como en diferentes tipos de dispositivos (PCs, tablets o celulares)
El usuario puede navegar utilizando la orientación del teléfono celular y un joystick virtual o puede hacerlo utilizando el mouse y el teclado, en computadoras.
La aplicación utiliza API WebAudio para gestionar las diferentes fuentes de sonido en tiempo real, para posicionar fuentes sonoras en el espacio 3D, simulando un decaimiento del volumen en función de la distancia. Las fuentes se desplazan trazando órbitas y movimientos simples y complejos, aceleraciones y detenimientos.
Los filtros de espacialización modelados con WebAudio, calculan reflexiones en respuesta a las diferencias interaurales de tiempo (ITD) y distancia (IID), a las funciones de tranferencia relativas a la cabeza (HRTF) y a la directividad de la fuente y la cualidad del entorno sonoro.
Gráfico 17 Programación de lectura de archivo en tiempos definidos de disparo
Gráfico 18 Captura de tiempos de lectura programado y tiempos reales de disparo
La escena visual consiste de múltiples superficies organizadas en tres cilindros traslucidos rotan aleatoriamente alrededor de un punto central, donde se proyectan estructuras abstractas en movimiento, creando así galerías circulares. Las proyecciones son generadas mediante shaders que reaccionan a un analizador de espectro sonoro de 16 bandas de frecuencia ejecutado sobre la pista de sonido maestra.
Gráfico 19 Shader en interfaz programador
Nota: en la ultima actualización (versión 3.0) trabajamos en el diversos aspectos relacionados a la carga y lectura de archivos de audio, y con la primer etapa de adaptación para realidad virtual.