Sobre Proyecto Carrusel

 

Lo virtual y lo real nos plantea la existencia del limite de lo tangible, de aquello que nuestro cuerpo puede sentir en el acto de tocar, al mismo tiempo que da lugar a nuevas posibilidades conjugadas en el dominio del código y la percepción pseudocyborg del dispositivo como extensión del cuerpo y la mente. Una ventana por la que miramos porciones del mundo que conocemos al mismo tiempo que damos realidad a universos paralelos, espacios emergentes del acto humano en la dimensión del dato.

 

Es en este contexto que Proyecto Carrusel genera en tiempo real un paisaje sonoro y visual inmersivo y multiplataforma que permite al espectador/usuario ser parte de la obra y al mismo tiempo convertirse en partícipe y colaborador en la creación de ese territorio virtual y de los elementos que lo componen.

 

Una gran sala oscura de horizontes difusos y sonidos oníricos que se realimentan constantemente y poseen sus propias órbitas de movimiento y transformación. Una galería de pantallas circulares como paredes transparentes audioreactivas y generativas que despliegan color y abstracciones. El concepto cuántico de “efecto túnel” que dobla la realidad y permite al usuario atravesar las paredes, corriendo los límites del mundo natural a instancias de los sentidos y dando lugar a nuevas realidades.

 

 

Antecedentes

 

Durante 2019/20 gracias al apoyo del Fondo Nacional de las Artes (FNA-Argentina) pude llevar adelante la composición y realización de “Carrusel-Trilogía Sonora”, obra planteada como performance inmersiva para sonido 3D en tiempo real que por motivos de la pandemia de Covid19 y el consecuente  aislamiento debió ser replantada en su formato de presentación a una composición binaural (espacialización para auriculares). Esta situación sumada a investigaciones sobre sonido inmersivo que vengo desarrollando hace algunos años en diversos ámbitos académicos y no, llevó a plantaerme la posibilidad de crear un espacio virtual donde presentar obras de estas características por fuera de los espacios convencionales.

 

La realización de la beca 2019 derivó así en una investigación que contempla dimensiones tan diversas como la percepción auditiva y visual, las plataformas y espacios virtuales asincrónicos, la realidad virtual (VR) y el espacio real, el artista y el programador; conjugando arte, código, programación y problemáticas socioculturales.

 

Así fue que convoqué a un equipo de artistas, programadores y arquitectos que desde comienzos de 2020 brindan sus conocimientos y colaboraciones en post del desarrollo de la obra.

 

Al día de hoy se ha creado un prototipo de plataforma basada en WebGL y librerías para la creación de escenas interactivas y la gestión de audio 3D, y una serie de interfaces de programación simple para que el artista con bajo conocimiento en programación dura pueda acceder a experimentar y componer sobre este tipo de plataformas complejas y multidispositivo.

 

Así mismo veo posible la ampliación de “Proyecto Carrusel” habilitando a que otres artistes utilicen el espacio virtual multiplataforma creado para la presentación de obras propias sonoras en línea para realidad virtual, móviles y computadoras como nuevos horizontes expresivos y espacios de difusión por fuera de las salas de concierto y exposición convencionales.

 

La obra/plataforma de desarrollo pretende investigar y ahondar en espacios virtuales para la realización de arte sonorovisual digital.

 

Nota: de investigación: en el transcurso de la investigación desarrollo del proyecto detectamos una falla del Webaudio Api y la referimos a Chrome siendo esta aceptada. La falla es notoria principalmente a frecuencias por debajo de los 300 hz y es un clípeo relacionado a las curvas de trasnferencias de los oídos (HRTF). Recientemente fuimos comunicados de que el error en WebAudio se estaba trabando de solucionar para nuevas actualizaciones.

​

Más detalle en: https://stackoverflow.com/questions/68462726/webaudio-panner-crackling-sound-when-position-is-changed?noredirect=1#comment121839267_68462726

 

​

Aspectos técnicos

​

Sonido 3D/binaural

 

Basadas en principios de percepción sonora y espacialización (IID,ITD, HRTF, patrones de radiación) las fuentes son ubicadas dentro del espacio tridimensional según parámetros de localización angular y directividad en relación a los planos esféricos del usuario (gráfico 1 y 2. Basso 2009). Las mismas poseen o no sus propios movimientos y órbitas, que a su vez son modificadas por las acciones del usuario y en relación a parámetros de aleatoriedad y generatividad a partir de shaders.

 

​

​

​

​

​

​

​

​

​

​

​

​

Gráfico 1 Planos esféricos

 

​

​

​

​

​

​

​

​

​

​

​

 

Gráfico 2 Diferencia angular interaural

 

 

 

Como desprendimiento de la trilogía sonora Carrusel casi la totalidad de los sonidos fueron generados con cajas musicales intervenidas y la idea de circularidad, constelación, centro y periferia.

 

 

 

​

​

​

​

​

​

​

​

​

​

Gráfico 3 Ubicación de fuentes sonoras en prototipo versión 1.0

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

 

 

 

​

​

​

​

Gráfico 4 Programación fuentes de audio en prototipo versión 2.0

 

 

 

​

​

​

​

​

​

​

​

​

 

​

​

​

​

​

​

​

​

 

Gráfico 5 Programación fuentes de audio y orbitas simples en prototipo versión 2.1

 

 

 

 

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

 

Gráfico 6 Programación fuentes de audio con control de movimiento

por escenas 3D en prototipo versión 3.0

 

 

 

 

​

​

​

​

​

​

​

​

​

Gráfico 7  Directividad de la fuente omnidireccional a hipercardioide según Di Liscia 2009

 

 

 

 

​

​

​

​

​

​

 

Gráfico 8  Simulación de  directividad de la fuente omnidireccional a hipercardioide en prototipo

 

 

 

​

​

Gráfico 9  Ubicación en prototipo de fuentes sonoras teniendo en cuenta su directividad y patrón de radiación versión 1.0

 

 

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

Gráfico 10  Ubicación en prototipo de fuentes sonoras teniendo

en cuenta su directividad y patrón de radiación versión 2.0

 

 

 

​

​

​

​

​

​

​

​

​

​

​

​

​

​

 

 

Gráfico 11  Ubicación en prototipo de fuentes sonoras

teniendo en cuenta su directividad y patrón de radiación versión 2.0

 

 

​

​

​

​

​

​

​

​

​

​

​

​

​

​

 

 

 

Gráfico 12  Ubicación en prototipo de fuentes sonoras teniendo

en cuenta su directividad y patrón de radiación versión 3.0

 

 

​

 Lo visual

 

Modelado por diseño arquitectónico 3D y transcodificado en coordenadas se distribuyen tres bandas periféricas de pantallas a escala 1/5 del usuario. Sobre las mismas se fragmentan franjas laterales continuas en gradientes de colores que poseen movimientos audioreactivos creando efectos sinestésicos correlativos entre imagen y sonido.

 

 

 

​

​

​

​

​

​

​

​

​

​

​

​

 

Gráfico 13 Primer bosquejo de pantallas

 

 

 

​

​

​

​

​

​

​

​

​

​

​

​

​

Gráfico 14 Diseñando en equipo el espacio virtual

 

 

 

​

​

​

​

​

​

​

​

​

​

​

​

 

​

​

Gráfico 15  Prototipo visual en capas traslúcidas

 

 

Las pantallas interrumpen el paso del espectador/actor, se desvanecen, el cuerpo intangible del usuario las atraviesa revelando espacios contiguos que lo rodean mientras las superficies se transforman y cambian sus planos.

 

 

 

​

​

​

​

​

​

​

​

​

​

​

​

 

Gráfico 16 Pantalla en versión 3.0

​

​

 

De las programaciones

 

La aplicación web funciona sobre cualquier navegador, esta programada sobre WebGL, Three.js, Javascript, HTML y CSS.

 

La misma consiste en una escena 3D interactiva con audio espacializado.

Funciona en diversos sistemas operativos como en diferentes tipos de dispositivos (PCs, tablets o celulares)

 

El usuario puede navegar utilizando la orientación del teléfono celular y un joystick virtual o puede hacerlo utilizando el mouse y el teclado, en computadoras.

 

La aplicación utiliza API WebAudio para gestionar las diferentes fuentes de sonido en tiempo real, para posicionar fuentes sonoras en el espacio 3D, simulando un decaimiento del volumen en función de la distancia. Las fuentes se desplazan trazando órbitas y movimientos simples y complejos, aceleraciones y detenimientos.

Los filtros de espacialización modelados con WebAudio, calculan reflexiones en respuesta a las diferencias interaurales de tiempo (ITD) y distancia (IID), a las funciones de tranferencia relativas a la cabeza (HRTF) y a la directividad de la fuente y la cualidad del entorno sonoro.

 

 

 

 

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

 

Gráfico 17 Programación de lectura de archivo en tiempos definidos de disparo

 

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

 

Gráfico 18 Captura de tiempos de lectura programado y tiempos reales de disparo

 

 

La escena visual consiste de múltiples superficies organizadas en tres cilindros traslucidos rotan aleatoriamente alrededor de un punto central, donde se proyectan estructuras abstractas en movimiento, creando así galerías circulares. Las proyecciones son generadas mediante shaders que reaccionan a un analizador de espectro sonoro de 16 bandas de frecuencia ejecutado sobre la pista de sonido maestra. 

 

 

​

​

​

​

​

​

​

​

​

​

Gráfico 19  Shader en interfaz programador

 

 

Nota: en la ultima actualización (versión 3.0) trabajamos en el diversos aspectos relacionados a la carga y lectura de archivos de audio, y con la primer etapa de adaptación para realidad virtual.

​

 

​