mi meets Copenhagen

Jérôme et James ont récemment eu l’occasion de rencontrer et travailler avec les chercheurs de l’université d’Aalborg à Copenhague. Pendant une semaine, passée essentiellement au sein du Multisensory Experience Lab, nous avons échangé sur la modélisation physique, sur l’interaction dans des environnement virtuels, présenté nos travaux et outils, expérimenté des choses étranges (telles que la core 4D de Silvin!)... et avons même fait une petite apparition lors de l'événement “SMC by Night”.

Jérôme and James recently had the opportunity to meet, work (and drink beers) with the researchers from the Aalborg University in Copenhagen. During a week, spent mostly within the Multisensory Experience Lab, we exchanged about physical modelling, creative interaction in VR environments, presented our mass-interaction tools, experimented some resolutely weird stuff (e.g. Silvin’s infamous 4D string)… and even put in a small appearance in an “SMC by Night” performance !

Pour l’occasion, nous avons décidé de tester les appareils Sensel Morph disponibles au laboratoire pour piloter des modèles physiques, à destination de production sonore ou de rendus visuels. Après une après midi de codage en dernière minute et une performance très expérimentale, nous avons pu documenter ce travail avec quelques vidéos, présentées ci-dessous:

For the occasion we decided to test the multitouch Sensel Morph devices that were available in the lab to drive sound-generating or visual mass-interaction physical models (resulting in some very last-minute patching and coding). We documented the process with a couple of videos, shown below:

James does visual stuff (and it's a first)

Dans ce modèle, une surface de propagation de 37000 modules (tournant sous Processing) est excitée par les points de pression appliqués sur le Morph, en envoyant les informations de zone de contact et force par OSC.

In this model, a propagation mesh, composed of XXX 3D oscillators and springs and running in Processing, is excited by the pressure applied on the Morph device in any number of points. The multitouch data is sent to the physical model over OSC.

Les propriétés physiques de la surface peuvent être modifiées en temps réel:

  • Raideur des oscillateurs (vitesse de retour à leur position d’équilibre)
  • Viscosité des oscillateurs (amortissement lors du mouvement de rappel)
  • Raideur des ressorts du maillage (vitesse de propagation aux voisins)
  • Viscosité des ressorts du maillage (dissipation d’énergie au cours de la propagation)

The physical properties of the model can be changed in real time:

  • Oscillators stiffness (how fast each one returns to its equilibrium)
  • Oscillators damping (regime when returning to equilibrium : under or over-damped, etc.)
  • Mesh springs stiffness (how fast energy propagates to neighboring elements)
  • Mesh springs damping (how fast energy dissipates during propagation)

Les paramètres sont contrôlés en temps réel via un contrôleur MIDI, permettant de passer d’ondulations et de vagues à des comportements de gravure “plastique”, ainsi que tout état intermédiaire. La visualisation peut être configurée de sorte à ne montrer que le mouvement (i.e. l’élongation des ressorts) afin d’obtenir un rendu plus abstrait et dynamique.

Using a MIDI controller to alter the parameters in real time, we can go from wave-like ripples, to “plastic” engraving effects, or anything in between. The visualisation can also be configured so as to only show motion (i.e. the elongation of the mesh springs), for a more dynamic/abstract rendering.

Jérôme plays physical models (and it's a first)

Cette seconde expérimentation assemble sept petits modèles de poutre distincts (pour un total de 740 modules), simulés dans l’environnement Processing. Chacun repose sur le même concept élémentaire et est plus ou moins altéré sur ses propriétés géométriques ou au niveau de ses paramètres. Ces variétés de petites différences conduisent à une palette sonore déjà relativement riche. Ces petites poutres sont contrôlées grâce à l’interface Morph (elle-même gérée via un sketch Processing indépendant lié via OSC), et grâce au trackpad de l’ordinateur portable.

This second experiment is composed of seven distinct mini-models of beams (for a total of 740 modules) running in Processing. Each one of them differs by its geometry and parameters and, while they all rely on the very same elementary concept, their differences open to a large variety of sounds. These beams are controlled via the Morph device (running in an another Processing sketch and mapped through OSC) and via the laptop trackpad.

Le mapping de contrôle entre ces interfaces et le modèle est le suivant :

  • La surface du Morph est divisée en sept colonnes, chacune étant dédiée à une petite poutre virtuelle
  • La pression appliquée sur le Morph est directement liée à la quantité d'énergie apportée de façon répétitive à une poutre
  • La position des doigts sur l’axe vertical du Morph altère simultanément la viscosité interne des poutres (ce qui conduit d’ailleurs à d'intéressantes transitions entre sons boisés et métalliques), et la position où est appliquée l’excitation.
  • Le trackpad de l’ordinateur contrôle pour sa part une masse libre, capable d'interagir, de plier, d’assourdir ou exciter chacune des 7 poutres.

Some of the mapping strategies are :

  • The Morph device surface is virtually separated into seven columns, each one dedicated to one virtual beam model
  • The pressure applied on the Morph is directly mapped to the amount of energy repetitively “pulsed” into a beam
  • The vertical position of fingers on the Morph controls both the internal viscosities of the beams (making these sweet transitions between wooden sounds and metallic ones), and the position where they are excited
  • The laptop trackpad controls a free mass able to interact, bend, mute, excite, each one of the beams

Le traitement du son est effectué a posteriori dans Ableton Live.

The post processing is done using Ableton Live.