Back to Works

Sonic Rhopalia

2024 / NIME (New Interface for Music Expression) 2024, Utrecht, Netherland

Sonic Rophalia

クラゲは最もシンプルで完結した環世界を持った生命体である。彼らの美しい生動は、洗練された階層的な神経信号から生み出される。機能的なシンプルさを持つ構造から生まれる拍動という振る舞いは、固有のリズムを刻み続け、私たちに未知な生命感を感じさせる。

本作品はクラゲの拍動から生み出されるサウンドインスタレーションである。TouchDesignerを使用し、WebCameraからクラゲをリアルタイムで動画入力、画像解析によって拍動の検出を行う。画像解析ではオープンソースライブラリであるopenCVを使用し、カラーチャンネル分類による面積計算によって拍動の検出を行っている。

拍動を検知すると、TouchDesignerからMaxにOSCを通じて送信し、音楽生成システムのトリガーとなる。拍動に合わせて音が作られ、クラゲ同士が同時に拍動するシンクによって和音が生成される。そうした音の重なり、回数的な重なりによって、本作品は音楽的な展開を作りだす。

クラゲはRhopaliaと呼ばれる感覚器官から外部刺激を得ることにより、拍動という生存行動を行う。そして拍動は新たな水流を起こし、その波は再び外部刺激として次のクラゲの拍動を引き起こすトリガーとなる。こうした目に見えることのない相互作用は時間をかけ、6億年という種の存続として表象する。

本作品もまた、クラゲの拍動を音楽生成のためのインターフェースとして扱うことで、クラゲの起こした拍動の相互的な作用によって空間に音楽的な展開が生まれる。

※クラゲのご提供・管理協力:すみだ水族館

This work was supported by JST [Moonshot R&D Program] Grant Number JPMJMS2215-G3-7 and the Ishii-Ishibashi Fund (The Keio University Grant for Early Career Researchers).

©︎ Keio University SFC x-Music Lab (Shinya Fujii Lab)

発表・展示歴

  • 2024: NIME (New Interface for Music Expression) 2024, Utrecht, Netherland. link
  • 2024: ISCA (International Students Creative Award) 2024, Osaka. 2nd Prize
  • 2024: ADAA (アジアデジタル大賞FUKUOKA) 2024, 入賞
  • 2023: ZOU-NO-HANA FUTURESCAPE PROJECT 2023, Yokohama Minatomirai. 展示.
Credits
Kenshiro Taira
Sogen Handa
Nimisha Anand
Risako Shibata
Len Matsuda
Victoria Maki
Ryotaro Hoshino
Kenta Tanaka
Ryoho Kobayashi
Yuta Uozumi
Shinya Fujii
Special Thanks: SUMIDA AQUARIUM, Sho Toshino (Senior Researcher at the Kuroshio Biological Research Foundation)