2023年 秋学期活動報告 - Ryotaro Hoshino

研究協力、課外活動、個人制作について、休学中の1年間も含め記述します。

環境情報学部4年 星野良太朗

[研究協力 FMs Sonification]

22年度秋に、東京都立大学健康福祉学部の儀間裕貴准教授の研究協力として、生後2~5ヶ月ごろの乳児が示す「頸部や体幹、四肢が速度を変化させながら、あらゆる方向で円を動く運動」であるFidgety Movements(FMs)の可聴化に取り組んだ。

FMsの運動の速度や振幅が誇張される、もしくはFMsが観測されないなどの質的な異常性があると、発達障害との関連が報告されている。四肢運動座標データの平均曲率が、FMsの運動特徴をとらえる有効な指標であるという研究結果があり、座標データをもとに運動を可聴化することで、FMsの迅速な探知や、ゆくゆくは乳児へのFMs運動のフィードバックにつながるのではないかという問題意識があった。

私は、乳児の四肢のxyz軸の加速度と、それをもとに計算した平均曲率のデータの可聴化を行った。音声については、病院等でもあまり周囲を刺激しない、アンビエントな曲調を心掛けた。加速度に関しては、四肢それぞれに持続音を割り当て、加速度が上下するとその持続音の音量が合わせて上下するように設計した。四肢の運動量が持続音の音量変化と関連しているため、四肢の運動が激しくなると音量が上昇し、四肢の運動が止まると持続音が聞こえなくなる。曲率に関しては、FMsの質と関連する重要な値であるため、目立つように単発の音がはっきり聞こえるように鳴るよう設計した。ベッドメリーに発想を受け、四肢それぞれの曲率が一定の値を超えると、ベルの音が鳴るように設計した。ベルの音がなる閾値についてはFMsが正常な乳児と異常な乳児の比較をして値を決めたが、正常な乳児の場合は、ある程度頻繁に閾値を超えるためベルも頻繁になるが、異常な乳児の場合は、ほぼ鳴らず、聞いて分かる変化を生み出すことができた。

データを音にはっきりと反映させつつ、ヒーリングミュージックのような耳障りのいい音を作れたことは収穫だった。一方、あくまで収録済みのデータのストリーミングを可聴化したにせず、リアルタイムでの可聴化や、実際に病院等で使えるような認知心理的なサウンド選択には至っておらず、そのあたりに課題もある。私自身研究協力は初めてだったが、普段自分ではあまりやってこなかった社会的意義のある研究に少しでも携わらせていただく大変貴重な機会だった。

参考：https://www.jstage.jst.go.jp/article/rigaku/44/2/44_11243/_article/-char/ja/

[課外活動 演劇の音響プラン・オペレーション]

2023年は舞台での音響プラン・オペレーションを述べ5回ほど行った。現場でのスピーカー配置等のプランやBGMの選定や既存音源の編集などがこれまでの仕事としては多かったが、Maxパッチを使ったフィードバックディレイを用いた声の演出や、宮城県石巻市でフィールドレコーディングした波の音を用いたBGM作成など、演出面に影響を与えるような音周りでの表現に携われたことは収穫だった。また、劇場も単純なプロセニアム型に代表されるような舞台と客席がはっきり分かれたものではなく、三面舞台やフリースペース、工場跡など特殊な場所や客席配置が多かったため、定位などを重視して都度スピーカーの配置を調整する経験を積むことができたのもよかった。

携わった舞台の写真

[個人制作 Jareoto]

個人制作では、従来の効果音のシナリオへの従属性に注目し、シナリオをもとに効果音をつけるのではなく、予め効果音を完全に恣意的ではない形で配列した上で、その連続した効果音の「連なり」から情景や物語的な展開を発想し効果音で展開を紡いでいくエクササイズであるJareotoの制作に取り組んだ。

普段の舞台等の音響プランナーなどは台本や演出等をもとに効果音を当てはめていくが、そうではなく、「効果音」から物語や情景を思い浮かべるというように、順序を逆転させることが意義としてあった。

効果音の並びを完全に恣意的なものでなくすためにランダム性を取り入れたが、何も設計なくランダムにしてしまうとどうやっても発想としてつながりのない音の組み合わせが生まれてしまうので、意外な展開ととらえられるレベルのものはありつつも、ランダムに並べてもつながりが生まれるよう効果音を限定したり、効果音の配列の手法を考案したりすることに力を入れた。結果的にお題とそれをもとにした音源を定め、さらに効果音を主人格が発する音、周囲の人々やもの等が発する環境音、具体音ではないムードなどを表す心情音に分け、それぞれ枠を分けることで、重複した音が鳴らず、環境や心情から主人格の行動を想像するような設計とした。

音の連想をするシステムは作ったものの、UI面やロジック面が複雑なところが多く、整理しきれなかったところに課題が残る。

[総括]

演劇と音という、関係が深そうに思えて複雑な2者と対峙しようとした研究会生活だったが、アウトプットの内容の発想が難しく苦戦した。自分の性格的に、0から作り上げるよりもマネジメント的な、よりクオリティを上げて行ったり、プロジェクトを進行する方が好きなのではと思うことも多く、時間との兼ね合いもあり、モチベーションの維持にも苦しんだ。そんな中でもいくつかの成果物を作りあげてきたので、改めて振り返ってその点と点を結んで立ち返って、かみしめるための布石の一つとして、この報告を残そうと思う。