2022年 春学期活動報告 - 脳波を用いた音楽生成・制御 - TAISHIN EMURA

慶應義塾大学 環境情報学部3年 x-Music研究会所属 江村泰真

序論

脳は現在も解明されていない神経系の1つであるが、頭蓋骨を開かずとも脳波を用いて脳解析が可能となった約90年前から多くの知見が積み重ねられている。その多くは医療分野で活用されているが、これを音楽の分野で転用することにより、無意識化で音楽が与える影響を観察・利用することが可能となるのではないかと考えた。

上で記述したように、脳の実態はブラックボックスである。しかし、脳波を利用することによって、そのメカニズムを全て解明することなく、脳への入力に対する出力結果だけを得ることが可能となっている。障害となる脳波の取得難度に関しても、個人で使用可能なデバイスの開発が進むことで解決する可能性が高い。そのため、脳波を用いた音楽生成・制御は以前に増して、個人の音楽体験の向上に繋がる可能性が増加しているのではないだろうか。

以上が、自分が脳波と音楽の融合を目指した動機である。

実践内容

今節は脳というブラックボックスの信号をそのまま使い、音楽と関連付けた利用を目標として3つの装置（パッチ）を作成した。

それぞれの概要について、以下に記載していく。

また、いずれの装置も音楽制作ソフトウェアであるAbleton live, Max for live、そして脳波情報についてはOpneBCIの仮想データを利用している。今回は動作確認を第一目標としていたため仮想データを利用したが、Max for liveのパッチ上ではOSC(Open Sound Controul)を使用したデータの受信方法を採用しているため、実際の脳波情報を取得する際はOSCの利用が可能であればソフト・ハードウェアを問わない設計となっている。

脳波の可聴化装置

初めに着手したのは脳波が波の情報であるという点に注目し、そのまま音波情報に変換する装置の制作だ。

デバイスの構造

2の操作で波形の数値を100倍に変換しているのは、脳波が大凡100Hz程度でそのまま音にすると可聴域から外れる音が大半になってしまうからだ。

手法の問題点

この内、特に3の問題点に着目し次の装置を組んだ。

脳波を利用した音の生成・制御

この装置では脳のフィードバックを利用することを主目的として制作を行なった。具体的には、脳波の周波数ごとの特徴に着目する、というものだ。

例えば、脳波中の8–12Hz程はα波と呼称され、簡単に言えばリラックスしている時に多く検出される波である。逆に13–30Hz程度のβ波と呼称される周波数帯域の波は、活動がアクティブな時に多く検出される。このような周波数ごとの特徴に着目し、今回はプロトタイプとして「脳波取得者のα波を増幅させるような装置」の設計を行なった。

実現方法

フーリエ変換した脳波情報から、先に紹介したα帯域（リラックス時の脳は）とβ帯域（アクティブ時の脳波）の波をそれぞれ取得・加算する。その後、α波とβ波の合計を算出し、合計脳波中のα波の割合を求めることで「リラックス度」を決定する。装置はこのリラックス度を上昇させるように音を変化・制御するものとなっている。

**装置の発展性

**今回はあくまでプロトタイプとしてα波を促進させるような装置を作成したが、促進させたい脳波の種類を変化させて装置を組むことで対象に与える影響を変えることが可能であろう。

例えば、今回の装置でもβ波の割合を促進させるようなものにすれば対象の脳波を活発にさせることが見込めるだろう。

以下の2つの装置はいずれも上記の脳波フィードバック利用方法を用いて作成したものである。

脳波を利用した単音選択装置

この装置は脳波のフィードバックを利用して音を変化させる、というものである。

デバイスの構造

手法の問題点

これらの問題点に対応するために、音を1から生成するのではなくサンプルを選択する、という手法を取ったのが以下の装置である。

脳波を利用したサンプル再生装置

この装置では、Lo-fy-Hip-hopという音楽ジャンルを参考にしたサンプルを用意しておき、脳波のフィードバックを利用しながら再生サンプルを変化させる、という方法を用いた。

デバイスの構造

（Lo-fy-Hip-hopという音楽ジャンル上、著作権的な問題がある可能性からサンプルについては一応割愛させていただく。代わりに、装置の内容を記載する）

Ableton live上の画面。画面下部はMax for liveによって制作した装置であり、左から「脳波情報をOSCで受信する（赤）」「サンプル再生中のα波の値とβ波の値を元に計算を行う（薄ピンク）」「計算結果からリラックス度を判別し、次に再生するサンプルを選ぶための操作を行う（濃ピンク）」という役割を持つ。

Ableton live上の画面。画面下部がMax for liveによって組んだ装置であり、左から「脳波情報をOSCで受け取る」「サンプル再生中のα波とβ波のデータを取得・計算する」「α波の割合を前サンプル再生中のデータと比べ、次に再生するサンプルを決定する」という役割を持つ。

この装置は任意の8つのサンプルをその都度選択できるように組まれているため、今回のように任意のサンプルを選択するDJ機器のように利用することになった。

しかし、同じサンプルの要素を少しづつ変更したものを8つ選択することで、楽曲の要素を聴取者ごとに変えて届ける、といったことも可能だろう。（むしろ、α波の割合の変化を確認するといった意味ではそちらの方が望ましい可能性もある）

以上が、今節に自分が組んだ装置の全容である。

前述の通り、あくまでこれらは「OSCを用いた脳波情報の送信」を前提とした仮組みである。脳波というものを音楽と融合させるためには、現在目に見えて分かる問題点以外にも多くの問題が潜んでいるだろう。

そのため、夏休み・並びに来節はサンプルデータではなく、実際の脳波をリアルタイムで取得しながらどれほど装置がワークするかを確かめるとともに、より洗練された装置の製作を行っていく。