2015年11月23日、大阪大学と大阪音楽大学のジョイント企画によるコンサートが開催された。その名は「境界面上の音楽会―箏と光の競演」。音楽と学術がコラボする実験の場だ。シリーズ7回目とあって、今回も一風変わったコンサートに期待する人たちで、300名の定員は満席に。ほとゼロ取材班も興味しんしんで、豊中キャンパスに向かった。

演奏者の感情にシンクロする光の演出

大阪大学と大阪音楽大学という豊中市内にキャンパスのある2大学が、それぞれの持ち味を生かして地域の文化振興に貢献しようと始まったこの企画。2011年から開催しており、今回の「境界面上」はシリーズ7回目にあたる。音楽の新しい側面を学術とのコラボで生み出していく実験の場でもあり、過去には、テルミンと琴、ロボットと生の音楽などのジョイントも行ったという。

「今年は、大阪音楽大学が創立100周年という節目の年に当たります。華々しい感じを出したいなと、“光”を使った演出を採り入れて何かできないかと考えました」というのは、コンサートを企画した大阪大学コミュニケーションデザイン・センター特任准教授・久保田テツさん。

企画の前半は、大阪音楽大学出身の箏奏者で同大講師でもある片岡リサさんによる筝独奏、後半はそこに同大出身で講師のサックス奏者西本淳さん、ピアノ奏者井手智佳子さんが加わる構成。その全編に光の演出をプログラミングしたのが、大阪大学クリエイティブユニット准教授・伊藤雄一さんだ。

今回の実験的な試みについて話す伊藤雄一先生

「音楽に合わせて光の演出をしたり映像を動かしたり、ということではなく、音楽と光が互いに交流、インタラクションすることをめざしました。タイトルの『境界面上の音楽会』にあるように、音楽とIT、人とIT、和楽器と洋楽器、西洋音楽と日本音楽など、さまざまな境界のあるものがどこまで融合できるか、溶け合えるかがコンサートのテーマです」。

伊藤先生は、人とコンピュータの新しい双方向のやり取り（ユーザーインタフェース）を研究している。今回のコンサートは、曲の盛り上がりにそって感情が盛り上がってくる演奏者の“情報”を拾い、光の演出とシンクロさせようという試み。演奏者が音を生み出す瞬間に何が起こっているのかをコンピュータを使って可視化し、それに光を同調させるというのだ。ライブコンサートの音に二度と同じものはないように、同じ光の動きも二度とはない、その日その時だけの光とのコラボ、といえる。

ではどうやって…？その秘密の1つは椅子に隠されていた

コラボを可能にする2つのデバイス

それでは、演奏者の感情の盛り上がりをコンピュータはどうやって拾うのか。その秘密が、伊藤先生が開発したユニークな2つのデバイスだ。

1つは、「爪デバイス」。箏を弾く三本の指にはめる爪にセンサーを取り付け、爪の動きや爪にかかる圧力を読み取って情報を収集するもので、今回のコンサート用に新たに開発したという。
もう1つは、奏者の座る椅子の座面がセンサーになっている「Sense Chair」。身体の動きの変化の情報を収集するためのデバイスだ。Sense Chairは、伊藤先生の研究ですでに使われているもので、例えば、オフィスで働く人の身体の動きをセンシングして仕事への集中度や眠気などを読み取り、コンピュータが適切な支援やサービスを提供するといった活用法があるそうだ。

世界初！「爪デバイス」。客席からは「ホー」と感嘆の声が

身体の動きを読み取る「Sense Chair」

爪デバイスでは音の動きや強さを拾い、Sense Chairでは、音楽が盛り上がり演奏者の感情が高まってくるにつれ激しくなってくる身体の動きを拾う。そうしたデータに基づき、「曲」とではなく「演奏」とシンクロした光の演出をするという。

「演奏者の感情の盛り上がりを、身体の動きとしてうまく拾うことができるかどうかがカギ。アンサンブルでは三人が互いに影響し合うこともあるでしょう。世界初の試みなので、うまくいけば学会でも発表したい」と伊藤先生の声にも力がこもる。

音楽と光のアートのジャムセッション

音と光のコラボがどんなふうに展開するのか。
コンサートのオープニング「さくら」を例にとると、「さくら、さくら、やよいの空は…」というおなじみのメロディが片岡先生の美しい筝の音色として流れ出す。「生で聴く箏の音は意外に骨太なんだなあ」などと思いつつ、視覚としては演奏する先生の背景に映し出される光の演出が楽しめる。

演奏に合わせ、桜の花が開きそろい、風に揺れ、はらはらと散る

花を咲かせるのも風を起こすのも花が散るのもすべて片岡先生の感情が盛り上がっているから。背景では「身体の動きが最大値になったらこの程度の花びらを散らす」など、プログラミングされた映像が次々と展開していく。

それを舞台袖で操作しているのが両大学の学生たちだ。「さくら」でいえば、木に花が咲く、風に舞う、など、1曲の中で曲調が変わる場面に応じて、用意した2から3の映像パターンを転換していた。演奏者の変化に忠実な映像だからか、演奏の世界を邪魔せず、イメージを増幅させて「さくら」の世界の一つの可能性を見せてくれる気がする。

データ収集と映像のパターン変換を担当する学生たち

「さくら」以外の曲には抽象的なパターンが使われており、幾何学模様が動いたり、光が激しく明滅したり、ドットが増殖したり。音楽を聴いてイメージを出し合い、「この曲は一音一音の音の流れを目に見えるように表現してみよう」など一曲一曲丁寧に制作。いかに美しい作品にするか、映像メディアデザインの専門家である久保田先生のアドバイスを得ながら、2、3ヶ月かけて準備をしたという。

伊藤先生いわく「視覚と聴覚は全くの別物なので、曲のイメージを光の演出としてどう置き換えていくかという点も、境界があるものを溶け合わせるという挑戦の一つ」なのだという。まさに光のアートと音楽とのジャムセッションという感じがした。

境界面で溶け合い不思議世界が立ち現れる

休憩をはさんで後半には、サックス、ピアノが加わったアンサンブルに、箏の弾き歌いなど珍しい演目も含め楽しむことができた。バレエ曲「剣の舞」を箏、サックス、ピアノのアンサンブルで、筝と尺八の二重奏曲「春の海」を筝とサックスで演奏するなど、和と洋の融合はとても新鮮だ。

音と光のコラボの方も、たとえば「剣の舞」の疾走感は光のアートでもいかんなく表現されていた。尖った感じのする音の連打、畳みかけてくるリズムの持つ迫力。箏の音色でさらに増幅された東洋的な曲調の魅力が、光のアートによって一つのイメージに昇華していた。

「剣の舞」の1シーン

今まで聴いたことのなかったこのアンサンブルによる剣の舞が、今後は筆者の中で、「剣の舞といえばコレ」になりそうな予感。そこに及ぼした光のアートの影響は大きいのではないか、という気がする。

また、Sense Chairで拾っている演奏者の身体の動きのデータを、伊藤先生が解説するという学会風コーナーも。アンサンブルでは、同調して身体の動きが似てくるという傾向は一目瞭然。さらに、独奏よりアンサンブルの時の方がよく動いているとか、誰が一番よく動くかとか、本人も知らなかった演奏中の体動が明らかに。データを取られる緊張があるので、気にならない超薄型のデバイスにしてもらわないと、という演奏者からの注文もあった。

直前の演奏のデータが可視化された

無意識の情報が解明されて、さらに面白いことに活用される可能性は無限な気がする。刺激的であっという間の2時間。筆者にとっては久々の生の音楽で、その意味のインタフェースとしても抜群だった。