Technology
©T.Tairadate/MUZA
音楽の鑑賞体験は、コンサートホールでの生演奏か、あるいは録音された音源を再生するかの二つが主流でした。しかし、テクノロジーが進化したいま、音楽の「体験」そのものを、より深く、よりインタラクティブに拡張できる時代が到来しています。
ポルタメタプロジェクトの使命は、技術の力で音楽表現の限界を押し広げ、アーティストと聴衆の間に、新しい関係性を築くことです。
2024年8月12日にミューザ川崎シンフォニーホールで実現した、バーチャルアーティストとフルオーケストラによる「世界初のリアルタイム協奏曲」。この公演を成功に導いた、二つの技術的挑戦についてご紹介します。
CHALLENGE 1
バーチャルアーティストが真に「演奏」するためには、単に映像として存在するだけでは不十分です。私たちは、音楽家の魂とも言えるその一挙手一投足、特にピアニストの超絶技巧である高速な指の動きを、3Dモデルで完全に再現することに挑みました。
技術的課題
ピアノ演奏における1秒間に数十回にも及ぶ打鍵や、繊細なペダリングのニュアンスを、CGモデルでリアルタイムに破綻なく再現することは、極めて困難でした。特に、指の繊細な動きまで再現することは、バーチャルな存在のリアリティを大きく損なう課題でした。
ポルタメタのソリューション
この課題を克服するため、私たちは指先一本一本の動きまで精密に捉える、高精細なモーションキャプチャーシステムを導入。さらに、カメラによる空間位置情報、MIDI信号の3つの技術を組み合わせた「リアルタイム運指反映システム」を開発しました。これにより、バーチャルアーティストは単なる映像ではなく、”技術と魂が宿るリアルな「実体」”としてステージに存在することが可能になったのです。
ポルタメタプロジェクトでは、バーチャルアーティストのリアルな演奏を可能にするため、このシステムは、演奏者の動きを正確に捉え、リアルタイムでバーチャルピアニストの指の動きと鍵盤の動きを滑らかに再現し、音と映像の遅延を最小限に抑えることを可能にしています。
この技術によって、観客はピアニストの超絶技巧を、客席からでは決して見ることのできない視点と解像度で、視覚的にも深く体験することができました。
©T.Tairadate/MUZA
技術的課題
指揮者、数十人のオーケストラ奏者、そしてバーチャルピアニスト。この三者間の音楽的コミュニケーションを、人間の知覚限界を完全に超える超低遅延（Ultra-low latency）で実現する必要がありました。モーションキャプチャーからCGレンダリング、そして会場のスクリーンへの映像出力。それと同時に、ピアノの生音をPAシステムでオーケストラの響きと融合させる。この二つの複雑な信号系統を、ミリ秒単位で完璧に同期させるシステム設計が求められました。
ポルタメタのソリューション
私たちは、映像と音の同期を司る独自のシステムアーキテクチャを構築。指揮者や奏者が、バーチャルなソリストを「そこにいる共演者」として自然に認識できるよう、ステージ上のモニター配置や返し（モニター）スピーカーの音響設計を徹底的に最適化しました。
その結果、バーチャルアーティストと生きたオーケストラが、互いの音を聴き、指揮者のタクトを見て、一つの音楽を創り上げるという、音楽の本質的なコミュニケーションが、リアルとバーチャルの境界を越えて成立することを証明したのです。
これらの技術は、より新しいクラシック音楽の体験へと導きます。
身体や場所の制約を超え、世界中の才能が自由にコラボレーションできる時代の到来です。ポルタメタプロジェクトはこれからも、技術と芸術の融合を追求し、音楽の可能性を拡張し続けます。
TOPに戻る
