创新技术
©T.Tairadate/MUZA
让古典乐，走向未来。
音乐的鉴赏体验一直以来主要有两种形式：在音乐厅欣赏现场演奏，或播放录制好的音源。然而，随着科技的进步，如今我们迎来了可以更深入、更具互动性地扩展音乐“体验”本身的时代。
波塔萌塔 -portameta- 项目的使命是，利用技术的力量突破音乐表现的界限，在艺术家和听众之间构建全新的关系。
我们在此介绍两项技术挑战，它们成功促成了2024年8月12日在川崎缪斯交响乐厅实现的，虚拟艺术家与完整管弦乐团的“世界首次实时协奏曲”公演。
CHALLENGE 1
要让虚拟艺术家真正“演奏”，仅仅作为影像存在是远远不够的。我们挑战了用 3D 模型完美再现音乐家灵魂般的每一个举动，特别是钢琴家超凡技巧的——高速手指动作。
技术课题
在钢琴演奏中，要用 CG 模型实时、无损地再现每秒数十次的击键，以及踏板的细微变化，是极其困难的。特别是对手指细腻动作的重现，是极大地损害虚拟存在感真实性的一个难题。
波塔萌塔 -portameta- 的解决方案
为了克服这一课题，我们引入了能够精确捕捉每一个指尖动作的高清动作捕捉系统。此外，我们开发了结合了摄像机空间位置信息、动作捕捉数据和 MIDI 信号这三种技术的“实时指法反映系统”。通过这个系统，虚拟艺术家得以作为“注入了技术与灵魂的真实‘实体’”登上舞台，而不仅仅是影像。
为了实现虚拟艺术家的真实演奏，该系统能够准确捕捉演奏者的动作，实时流畅地再现虚拟钢琴家的手指动作和琴键动作，并最大限度地减少声音和影像的延迟。
通过这项技术，观众能够以在观众席上绝不可能看到的视角和分辨率，在视觉上深度体验钢琴家的高超技巧。
©T.Tairadate/MUZA
技术课题
我们需要以完全超越人类感知极限的超低延迟（Ultra-low latency），实现指挥家、数十名管弦乐团演奏家以及虚拟钢琴家三者间的音乐交流。从动作捕捉到 CG 渲染，再到会场屏幕的影像输出。同时，将钢琴的现场声音通过 PA 系统与管弦乐团的声响融合。这要求系统设计能够以毫秒为单位，完美同步这两个复杂的信号系统。
波塔萌塔 -portameta- 的解决方案
我们构建了专有的系统架构，负责影像和声音的同步。我们彻底优化了舞台上的监听器配置和返送（监听）扬声器的声学设计，使指挥家和演奏家能够自然地将虚拟独奏家识别为“在场的合作者”。
最终，我们证明了音乐的本质性交流——虚拟艺术家与真实的管弦乐团互相聆听彼此的声音，看着指挥的指挥棒，共同创造一首音乐——能够跨越现实与虚拟的界限成立。
这些技术将引领我们迈向全新的古典音乐体验。
一个超越身体和地点限制，让全世界的才华都能自由合作的时代已经到来。波塔萌塔 -portameta- 项目也将继续追求技术与艺术的融合，不断扩展音乐的可能性。
返回
