「3Dイマーシブシアター」体験レポート

3Dイマーシブシアターとは、人の動きを高精度でキャプチャし3Dモデル化するボリュメトリックビデオ技術と、位置情報を含む空間の音を表現する立体音響技術を融合させた、まったく新しいVR体験を可能にするテクノロジー。11月某日、神奈川・川崎市のキヤノン川崎事業所内にあるボリュメトリックビデオスタジオ-川崎にて同技術の体験会が実施され、ばってん少女隊のメンバーを演者に迎えたボリュメトリックビデオの撮影デモンストレーションおよび立体音響システムを使ったVRコンテンツ体験が行われた。

このうちボリュメトリックビデオ技術は、2021年3月に公開されたばってん少女隊のミュージックビデオ「Canon × ばってん少女隊『OiSa Volumetric Video ver.』」で使用されているテクノロジーだ。それに伴い、この日の体験会にはばってん少女隊のディレクター・杉本陽里子氏、「OiSa」作曲者の渡邊忍（ASPARAGUS）が参加。実演は希山愛、上田理子、瀬田さくらの3名が行った。

撮影後3秒でボリュメトリック映像を生成、エフェクトも変幻自在

スタジオは広大なグリーンバックのスペースと、カーテンで仕切られたコントロールルームで構成されていた。何台ものモニタとコンピュータが並ぶコントロールルームに杉本と渡邊が通されると、グリーンバックルームにはすでに希山、上田、瀬田の3名が衣装姿でスタンバイ。すでに実演デモの準備は万端だった。

グリーンバックルームの壁という壁に数えきれないほどのカメラが仕込まれており、天井からも無数のカメラが3人を狙っている。解説担当の技術者によれば、100台超の4Kカメラが設置されているとのこと。彼女たちの動きを四方八方から毎秒60回撮影し、その映像を解析、3Dモデルとして生成するというのが基本的な仕組みである。これによりカメラ位置にとらわれない自由なカメラワークが可能になるのだそう。また、一度正しい演技や動作を記録できれば別アングルでの撮影が不要となるため、演者の負担を軽減できるメリットもあるという。

撮影から演算後の映像が生成されるまでの所要時間は、わずか3秒ほど。杉本らの目前には2台のモニタが置かれており、左に生のカメラ映像、右に演算済みのボリュメトリック映像が映し出されている。担当者がばっしょーにジャンプを指示すると、3人は息を合わせて同時にジャンプ。なるほど、左モニタの3人がジャンプした3秒後に、右モニタの3人も飛び上がる様子が見て取れた。担当者いわく「リアルタイムのライブ配信などの運用も可能」とのことで、確かにこの程度のタイムラグであればそれも十分現実的に思える。

生成後の映像は当然実写ではなく3Dグラフィックスであるため、さまざまなデジタル加工を施すことが可能だ。担当者は背景の映像をさまざまに変化させたり、3人が飛び上がった瞬間をストップモーションにしてカメラアングルをぐるぐる回すデモ（いわゆるバレットタイム）なども披露。さらには3人にボール遊びを指示したうえでボールの軌跡をエフェクト処理したり、何もない空間にキラキラした視覚効果を描画するなどの実演も行い、渡邊は思わず「メンバーにビームを発射してもらいたいね」との願望も口にした。

“ありえない“が実現した立体音響の世界

続いて一行は、立体音響システムの体験ブースへ移動。ここでは各々がVRヘッドセットを装着し、仮想空間における空間的な音の聞こえ方を体験する。そこには、定位、響き、環境音の3要素によってリアルな音響体験ができるというVRアプリケーションが用意されていた。希山と瀬田は取材前日に体験済みとのことで、この日は杉本、渡邊、上田の3名が参加。1人ずつオペレーターのサポートを受けながらVRアプリケーションを操作し、立体音響の世界に身を投じていった。

このVRアプリケーションは、さまざまな環境で音楽演奏を疑似体験できる設計。弦楽四重奏のプログラムでは2本のバイオリン、ビオラ、チェロの演奏を防音室、コンサートホール、石造りの教会といったシチュエーションで楽しめる。コントローラーを操作して視点を移動すると、「その場所からは4つの楽器の音がどう聞こえるのか」を仮想的に体験できる仕組みだ。楽器隊から離れれば4本のまとまった演奏が、バイオリンに接近すればその演奏音が近くに感じられる。例えばリアルの演奏会では絶対に不可能な、“バイオリンの中に頭を突っ込んで聴く”ような体験もこの場ではできてしまう。

さらに同アプリケーションでは落ち着いたジャズバーでのバンド演奏、近未来のクラブで聴くバーチャルアイドルのライブといったシチュエーションが展開され、最後にはボリュメトリックビデオシステムで撮影された会場データとばっしょーのパフォーマンスデータに360°で収録された屋外の環境音を組み合わせた集大成的なコンテンツで締めくくられた。

杉本、渡邊、上田の各人はそれぞれに感嘆の声を漏らしつつVR体験を終え、ヘッドセットを脱着。心なしか一様に上気したような面持ちを浮かべ、新たな時代の到来を実感しているかの様子だった。

ばってん少女隊、渡邊忍、杉本陽里子と考える、
3Dイマーシブシアターの可能性

グレーゾーンを生み出せるんじゃないか

──ばってん少女隊の皆さんには先ほど、ボリュメトリックビデオスタジオにて撮影デモの実演をしていただきました。以前にもここでミュージックビデオ撮影を行っていますが、通常のMV撮影と比べてどういう違いがあると感じていますか？

上田理子（ばってん少女隊）　私は「どこを見ていいかわからない」というのが一番でした（笑）。どこを見ていても大丈夫なんですけど、「このカメラを見てください」っていうのがないのは逆に難しいなって。

希山愛（ばってん少女隊）　360°にカメラがあるので、全部の方向から見られていると思うと少し緊張します。

瀬田さくら（ばってん少女隊）　空間ごと保存できるというのがすごく面白いですよね。これまでのMVでは空間を切り取って平面として保存するのが当たり前だったので、とても新しい体験だなって思いました。

上田　フォーメーションも、真上からでも見られるとなるとちょっとのズレも気になっちゃうよね。

希山　そうそう。立ち位置とか、すごい横目で確認しちゃいました。

渡邊忍（ASPARAGUS）　やっぱり女子はさ、「私の、この角度！」みたいのがあるじゃない？

希山・上田・瀬田　あははは（笑）。

渡邊　見せたい角度を見せるだけじゃなく、どの角度から見られても成立させなきゃいけないっていうのは、新しいものがあるよね。見せ方も、気に仕方も。

上田　うんうん、そうですね。

渡邊　今までのMVだと、衣装にしても髪型にしてもよっぽど近距離のカットじゃないとディテールまではわからなかったけど、この技術ではユーザーが好きなカメラアングルでどんな距離からでも見られるから、ものすごく細部のこだわりまで伝えられるよね。例えば「このピアスが実はすごくかわいいんです」とかさ。逆に「そこまで見られたくない」もあるかもしれないけど（笑）。

瀬田　それで言うと、「OiSa」のボリュメトリック撮影では「透けている衣装が認識できない」とか「ピアスとかも揺れるものは難しい」という制約があったんですけど、今回はそれが解消されていて。どんどん進化しているんだなと感動しました。（※条件によってはボリュメトリックビデオ撮影が難しい被写体もあり）

渡邊　ああ、それで今日は耳飾りを？

上田　着けたんです！

瀬田　前まではわざと外していたりとか、髪もあまり揺れないようにピチッとセットしていたんですよ。

渡邊　確かに違うね。今日はみんな、髪ふわふわしてるもんね。

希山・上田・瀬田　あははは（笑）。

瀬田　衣装も今日はけっこうひらひらしたものを着てみたんですけど、すごくキレイに映っていました。

上田　「ピアスを外さなきゃ」みたいに、何かをすごく考えなきゃいけないというのが少なくなったよね。

杉本陽里子　このボリュメトリックビデオ技術はもともとスポーツ分野から始まったと伺いましたけど、スポーツの場合はそこまで髪型やメイク、着ているもののディテール再現は求められないですよね。でもアイドルの場合はむしろそっちがメインだから、その精度が上がっていくことでテクノロジー自体の応用範囲が広がっていくんじゃないかと思いました。逆にスポーツでも、ここまで精細に表現できたらより迫力が増しそう。

渡邊　リアルだけど実写じゃなくてあくまで3Dデータだから、演者のメイクを変えて見せたりもできるわけですよね。「SNOW」みたいにやや盛ってみたりとか（笑）。リアルでもない、完全バーチャルでもない、グレーゾーンじゃないけど……ボリュメトリックにしかできない新しい次元みたいなものを生み出せる可能性もあるんじゃないかと思いました。