Is the key to the news XR live "choosing a degree of freedom"?Think from live production cases such as Hatsune Miku, 4S4KI

4s4ki配信企画「狂気ノ城」より

　テクノロジーの進化に伴い発展するライブ演出。この潮流のなかで特異な存在感を示すのが、「フレームの変更」をコンセプトに掲げる空間演出ユニット・huez（ヒューズ）だ。ライブ演出における“ヴィジュアル”と “光”の専門家が集まるユニットで、アーティストの物語に寄り添った演出を得意とする。【写真】3次元的に進化するXR時代の撮影と照明　本連載「3.5次元のライブ演出」ではhuezのメンバーを迎え、先端技術のその先にあるライブ体験の本質的なキー概念について、具体的な演出事例を交えながら解き明かしていく。第6回となる今回は、近年急速に発展したVR・XRライブにおける照明演出論と、huezが夢見るXRライブの展望を語ってもらった。（白石倖介）・コロナ禍で超加速したリアルとバーチャルの相互作用――近ごろhuezさんが拡張現実や仮想空間にフォーカスした形でのライブの演出をいくつか手がけているとお聞きして、色々伺っていければと思うのですが、前段として配信ライブの呼び方や概念も年々複雑になっているように思います。huezさんの演出領域も多岐にわたっておりますし、少しライブの種類や呼び方を整理するところから始められればと。としくに：そうですね。まず、生身の人間が舞台に立って行うライブやコンサート、いわゆる「生ライブ」があります。そもそも僕らはこういった舞台の演出や、照明の制作なんかをやっていたんですが、コロナ禍を迎えてから、これをインターネットに配信する「配信ライブ」という形がぐっと増えてきた。もちろんコロナ前にも配信ライブはあったし、ニコニコ動画さんとかは昔から取り組まれている。ライブを配信して、カメラのスイッチングをする、テレビの生放送に限りなく近いような形ですね。　コロナ前だと画面に演出効果をかけたり、配信ならではの仕掛けをする、というようなことは基本的にはなかった。「配信の上に歌詞などのテロップを載せる」みたいな、ごくごく簡単な演出しかしない、あくまで生ライブの“垂れ流し“みたいな配信が多かったという認識です。配信ライブの演出は、第一回の緊急事態宣言が出たあたりから急速に発展したように思います。僕の体感としては、誰もが家から出られなくなって、すべてのことが画面越しで行われるようになった結果、みんな急速に「画面上で起こること」に飽きちゃって、そこからクリエイターたちの試行錯誤が加速した。配信ライブでもテロップを入れてみたり、ライブ中にコメントを読んでみたり。　ただ、こういった取り組みは元々VTuberはやってたはずなんですよ。バーチャル空間でライブをやっている知見があるから。VTuberや、初音ミクのライブとかではすでに試行錯誤がされていて、『マジカルミライ』ではもう既に何年も前からリアルの世界で初音ミクさんがライブをしているし。ここで生まれた知見を人間のライブに還元することは5Gの実用化が見えてきたあたりからゆるやかに試されていたんだけれど、そのトライアンドエラーがコロナによって超加速したように思います。――その結果、リアルタレント（生身の人間）がバーチャル世界でライブをしたり、ということが実現しやすくなったと。としくに：そうです。・リアルタレントが現実世界でライブをする・バーチャルタレントがバーチャル世界でライブをする・リアルタレントがバーチャル世界でライブをする・バーチャルタレントが現実世界でライブをする……雑に分けると4種類かな。そういった相互性を持つライブを以前よりも簡単にやれるようになって、数も増えました。――それぞれの違いや、ライブを演出する際に生まれる差異はありますか。としくに：先程話した前者の2つは一旦置いておいて、後者の2つ、“リアルをバーチャルに“と“バーチャルをリアルに“、これらは普段ライブとかを見に来るお客さんからしたら、以前見ていたものとはまったく違うものだと思います。リアルな人やモノがバーチャルな世界と融合する、ということの面白さは確実にある。僕の中ではこの“リアルをバーチャルに“もまた2種類に分かれていて、例えば僕らが去年やったでんぱ組.incさんの『THE FAMILY TOUR 2020 ONLINE FINAL!!～ねぇ聞いて？宇宙を救うのはきっと……～』。現実世界のライブとはかなり離れたアプローチを取って配信でしかできないことをした、その点では「リアルタレントをバーチャル世界につれてきた」といえるんだけれど、「生でライブしているでんぱ組さんをいろんな形で見せていく」というアプローチだったので、あれはあくまでも既存の配信ライブのカスタマイズなんですよね。　もう1つは最近行われている「XRライブ」と言われるようなモノ。僕の知ってる界隈だとMoment TokyoやREZ&の方々とかが始めだしている。僕らも今年からいくつかやっているんですが、これはもう、これまでの「配信ライブ」って言われるようなライブとは全く違う。バーチャル世界をゼロから作って、そこに人間を連れてくるようなライブです。　こういうライブを作るとき、演出しているときに常に意識しているのは「リアルではできないことをやる」かな。Moment Tokyoがやってるものでも、舞台を海の中にしたり宇宙空間にしたり、この世に存在していないライブハウスとかクラブを作ったりしてる。前も話したんですが「会場はハードウェア」なので、現実世界でライブを作るときはハードウェアの仕様に沿って設計することになるんです。予算的に無理だったり、「そこに照明は入れられない」とか、そういう制限が会場によって決まってしまう。XRライブにはその縛りが理論上ないんですよね、そこにいるエンジニアとかが死ぬかどうかは置いておいて（笑）。もちろん、すごいことをやろうとしたらそれに応じてコストはめちゃめちゃ上がります。工数を積めば積むほど細かく作れるし、パソコンのスペックを気にしなければ会場を超広くしたりもできる。ーーリアルタレントをバーチャル世界に連れてくる方法として、理論上制限のない回答が一つ見えてきた、ということですね。としくに：僕がXRライブを作るときに一番注意しているのは、リアル世界を追いかけないこと。追いかけようとすると絶対に勝てないんですよ。お客さんとしてライブを見ていて感じる「ああ照明がまぶしい」とか、「人の匂いがする」とか「モッシュして身体が当たった感じ」とかっていうのはXRライブでは絶対に出せないし、それを追っかけようとすると負けるので悪手だと。実際に生の照明は僕らは当たらない、あくまでも画面上で光ってるものしか見せられない。　それよりも、リアルだと予算や安全管理の関係でそう簡単にできないような、例えば巨大なディスプレイを空中に浮かせて動かしたり、超巨大なオブジェクトを置いてそれをぐるぐるまわす、とか。曲の展開に合わせて、重力を無視したパーティクルを客席に飛ばす、とか……そういうリアルではできないXRならではの武器を集めて、ライブを構成していくんです。……ただ、ここがミソなんですけど、あまりにもリアルから切り離しちゃうと、それはそれで「映像だなー」って感じが出ちゃう。この「嘘くささ」を細かいテックで修正しながら、リアリティのラインを引いていく必要がある。・3次元的に進化するXR時代の撮影と照明ーー嘘くささを修正する細かいテック、というと具体的にはどんな手法がありますか？　そうですね……これはXRライブではなく「バーチャルタレントが現実世界でライブをする」の事例になるんですが、いずれにせよリアルとバーチャルの相互作用が起きるライブではこの嘘くささに気を使う必要があって、例えば7月に行われた『MIKUEXPO』の初音ミクさんの配信ライブ。こちらはflapper3と一緒にやらせていただいたのですが、現実世界の野外会場に生バンドが居て、初音ミク本人だけバーチャルなんです。huezはこのライブで照明をやらせていただいたんですが、夜の野外で、パーライトとかLEDライトとか設置している場所のセンターにミクさんが立っているんですけど……この、現実世界の光が初音ミクさん本体に反映されるんですよ。――現実世界で照らしている角度を計算して、バーチャル世界にも灯体を置いた、ということですか？としくに：そうです。バーチャル空間に透明化した灯体を配置して、実際の照明とまったく同じ動きをプログラムしました。照明ってリアルとバーチャルの相互性を保つのにとても重要な要素で、当たってる照明の感じで“生感“が強くなるし、それが反映されていないとすごく映像っぽくなるんですよ。ペタって貼った感じになっちゃう。　そして、この事例を踏まえた上でお話したいのが、7月に4s4kiさんとhuezがコラボレーションする形でバーチャル空間でのXRライブを演出させてもらった事例です。ここでは先程のミクさんとは逆に、実在の人間にデータ上の照明を当てました。ムービングのライトを本人に当ててる“感じ“を出した。質感が全然変わるんですよね。ペラさが変わる。ーー実在の人間をバーチャル空間に表す場合、撮影した人物の映像は2Dだと思うんですが、それにバーチャル空間で照明を当てるということは、三次元的な光の当たり方をシミュレートする必要があるかと思うのですが、どうやっているんですか。としくに：ayafuji君どうやってるの。俺分かってないから。ayafuji：まずグリーンバックで人物を撮ってバーチャル空間に写すんです。四角いクロマキーの映像がバーチャル空間に現れて、そこに対して照明を当てていくんですが、その映像はおっしゃるとおり2Dなので、言ってしまえば「板」なんですよね。空間に板が浮いて、そこに人が写っているような状態。なので、撮影しているカメラの画角や画質はあらかじめかなり詰めて設定していかなければいけない。写っている画面の画力とバーチャルの全体の画力のバランスみたいなものをなんとなく考えつつ作っていくんです。　その上で、後から板に対して設定できる色々なパラメータがあって。鏡っぽく光を反射させたり、ざらざらした光を反射しない材質だったり、かなり細かいチューニングを施すことができる。そのパラメータをいじりながら、実際のライブで照明が当たったような感じを再現するために調整していく。――たとえばiPhoneに搭載されているLiDARのように、カメラで3次元的な情報を取れるようなハードウェアもありますが、そういったものは使っていない？ayafuji：使っていません。単純に“板“としての映像に対してリアルタイムレンダリングで調整をかけていきます。ここに関しては、実際の人が立っている現場の光やその状況と、バーチャル空間の中にあるクロマキーの板をいずれも目で見ながらクオリティを詰めていく。この質感の調整がものすごい大事な要素になっていて、「バーチャルワールドの演出の強さ」と「板（人）の映像のクオリティ」のバランスを取るのがものすごく難しい。さっきとしくにも言っていましたがバーチャルだとなんでもできちゃうので、その世界のリアリティ、を成立させる微妙な塩梅を見つけていかなければいけない。としくに：そこのバランス調整がクオリティの5割って言っても過言じゃないくらい。　画面の中で、バーチャル空間の中に板のリアルな人間が溶け込むように調整していく。「馴染む」っていう言い方をよくするんですけど、その馴染み方に対して最初にこだわり始めたのが、REZ&さんとかMoment tokyoさんとかなんですよ。　このライブで使ったテックでいうともう一つ、カメラがすごくて。ayafuji：ソニーのα7S IIIってミラーレス一眼があるんですけど、このカメラにVIVEのトラッカーを付けて、現在の位置とか角度とかを取っているんです。その数字をバーチャル空間のカメラに送ってあげると、撮影されている絵と一緒に背景も傾いていく。それにα7S IIIは超高精細なので、クロマキーの中の人にすごく寄れるんです。バストアップ以上……デコルテのあたりまでグイグイ寄れる。　このセンサーカメラっていう技術はMoment tokyoさんとREZ&さんで作った仕組みで、今、こんなふうにクロマキーを手ブレ込みで出せる仕組み自体があんまりないんです。普通はステージの中にクロマキーの板が浮いているだけなんですけど、S IIIのやつは特別で、もう一枚クロマキーを特別に用意して、それがバーチャルカメラと一緒に動いてるんですよ。としくに：先程も言いましたが抜いている映像自体は「板」なので、4Kで撮ったとしても寄ったら荒れるんですよ。そうならないように、リアルカメラをバーチャル空間内にアセットしている。　やっている事自体は本当に単純で、カメラにセンサーがくっついてるだけ。で、このセンサーを頑張ってバーチャル空間内でエンジニアチームが同期を取り続けて動かしているんです。――グリーンバックの前に4s4kiさんが立っていて、それをセンサーの付いたα7 IIIで撮影して、背景をリアルタイムレンダリングしている、ということですか？としくに：そうです。センサー側で位置をとって、「今カメラが本人の右側に寄った、ということは後ろの背景もちょっとズレるよね」ということをコンピュータで処理している。このカメラでXRライブをやると、本来生ライブでは絶対寄れないレベルまでカメラが寄れるんです。――なるほど。舞台がないから。としくに：そう。ステージがないから、生カメラでやってたらカメラマンが映りこんでたような画角でも撮影できる。生のライブしている人間に対してこの距離まで寄った映像ってこれまでないと思います。これができるのってXRライブだけなんですよね。・自由度の取捨選択を司る「演出」――これまで、リアルとバーチャルを結ぶライブ演出について、特に照明演出と新たな撮影技法についてお聞きしてきました。これからも現場ではこういった新たな技術が生まれ、発展していくかと思うのですが、今後、こういったXRライブはどのように発展していくのか、またはhuezさんが注目している技術や領域があったら、今後の展望も含めてお聞かせください。としくに：ここから先、ワクチンがある程度行き渡ったところで、生ライブがめちゃくちゃ増えると思うんですよ。「コロナが落ち着いてからプロジェクトを進めていこう」って各所みんな思っているはずですし、例えば音楽フェスとかってほぼ2年間できていないので。だから多分こういうバーチャルライブ・配信ライブとかの需要は一旦落ち着くのかな、と思っています。ただ、VRやXR、仮想空間まわりの技術はコロナ前から考えたら10年くらい一気に進んだと思うから、衰退することはなくて、速度が落ちても変わらず発展すると思います。特にさっき言ったXRライブには結構希望があると思っていて、それはリアルのライブじゃできないことができるから。　コロナが始まった頃から今まで起きていることって、すごくざっくりいうと「リアルをどんどんバーチャルにぶち込んでいく」みたいな流れだったと思うんですけど、コロナが落ち着いてきたら今度は逆に「バーチャルがいかにリアルにめり込むのか」を考える時代が来るんじゃないかと思います。リアル体験の中にバーチャルがミックスしていくような時代。だからhuezとしては、リアルライブもバーチャルライブもシームレスに行き来して演出できるチームであろうと思います。でないと面白くないので。　この前ayafujiくんとも話してたんですけど、clusterとかVRchatみたいな、アバターをまとって空間を歩けるブラウザサービスの上でライブをできないか調べたら、どうやらできそうだと。それこそOculus被って、自宅からライブを見に行けるような。これはやりたいですね。あと、壮大な夢としていつかやりたいのは、バーチャルフェスですよね。『ROCK IN JAPAN FES』くらいの広さのバーチャル空間を作って、メインステージ、サブステージ、新人、ってステージを分けて、ステージに近づくとそこの音がどんどん大きくなっていく……みたいな構造は作りたいです。――フェスを作る、ってことですね。としくに：そう。やれたら相当面白いなと思ってるんですけど、例えばこの間の4s4kiさんのライブって30分なんですよ。30分で死ぬかと思ったくらい大変だったんですよ。それを考えると相当大変。ステージごとに空間も雰囲気も変えなきゃいけない、けど全体の美術の調和は取れていなきゃいけないし……もしリアルでフェスをやるってなったら、装飾する美術屋さんっていう方が絶対にいて、フェス全体の雰囲気を揃えるためにセットを組んでいく、そのレベルまでやると地獄みたいな工数がかかりますよね。3か月間でステージ組んでブッキング入れて当日は4つのグリーンバックステージを借りて全部のセンスを合わせる……とかって思うと、huezがあと5倍くらいの規模じゃないとできないです。　少し脱線しますが、そういう意味では去年、イベンターさんたちは絶対大変だったはずです。バーチャルにいた人のライブを生の現場、ライブハウスでやるってときに様々なレギュレーションがあって、コロナ対策もしながらそういうイベントを組んでいた。しかも今後もしXRライブフェスをやるときにも、絶対イベンターさんや制作さんって必要なんですよ。これって今、ほとんど業種として存在してなくて。4s4kiさんのライブを作っているときに尚更思ったんですけど、XRライブの制作さんって、MVの制作とライブの制作がどちらもできる人じゃないといけないんですよね。サウンドチェックとかバミりとか、普通のライブでも絶対にやることをした上で、ライブ本番はMV撮影みたいな進行になる。今まで生ライブの撮影って、割とできあがってるライブを上から撮ってたと思うんですけど、XRライブってMVのように撮り続けないといけないんですよ。だから作る側がカメラチームのタイム感と生ライブのタイム感をどちらも持っていないといけない。――音も映像、いずれにも精通している必要がありますね。ayafuji：XRライブの場合はそこにもう一つ、ソフトウェア開発が入ります。としくに：普通のフェスでいうところの舞台監督や大道具のポジションに、エンジニアとかプログラマーが入るんです。ayafuji：で、当日まで完全にソフトウェア開発・ゲーム開発みたいな感じで進めていくんですけど、としくに：当日になると、突然ライブとMVの撮影会になって地獄みたいなことがおきる。ayafuji：それまで仕切ってた人と全然別の人が、別の想像力で仕切らないと回らないので。としくに：でね、huezの中では僕がそういう、舞台監督とか演出を司るポジションに立つし、お互いに暗黙の了解もあるからいけるんですけど、多分外の人と一緒にやる場合、正直な話、相手の方はやってられないと思います（笑）。例えば、エンジニアが一週間かけて作ったアセットを、本番当日に演出の都合で何個か削ったり、とかしなきゃいけなくなったりするわけです。で、バーチャルのデータなので、消すのはある程度できちゃうんですよね。例えば4s4kiさんのライブで、客席側に置いてあるでっかい仏像みたいなのがあったんですけど、カメラワーク的にどうしても僕の中で邪魔だったんですよ。で、「ごめん、この仏像小さくしてもらっていい？」って言ったんです。リアルでは不可能ですよね。「美術さんが作ってくれたあれ、ちょっと邪魔だから小さくしてもらっていいですか」って。　だから、リアルでは絶対にできないような解決方法でライブを成立させることができるともいえるんだけれど、同時にやっぱり、あまりにリアルとかけ離れたことをやるとライブ感がなくなってしまう。例えばライブ用に4s4kiさんが分身するっていうエフェクトを作ったんですが、これは本番前にカットしたんです。せっかく4s4kiさんが生でいるのに、分身するのは現実的にありえない。それをやった瞬間に突然データっぽく見えたんです。でも本人にグリッチかけるのはギリギリ平気だったんです。「グリッチはライブに組み込めそうだぞ、でも分身はダメだな」……っていうのを本番当日に見ながら調整している。これがおそらくXRライブの演出のしどころで、人によってさじ加減は変わると思います。　だから、さっきの話に戻ると、外の人と大きなフェスをやる、というのは現状ではかなり大変です（笑）。　もちろん、きちんと規模感を見て計画を立てれば近い将来できるとは思います。バーチャル空間でフェスをやる場合の、本当のフェスとの大きな違いとして、作ったバーチャル空間をセーブできるんです。――仕込みの終わったステージを保存できるんですね。としくに：そう。一度作ってしまえば、将来的にはコストを下げることができる。それに、単純にステージを作って保存できるのはもちろんなんだけれど、例えばアーティストのために作ったステージを保存しておいて、「あの空間でライブできます」みたいな売り方もできるかもしれない。ayafuji：僕はVRChatをずっとやっているんですが、VRChatの中にはクラブカルチャーがあったり、アバターがグランドピアノに座ってピアノを弾いているんだけれど、中の人も実は手元で音楽を演奏していたり、というような事が起きている。VRChatって技術的にはUnityで動いているんですけど、僕らがXRライブで使っているのはUnreal Engine。VRChatには双方向の面白さがあるけれど、スペックや互換性にまつわる制約で、ライティングやパーティクル等のリソースに限界がある。対してXRライブには先程の制約がないので、PCのスペックをフルに使いながら人をクロマキーに入れて撮影して、バーチャル世界で描画できるので、ものすごく絵がきれいなんですね。今後はこの2つが合わさっていくんじゃないかな、っていう予想をしています。XRライブと、VRChatのようなSNSツール、それぞれの表現が歩み寄るような形で、人が自由に歩き回ったり、ライブを見たりできるようになる。空間のインタラクティビティ（双方向性）も上がっていくし、技術的にも洗練されていく。やがては双方向性と美麗さのグラデーションが生まれて、「どこで遊ぶか」を選べるようになっていくんじゃないかと。ーーhuezさんはずっと「箱（会場）はハードウェアだ」とおっしゃっていましたが、まさにその「ハードウェア」の制限がなくなっていく、ということですね。としくに：そうですね。作る側の目線で言えば、どこに視点をおいて戦うか、というのは今後考えなきゃいけなくなると思う。ayafuji：ゲーム業界はインタラクティビティに強いので、それを強みに戦っていける。僕らが作っているXRライブはメタバース（アバターによる双方向コミュニケーションが可能な仮想世界の総称）によって発展していくでしょうし、メタバースを実現するためのテクノロジーも、美麗な絵をもっと追求していくと思います。としくに：ゲームはこの30年くらいでぐっと自由度が上がって、今までは決められた狭いマップ上でしか動けなかったのに、今は「世界」があってそこで自由に行動できる。それによって面白くなった部分もあるけど、でも自由度って高ければ高いほどいいってわけでもないんですよね。　エンタメにはいろんなレイヤーがあって、楽しみ方が全部違う。例えばVTuberって表情のパターンがあって、どの角度でも100%可愛い表情しか出ない。アーティスト側から見て、消してほしいっていう写真が基本的に無くなるんですよね。その良さはもちろんあるけれど、リアルのライブで人の表情が見えた方がうれしい人たちもいる、とか。　お客さんは頭がいいので、場所を作ったらその中でいろんな遊び方を見つけてくれる。それはもうインターネットが始まったときからずっとそうですよね。ニコ生のコメント芸とかはまさにそれですし。むしろ作る側は、お客さんが「どんな自由度で楽しみたいのか」っていうのを考えて、ちゃんと狙って作ることが重要なのかなと思いますね。すごい自由なんだとしたらその自由が楽しめるような細かい仕掛けを置いておくべきだし、縛るんだったら縛ってる空間の中で没頭できるような要素がないといけないし。現実世界には暗黙の了解がたくさんあるけれど、バーチャル世界は無制限に縛れるし無制限に開放できちゃうので、そこの設定を見間違えると、たとえイベントを打ってもフェスをやってもつまらないものになってしまう。それって本当に「演出」の仕事だよなって。　最近はゲームの知見も必要になってきたので、「人のライブ見て勉強しなきゃな」っていうのと同じ思想で「ゲームやんなきゃ」ってなりました。マインクラフトとフォートナイトやったりしましたもん。……ただ、まさか僕らで箱が作れるようになるとはね。ならないでほしかったですよ（笑）。広さも変えられるし、制限もなくなっちゃって。大変です（笑）。■huez（ヒューズ）2011年に東京で結成されたVisualise Artist/空間演出 ユニット。ステージや展示などの出力を制御し、ソフトウェアや機材の開発ま でを行う少数精鋭のチーム。レーザーやLEDなどの特殊照明、MVやガジェット、展示などでの空間演出を行う。近年では、バーチャル空間でのXRライブ演出なども行っている。メンバーはアート、演劇、照明、映像、 レーザー、プログラミングなど、様々なバックグラウンドをもつ。アーティストや オーガナイザーと同じ目線に立ち、その世界観や物語を重視する領域横断 的な演出を強みとする。渋都市株式会社所属。■としくにステージディレクター・演出家。渋都市株式会社代表取締役市長。演劇領域での舞台監督や、メディアパフォーマンスの「インターネットおじさん」などの活動を経て、2016年に渋都市株式会社を設立し、代表取締役に就任。「笑い」と「ホラー」をテーマとして、既存の枠組みを越えた映像・空間演出のディレクションを手掛ける。■ayafuji（アヤフジ）1987年生， 2014年より家庭用コミュニケーションロボットやペットロボットの開発に携わり、現在は空間演出ユニット・huezに所属。既存のデバイスのハックや大規模・多人数でのインタラクションを可能とするシステムなどを制作し、異なる人・物・事がコミュニケーションをする際のコンフリクトをテーマに作品を制作する。主な作品に「Infinite Scroll 」(HIGURE 17-15 cas， 世界制作のプロトタイプ， 2015)、「Sound and Vision - Moving Body -」(Tate Modern， Offprint London 2016) ， 「#VISUALINERTIA」(Los Angels， Little big man Gallery， 2020)

白石倖介（コース）