Perfume映像演出のダイナミックVRつくってみた。(第67回紅白歌合戦2017)

Perfume映像演出のダイナミックVRつくってみた。(第67回紅白歌合戦2017)

あけましておめでとうございます。

2017年度もよろしくお願いします。
さて、新年度になったので、個人サイトの下にblogを開設しました。

第一弾の記事という事で、早速ですが、PerfumeのダイナミックVRについてです。

2016年大晦日の紅白で、Rhizomatiks Researchがやっていた
Dynamic VRを、簡易的に真似して再現してみました。

超簡易的にノートPCの画面と外付けモニターを無理やり配置します。

どんな映像が撮れるかは実際にカメラでチェック。

別のアングルから見ると当然成立しません。

→元になっている本家の技術

ポイントとしては、結局どういった映像を出せば擬似的な3D感覚が得られるかだと思います。

https://twitter.com/CRePerfume/status/815187877877252097 より

こちらの説明分かりやすいですね。

この演出を面白く、かつ難しくしているのは、現実のカメラに対して、CG上の世界がどう映るかを計算しつつ、
それを現実世界のスクリーンに射影した上で再度現実のカメラを通して視聴者に届けている点です。

仮想のカメラから得られる映像を映し出すというほど簡単な話ではありませんが、
とはいうものの、一般的なカメラレンダリング以外に、自前でアフィン変換等を
映像にかける必要はなさそうだというのが、今回の自分の中での結論です。
突き詰めて考えてみると、おそらく、2枚のスクリーンには、

床 → CG空間上でのカメラを鉛直下方向に向けた時に映るカメラの映像
壁 → CG空間上でのカメラを壁に向かって水平方向に向けた時に映るカメラの映像

をそれぞれレンダリングして、適切な部分を切り出してスクリーンに映しています。(間違っていたら誰か教えて下さい)

←カメラの関係について簡単な図を描いてみました。
実際にスクリーンに映像を貼り付けるためには、
コンピュータ上にはこのように2台のカメラが存在していると考えられます。

つまり、リアルのカメラが実際にどこを向いているかは関係ありません。
二方向のカメラの映像を、舞台全体が入るまで画角を広げ、
スクリーンに被る部分だけを切り出して描画します。

同じ方向を見ていても、カメラの位置が変わるだけで映像が変化します。

仮想的な2つのカメラから見える映像を、現実空間の床と壁との
位置を考えて違う場所に映さなければいけないのが厄介ですね。

浮いて見えるものはさらに厄介です。単純なレンダリングではなく、
手前にあるはずのものも、スクリーン上に透過されて射影された状態にして映さなければなりません。

よりリアルに見せるためには、想定される映像の焦点は
カメラの焦点の位置にあるので、奥にある物体は意図的にぼかしているかもしれません。

Perfumeの3人の影も出ていたので、CG空間上には、3人のモデルも必要です。

このデモでは、カメラのリアルタイム同期等は行わずに、作成しています。

今回は、カメラを通した映像の射影変換のみに着目してみましたが、
実際には、カメラ位置キャプチャと、恐ろしい程の精度調整の努力、
入念なテストがあるのだと思います。素晴らしい演出ありがとうございました。

—————————————-
17/4/30 追記

メディアアートを観る人、創る人のためのマストドンを立ち上げました。

それがメディアアートドンです!

mediartodon.net

ぜひぜひ登録&トゥートを

自分のアカウントは @mizumasaです。フォローお待ちしてます。