ブログ

3Dカメラトラッキングとバーチャルプロダクション

現代の3D制作は急速に進化しており、その中心にあるのが「カメラトラッキング」という、まるで魔法のような技術です。実写映像に3D要素を合成したり、Unreal Engineで没入型の環境を作ったり、LEDボリュームを使ったシームレスなXR撮影を行ったりする際、バーチャルカメラが実際のカメラの動きをどれだけ正確に再現できるかが成功のカギとなります。本記事では、VFXやバーチャルプロダクション、ARパイプラインにおけるカメラトラッキングの役割を解説し、その技術の仕組みやトラッキングのワークフロー、対応ハードウェアに関する疑問にもお答えします。

‍

3D制作におけるカメラトラッキングとその仕組み

カメラトラッキングとは、実写映像を分析して、カメラの動きやレンズの情報、場合によってはシーンの奥行きも抽出し、3D空間内でのカメラの動きを再現することです。これによって、3Dのオブジェクトを実写映像の中に、正しい遠近感、動き、ライティングで自然に合成できるようになります。カメラトラッキングには、大きく分けて2つの種類があります：

2Dトラッキング：画面上の特徴を追跡することです。主に映像の手ブレ補正やテキスト・画像の重ね合わせに使われます。この方法では、x軸とy軸の位置だけでなく、回転や遠近感といった情報も追跡します。
3Dトラッキングは：3D空間の動きをトラッキングし、カメラがシーン内でどのように動いているかを計算します。2Dトラッキングと違って、x軸・y軸に加えて奥行き（z軸）も分析するため、より立体的で正確なカメラの動きが再現できます。

現実にあるカメラがどのように動いたかを記録し、それとまったく同じ動きをソフトウェア内の仮想カメラで再現すると考えてください。収集されるデータには以下のようなものがあります：

カメラ本体の動き
レンズの焦点距離とディストーション
ズームの動作
センサーのサイズと構成

これは、キャラクター、オブジェクト、風景などの3D要素を実際の映像に追加し、実写シーンと一緒に撮影されたかのように見せることができるため、非常に重要な情報です。

バーチャルスタジオのリアルタイムトラッキング技術

LEDボリュームやグリーンスクリーンステージの使用が増加するにつれ、リアルタイムのカメラトラッキングが必須となりました。編集中にトラッキングを行う従来のワークフローとは異なり、撮影現場でのバーチャルプロダクションでは、（Unreal Engineのような）エンジン内のバーチャルカメラが実際のカメラと完全に同期して動く必要があります。そのため、NcamやOptiTrackのようなリアルタイムトラッキングシステムは、オプティカルまたはミックスメソッドを使用し、このようなセットアップで非常に重宝されています。

バーチャルスタジオとXRステージ

LEDの壁には、カメラの動きに合わせてリアルタイムで変化する3Dの背景が映し出されます。実際のカメラの位置と回転は、バーチャルカメラシステムに送られます。全てが適切に設定され、レンズ情報が正確であれば、背景が本当にそこにあるような、全く自然な仕上がりになります。

バーチャルスタジオでのリアルタイムトラッキング

バーチャル・スタジオでのリアルタイム・トラッキングは、カメラの移動に伴う奥行きや角度の変化（視差やパースペクティブ・シフト）を正しく表示することを可能にします。また、実際の映像に3Dシーンをミックスしたライブプレビューを見たり、テレビ放送やライブショー用のリアルタイムARグラフィックスが可能になります。

トラッキングの方法とキャリブレーションについて

カメラトラッキングは、どのプロジェクトでも同じように機能するわけではありません。プロダクションのニーズに応じて、チームは様々なトラッキング方法から選ぶことができます。それぞれの方法には利点と欠点があります。

光学式トラッキング

赤外線カメラを使って、カメラのセットアップや周囲の環境に取り付けられた反射マーカーを追跡します。
精度は高いですが、明確な照準線が必要です。
モーションキャプチャー（mocap）ボリュームでよく使用されます。

センサーを使ったトラッキング

内蔵されたIMU（慣性計測装置）やジャイロセンサーを使って動きを検出します。
モバイルリグや手持ちカメラに組み込まれて使われることもあります。
光学式トラッキングがうまく機能しない環境でも役立ちます。

ハイブリッドトラッキング

光学式マーカーとセンサーデータを組み合わせることで、より信頼性の高い結果を得ることができます。
Ncamのようなシステムは、マーカーレス方式とマーカー方式のトラッキングを組み合わせている点で注目されています。

カメラキャリブレーション

キャリブレーションは、トラッキングシステムがレンズの特性、センサーのサイズ、歪みのパターンなどを正しく理解できるように調整する作業です。通常は次のような工程を含みます：

キャリブレーション・チャートの撮影
レンズの歪み係数を解析して求める
既知のレンズパラメータをトラッキングソフトウェアに入力する

正確なキャリブレーションを行わなければ、どんなに優れたトラッキングデータであっても、CGエレメントの位置がずれてしまう可能性があります。

高性能で柔軟なカメラトラッキング：NcamやOptiTrackのようなツール

優れたトラッキングシステムは、ただ動きを追うだけでなく、他の機器やソフトとしっかり連携します。NcamやOptiTrackのような製品は、柔軟性と互換性を考えて設計されています。

Ncam

プロ用のシネマカメラに取り付けられるモジュール式のトラッキングシステムです。
ライブ合成やARオーバーレイ、レンズの情報エンコードに対応しています。
注目度の高いライブ放送、ショーケース、映画制作で使われています。

‍

OptiTrack

Mocapや XR環境で広く使用されています。
赤外線カメラのネットワークを使い、サブミリ単位の高精度なトラッキングを実現します。
全身の動きとカメラのトラッキングを同時に必要とするバーチャルプロダクションの作業に最適です。

‍

スタジオの大規模なカメラリグを使う場合でも、現場での手持ちモバイル機器を使う場合でも、現代のトラッキングツールはさまざまな環境に柔軟に対応できます。

レンズからライブのインカメラVFXへ：カメラの動きとワークフロー

カメラの動きを理解することは、単にデータを取得するだけでなく、それをスムーズな制作工程に組み込むことです。一般的なカメラトラッキングのワークフローは次のようになります：

ステップごとの解説：

シーンを撮影する：実際のカメラで映像を撮影します。トラッキングマーカーや自然な特徴（壁の模様や床のタイルなど）を使って、後のトラッキングがしやすくなるようにします。
レンズとカメラの動きのデータを取得する：トラッキングシステムを使用するか、撮影後にソフトウェアで手動解析します。
トラックとソルブ：PFTrack、Syntheyes、またはBlenderの内蔵トラッカーなどのソフトウェアを使って、映像内のカメラの動きを解析します。
3Dソフトに取り込む：現実のカメラの動きと一致するバーチャルカメラを使って、3Dシーンを再現します。
コンポジット：3D要素を追加し、それらを実写映像に合成します。
レンダーと調整：シャドウ、反射、アンビエントオクルージョンなどのパスを使ってリアリズムを向上させます。

最先端のプロダクションでは、従来のポストプロダクションを省略して、Unreal Engine を使用してライブインカメラのビジュアルエフェクトを使用する場合もあります。このような場合、カメラのトラッキングデータがリアルタイムで計算され、表示されます。これは、バーチャルシネマトグラフィや AR シーンには欠かせません。

よくある質問：トラッキングと光学の問題を解決するには

ソルブがドリフトするのはなぜですか？

ドリフトは通常、トラッキングポイントが正確でないか、カメラのキャリブレーションがずれているために起こります。これを解決するには、トラッキングポイントを増やし、画像全体に均等に広がるようにします。

カメラトラッキングにBlenderは使えますか？

もちろんです。Blenderには高性能な3Dトラッキング機能があり、適切な映像を使えば市販のソフトと同じくらいの結果が得られます。

グリーンスクリーン環境でのトラッキングはどうやって行いますか？

キーイングの邪魔にならない、コントラストの高いトラッキングマーカーを使いましょう。After EffectsやMocha Proなどのソフトを使えば、トラッキング後にマーカーを簡単に消すこともできます。

まとめ

カメラトラッキングは、現代の視覚効果、拡張現実、バーチャルプロダクションの基盤となっています。ハードウェアやソフトウェアの進化により、この技術はより手軽で正確になり、映画制作や3Dアートに欠かせないものとなっています。次に撮影するときは、単に映像を撮っているだけでなく、データを取り込んでいることを思い出してください。そのデータは、適切なトラッキングシステムによって、あなたのビジョンをピクセルから素晴らしい作品に変えてくれるのです。

＞ガレージファームのTOPへ

Table of Contents