ブログ

アーティストのためのAIツール：ノイズ除去、ロトスコープ、背景削除、より効率的なレンダリング

主なポイント

AIデノイジングは、ノイズの多いレンダリング画像をきれいにし、より早い段階で仕上がりを確認できるようにします。
AIロトスコープは、映像のフレーム間で繰り返されるマスキング作業を削減できます。
背景除去ツールは、コンポジット作業に使えるマスクの出発点を削減できます。
AIアップスケーリングは、古いアセットや低解像度の素材を高解像度化できます。
コンテンツに応じた塗りつぶし（Content-Aware Fill）は、周囲の画像情報を利用して不要な要素を除去できます。
AIツールを使用しても、アーティストによる品質確認と、必要に応じた修正は欠かせません。

要約

AIは、画像生成AIが注目を集める以前から、クリエイティブソフトに幅広く活用されてきました。ノイズ除去、ロトスコープ、背景切り抜き、コンテンツに応じた塗りつぶし、画像の高解像度化といった機能は、手間のかかる反復作業や重い処理を効率化するための技術です。こうしたAIツールの価値は、アーティストの判断を置き換えることではなく、普段の制作フローをよりスムーズにする点にあります。構図やライティング、マスキング、レタッチ、最終的なクオリティチェックは、引き続きアーティスト自身が担います。なお、AIツールを使ってもレンダリング負荷そのものがなくなるわけではありません。シーンやアセットの最適化に取り組みつつ、必要に応じてレンダーファームを活用することで、レンダリング時間を短縮できます。

AIツールは、すでに制作ワークフローの一部となっている

クリエイティブソフトにおけるAIは、必ずしもテキスト入力から始まるものではありません。3Dシーンのレンダリング、Photoshopでの被写体選択、人物と背景の切り分け、映像内の不要なオブジェクトの除去、コンポジット用画像の準備など、アーティストはさまざまな場面で機械学習を活用しています。

これらのツールは、すでにある素材をもとに、ピクセル、動き、輪郭、レンダリング情報などを解析します。マスキング、クリーンアップ、オブジェクト除去、レンダリング結果のプレビューといった反復作業を自動化し、制作工程の一部を効率化します。ただし、クリエイティブな判断や最終調整は、引き続きアーティストが担います。

AIデノイジングが3Dレンダリングに役立つ理由

レイトレーシングによるレンダリングでは、ノイズはよくある課題です。レンダラーのサンプル数が十分でない場合、複雑なライティング、反射、影、間接照明が含まれる部分に粒状のノイズが現れることがあります。サンプル数を増やせば、よりきれいな結果を得られますが、その分レンダリングの計算負荷と時間も増加します。AIデノイザーは、ノイズを含むレンダリング画像を解析し、利用可能な情報をもとに、よりクリーンな画像へと復元を試みます。

フィードバックを早め、コストを抑える

デノイジングは、ルックデベロップメントの段階で特に役立ちます。ライティングやマテリアル、カメラ、反射などを調整する際、変更のたびに完全に仕上げたレンダリングを行う必要はありません。デノイズをかけたプレビューなら、シーンの制作途中でも画の仕上がりを判断しやすくなります。また、最終レンダリングでも有効です。あえてノイズが残る段階でレンダリングを完了し、その後にデノイズ処理を行うことで、レンダリング時間とコストの削減につながります。

デノイジングには限界もある

デノイザーが処理できるのは、レンダリング結果に含まれている情報に限られます。サンプル数が極端に少ない場合、十分なディテール情報が得られないことがあります。また、複雑な反射や細かなテクスチャ、小さなハイライトなどは、ノイズ除去の過程で見え方が変わってしまう場合があります。

AIロトスコープでマスキング作業を効率化

従来のロトスコープでは、アーティストが被写体に沿ってマスクを作成し、ショット内で被写体が動くたびに調整する必要があります。比較的シンプルな形状であっても、位置や輪郭、見え方が多数のフレームにわたって変化すると、作業は煩雑になりがちです。AIを活用したロトスコープでは、被写体を背景から切り分けるための初期マスクを作成し、その情報を映像内の各フレームへ反映できます。

複雑なエッジには、引き続き調整が必要

髪の毛や毛並み、透明な素材、モーションブラー、被写体同士の重なり、前景と背景の色が似ている場合などは、被写体を正確に切り抜くのが難しくなります。AdobeのRoto Brushでも、髪の毛のような細かいエッジや、モーションブラーの影響を受けた部分を調整するための専用機能が用意されています。

映像制作のコンポジット作業では、エッジのわずかな違いが仕上がりを左右します。AIは実用的なマットをすばやく作成できますが、境界線をどこに設定するか、またショット全体を通して自然な状態を維持できているかは、アーティストが判断する必要があります。

背景除去も基本的な仕組みは同じ

自動背景除去は、ロトスコープや被写体選択と密接に関係しています。ソフトウェアは前景の被写体を認識し、背景から切り分け、マスクとして使用できる輪郭を作成します。

静止画では、時間のかかる手作業での選択を、より短時間で作成できるマスクのベースに置き換えられます。映像では、被写体やカメラの動きに合わせてマスクが自然に見え続ける必要があるため、作業はさらに複雑になります。

ワンクリックだけでは完璧な背景除去はできない

背景がシンプルで、被写体の輪郭がはっきりしている場合は、自動処理でも自然な結果を得られることがあります。一方、細い髪の毛、ガラス、柔らかな影、ぼやけた輪郭、半透明のオブジェクトなどは、きれいに切り抜くのが難しくなります。そのため、後から調整できるマスクが重要です。自動処理で大まかな切り抜きを行い、より細かな調整が必要な部分には手動ツールを使うことで、精度を高められます。

AIアップスケーリングで画像解像度を向上

AIアップスケーリングも、既存の制作ワークフローを支援する機械学習技術のひとつです。まったく新しい画像を生成するのではなく、低解像度の画像を解析し、輪郭やテクスチャなどの視覚的なディテールをできる限り保ちながら、画像を拡大します。

古いアセットの拡大、レンダリング画像の高解像度化、大型ディスプレイ向けの画像準備、小さなサイズで作成された素材の改善などに活用できます。ただし、仕上がりの品質は、元の画像にどれだけ有効なディテール情報が残っているかに大きく左右されます。

AIアップスケーリングの仕組み

従来の画像拡大では、主に既存のピクセル情報をもとに新しいピクセルを計算します。一方、AIアップスケーリングでは、視覚的なパターンを認識できるよう学習したモデルを用い、高解像度化した際にディテールがどのように見えるかを推定します。これにより画像によっては、よりシャープな輪郭や自然なテクスチャに整えることができます。

ただし、処理によって不自然なノイズや模様が生じたり、表面が過度になめらかになったり、元画像にはないディテールが追加されたりすることがあります。アップスケーリングした画像を完成版として使用する前に、重要なテクスチャ、顔、文字、細かなパターン、レンダリングのディテールを注意深く確認する必要があります。

不要な要素を自然に消すコンテンツに応じた塗りつぶし

コンテンツに応じた塗りつぶしは、アーティスト向けのAI機能としては以前から広く使われているため、あらためてAIツールとして意識する機会は少ないかもしれません。Photoshopでは、選択した範囲を塗りつぶす際に、周囲の色やテクスチャを解析します。Adobeは、この処理にAIと機械学習の技術を活用していると説明しています。

基本的な使い方はシンプルです。まず、消したいオブジェクトを選択し、コンテンツに応じた塗りつぶしを開きます。するとPhotoshopが周囲のピクセル情報をもとに、選択範囲を自然な見た目に置き換えます。また、サンプリング範囲を調整することで、画像のどの部分を塗りつぶしに使用するかを、ある程度コントロールできます。

不要な要素の削除やレタッチに活用

コンテンツに応じた塗りつぶしは、画像内にある小さなオブジェクトや視線を妨げる要素、細かな欠点などを取り除く際に役立ちます。周囲に似た色やテクスチャが十分にある場合は、Photoshopが自然な置き換えを作成しやすいため、特に便利です。ただし、複雑なシーンでは追加の調整が必要になることがあります。繰り返し模様、強い遠近感、影、重なり合うオブジェクト、複数の異なるテクスチャがある場合は、不自然な仕上がりになることがあります。そのような場合は、サンプリング範囲を変更したり、コンテンツに応じた塗りつぶしと手作業によるレタッチを組み合わせたりすることで、より細かく調整できます。

コンテンツに応じた塗りつぶしは動画にも使える

After Effectsには、映像から不要なオブジェクトを削除するためのコンテンツに応じた塗りつぶし機能があります。Adobeによると、この機能は複数のフレームを時間の流れに沿って解析し、ほかのフレームの情報をもとに置き換え用のピクセルを生成します。動画の修正は、1枚の写真を塗りつぶす場合とは異なります。映像の変化に合わせて、置き換えた部分が自然に見え続ける必要があるためです。そのため、1フレームだけで判断するのではなく、ショット全体を確認する必要があります。

レンダリング工程でのAI活用

AIデノイジングは、レンダリングに直接使われるAI技術の代表例です。一方で、AIはレンダリング後の工程でも活用できます。たとえばAIアップスケーリングは、画像や映像の解像度を上げる際に役立ちます。オブジェクト検出やマスキングを使えば、レンダリングした素材を合成映像へスムーズに組み込めます。

AIを使ってもレンダリング負荷はなくならない

AIデノイジングを使えば、状況によっては必要なサンプル数を減らせます。しかし、ジオメトリ、テクスチャ、ライティング、シミュレーション、解像度、アニメーションの長さは、引き続きレンダリング時間に影響します。規模の大きなプロジェクトでは、十分なCPUまたはGPUリソースが必要です。ローカル環境の処理能力に不安がある場合は、レンダーファームを活用できます。

手作業のほうが適している場合

自動化は、手作業より短時間で仕上がる場合に役立ちます。しかし、自動マスクを何度も修正しなければならない場合や、デノイズで大切なディテールが失われる場合は、自動化したほうがかえって時間がかかることもあります。

手作業によるマスク、レンダリングサンプルの増加、クローン処理、入念なレタッチ、従来の合成といった方法は、仕上がりを直接コントロールできるため、依然として重要です。どの方法が適しているかは、ショットや画像の内容、納期、求められる精度によって変わります。

仕組みを理解してこそ、AIを適切に使える

レンダリング時のノイズ、マスク、ロトスコープ、コンテンツに応じた塗りつぶし、アップスケーリングの仕組みを理解しておくと、自動処理の結果に不自然な点や誤りがないかを見極めやすくなります。また、目指す完成像を明確に把握していれば、AIの結果をそのまま使えるのか、手直しが必要なのか、あるいは手作業で進めたほうが確実なのかを判断しやすくなります。

まとめ

アーティスト向けのAIツールは、意外と身近なものです。ノイズのあるレンダリング画像のデノイズ、被写体のトラッキング、背景の除去、オブジェクトの選択、不要な部分の塗りつぶし、画像のアップスケーリングなど、AIを活用した処理は、繰り返し作業の負担を減らす実用的な手段になります。

AIツールは、必要な場面で使うことで力を発揮します。作業の土台をすばやく作る、時間やコストのかかる工程を短縮する、繰り返し発生する修正作業を任せる、といった使い方ができれば、アーティストは表現や仕上げの判断により多くの時間を使えます。ただし、結果が正しいか、十分な品質か、完成版に使うべきかを判断するのは、アーティスト自身です。

‍

Table of Contents