AIインペイントと3D転写による高精細パノラママップ制作
1. イントロダクション
本プロジェクトは、「2Dイラストの圧倒的な表現力」と「3Dの自由な空間性」の両立を目指す空間構築プロジェクトです。
単なる3Dモデルや従来のマットペイントの枠を超え、「原画 → 3Dラフ → インペイント転写 → 立体化」という独自サイクルを確立することで、どの角度から見ても絵画のような美しさを保つ没入型空間を構築します。
- 主なツール: Unity 6, Blender, Clip Studio Paint, ComfyUI, 生成AI (Nano Banana 2 等)
2. デザイン・フェーズ
マップの核となる原画を起点に、Nano Banana 2を活用して空間を拡張します。
- 空間の拡張: アイソメ視点等のプロンプト指示により、原画の要素を維持したまま、具体的なマップの広がりを生成します。
- 整合性の維持: AI生成された案をガイドに、手作業でアイレベルを調整し、空間の骨格を決定します。
原画
原画をもとにナノバナナでマップイメージの作成
Nano Banana 2を活用し原画を組み合わせて具体的なマップのイメージを生成させます。
プロンプトはシンプルでよく、アイソメで組み合わせてといえば案を上図のような絵を出してくれました。
3. モデリング＆テクスチャ
① 3Dベースの構築とメッシュ最適化
Unity 6で作成したベース地形をFBX形式でBlenderへ移行。多角形メッシュで分割し、インペイントが物理構造を正しく認識できるよう、下塗りやテクスチャのガイドを施します。
Unityマップ、Terrainで作成
② 投影転写とインペイントのループ
- 投影転写: 3Dモデルの各面にイラストを投影し、ベーステクスチャを焼き付けます。
- インペイントによる高精細化: 投影時の「テクスチャの伸び」や「面ごとの繋ぎ目」を解消するため、AIインペイントを活用。AIが3D形状を認識できないという課題に対し、独自のガイドライン（ControlNet等）を引くことで、立体感を維持したまま歪みを補正します。
- ジオメトリの肉付け: 転写されたテクスチャの凹凸（岩の角や樹木の質感）に合わせ、メッシュを物理的に彫り込み、接近時の視差耐性を向上させます。
サイドパネルも同様に各面に絵を描いてそれをインペイントで高精細にしていきます。
Nanobananaなどでイメージ案を出しながらイラストソフトで調整、インペイントと繰り返します。
Nanobananaで完成図イメージ作成
手書きでアイレベルを考えながら調整して形を整えてからインペイントを繰り返します。
左右の面と色差を考慮して滑らかな繋がりになるように補正にします。
投影転写では正面から見た面以外は描画時に大きく引き伸ばされるので、角度さの大きい場所は線がぐにゃぐにゃになって綺麗につながりません。
インペイントは３D形状を認識してくれないので、自分でガイドを引いて立体と認識させ、ControlNetで固めてゆがみを取り除いています。
AIが認識できる材質感、面の方向、空間感など様々な制限があるのでそれだけの画力は必要でした。
③ Unity 6へのインテグレーション
Unityへの再インポート後、独自のLitシェーダーによるライティング制御を行います。
- 課題: イラストの焼き付けられた光と、ゲームエンジンの光源が競合することによる「色浮き」や「ディテール潰れ」。
- 解決: 描画段階で低コントラストを意識し、シェーダーで色調を管理することで、Unity内の環境光と馴染ませることに成功しました。
デフォルトシェーダーの状態での過剰な色浮と明暗。
自作シェーダーで過剰な色飛びを制御
Unityの光源とイラストの光源が重なってしまうので、影の部分は真っ黒になってディテールが潰れたり、色飛び、色浮が発生するので、自作のLitシェーダーで色の調整を行いました。
強い陰の部分はシェーダーでも補いきれないので、描くときに低コントラストで描きこんだ方が無難です。
イラストソフトを使って調整しながら描きこんでます。
4. 本手法のメリットと今後の展望
技術的優位性
- 制作速度の飛躍的向上: 従来のUV展開や手描きテクスチャリングをAIが「中抜き」することで、試行錯誤のコストを大幅に削減。
- 低負荷と高密度の両立: メッシュ数を最小限に抑えつつ、ビルボード（常にカメラを向く板）やパーティクルを組み合わせることで、ドローコールを抑えながら奥行きのある情景を演出可能です。
- ビルボードによる装飾：今回のサイドパネルと同様の方法で足りない装飾を描くことで補い軽量化を図ります。
5. 次なるステップ：リス子・ウサ子との対話型冒険へ
本技術を基盤に、リス子やウサ子たちが住む世界をUnity上で再構築します。
「景色と会話がリンクする体験」をコンセプトに、特定の場所へ到達した際にAIがその空間の思い出を語り出す機能を実装。ただ歩くだけの3Dマップではなく、彼女たちと一緒に旅をし、世界を共有しているような、深みのある没入感を目指します。
今後も、リス子たちの世界をより身近に感じられる新しい体験を準備中です。ぜひ楽しみにお待ちください。