Stable Point Aware 3D (SPAR3D) を試してみました
2025年1月8日にリリースされた Stability AI の image-to-3D model です。
記事によると Stability AI Community License に基づき商用および非商用の両方で無料で使用できます。とのことです。
Stable Point Aware 3D (SPAR3D) とは？
SPAR3D transforms 3D prototyping for game developers, product designers, and environment builders with the following advanced capabilities:
- Unprecedented Control: Allows users to directly edit the point cloud by deleting, duplicating, stretching, adding features, or recoloring points.
- Complete Structure Prediction: Enhances 3D construction by providing accurate geometry and detailed predictions for full 360-degree views, including areas typically hidden, such as the back of an object.
- Lightning-Fast Generation: Converts edited point clouds into final meshes in just 0.3 seconds, enabling seamless real-time editing. From a single input image, it generates highly detailed 3D meshes in only 0.7 seconds per object.
ということで、翻訳！
SPAR3D は、次の高度な機能により、ゲーム開発者、製品デザイナー、環境ビルダーの 3D プロトタイピングを変革します。
- これまでにないコントロール : ユーザーは、ポイントを削除、複製、ストレッチ、フィーチャの追加、またはポイントの色の変更によってポイント クラウドを直接編集できます。
- 完全な構造予測 : オブジェクトの背面など、通常は隠れている領域を含む完全な 360 度ビューの正確なジオメトリと詳細な予測を提供することで、3D 構築を強化します。
- 超高速生成: 編集されたポイント クラウドをわずか 0.3 秒で最終メッシュに変換し、シームレスなリアルタイム編集を可能にします。単一の入力画像から、オブジェクトごとにわずか 0.7 秒で非常に詳細な 3D メッシュを生成します。
とりあえず試してみよう
無料版の Google Colab だとエラーに
無料版の Google Colab だといつもながら以下のエラーになってしまいました。
RuntimeError: CUDA error: out of memory.
改めて試してみよう
huggingface-cli でログインしておく
$ huggingface-cli login
スクリプトを準備する
$ git clone https://github.com/Stability-AI/stable-point-aware-3d.git $ cd stable-point-aware-3d
必要なモジュールをインストールする
$ pip install -U setuptools==69.5.1 $ pip install wheel $ pip install -r requirements.txt $ pip install -r requirements-remesh.txt
3D モデルを生成するだけなら remesh 要らないかも
実行！
$ python run.py demo_files/examples/fish.png --output-dir output/ --low-vram-mode
生成物
stable-point-aware-3d ├─ ～省略～ ├─ output/ │ └─ 0/ │ ├─ input.png │ ├─ mesh.glb │ └─ points.ply └─ ～省略～
3D モデルの確認
さすがサンプルで用意されているお魚さんです。すごい良い感じに出力されています。
まとめ
リトポ覚えたくなる・・・
