AIによる高品質な3DGS生成・閲覧パイプライン
MLSharpは、たった1枚の2D画像から、高品質な3D Gaussian Splatting (3DGS)モデルを生成するmacOS向けツールです。最新のAI技術により、お手持ちの写真を空間的な3Dコンテンツとして再現します。
メインエリアへファイルを直接ドラッグすることで、形式に応じた処理が自動的に開始されます。
高性能なAIエンジンを1クリックで準備できます。
アプリのサイドバーにある「AIモデルをダウンロード」ボタンをクリックします。
最適化されたCore MLモデル(約2.67GB)がHugging Faceから自動的に取得されます。
ダウンロード完了後、モデルはApplication Supportフォルダへ自動インストールされ、すぐに使用可能になります。
複数の画像やフォルダをまとめて変換することができます。
「設定」タイトルの横にある**「四角が重なったアイコン」**をクリックして、一括変換シートを開きます。複数のファイル選択や重複時の処理(上書き/スキップ)を設定して、効率的に3Dモデルを作成できます。
内蔵ビューアーだけでなく、実際の3D表示機器に第2のディスプレイとして映像を送ることができます。サイドバーの2つの設定が連動して働きます。
ステレオモードのドロップダウンから、お使いの機器に合った形式を選びます:
第2のディスプレイ(Looking Glass本体、モニタとして認識されるVRメガネ、3DTV、プロジェクタ等)を接続すると、サイドバーの表示先ピッカーが選択可能になります。外部モニタを選ぶと、そのディスプレイに全画面表示されます。第2のディスプレイが接続されていない間は、メインウィンドウに固定されグレイアウトします。
モデルが外部ディスプレイ側に表示されている間も、本体側のプレビュー枠はリモコンとして機能し続けます:ドラッグで回転、右ドラッグで平行移動、ホイールでズームができ、あたかもモデルを直接操作しているかのように使えます。外部ディスプレイや機器本体を直接操作する必要はありません。
マウスまたはトラックパッドを使用して、3D空間を探索できます:
サイドバーの下部にあるコントロールで、表示を細かく調整できます:
ステレオモードでLooking Glassを選ぶと、お使いの機種に合ったキャリブレーション値を次の順序で自動的に取得します:まずLooking Glass Bridgeアプリ(起動している場合)経由、次に以前キャッシュされた値、そのどちらも使えない場合のみ、キャリブレーション用JSONファイルを自分で選ぶかどうかを確認します(「いいえ」を選ぶと汎用のデフォルト値を使用します)。
Looking Glassの機種を変更した場合など、キャリブレーションがおかしいと感じたら、メニューバーのLooking Glass → Looking Glassキャリブレーションをクリアでキャッシュされた値を消去できます。次回表示時に改めて取得し直します(この項目はLooking Glass表示中のみ選択できます)。
Looking Glassは、複数の視点からレンダリングした画像を格子状に並べた「Quilt(キルト)」画像を、レンチキュラーレンズ越しに見せることで立体視を実現しています。メニューバーのLooking Glassから、このQuiltに関する2つの操作ができます(いずれもLooking Glass表示中のみ選択できます)。
ドラッグして模型を回転・移動している間は、操作を滑らかにするため一時的に3×3の簡易Quilt(9視点)で描画し、指を止めて静止すると、上記で設定した本来のQuilt(初期値7×6)へ自動的に切り替わります。そのためドラッグ中と静止時とでLooking Glassでの見え方(視差の滑らかさ)が変わるのは仕様です。異常ではありませんのでご安心ください。
MLSharpは、以下のプロジェクト・モデルを利用しています。それぞれのライセンス条件をご確認の上、遵守をお願いします。