3Dガウシアンスプラッティングの3DモデルをLooking Glassに表示

English Version


3Dガウシアンスプラッティングを各種3D形式で表示するWEBアプリはこちらです。

3Dガウシアンスプラッテングは、スマホアプリ(Scaniverse)でも、簡単に作成できるようになってきた。
厳密には、3Dモデルとは言えないかもしれないが、3Dモデルと同じ感覚で扱えて、素人でも、綺麗な3Dシーンが作成できる。
今回、(.ply/.splat/.ksplat) ファイルに書き出した3Dガウシアンスプラッテングのファイルをドラッグアンドドロップすれば、Looking Glassに表示できるWEBアプリを作成しました。
従来から、iPhoneのポートレート写真のようなRGB-D画像をLooking Glassに表示するWEBアプリは公開していましたが、この方式は、どうしても、オクルージョンの問題があり、不自然さが残りますが、3Dガウシアンスプラッテングは、このような問題もなく、実写映像が、3Dモデルのように、Looking Glassに表示できます。興味のある方は、是非、お試し下さい。

このWEBアプリは、以下のライブラりを使用しています。これらのライブラりの作成者に感謝します。
three.js Ver1.60
gaussian-splats-3d.module.js v0.4.2

1. Looking Glassのキャリブレーション値(校正値)の取り込み
Looking Glassは、個体毎に異なる校正値があり、この校正値を使って、正しい画像を作成します。
基本的には、最初の1回、もしくは、違うLooking Glassに付け替えた時に、WEBブラウザのローカルストレージに取り込む必要があります。これを行えば、私の全てのLooking Glass用のアプリを使う事ができます。
下記ページで登録作業をお願いします。
Looking Glassの校正値保存用WEBアプリ

2. 3Dガウシアンスプラッテング用WEBアプリを開きます。
最初は、2Dモードでサンプル画像が表示されます。
「L」キーが、LKGモード⇔2Dモードのトグルキーになっています。
2Dモードの方が動作が軽いので、2Dモードで見たい位置や大きさにマウスを使って調整することをお勧めします。
調整が終わったら、ブラウザーウィンドウをLooking Glassに移動し、「Enter」キーを押すとLooking Glassに全画面表示されます。
(もう一度、「Enter」キーを押すと、ウィンドウ表示に戻ります)
「L」キーを押すと、校正値を使って、立体表示します。
PCのディスプレイ設定で、Looking Glassの拡大率がデフォルトで200%になっています。200%だと綺麗に表示できません。必ず、100%でご使用下さい。

3. 「.ply/.splat/.ksplat」ファイルを表示画像の上にドロップすると、そのファイルが表示されます。
 同じように、2Dモードでラフに表示位置を調整してからLKGモードに切り替える事をお勧めします。
 上下矢印キーで、立体のフォーカス位置を調整する事もできます。

マウスでモデルをグリグリできます。
マウスドラッグでモデルの回転
Shiftキー+マウスドラッグで上下左右の移動
マウスホイールでズーム

4. .plyから.splatへの変換 このページを開いて、.plyをドラッグアンドドロップすると、そのシーンが表示されると同時に変換した.splatファイルがダウンロードされます。
.splatに変換すると、ファイルサイズが非常に小さく(1/5〜1/10程度)なり、その分、ファイルのロード時間も短くなります。
特に、表示画質等は、変わらないと思います


.plyのトリミングや中心座標の変更には、「点群データを編集できるSuper Splat」が便利です。




Test