きょうすけです
今回はAR Foundationの概要をお話しします
AR Foundationとは
AR Founfation(ARF)とはUnity公式のAR開発用フレームワークです
マルチプラットフォームを実現するため，ARF自体はAR機能は実装せず，代わりにマルチプラットフォームAPIを定義し，開発者が複数のプラットホームで共通の機能を使えるようにしています
現にARFは
- iOS(ARKit XR Plug-in)
- Android(ARCore XR Plug-in)
- Magic Leap(Magic Leap XR Plug-in)
- HoloLens(Widows XR Plug-in)
といったプラットフォームで使用することができます
AR Foundationの機能
- デバイストラッキング
- 現実空間のデバイスとARカメラの位置と向きを同期
- セッション管理
- AR機能の開始から終了までの一連の処理を管理
- 光源推定
- 現実空間の明るさを仮想空間の明るさに反映
- ポイントクラウド
- 現実空間の特徴点を検出
- 平面検出
- テーブルや床などの平面を検出
- レイキャスト
- 検出したポイントクラウドや平面とのヒット判定を行う
- Unityのレイキャストと同じ感じ
- 画像マーカートラッキング
- 登録した画像マーカーの検出と追跡
- 3Dオブジェクトトラッキング
- 登録した3Dオブジェクトの検出と追跡
- フェイストラッキング
- 現実空間の人間の顔の検出
- ボディトラッキング
- 現実空間の人間の身体の検出
- オクルージョン
- 仮想空間の物体に現実世界の距離を適応する
- 人や物が手前にある場合，後ろの仮想物体は隠れる
- メッシュ検出
- 検出した周囲の3D形状を3Dメッシュとして取得
- インスタントAR
- 瞬時に周囲の3D形状を検出
- 深度画像の取得
- 深度画像を構成するピクセルデータに直接アクセスして，機械学習の入力などに使用
以上の機能が用意されていますが，サポートされる機能はプラットフォームによって異なります
ただし，メッシュ生成についてはLiDAR付きのiOSデバイスならサポートされているようです
