深度推定（プライバシー）

Depth Anything v2を使用したリアルタイム単眼深度推定。カメラフィードを色付けされた深度マップで変換します。近いオブジェクトは暖色、遠いオブジェクトは寒色で表示されます。

プライバシーモードとして使用する場合、depth_onlyブレンドモードはシーンを完全に匿名化しながら空間レイアウトとアクティビティを保持し、顔認証を明かさないセキュリティ監視を実現します。

ハードウェアバックエンド

プラットフォーム	バックエンド	ランタイム	モデル
macOS	CoreML	Apple Neural Engine	apple/coreml-depth-anything-v2-small (.mlpackage)
Linux/Windows	PyTorch	CUDA / CPU	depth-anything/Depth-Anything-V2-Small (.pth)

macOSでは、CoreMLはNeural Engineで動作し、GPUを他のタスク用に解放します。モデルはHuggingFaceから自動ダウンロードされ、~/.aegis-ai/models/feature-extraction/に保存されます。

機能

• プライバシー匿名化 — 深度のみモードはすべての視覚的識別情報を隠します
• ライブカメラフィードへの深度オーバーレイ
• 3Dシーン理解 — シーンの空間レイアウト
• CoreML高速化 — Apple Silicon上のNeural Engine（MPS比3～5倍高速）

インターフェース：TransformSkillBase

このスキルはTransformSkillBaseインターフェースを実装しています。新しいプライバシースキルは、TransformSkillBaseをサブクラス化し、2つのメソッドを実装することで作成できます：

from transform_base import TransformSkillBase

class MyPrivacySkill(TransformSkillBase):
    def load_model(self, config):
        # モデルをロードして、{"model": "...", "device": "..."}を返す
        ...

    def transform_frame(self, image, metadata):
        # BGRイメージを変換してBGRイメージを返す
        ...

プロトコル

Aegis → スキル（標準入力）

{"event": "frame", "frame_id": "cam1_1710001", "camera_id": "front_door", "frame_path": "/tmp/frame.jpg", "timestamp": "..."}
{"command": "config-update", "config": {"opacity": 0.8, "blend_mode": "overlay"}}
{"command": "stop"}

スキル → Aegis（標準出力）

{"event": "ready", "model": "coreml-DepthAnythingV2SmallF16", "device": "neural_engine", "backend": "coreml"}
{"event": "transform", "frame_id": "cam1_1710001", "camera_id": "front_door", "transform_data": "<base64 JPEG>"}
{"event": "perf_stats", "total_frames": 50, "timings_ms": {"transform": {"avg": 12.5, ...}}}

セットアップ

python3 -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt