注:TouchDesigner Proでのみ利用可能です。
あらゆるビデオストリーム中の人物の動きを追跡するwrnchAIエンジンを使用したこのCHOPは、ボディ、顔、手の位置のチャンネルを出力します。複数の人物を同時に低遅延で追跡することができ、あらゆるカメラやビデオフィードに対応するシステムです。TouchDesignerはwrnchAI Edge SDKを使用し、すべての計算はNvidia GPUとNVIDIA CUDA® Deep Neural Networkライブラリ(cuDNN)を使用してリアルタイムでローカルに行われます。これにより、60fps以上(90-120fpsなど)で複数人のスケルトントラッキングを提供することができます。
注:Wrnchは他社に買収され、使用許諾を得ることができなくなりました。
TouchDesignerで動作させるには、wrnchAIのライセンスが別途必要です。Windows OSとTouchDesigner ProでNvidia GPUが必要です。
TouchDesignerは必ずFull Installerからインストールしてください。Lite InstallerにはwrnchAIのライブラリは含まれていません。
クイックスタートガイド
wrnchAIライセンス(購入または試用)を取得すると、wrnchAIライセンスページとwrnchAIエッジリリースページにアクセスできるようになります。
- wrnchAI ライセンス ページに移動します。キー」アイコンをクリックし、EdgeライセンスキーをCHOPの「wrnchAIライセンス」パラメータにコピーします。
- wrnchAI Edge Releasesのページにアクセスし、Win10用のwrnchAI Engineをダウンロードします。wrnchAI-Engine-1.17.0-GPU-Win10.zip のようなファイルになっています。
- ダウンロード後、.zipファイルを解凍し、CHOPの「Model Folder」パラメータで使用するwrnchAI trained modelsフォルダを探します。wrnchAI-engine-GPU-1.17.0-Windows-amd64/bin/wrModels のようになります。
wrnchAI CHOP は初期化に数分かかり、その後トラッキングができるようになります。初期化は新しい Model Folder が導入されたときのみ必要で、プロジェクトが開始されるたびに再初期化する必要はありま せん。
wrnchAIのアカウントからEdgeライセンスキーを追加します。別途wrnchAIのライセンスが必要です。
学習済みモデルを格納するフォルダのパスを指定します。詳細は上記のクイックスタートガイドを参照してください。
wrnchAI を実行するために利用可能な GPU のメニューです。Default を選択すると、TouchDesignerが現在動作しているGPUが使用されます。
- Default / default
TouchDesignerが現在割り当てられているGPUと同じものを使用します。
トラッキング処理を行うTOPを設定します。
3D空間のボディトラッキングポイントのチャンネル(tx, ty, tz)を有効にします。
2Dのボディ追跡ポイントのチャンネル(u, v)を有効化します。
3D空間のボディトラッキングポイントのIKチャンネル(tx, ty, tz, rx, ry, rzおよび関連するロールチャンネル)を有効にします。
面の位置と境界線チャンネル(u, v, width, height)を有効化します。
すべてのフェイス トラッキングポイントに対して位置チャンネル(u, v)を有効にします。
手の位置と境界線チャンネル(u、v、width、height)を有効にします。
すべてのハンドトラッキング点の位置チャンネル(u, v)を有効にします。
追跡可能な人数の上限を設定します。各人/プレーヤーに対して、p1, p2, p3, …などの接頭辞が付いた新しいチャンネルセットが作成されます。
注:パラメータスライダは10までですが、Max Playerの値を大きくすることでより多くのプレーヤーを追跡することができます。
TOP のアスペクト比を考慮し、u,v チャンネルの値を調整します。非正方形入力のTOPを使用する場合は、これをONにすると、u,vの位置が画像と一直線になります。
WrnchAI CHOP のExtra Informationは、Info CHOPからアクセスできます。
- initializing
- running
- processing_fps
- processing_time
Info CHOPチャンネルの章を参照
Info CHOPチャンネルの章を参照