WrnchAI CHOP

概要

注:TouchDesigner Proでのみ利用可能です。
あらゆるビデオストリーム中の人物の動きを追跡するwrnchAIエンジンを使用したこのCHOPは、ボディ、顔、手の位置のチャンネルを出力します。複数の人物を同時に低遅延で追跡することができ、あらゆるカメラやビデオフィードに対応するシステムです。TouchDesignerはwrnchAI Edge SDKを使用し、すべての計算はNvidia GPUとNVIDIA CUDA® Deep Neural Networkライブラリ(cuDNN)を使用してリアルタイムでローカルに行われます。これにより、60fps以上(90-120fpsなど)で複数人のスケルトントラッキングを提供することができます。

注:Wrnchは他社に買収され、使用許諾を得ることができなくなりました。
TouchDesignerで動作させるには、wrnchAIのライセンスが別途必要です。Windows OSとTouchDesigner ProでNvidia GPUが必要です。
TouchDesignerは必ずFull Installerからインストールしてください。Lite InstallerにはwrnchAIのライブラリは含まれていません。

クイックスタートガイド
wrnchAIライセンス(購入または試用)を取得すると、wrnchAIライセンスページとwrnchAIエッジリリースページにアクセスできるようになります。

  1. wrnchAI ライセンス ページに移動します。キー」アイコンをクリックし、EdgeライセンスキーをCHOPの「wrnchAIライセンス」パラメータにコピーします。
  2. wrnchAI Edge Releasesのページにアクセスし、Win10用のwrnchAI Engineをダウンロードします。wrnchAI-Engine-1.17.0-GPU-Win10.zip のようなファイルになっています。
  3. ダウンロード後、.zipファイルを解凍し、CHOPの「Model Folder」パラメータで使用するwrnchAI trained modelsフォルダを探します。wrnchAI-engine-GPU-1.17.0-Windows-amd64/bin/wrModels のようになります。

wrnchAI CHOP は初期化に数分かかり、その後トラッキングができるようになります。初期化は新しい Model Folder が導入されたときのみ必要で、プロジェクトが開始されるたびに再初期化する必要はありま せん。

パラメータ – Setup ページ
wrnchAI License / license

wrnchAIのアカウントからEdgeライセンスキーを追加します。別途wrnchAIのライセンスが必要です。

Model Folder / modelfolder

学習済みモデルを格納するフォルダのパスを指定します。詳細は上記のクイックスタートガイドを参照してください。

GPU Device / gpu

wrnchAI を実行するために利用可能な GPU のメニューです。Default を選択すると、TouchDesignerが現在動作しているGPUが使用されます。

  • Default / default
    TouchDesignerが現在割り当てられているGPUと同じものを使用します。
TOP / top

トラッキング処理を行うTOPを設定します。

Body 3D / body3d

3D空間のボディトラッキングポイントのチャンネル(tx, ty, tz)を有効にします。

Body 2D / body2d

2Dのボディ追跡ポイントのチャンネル(u, v)を有効化します。

Body 3D IK / body3dik

3D空間のボディトラッキングポイントのIKチャンネル(tx, ty, tz, rx, ry, rzおよび関連するロールチャンネル)を有効にします。

Face Bounds / facebounds

面の位置と境界線チャンネル(u, v, width, height)を有効化します。

Face / face

すべてのフェイス トラッキングポイントに対して位置チャンネル(u, v)を有効にします。

Hands Bounds / handsbounds

手の位置と境界線チャンネル(u、v、width、height)を有効にします。

Hands / hands

すべてのハンドトラッキング点の位置チャンネル(u, v)を有効にします。

Max Players / maxplayers

追跡可能な人数の上限を設定します。各人/プレーヤーに対して、p1, p2, p3, …などの接頭辞が付いた新しいチャンネルセットが作成されます。
注:パラメータスライダは10までですが、Max Playerの値を大きくすることでより多くのプレーヤーを追跡することができます。

Aspect Correct UVs / aspectcorrectuv

TOP のアスペクト比を考慮し、u,v チャンネルの値を調整します。非正方形入力のTOPを使用する場合は、これをONにすると、u,vの位置が画像と一直線になります。

Info CHOP チャンネル

WrnchAI CHOP のExtra Informationは、Info CHOPからアクセスできます。

Specific wrnchAI CHOP Info Channels
  • initializing
  • running
  • processing_fps
  • processing_time
CHOP共通 Info チャンネル

Info CHOPチャンネルの章を参照

Operator共通 Info チャンネル

Info CHOPチャンネルの章を参照