午前中はSketches & ApplicationsのPerformance Projectsを受講しました。バーチャルリアリティやモーションキャプチャの技術をパフォーマンス芸術に応用した実例が紹介されました。アートと技術の融合という点でCGIとは別の方向性として私は興味があります。

Forming the Dots: Live Optical Motion Capture Animation Dance
“Bob’s Palace”というパフォーマンス作品において、9人のダンサー、１名のビデオオペレータ、２名のカメラマン、１名のアニメーターでモーションキャプチャシステムをライブパフォーマンスで取り入れた事例が紹介されました。
モーションキャプチャシステムはMotionAnalysis社を使用しており、この他に10台のデジタルカメラも使用されています。表示はFilmBoxを使用しています。技術的な問題としてまず、マーカーの位置をどのようにセットするのか、様々な試行錯誤が行われたそうです。また、リアルタイムにキャプチャしたデータをそのまま使用する関係上、データの欠損をなるべくなくす努力が必要だったそうです。映像に使用するモーションキャプチャの場合、例えば、ひじ等がフリップしていたとしても、ポスト作業の段階で前後の動きの関係から修正する事で、きちんとしたアニメーションデータを得る事が出来ますが、ライブパフォーマンスではこの手法を使う事が出来ません。
バーチャルに構築されたボーンシステムでは、微妙な人間の仕草を再現するには限界があり、ダンサー、振り付け師はこの点に留意してパフォーマンスを考える必要があったそうです。また衣装としてのモーションキャプチャスーツのデザインの必要もありました。この点ではモーションキャプチャスーツとしての実用性、そしてパフォーマンスとしての芸術性とダンサーの動きやすさのバランスが重要となったそうです。これら挙げられた諸問題に関しては、現状では100%満足できるレベルではなく、どの部分に関してもお互いの理解と妥協点の模索によってのみ解決できるような状況だそうです。実際にプレゼンテーションされた映像でもひじのフリップが時々起こるような現象が見受けられました。最後にスピーカーは今後のマーカレスのモーションキャプチャスーツ等技術革新が進んで、このようなパフォーマンスを行うに際して問題となることがクリアされてくるかもしれないが、それまでは「お互いの理解と協力」によってのみこのようなパフォーマンスが実現される事になるだろうとコメントしていました。実際に技術的進歩の恩恵として、プレゼンテーションで紹介された例ではMotionAnalysisのシステムで、大掛かりなセットの用意が必要だったのですが、最新のパフォーマンスではVaicomのモーションキャプチャシステムを導入する事で、ミュージアムやアートギャラリーなど狭い空間でのパフォーマンスが可能となったそうです。

Virtual Performance and Collaboration with Improvisational Dance
こちらのプレゼンテーションの事例では前述の方法とは異なり、ステージではダンサーのみがパフォーマンスを行い、機械式モーションキャプチャシステムでパフォーマンスを行うダンサーは舞台をモニタリングしながら舞台裏でパフォーマンスを行い、バーチャルキャラクタが舞台に設置された3台のスクリーンに映し出されるといった構成のパフォーマンス事例が紹介されました。
バーチャルキャラクタの空間的な制限の問題を解決するために、舞台には３つのスクリーンが設置され、それぞれのスクリーンに対してPCが用意されたそうです。表示のシステムにはKydara社のFilmBOXが使用されて、３つのスクリーンはお互いにシンクロするようなシステムが構築されたそうです。新たな試みとしては記録した自分のパフォーマンスをバーチャルキャラクタとしてスクリーンに投影して、自分のパフォーマンスをパフォーマンスを行うといった手法がテストされています。
さらにバーチャルセットの環境として、キーボードや他の制御装置によって、テキストを絡ませる等演出面でも様々な試みが行われているそうです。こちらのプレゼンテーションのビデオでは前述例とは異なり、ひじのフリップはみられませんでした。現状では動きの制限は大きいですが機械式の方がこのようなライブパフォーマンスの用途に向いているのかもしれません。
ステージ上のダンサーとの絡みも引っ張りあったり、ダンサーの上をバーチャルキャラクタが飛び越えたりと息のあったパフォーマンスが行われており、この部分ではテクノロジの有無に関わらず、アクター同士のタイミング次第であり、そう言ったレベルでのリアルタイム性はなんとか実用段階になっていると思いました。

Multi-user Performance of Commedia dell’ Arte in 3D
このプレゼンテーションで紹介された内容は、ネットワークゲームの一部で見られる集団パフォーマンスと似ていると思いました。マルチユーザー3D即興劇システムとでも言うのでしょうか、システムの全てはマクロメディア社のDirectorMXとFlash CommunicationServer使用されており、ネットワーク上で、グループでパフォーマンスができるようになっていました。キャラクタの動きはマウスと民生品を改造して作られたパペットシステム（サイバーグローブのようなもので、スイッチ自体はキーボードのような感じ）を使用して、音声はリアルタイムでやり取りが行われるそうです。実際にシステムを稼働させてプレゼンテーションが行われましたが、動き自体は基本的なものだけがあらかじめプリセットされているといった感じで、何でも自由に動きをコントロールできると言うわけではありませんでした。個人的にはゲームパッド等の簡単なデバイスを用いて、動きはたくさん用意しておいて必要に応じてボタンにリアルタイムでアサインできるようなシステムを構築すれば、もっと動きの表現に幅が広がるのではないだろうか、と思いました。パフォーマンス自体は、喜劇がネタになっているようでしたが、途中からシステムが不安定になったらしく、キャラクターがグチャグチャに折れ曲がった状態になったのですが、プレゼンテーターはこれを逆に利用して、「体がグチャグチャになった～助けてくれぇ～」とアドリブを入れて、聴講者を笑わせていました。
今までに無い新しい表現方法の技術的な部分をDirectorMXなどコンシューマーの製品でほとんど解決してしまっているのが印象的でした。インタラクティブな作品の製作環境はいろいろ整われつつあり、あとは作り手側のアイデア次第というレベルに徐々に近付いていると感じました。

Screen: Bodily Interaction with Text in Immersive VR
BOX型の没入システムを使用したパフォーマンスシステムの事例が紹介されました。ちょっとインスタレーション作品よりな感じでしたが、文字の動きが人の反応や操作によって変化して、結果が変わると言う点ででは文字を使ったパフォーマンスと取る事もできると思います。テキストを読むという行為をパフォーマンスという形で表現した作品で、Readerとして人がBOXの中に入ります。最初は単なるスクリーンに投影された文章が2次元的に動くだけなのですが、これに対してReaderが何もしない動いているテキストを触るといった行為によって文章が色々変化をはじめます。 Readerの手には位置センサーが取り付けられていて、３次元的に向かってくるテキストを受け止めたり、返したりといった行為を行って行きます。これらのReaderによる行為によって文章がリアルタイムに変化を続け、最終的にはReaderには制御不可能な状態になってしまいます。ここまでに至るプロセスや表示状態、最終的な結果はパフォーマンス毎に異なりますが。
プレゼンテーションでビデオが上映されましたが、BOX型のスクリーンですがテキストが前後左右に動く状態は３次元的に認知できるような状態でした。３D酔いするかたは、きっと酔う事でしょう。（笑）

全体的にEmarging Technorogyで展示されているものに近いものを取り扱った内容でしたが、モーションキャプチャーや没入型ディスプレイなど、シミュレーションやデータ収録に使用されるプロユースの機材をそれとは全く違った使い方をしている点、そしてテクノロジーとアートの接点をいろいろな表現で模索しており、このプロセスがプレゼンテーションされたということで、個人的には面白いセッションだったと思います。

Emerging Technologies とArtGarallyを見ました。Garallyの方は会場のあちこちに展示されており、かなりのボリュームがあります。たくさん面白いものが出ていたのですがなんとデジタルカメラを壊してしまって、一部しかとれませんでした。(T-T)

+1D and Neocubism

ACM東京のパーティーでお会いした方の作品です。カメラからのイメージの輝度情報でZ情報を加えているそうです。動いたりするとイメージが変化するのが面白い作品です。いろいろとお話を聞いたのですが、このEmerging Technologiesに発表されている作品は大掛かりなものが多いのですが、全て各自で手配して会場に機材を運び込むそうです。大きな仕掛けのものは大変ですよね。

Planar Manipulator Display
インタラクティブなインテリアシステムとか説明していましたが、上部から投射されているウィンドウに対して、エアホッケのような物体でコマンドを指定したり、センサを仕込んだ家具のフィギュアが動いたりとディスプレイシステムをいろんな手法で利用していました。技術的な事よりも、家具のフィギュアがちょこちょこ動く様がとってもかわいかったりして。（笑）

The Augmented Composer Project: The Music Table
テーブルに置かれたカードに対して画面上でCGのムカデがのっかってくる仕掛け。2次元的な認識だけでなく奥行きや傾きもカード上のマークで認識をしているようで、ちゃんとCGのキャラクタがカードに追従して配置されます。

Body Brush
フィールドの位置によって音の高低が変化したり、スクリーンのフィールドに体全体を使って動くことで軌跡が描かれる仕組みで、かなり大掛かり。日本の書道で巨大な筆を使って書をするのがありますが、あれに似ているような。私も実際にやってみました。音の方はコントロールできるのですが、ブラシの方はちょっとままならない部分もあって、その部分がかえって面白い部分に感じました。細かく動くと言うよりは大胆に思いっきり動く方が、気持ちの良い線が描けるように思いました。

Thermo-Key: Human Region Segmentationfrom Video Using Thermal Information
サーモグラフ情報をクロマキーのように使用して、画像合成を行う技術を応用した例。写真の例では温度差のある円状の部分だけが体が表示されずに背景が表示されています。アプローチが面白いですね。このEmarging technorogiesは日本の方のプレゼンテーションが多かったのが印象的です。こういった分野が得意な人が日本には多いのでしょうか。

Sumi-Nagashi
フォースが設定されている画面に直接ペンデバイスで絵を各システムなのですが、フォースの方向と逆方向にペンを動かそうとするとペンに大きな抵抗がかかり、逆にフォースと順方向に動かそうとするとペンが軽くなると、フィードバックがあります。フィードバックの仕組みは磁石の反発を利用しているそうです。

午後からはSketch&Applicationsの”Production Workflow”を受講しました。となりでFinding NIMOのスペシャルセッションが行われている事もあり、会場はかなり、席があいていました。（笑）このセッションではアセットマネージメントの実例が多く発表され、それぞれに異なるアプローチを基にして環境が開発されている点で非常に勉強になりました。前日に機器展でAlianBrainのプレゼンテーションをしていただいたのですが、日本でも大掛かりなプロジェクトでは今後、データアセットマネージメントという物をきちんと考えて、環境を準備する必要が出てくる事が予想されます。

Home Grown CGI: The Cultivation of “Henry’s Garden”
プロジェクトワークの基本的な考え方をアニメーションシアターに入選したヘンリーガーデンを事例に紹介されました。小さなアニメーションスタジオで一つの作品が出来上がるまでに起きた様々な問題やトラブルを基に話は進行されて、「誰に決定権があるのか明確にする」、「プロジェクトにとって何がポイントとなるのか明確にしなければならない」といったプロダクションワークの考え方からバックアップワーク、技術的解決方法の選定等、が説明され、貧弱なハードウェアに振り回されたり、なれないツールに苦労するアーティスト、ハードディスクトラブルや家に張り巡らされたネットワークケーブルが犬に噛み切られるトラブルなどの笑える話も織りまぜながらのプレゼンテーションでした。基本的なことばかりなのですが、こういった場でも話が取り上げられると言う事では日本と同様にプロジェクトが始まると忘れがちになってしまうのでしょうか・・・

Effective Asset Management for Episodic Television and Features
テレビシリーズの製作にフォーカスした、自社開発のアセットマネージメントシステムが紹介されました。 ShortTracker2と呼ばれている自社開発のアセットマネージメントシステムは、SXI、MAYA、スクリプト等全てのデータがデータベース化されて簡単に検索、インポート、アップデートが可能だそうです。また、AlianBlainのようなディレクションワークを円滑にするための、チェック機構、そしてどのようにリテイクされて行ったのか、その履歴をメモとして保存される機能がサポートされています。このツールによって効率的に作業を進める事ができるようになったそうです。実際に稼働しているところも見てみたかったですが、デモンストレーションはありませんでした。（残念）アセットマネージメントのポイントとしては、シンプルな考え方に保つ事、データベースやGUIの設計ははじめにきちんと行わなければならない事だそうです。

Maya Assets
ドリームワークスのプロダクションマネージメントMAYA Asetに関してプレゼンテーションされました。アニメーション映画シンドバッドの製作にあたって開発されたツールで、現在製作中の”Shark Slayer and Over” “The Hedge”でも使用され進化し続けているそうです。前述のShort Tracker2とは異なり、こちらは製作現場がMAYAのみで構成されている関係で、ライブラリの他にプラグイン、GUIインターフェースもアセットマネージメントツールで管理されていました。プロダクションワークのためのサポートツールとしてはアーティストが自由にバージョン付けができるようにしたり、こちらでもアーティストがメモとしてバージョン履歴のメモが残せるような機能をサポートしていました。また、構築したデータベースをドラッグ&ドロップで過去の資産を現場で簡単に活用できるような環境が整えられていました。

Production-Grade Scene Translation Pipelines
MAYAとHoudiniでのシーントランスレーションの事例です。これは個人的に一番興味のあるセッションでした。内容は期待通りの面白いもので、MAYAとHoudiniで同じシーンが再現された瞬間に観客から拍手が起こりました。（笑）＜結構みんなやりたがっているんでしょうか。
シーントランスレーションが必要になる理由は、それぞれのエレメントでベストなツールが異なる場合があり、この問題を解決するためにプラグインを開発するよりもシーンのトランスレーション環境を構築して、解決する方が、技術的に解決できる時間が短く柔軟に対応することが出来て、アーティストが製作に十分に時間をかける事ができるからだそうです。このような考え方も今までとは全く違っており、新鮮に感じました。シーントランスレーションの考え方はツールで再現されているそれぞれのエレメントがもう一方ののツールでどのような解釈で設定されているのか、”翻訳する”してデータを変換するといった、ソフトウェアのリサーチから実装という流れをエレメント単位で行うという事でした。例えば、シーンの構成を一つとっても、MAYAはポリゴンの表面をポイントを左回りの面が表と解釈するのに対して Houdiniでは時計回りに解釈しているといった基本的なものから、オブジェクトノード単位でのブレンディングに関してはHoudiniは基本的にサポートしているのに対してMAYAではこれをプラグインとして同じような解釈を実現するようサポートしたり、また逆にHoudiniではオペレータの組み合わせによって、MAYAの解釈を実現するといった事で環境を構築しているそうです。
個人的に現場でこのような考え方は出来ないだろうか、と常々考えており簡単なものから試みているのですが、既にプロダクションワークに十分対応できるだけの環境が構築しているのをプレゼンテーションされて、すごいと思いました。今回のプレゼンテーションを参考に自分でも少しづつやって行きたいと思いました。

Getting Ripped: Hulking Out the Clothing Pipeline for Shredding, Tearing and Electricity
The Halkでのクロスシミュレーションに関してどのようなアプローチを経てきたのか、プレゼンテーションが行われました。The Halkでは変身の際に服が破けるエフェクトを実現するための環境が整えられたそうです。あるシーンとために環境が高チックされると言う意味では、メイキングの事例に近いものだったと思います。服が裂けるといっても、その細かなディティールへのこだわりはすごいものです。縫い目に沿った衣服の裂け方を実現するために、パッチを縫い目に沿って分割してオブジェクトを作成しており、さらに裂けた布片がぶらぶらと垂れたように動くよう、スプリング関数を各ポイントにアトリビュートとして与えているそうです。裂けやすさの属性をポイントカラー情報としてマッピングして、アニメーターがコントロールできるように環境が構築されていました。
服が裂けるエフェクトの他にデジタルキャラクタから発する放電の表現をクロスとフラクタルベースの風力シミュレーションで表現されている部分のプレゼンテーションもありました。見た目の表現と実現するための手法が思いもよらない結びつきなのですが、ぱちぱちとした表現を加えるために帯状のクロスオブジェクトを拘束するためのピンの強さをランダムにアニメーション制御する等、イメージを実現するためのアプローチは色々な視点から得る事ができるものだな、と思いました。

これで今年のSIGGRAPHの全日程が終了しました。１日少なくなったスケジュールは、予想を遥かに上回るハードさでした。次回からは今までとは考え方を変えて見る必要があるでしょう。あとは今年はカンファレンスで以外とハズレなものが多くて参りました。(-_-;来年からはもっと綿密にスケジューリングと事前調査をしようと強く思っています。(笑）
その代わりに例年以上にいろんな方とお会いできたのは大きな収穫です。会社からの視察と言う事もあり、普段は注目していなかった部分でもいろいろと刺激のある機会を多く受けたので良かったと思います。
来年、再来年はLA、そして次がまたSanDiegoになるそうです。今回でハッキリした事はSanDiego<>LAは飛行機は使わない方が良いと言う事。LAに在住の方に聞いたのですが、どなたも「車で行くような場所」とおっしゃってました。帰りの飛行機でも予約が取り消されて、トラブルになりましたが、あんなプロペラ機だけの空路なら無理も無いか・・・と思ったのは私だけでしょうか。（笑）ある程度の人数で行動するなら、車を利用するのが良いかもしれません。