カメラで撮った映像にリアルタイムで3DCGで作られたキャラクター等を合成する。
こういった技術を、ARという。Augmented Realityの略で、拡張現実と訳されている。
USBカメラとAR Toolkitというフリーのライブラリを使って実装されているので、数千円のお金さえあれば誰でも同じ事ができる。すごい。
AR Toolkitの機能について分かったことをあげていく。
・ARの模様が書かれた土台(カード)と同じ大きさの透明ポリゴンを仕込むことで影をカードに落とせる。シャドウマップという機能を使うようである。そうするとカードにも本体にも影が出来る。光源もはマーカーを中心に回すことが出来る。逆光も可能だが、目だけは常に影なし。ちなみに、キャラクターに対する光源が変わるだけで、土台となるカードを動かしてキャラクターを動かした場合は光源も一緒に動く。逆光なら逆光のまま後ろを向く。
影はモーションに合わせても動く。髪の揺れも再現。