Laser Trail Tracker: レーザーポインタの軌跡形状に着目した入力システム

本研究は、大スクリーンを使ったパフォーマンスや娯楽用途のシステムにおける、入力インターフェースの不満を解消することを目的としたものです。レーザーポインタを使った、直感的でかつ利用者・観客の双方にわかりやすい入力手段を提供します。

目次

背景

ステージ上で大きなスクリーンに映像を投影するパフォーマンスにおいて、映像の内容を即興的に生成したい場合が多々あります。こうした場合、コンピューターグラフィクス技術を使って映像をリアルタイム生成するのが最近では主流ですが、その操作環境はキーボードやマウス、良くて MIDI 接続のピアノ式鍵盤であり、大スクリーンの前で操作するにはいささかせせこましい印象を与えているのが現状です。

こうした入力装置を使った場合、パフォーマーにとっては、スクリーンと入力装置との距離感が感じられ、直接的な操作感に欠けるという問題があります。また、観客にとっても、パフォーマーの動きと生成された映像の関係性が希薄で、ステージ上で何が進行しているのかいまひとつ分かりにくく、加えて、操作時の身体的パフォーマンス性に乏しく、面白味に欠けるという問題があります。

一方、音楽演奏の場面を考えてみると、例えばギタリストやドラマーの演奏操作 — ネックを曲げたり、強打したり — とその結果生成される音との関係は、観客にもわかりやすく、演奏行為と身体的パフォーマンスとの一体感が感じられます。もっとも、近年高度に発達したコンピューター音楽の分野では、ラップトップPCを使っての演奏行為のパフォーマンス性の乏しさが問題となっており、それを解決することを課題とした国際会議「New Interface for Musical Expression (NIME)」が開催され、研究・議論が進んでいます。

本研究は、以上に述べた映像パフォーマンスにおける入力環境の改善を目指したものです。

システム概要

提案する入力システム「Laser Trail Tracker (L.T.Tracker)」は、レーザーポインタを使ってスクリーン上に直接描かれた線の形状や動きを読み取ることができます。その情報を反映した映像を生成してスクリーン上に投影すれば、あたかもスクリーンに直接働きかけて映像を生成しているかのような感覚を提供することができます。

L.T.Tracker システム構成図

レーザーポインタの軌跡を捉えるために、本システムではスクリーン前方にカメラを設置し、スクリーン全体を撮影します。撮影画像に対し簡単な画像処理を施すことで、スクリーン上に見えるレーザーポインタの軌跡の位置・形状を認識し、またその動きを追跡します。この認識結果を用いて、映像を生成し(上図では両方の作業を一台のPCで処理している)、プロジェクターでスクリーン上に投影します。

本システムの特徴

レーザーポインタを使った位置入力システムはこれまでにも多数発表されていますが、本システムは従来研究に比して以下の特徴をもっています。

映像例

一般的な手法では、レーザーと同色系統の映像をスクリーンに表示した場合に操作に支障をきたすことがありますが、上の図で示すように、本手法ではまったく問題なく操作することができます。もちろん、緑色以外の色をスクリーン上に表示することも可能です。

実用例

これまでに Laser Trail Tracker を使ったステージパフォーマンスを実施しています。映像などはこちら。

論文