マルチタッチインタフェース考
〜Apple vs. SAMSUNG 裁判に思う

Apple と SAMSUNG との、スマートフォンに関する特許をめぐる訴訟合戦は、あっちで Apple が勝って、こっちで SAMSUNG が勝って、といった状況で、まだなんとも行く末の定まらない様相である。Steve Wozniak はこの訴訟合戦について "I hate it." （意訳: アホか）と言い、9月にカリフォルニア州連邦地裁で下された、SAMSUNGによる Apple の特許の侵害を認めた評決については、「（侵害が認められた特許は）どれも小さな事 ("very small things") で、イノヴェイティブであるとはとても言えない」とまで言っている†1。そして僕もまったくそう思うのだ。

争点の一つに、マルチタッチパネルにおける操作手法に関するものがある。中でもメディアに象徴的に取り上げられるのが、二本の指でつまむジェスチャーでズームイン/アウトする、いわゆる「ピンチイン/アウト」と呼ばれる操作。iPhone では地図や写真のズーム操作に応用されている。この操作に関する知的所有権について両社は争っている訳だが、これなぞはさしずめ Wozniak のいう "very small thing" と言えよう。といっても、もちろんピンチイン/アウト操作自体が役立たずと言いたいわけではない。そうではなく、マルチタッチインタフェースの開発をやっている人なら、誰でも思いつくものだし、そもそも SAMSUNG どころか Apple 以前に多くの先例があるからだ。

SAMSUNG はそれをわかっているから、裁判に Mitsubishi Electric Research Laboratories (MERL) の研究者を引っ張り出して、MERL で研究されていた先行例について証言させている†2。かくいう僕も、これまでの研究でマルチタッチインタフェースの研究をしてきており、その進化の過程は間近で眺めてきたし、ピンチイン/アウト的な操作を色々と開発してきた。ここでは、マルチタッチインタフェースの進化について、その歴史を紹介しながら考察してみたい。

マルチタッチインタフェースの起源を求めていくと、Myron Krueger の VIDEOPLACE (1985) に突き当たる。ビデオカメラを使い、人の身体や手の形状を認識し、インタラクションを実現したもので、およそ身体を使った二次元インタフェースとして考えつきそうなアイデアの多くがすでにこの時点で投入されている。両手指で指示をする操作も、ごく当たり前のようにここでは実現されている。

当時の画像処理性能の限界もあり、白一色の背景の前で身体や手を動かさないといけないという制約がある上に、ディスプレイに対して直接触って操作することはできない。それでも、初代 Macintosh が発売された1984年の翌年には、すでにこれだけのアイデアが実現されていたことに驚く。

Krueger のこのシステムは大きな影響を各方面に及ぼすものの、タッチパネルのように画面に直接触れることができるインタフェースで VIDEOPLACE のような操作ができるようになるには、少し時間がかかる。先鞭をきったのは、1997年に慶應義塾大学（当時）の松下伸行氏とソニーコンピュータサイエンスラボラトリ (CSL) の暦本純一氏らが開発した HoloWall である。

HoloWall はビデオカメラを用いて身体形状の認識をする点で VIDEOPLACE と似ているが、赤外線カメラとリアプロジェクション用のスクリーンを用いることにより、スクリーン表面に近接した物体のみを取り出すことができるところに発展がある。これによって、スクリーンに投影されたグラフィックに対して直接働きかけることが可能になった。

HoloWall は名前の通り壁面ディスプレイ用に開発された技術だが、まったく同じ手法で HoloTable というテーブル型のインタフェースも提案されている。そして、この HoloTable でのデモでは、両手による二点タッチによって、投影された地図を回転・拡大縮小するアプリケーションが提案されていた。

同様の発想は、他のテーブル型システム向けでも実装されている。Fitzmaurice の Bricks†4 (1995) にその萌芽が見られるし、MIT Tangible Media Group の Brygg Ullmer が開発した metaDESK (1997) では、建物を表した触れるアイコン="Phicon（ファイコン）" をテーブル上で二つ同時に操作することで、投影された地図を、その二つの建物の位置関係を反映した向き・大きさに変化させることができる。これも、インタフェースの違いはあれど二点指示による回転・拡縮操作を実現した例である。

かくいう僕も2000年に修論で似たようなことをやっていたりする。まぁ、発想としてはごく普通のものであると言ってもいい。

さらにセンサ技術が進展して、よりタッチパネルらしくなってくるのが、件の裁判でも引っ張り出されていた、MERL の DiamondTouch (2001) あたりからとなる†5。DiamondTouch は複数人による同時操作に特化した設計になっており、マルチタッチの操作には色々弱点があるのだが、テーブル型の利点を活かしたアプリケーションの提案がされている。

そして、僕も関わったソニーCSLの SmartSkin (2002) も、静電容量方式によるマルチタッチ可能なタッチセンシング技術だ。指先位置だけでなく、パネル表面に触れた手の形状も認識することができる。次のデモビデオ中で出てくるが、片手によるピンチイン/アウト操作のデモもこの中ですでに提案されている。ちなみに冒頭で図だけ紹介した、片手でパリの地下鉄路線図を回転・拡縮しているデモも、SmartSkin 向けに実装したものだ。

こうして見てみるとわかるように、ピンチイン/アウト操作というのは1990年代にはすでに当たり前の発想になっていたものであり、それだけを取り上げれば、これといった目新しさは2000年代後半にはすでになくなっていたのだ。

それではなぜ、Apple はこうまで自信満々に、SAMSUNG の権利侵害を強く主張できるのだろうか。それは FingerWorks の買収によって得た知的所有権が関係してくる。

これまでのマルチタッチインタフェースの紹介の中に、一つ意図的に書き漏らしていたものがある。デラウェア大（当時）の Wayne Westerman が 1999年に発表した博士論文†6で、静電容量方式によるマルチタッチインタフェースに関するものである。SmartSkin とほぼ同様の、面状の人体形状センサとして設計されていて、センサ面に接触した手の全体的な形を認識することができる。

Westerman は当初、指の本数や動きによるジェスチャーコマンドを沢山実装することを考えていたらしい。下図は2001年に Westerman が発表した論文から引用したものだが、手を拡げるとファイルを開き、手をすぼめるとファイルを閉じる、といった操作が提案されている。他にも、ズーム操作やスクロール操作用のコマンドが用意されているなど、いま我々が慣れ親しんでいるマルチタッチジェスチャーとは異なった考え方をしていることがわかる。

Westerman はその後、FingerWorks という会社を起業し、このマルチタッチインタフェースを組み込んだ製品を開発していくのだが、その製品の第一号はなんとキーボードだった。これはメカニカルなキーをまったく廃し、そのかわりに全面をマルチタッチパネルで覆ってしまい、タッチ操作でキー入力ができるという非常に野心的な製品だった。そのころ腱鞘炎の症状に悩まされていた Westerman の狙いは、手指にかかるストレスを軽減するキーボードの開発にあったのだ。

このタッチ式キーボード "TouchStream" は、単にキーボードの代替ではなく、モードを切り替えてタッチパッドとして使うことができ、さらに先述のジェスチャーコマンドを備え、手をキーボードから動かさずにすべての操作をこなせるというもので、「タッチで簡単操作」というよりは、かなりのギーク向け商品だった。普通のタッチパッドの形状をした "iGesturePad" というのも発売はされていたのではあるが、どちらかというと二次的な扱いを受けていた。

しばらくは TouchStream の廉価版のようなものを細々と開発していた FingerWorks だが、2005年に会社ごと Apple に買収される。その2年後に、Apple は全面タッチパネルを採用した iPod touch を投入。以降、iPhone・iPad でタッチインタフェースのブームを巻き起こし、そしてそれを追いかけた Google や SAMSUNG と全面対決を始めることになる。

FingerWorks が申請していた特許は、当然ながらすべて Apple に譲渡されている。包括的なものとしてはUS 20060238520 があり、この中でマルチタッチによる回転・拡縮について記載されているが、2006年7月の出願でいまだ発効には至っていない。請求項目に記載されている対象範囲が広過ぎで、これまでに述べてきたように先行事例も多いから、成立させるつもりはないのだろうとは思うが、裁判で強気を見せているのは、こうした背景があってのことだ。

ひとまず連邦地裁レベルでは Apple が勝利してはいるが、結審するまで裁判の行方はわからない。二点タッチによる回転・拡縮操作については、Apple (FingerWorks) にその原点がないのは明らかであり、その点が認められれば SAMSUNG にも勝機があると言える。一方で、静電容量方式タッチパネルとの組合せに新規性があるという主張が重視されれば、これは Apple に分があると言えよう。しかし、結果がどうあれ、ピンチイン/アウトの権利を誰が持つかについては、所詮 "very small thing" でしかない。結審までに、より優れたインタフェースにそれは塗り替えられていくだろうと、僕は期待しているからだ。

ところで、ピンチイン/アウトというのはときどき「直感的操作」と紹介されるのだが、はたしてそうだろうか。そもそも、我々が日常的に触れるもので、拡大したり縮小したりするものが、あるだろうか。はたまた、上の写真に示したように、二本の指で何かを回転させるというような仕草をすることがあるだろうか。これが片手の二本指でも同じだ。机の上に名刺でも置いて試してみて欲しいのだが、さまざまなやり方で名刺を回せるだろうが、スマートホンでやるような片手の親指と人差し指で回すというのはかなり珍しいやり方だ。これをためらいもなく「直感的」というのは少しおかしい。一方で、論理的に考えると二点指示で回転・拡縮・並進操作を行うというのは極めてストレートでもある。二点指示による操作は、日常的な体験と論理的合理性との狭間にある不思議なインタラクションであるのだ。

このように「ピンチイン/アウト」という操作は、少し面白い問題提起をはらんでいる。革新的操作とは思わないが、ユーザインタフェースの歴史において、ちょっとした転換点だったように思う。この点については稿を改めて論考したい。

2012.12.30