今やデータサイエンスは技術革新のさまざまな分野で活用されていますが、人とコンピュ ータをつなぐヒューマンインタフェースの開発もその一つ。なかでも、医療や心理学、観光、広告など多岐にわたる分野で活躍が期待される「視線によるヒューマンインタフェース」を開発するため、ソフト面が注目されがちなデータサイエンスにおいて、データ収集の場や製造現場での活用にも関わるハード面にも力を注ぐ廣江助教に、研究内容や今後取り組みたいテーマについてお話を伺いました。

専門分野について教えてください。

メインの研究は、ヒューマンインタフェース分野です。
ヒューマンインタフェースというのは、人とコンピュータの間に入る機械のことで、パソコンだったら、キーボードやディスプレイ、タッチパネルなどがそれに当たります。
そのなかで、視線による入力、視線によるインタフェースの研究をしています。また、視線を計測するときに眼球の画像を処理したりするので、画像処理や機械学習（※1）も関連した分野になります。視線によるインタフェースを構築するために、視線計測装置の開発と装置を使った分析を行っています。
（※1）コンピュータに大量のデータを読み込ませ、データの背景にあるルールやパターンを発見させる方法。

装置の開発については、特にキャリブレーションの自動化をめざしています。キャリブレーションとは、人によって目には個人差があるため、その違いを考慮して視線を測定するために必要な調整（校正）作業のことです。従来の視線計測装置では、使用を始める前に「ここを見てください」というキャリブレーションを行ってから「では、使ってください」という流れになります。ですが、私は、このキャリブレーションが何も意識せずに行われて、装置の前に座ったらすぐに使える状態にするというアルゴリズムの開発を行っています。
機械設計というよりは、視線計測に使う理論や計算方法を作ることで、新たな視線計測装置を開発していると言えます。開発したアルゴリズムの検証は市販の計測装置で行えないため、産業用カメラを動かしたり、回路設計などのハード面の開発も行います。

▲キャリブレーションの様子

この視線計測技術を、本格的に社会実装したいと思っています。例えば、特に小さな子どもに「ここを見てね」と言ってもキャリブレーションに協力してもらうことは難しいのですが、この技術があれば、子どもの視線だけでなく、動物の視線さえも計測できるようになるかもしれません。
また、共同研究している先生の研究によると、子どもの眼球運動が学習能力に影響がある、という話もあるので、眼球運動を測ったり、眼球運動のトレーニングを行ったりするときにも役に立つのではないかと考えています。

視線計測の仕組みについて、詳しく教えてください。

まず代表的な視線計測装置には、眼鏡のような接触型と、置いて使う設置型の 2 つがあります。どちらもカメラを使って眼球の画像を撮り、その画像から視線を測ります。私の研究では設置型を使っているのですが、被験者がすぐに交代できるという理由と、顔に何も触れていないほうが違和感なく実験できるという理由からです。
設置型の視線計測手法には、眼球の動きをモデル化してシミュレートするモデルベースと、機械学習を使って「こういう眼球もしくは顔の状態のときはこちらを見ているはず」という推測を立てて行うアピアランスベースがあります。アピアランスベースの手法はカラーのカメラ 1 つあれば視線を推定できるので手軽なのですが、精度があまり良くなりません。
なので、私はモデルベースの手法の中で精度が良い、赤外線カメラ 2 台と赤外線光源 2 個以上を使う手法に注目して研究を行っています。

カメラが 2 台あれば 2 つの平面が撮れるので、眼球の位置が 3 次元的に測定できます。
光源の光が眼球の表面で反射している位置と瞳孔の位置を 3 次元的に捉えると、黒目の中心、つまり角膜の中心と瞳孔の中心の位置が求められます。角膜の中心と瞳孔の中心の位置、この 2 点を結んだ線が眼球の「光軸」です。それに対して、見ているものと眼球の奥にある中心窩とをつなぐ線が「視線」です。
光軸と視線とは少しずれており、このずれる度合いは人によって違います。私が開発した 3D モデルの視線計測装置では、このずれを測ることでキャリブレーションを行います。

＜図1　角膜を球面とモデル化した眼球モデル＞

ちなみに、大阪成蹊大学のオープンキャンパスでは、眼鏡の形をした視線計測装置（アイトラッカー）を体験できるプログラムも実施しています。

▲視線計測装置（アイトラッカー）を使ったデモンストレーションの様子

この視線計測装置の研究で、一番の特徴は何ですか？

「顕著性マップ」を使ってキャリブレーションをするという理論を見つけたことです。
人が画面を見たときに目が行きそうな場所を計算、予測するための顕著性マップという手法があります。例えば、画面の中に真っ赤な車があればそこに目が行くはずだと推定する手法です。この顕著性マップの特性を利用して、そこに目が行っているはずだと機械が計算した視線の位置と、眼球の光軸周辺の位置の差を計算することでずれを測る、ざっくり言うとそんな理論です。
データを何パターンも集めて分析することで視線の位置がわかってくるので、その平均をとることで安定して精度良くキャリブレーションを行えます。

＜図2　顕著性の高い領域の探索範囲の限定＞

基本的な顕著性マップは、画面の中に赤いものがあったり、一部だけすごく明るかったり、突然変わった建物があったり、といった単純なものでした。しかし、最近の顕著性マップは、「こういう絵のときは視線がここへ行く」というのが機械学習で予測できるようになっています。
そういった機械学習の発展によって性能が向上した顕著性マップを使うことで、より精度の高い計測を行えるようになりました。このキャリブレーションの手法はこれまでにはなかったものなので、特許も取得しています。

視線計測でどういったことができるようになるのでしょうか？

例えば博物館で、ある展示物を見ているだけで、その説明が表示されて教えてもらえたり、街なかにあるモニターを見ている人が知らない間にキャリブレーションされていて、その人がどこを見ているかがわかったりするかもしれません。世の中にはすでに VR などもあるので、今言ったような技術は現実になっていそうなのに、意外とできていないんですよね。

ここ最近では、AI が何かと注目を集めていますが、私自身は 、仕事を奪われる、と怖がるのではなく、AI という面白いことができる道具が増えたのだから、それを使ってもっと面白い研究をしようよ、と思っています。

視線計測装置自体は、長く研究されているテーマです。しかし、社会実装については ALS （筋萎縮性側索硬化症）の方が使っているものはありますが、一般的に使えそうなものはまだありません。音声入力は一斉に広まったのに、視線入力はいつになったら普及するんだろう、と思っています。口を動かすより、見るだけでテレビのチャンネルが変わったりしてくれたらラクですよね。

研究の難しいところや楽しいところについて教えてください。

私の場合、同じ研究をしている人がほとんどいない分野の研究をしているので、情報がなかったり、手探り状態のことが多かったりするのが難しいところです。また、この技術を使いたかったら、このプログラミング言語を習得するしかないといったようなことが発生したり、私は普段は Python（※2）を使っている