私たち人間は視覚を通じてどのように実世界を認識しているのでしょう。能動的に行動するために、私たちは目を通して得られた画像から環境の三次元情報を脳内に構築しています。では、コンピュータやロボットに同様の機能を持たせることはできるでしょうか。このような研究を扱う分野を指してコンピュータビジョンと呼びます。コンピュータビジョンは1960年代に人工知能研究の一部としてスタートし、計算により人間の視覚と同等の機能を実現できるか、さらには視覚機能の本質とは何かを探る情報科学の一分野で、現在も活発に研究されています。

　私たちが実世界の物体を「見る」とき、実際に私たちの目が感じているものは物体から目へ向かって飛び込んでくる光です。その光は、太陽や電灯などの光源から発せられた光の一部が物体表面上で反射したり、透過したり、あるいは物体そのものの発光により生じます。したがって、現実世界の物体の三次元形状や表面の反射率、色などを正しくディジタル化できれば、任意の光源のもとで実際の物体と同じ見た目を持つディジタル複製が作成できることになります。さらに、作成したディジタル複製をコンピュータ上の仮想空間に配置することで、仮想現実（Virtual Reality; VR）や映像制作などに応用することができるようになります。

　それでは、身の回りにある物のディジタル複製を作るにはどうしたらよいでしょうか。もっとも身近で利用できそうなツールとしてディジタルカメラがあります。カメラで撮影することで、現実世界の三次元物体の見た目をディジタル化し二次元画像として記録することができます。複数の異なる視点から撮影した画像を使うと、多視点ステレオと呼ばれる方法を用いて物体の大まかな三次元形状を推定することができます（図１）。この多視点ステレオ法は、同じシーンを異なる視点から撮影し、画像中に観察される物体上のカドや線といった共通の特徴がある部分の三次元位置を三角測量の原理をもちいて推定します。

図1　多視点ステレオによる三次元形状推定

　一方で、私たちは多視点から観察された画像がなくとも、物体の三次元形状を理解することが出来ます。これはなぜでしょうか。私たちの目をカメラとみなすと、二つのカメラによって三角測量により奥行きを理解できることが理由の一つとして挙げられます。しかし、片目だけで見たとしても三次元形状を理解することができるのはなぜでしょうか。私たちは過去の経験から得た知識（事前知識）を使って、三次元形状を理解していると考えられますが、過去に見たことのないもの、例えば氷山のように多様な形をもつものなども写真から形状を理解することができます。この理由ははっきりとはわかっていませんが、物体表面上の見た目の明るさの陰影パターンと事前知識の併用により、私たちは形状を理解していると考えられます。

　私たちは、照度差ステレオによる三次元形状復元の研究に取り組んできました。これまでの照度差ステレオ法は光沢や艶のない拡散反射面を対象としてきましたが、現実世界の物体はツルツルしているものや鈍く光るものなど多様な反射率分布[1] で表される質感を持っています（図３）。このような多様な反射率分布を持つ物体の三次元形状推定は難しい問題として知られていました。私たちの研究では画像中の陰影パターンと事前知識を用いることで、多様な反射率分布を持つ物体の三次元ディジタル復元が計算によって実現できることを世界に先駆けて示しました。その中の一つの例では、事前知識として図３のような多様な反射率分布データを準備し、これらの反射率分布で生成される陰影パターンを深層学習によって学習することで、陰影パターンと法線ベクトルの対応関係を獲得しました。これにより、異なる光源下で得られた画像列から直接的に深層学習器を用いて三次元形状を推定することができることがわかりました（図４）。このようなデータ駆動型の枠組みにより、実世界に存在する多様な物体の三次元形状のみならず、反射率分布も推定可能であることがわかり、実世界物体のディジタル複製へ向けて大きく前進しました。

―――――――――――――――――――――――――――――――――――――――――――――――――

図３ 　多様な反射率分布

　私たちが研究を進めている光とカメラを用いるアプローチでは、画像のピクセル[2] 単位の細かさで三次元形状を推定することができるので、高精細なディジタル複製ができるというメリットがあります（図５）。復元できる物体表面上の細かさは、カメラの中のセンサとレンズの解像度に依存しますが、高解像度のものを選ぶことでその分だけ高精細な復元が可能になります。

　以上、現実世界の物体の三次元ディジタル複製について、私たちのこれまでの研究を簡単に紹介しました。新しいデータ駆動型の三次元形状推定技術により、これまでには難しかった物体の三次元ディジタル複製ができるようになってきました。一方で、このようなディジタル複製のための撮影機材は未だに複雑なものであり、また、撮影や計算にかける労力も低いとは言えません。今後は、撮影方法や三次元形状推定方法を進化させて、現在私たちがスナップショット写真を撮るくらいの手軽さで、誰もが三次元ディジタル複製を作れる世界を目指したいと考えています。手軽に三次元ディジタル複製が作れるようになれば、仮想現実やディジタルツインが今よりもずっと加速すると考えられます。また、三次元ディジタル複製は文化財や美術品のディジタルアーカイブ[3] や、商品のディジタル展示などへも応用が期待できます。

―――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――

[2] ピクセル：ディジタル画像を構成する最小単位。画素。

[3] ディジタルアーカイブ：文化資産や知的資産を画像や映像、またはその他のディジタル情報として記録・保管すること。　

　最後に、高校生の皆さんへのメッセージとして情報科学を学ぶことをおすすめしたいと思います。情報科学と聞くとコンピュータや情報リテラシーを学ぶ分野と思われるかたもいるかもしれませんが、情報科学分野においてもコンピュータそのものや情報リテラシーは目的達成のためのツールとなってきています。では情報科学とはどのようなことを学ぶ分野でしょうか。情報科学は、社会や自然、宇宙の事象を「情報」として表現し理解する、そして実現したいことを「情報の動き」として表現し、その仕組みを作ることを目的とする学問です。現在、日常生活においても情報を使うサービスに触れないことは難しいと思います。今後ますます社会の中で情報科学の重要性が高まっていくと考えられますので、皆さんにはぜひとも情報科学という道があることを心に留めておいていただきたいと思います。

謝 辞

　これまでの私たちの研究は、大阪大学をはじめとする多くの共同研究者の皆様の多大なご協力によって実現したものです。皆様に深く御礼を申し上げます。また、私たちの研究は科学研究費補助金や財団助成金により支えられてきました。この場をおかりして、心より感謝申し上げます。