今回お話した照度差ステレオ法は，光の当て方を変えることによって物体表面の陰影パターンの変化から三次元形状を推定します。月の表面のように十分に大きく観察できるもので、かつ、光の当たり方が変わるような対象に対しては照度差ステレオ法の技術が使えると思います。一方で、星に大気があったり、光の当たり方が変わらなかったり、あるいは遠すぎて十分な解像度をもって観察できない、などの場合にはまた別のアプローチが必要になります。

光を自ら発する物体の三次元形状推定は、現在は未だにほとんど取り組まれていない研究テーマになります。大変面白いトピックと思いますが、現状のデータ駆動型照度差ステレオ法でも難しい問題として残っています。

三次元形状と併せて物体表面の反射率や表面色を同時に推定することにより、どのような材質であるかを推定するという試みは研究レベルでは進められています。実用的には、通常のＲＧＢカメラ以外のデバイスを使ったもののほうが高精度に推定が可能であり、まだまだ研究の余地があるトピックです。

三次元ディジタル複製を作る際に、まさに実世界の形状や質感を推定していますので、これらを復元するということは可能であると言えます。

ソナーを使った深度推定は可能であり、実際に測距の有効な方法として利用されています。画像を用いるメリットは、ソナーよりも分解能の高い深度推定が可能である点が挙げられるかと思います。粉末を塗布して形状を決める、というのも有効な方法です。特に、ガラスのように光を透過する対象物体などに対して粉末を塗布することで、拡散反射面として扱うことができますので、照度差ステレオを用いるアプローチにおいても有効です。

内部構造はＸ線などを使って直接的に観察すれば再現は可能です。観察できない場合には、機械学習などを用いて推定するというアプローチになるかと思いますが、「正しく」再現できているかどうかは、学習データに依存するという話になるかと思います。

透過光を用いた研究は、私のグループでは実施していませんが、十分に可能性があると思います。Ｘ線などを利用する方法は既に多くのアプローチがありますし、人体内部に侵入する波長帯（赤外光など）の利用もあるかと思います。

香りや音などは画像に含まれない情報になりますので、直接的には困難です。一方で、このような画像（映像）ではこのような音が聞こえるはず、といったような事前知識データがあれば、それを元に画像と音、あるいは香りを対応付けることは可能と思います。

撮影は数分ですが、計算には少しスペックの高めのPCを使って、猫の置物の例では２、３時間かかります。

対象物体の形状の複雑さや大きさにも依存しますが、今回お見せした例ではいずれも１２０枚程度の画像を撮影しています。

ディジタル画像で言うと、一般に新しい画像のほうが解像度が高いという点で、高精細な三次元形状を推定する際には有利であると言えます。しかしながら、古いディジタル画像でもノイズレベルなどが十分に低ければ、形状推定の際に問題となることはありません。

ぶれてしまった場合には撮影し直す必要がありますが、通常の照度差ステレオのセッティングでは、カメラと対象物体は固定しますのでぶれるケースというのは稀かと思います。

カメラやコンピュータのように、以前は大型であったものが小型化していくというのは多々あるかと思います。照度差ステレオのための計測装置も、同様に可能性はあると考えています。今回お話した照度差ステレオとは異なる技術ですが、スマートフォンのカメラとＬＥＤライトを用いたコンパクトな撮像方式に関する研究も進めています。

論文へのリンク：http://cvl.ist.osaka-u.ac.jp/wp-content/uploads/2022/04/cao2022shape.pdf

Shape and Albedo Recovery by Your Phone using Stereoscopic Flash and No-flash Photography, X. Cao, M. Waechter, B. Shi, Y. Gao, B. Zheng, F. Okura, Y. Matsushita, International Journal of Computer Vision (IJCV), 2022.

多視点ステレオ法の上に照度差ステレオ法が加わってくる形になります。現在、照度差ステレオ法の計算コストは、多視点ステレオ法のために必要な計算コストより何倍も小さく、計算時間はほとんど変わりません。一方で、撮影時に異なる光源下で撮影する必要がありますので、多視点ステレオに必要な画像枚数の数倍の画像が必要になるというデメリットがあります。

私達のグループの成果ではありませんが、太陽光を利用して屋外物体を対象に照度差ステレオを適用するという研究があります。

大変良いお考えだと思います。計算量は解像度に依存しますので、大きな建造物をどのくらいの細かさで（１ｍｍまでの分解能か、あるいは１ｃｍくらいの分解能かなど）ディジタル複製するかで大きく変わってきます。今回お話した照度差ステレオ法では、ピクセル単位で法線を推定することが可能ですので、１ピクセルが実世界物体のどのくらいの領域に対応するかを考え、必要な分解能を決める必要があります。例えば、画像の横サイズが８０００ピクセルのカメラで８ｍ (＝８０００ｍｍ)の幅を持つ物体を撮影すると、１ピクセルあたり１ｍｍ程度の幅をカバーすることになります。また、計算コストは画像の枚数にもほぼ比例しますので、何枚の画像からディジタル複製を作るか、という点も考える必要があります。今回お見せしたディジタル複製結果は、おおよそ１５ｃｍ (＝１５０ｍｍ)四方に収まる物体を対象としており、それを６７２０ x ４４８０ピクセルの画像として撮影しています。これを約１２０枚程度撮影し、計算させるとＧＰＵ搭載の１台のパソコンで約１時間程度かかります。複数台のＧＰＵやＣＰＵを持つ計算機を使えば、その分早くなるということになります。ぜひ想定している対象でどのくらい時間がかかるのか見積もってみてもらえればと思います。

ご指摘のとおり、データサイズは一つの課題となっています。今回お見せした例では、ひとつのモデルあたり約２００～５００ＭＢ程度のサイズになっています。クオリティを保ったままデータを圧縮することは大変重要なトピックであり、メッシュの簡略化やテクスチャの圧縮など、現在も様々な研究が進められています。

身近な物体のディジタル複製を簡単につくれるようになれば、現在私達が写真や動画を撮るように、三次元ディジタル複製をオンラインで共有したり、ＶＲ空間で表示したり、あるいは映画等の制作のためのコンピュータグラフィックスへ応用したり、様々なアプリケーションがあると思います。

ディジタル複製した三次元物体を映画製作へ応用することは可能です。ディジタル複製データをコンピュータグラフィックスによるレンダリング（描画）パイプラインに乗せることで、画像や映像の製作ができます。立体視のためのメガネが不要になるかという点に関しては、こちらは映像提示の技術の話になりますのでコンテンツ作成技術とは少し異なるのですが、映像提示技術も活発に研究が進められています。

現在のコンピュータグラフィックスのキャラクタ作成にも、今回お話したような技術の一部が使われていると思います。これがもっと進むと、現実と見分けがつかないほどのリアリティになっていくと考えられます。

大変興味深い応用だと思います。世界中で、ウェブカメラやスマートフォンなどを用いて健康状態を遠隔へレポートしたりなどのヘルスケアアプリケーションが盛んに開発されています。現状は私達のデバイスは大きいのですぐにということはないですが、形状や見え方などの情報をより多く収集できるようになれば、このようなアプリケーションに有用であると考えられます。

ご質問のとおり、現実をディジタル化する技術が発展することでＶＲ世界をより現実に近づける（現実感を増す）ことは可能です。また、ディジタル化技術が発展することで、環境を三次元的に認識する技術が高度化しますので、人間の目の代わりとして環境認識をするようなコンピュータビジョンのアプリケーションへも貢献できます。

今回のお話した技術とは異なるもので、私達の研究ではないのですが、射影幾何を用いて絵画から奥行きを推定する試みがあります。ご興味があれば以下の論文を検索してみてください。

Single View Metrology, A. Criminisi, I. Reid, and A. Zisserman, International Conference on Computer Vision (ICCV), 1999.

特に興味を持っているのは、ＶＲへのアプリケーションです。現実感を持ったＶＲ空間ができれば、多様なコンテンツを今までにない臨場感を持って楽しむことができるようになると思います。また、簡単に三次元ディジタル複製を作成し、遠隔へ転送し、そして受け手側でプリントすることで、三次元形状のやり取りが簡便化されて、様々なビジネスの効率化（例えば部品の発注・納品の効率化）が進むことを願っています。

画像や映像と同様に、著作権の問題が起こることは十分に想像されます。また、ディジタル複製から３Ｄプリントによって実物と同じ複製ができてしまうと、新たな問題が起こりうると思います。これらの将来的な課題についても積極的に取り組む必要があると考えています。

実際の立体物を見て奥行きを感じる場合と、その写真を見て奥行きを理解するというのは少し異なる状況になります。これは、実際の立体物は三次元の形状を持っているのに対して、写真は二次元平面にプリントされたものであり形状としては平面であるからです。写真からでもシーンの奥行きを認識できるのは、実際には存在しない奥行き情報を人間の過去の知識や経験などから補っているからであると言われています。これを利用して、錯覚（錯視）を生じさせるだまし絵を作ることができるという点では、錯覚によって奥行きを感じることはあると言えます。

人間がものを見る時、目に届いた光の情報を脳が処理することで認識という機能が実現されます。したがって、人間による認識機能は脳の処理に依存するものであり、絶対ということはありません。難しい質問ですが、私にとって「見える」とは皆さんと同様であると思いますが、光を感じることかと思います。

人間の実世界認識機能が優れている理由として、人間は目を通じて得られた視覚情報と過去に獲得した知識の両方をうまくあわせて認識しているからであると考えています。コンピュータによる認識精度も年々上がってきており、限られたデータセットの中では人間を超えたという話もありますが、まだまだ人間のレベルには到達できていないと感じています。この理由は脳と計算機の構造の違いに起因する点と、視覚情報と事前知識のあわせかたの違いによるものではないかと考えています。今回お話した事前知識データというのは非常に限られたコンテキストではありますが、物体の反射率のデータセットや法線候補の集合に相当します。これを用いて、例えば、おおよその物体の反射率はデータセット内に含まれる反射率の組み合わせで表現できるだろう、というような仮定を置くことで問題を解ける形に帰着しています。

人間の三次元把握能力は実はあまり正確なものではありません。例えば、３ｍ先にあるものをぴったり３ｍ先にある、と言える人は少ないと思います。この点では、コンピュータとセンサによる測距や形状推定精度は既に人間を超えていると言えます。

視覚以外の感覚、例えば触覚、嗅覚などに関しては私の専門を超えるのですが、これらに関する研究も活発に行われています。

コンピュータビジョンという研究分野に初めて出会ったのは、博士課程の学生の時でした。博士課程在籍時の恩師や先輩の話を聞くうちに強く興味を持つようになったのがきっかけです。研究分野を決めた、というよりは、様々なトピックに触れていくうちに自ずと自分の興味の方向性に気付いた、という感じでした。