Kinectを用いたリライティング

Abstract

撮影時とは異なる照明下での照明効果を計算するリライティングは, これまで映像制作において用いられてきた.しかし, 従来はリライティングに必要な物体の形状・反射率といった情報を得るために複雑なユーザ入力や特殊な撮影装置が必要であり利用できる場面が限 られていた. そこで, 本研究ではデプス情報を取得できる撮影装置の中でも比較的安価なKinectを使用したリライティングのシステムを 提案する.Kinectで対象の物体を撮影することで物体の形状を計算し, さらに同じ場所で撮影した環境マップから計算される照明効果の情報を使って物体の反射率を推定する.物体の形状と反射率の情報を用いて撮影時 と異なる照明でリライティングを行い, さらに照明の方向や強さをユーザ入力によって調整し任意のリライティング結果を得ることができる.こ のシステムによって, 高いコストのかかる撮影装置も, 複雑なユーザ入力も必要としないリライティングが可能になる.

Video

Publication

• 山田 裕貴, 金森 由博, 福井 幸男, 三谷 純:"Kinectを用いたリライティング",芸術科学フォーラム2012, 2012-3
• 山田 裕貴, 金森 由博, 福井 幸男, 三谷 純:"Kinectを用いたリライティング", 映像情報メディア学会誌 Vol. 67, No. 5, pp.J152-J154, 2013 pdf