Multi-view Shape-From-Polarization

黒色鏡面物体の3次元形状を計測する手法を開発した.全周囲から光を照射して,物体表面で反射した光の偏光状態を複数方向から観測して物体表面の法線を推定した.偏光解析だけでは一意に解を求めることが出来ないという問題に対して視体積交差法で推定した3次元形状を利用した.
[1] Daisuke Miyazaki, Takuya Shigetomi, Masashi Baba, Ryo Furukawa, Shinsaku Hiura, Naoki Asada, "Polarization-based surface normal estimation of black specular objects from multiple viewpoints," Proc. 3D Imaging, Modeling, Processing, Visualization & Transmission (3DIMPVT), pp. 104-111, 2012.10
[2] 重富卓哉, 松本千賀子, 宮崎大輔, 馬場雅志, 浅田尚紀, "ステレオ偏光情報を用いた物体の3次元形状復元," 画像の認識・理解シンポジウム, pp. 880-887, 2010.07
[3] Daisuke Miyazaki, Takuya Shigetomi, Masashi Baba, Ryo Furukawa, Shinsaku Hiura, Naoki Asada, "Surface normal estimation of black specular objects from multiview polarization images," SPIE Optical Engineering, 2017.04

Metamerism Art 2015

メタメリズムアートのための基礎技術を開発した.混光光源1を照射したときに塗料1と塗料2が同じ色と知覚されるようにする.さらに,混光光源2を照射したときに塗料1と塗料2が異なる色として知覚されるようにする.そのとき,混光光源1と混光光源2が同じ色として知覚されるようにする.LEDを混光したときの混合モデルとして加法混色モデルを利用した.LEDのマルチスペクトルデータベースの重みを自動的に計算するアルゴリズムを提案し,メタメリズムを実現するためのLED球の個数を自動的に算出した.
[1] 宮崎大輔, 中村美亜, 馬場雅志, 古川亮, 日浦慎作, "メタメリズム生起のためのLED照明の最適化," MIRU2015 Extended Abstract, article no. DS1-5, 2 pages, 2015.07
[2] Daisuke Miyazaki, Mia Nakamura, Masashi Baba, Ryo Furukawa, Shinsaku Hiura, "Optimization of LED illumination for generating metamerism," Journal of Imaging Science and Technology, 2016.11-12. to appear

Metamerism Art 2014

メタメリズムアートのための基礎技術を開発した.光源1を照射したときに混合塗料1と混合塗料2が同じ色と知覚され,混合塗料3と混合塗料4が同じ色として知覚されるようにする.そのとき,混合塗料1と混合塗料2が混合塗料3と混合塗料4より明るくなるようにする.さらに,光源2を照射したときに混合塗料1と混合塗料4が同じ色として知覚され,混合塗料2と混合塗料3が同じ色として知覚されるようにする.そのとき,混合塗料1と混合塗料4が混合塗料2と混合塗料3より明るくなるようにする.油絵の具を混合したときの混合モデルとして減法混色モデルを利用した.油絵の具のマルチスペクトルデータベースの重みを自動的に計算するアルゴリズムを提案し,メタメリズムを実現するための絵の具の配合を自動的に算出した.
[1] Daisuke Miyazaki, Takafumi Saneshige, Masashi Baba, Ryo Furukawa, Masahito Aoyama, Shinsaku Hiura, "Metamerism-based Shading Illusion," In The 14th IAPR Conference on Machine Vision Applications (MVA 2015), pp. 255-258, 2015.05
[2] 宮崎大輔, 實重貴文, 馬場雅志, 古川亮, 青山正人, 日浦慎作, "擬似的な陰影を知覚させる油絵の具の混合," 画像電子学会誌, vol. 44, no. 4, pp. 649-654, 2015.09

Visual Hull in Infrared light

透明物体の3次元形状を計測する手法を開発した.対象物体を温めて遠赤外線を観測した.視体積交差法を利用して複数方向から観測した画像から形状を推定した.
[1] 奥下拓真, 宮崎大輔, 馬場雅志, 古川亮, 青山正人, 日浦慎作, "赤外線カメラのキャリブレーションおよび透明物体の3次元形状復元への応用," 画像の認識・理解シンポジウム (MIRU), article no. SS2-19, 2 pages, 2014.7

Metamerism Art 2013

メタメリズムアートのための基礎技術を開発した.光源1を照射したときに混合塗料1と混合塗料3が同じ色と知覚され,混合塗料2と混合塗料3が異なる色として知覚されるようにする.さらに,光源2を照射したときに混合塗料1と混合塗料3が異なる色として知覚され,混合塗料2と混合塗料3が同じ色として知覚されるようにする.油絵の具を混合したときの混合モデルとして減法混色モデルを利用した.油絵の具のマルチスペクトルデータベースの重みを自動的に計算するアルゴリズムを提案し,メタメリズムを実現するための絵の具の配合を自動的に算出した.
[1] Daisuke Miyazaki, Kanami Takahashi, Masashi Baba, Hirooki Aoki, Ryo Furukawa, Masahito Aoyama, Shinsaku Hiura, "Mixing paints for generating metamerism art under 2 lights and 3 object colors," Proc. IEEE International Conference on Computer Vision Workshops (CPCV), pp. 874-882, 2013.12
[2] 宮崎大輔, 高橋可菜実, 馬場雅志, 青木広宙, 古川亮, 青山正人, 日浦慎作, "メタメリズムアート制作のための油絵の具の混合比率推定," 電子情報通信学会論文誌D, vol. J97-D, no. 8, pp. 1250-1262, 2014.8

Polarization-based dehazing

画像中のヘイズを除去する技術を開発した.物理学的な理論にもとづきヘイズの偏光状態を解析することでヘイズを除去した.ヘイズの減衰パラメータはあらかじめ用意した画像データベースと入力画像を比較することで推定した.
[1] Daisuke Miyazaki, Daisuke Akiyama, Masashi Baba, Ryo Furukawa, Shinsaku Hiura, Naoki Asada, "Polarization-based dehazing using two reference objects," Proc. IEEE International Conference on Computer Vision Workshops (CPCV), pp. 852-859, 2013.12
[2] 宮崎大輔, 秋山大輔, 馬場雅志, 古川亮, 日浦慎作, 浅田尚紀, "偏光と参照物体を用いた視程障害画像の視認性改善," 画像の認識・理解シンポジウム (MIRU), article no. SS1-14, 2 pages, 2013.7

Uncalibrated Photometric Stereo with Laser Range Sensor

不透明な物体の3次元形状を計測する手法を開発した.主成分分析を利用して影と鏡面反射を除去し,特異値分解を利用して光源方向を推定し,照度差ステレオ法で物体表面の法線を推定した.主成分分析の繰り返し計算を行うことで,影や鏡面反射を除去した.3次元レーザ距離センサを利用して画像から光源方向を推定した.
[1] Tomoyuki Kamikawa, Daisuke Miyazaki, Masashi Baba, Ryo Furukawa, Masahito Aoyama, Shinsaku Hiura, Naoki Asada, "High Density Shapes Using Photometric Stereo and Laser Range Sensor under Unknown Light-Source Direction," Proc. IAPR Workshop on Machine Vision Applications (MVA2013), pp. 125-128, 2013.5
[2] 上川智幸, 宮崎大輔, 馬場雅志, 古川亮, 青山正人, 日浦慎作, "疎な3次元形状を制約条件とした未校正照度差ステレオ法による密な3次元形状の推定," 研究報告コンピュータビジョンとイメージメディア (CVIM), vol. 2013-CVIM-189, no. 5, pp. 1-6, 2013.11

Speech Activity Detection

人物の発話状態を検知する手法を開発した.画像情報としてRGB-Dカメラから取得した口唇形状を利用した.音声情報としてマイクから得られたケプストラムを利用した.画像情報と音声情報の相関から発話者を検出した.
[1] 宮崎大輔, 甲斐寛規, 馬場雅志, 青木広宙, 古川亮, 青山正人, 日浦慎作, "口唇形状と音声の相関にもとづく発話者検出に関する検討," 画像の認識・理解シンポジウム (MIRU), article no. SS4-17, 2 pages, 2013.7

Example-based Shape-from-Polarization

鏡面反射を有する物体の3次元形状を計測する手法を開発した.参照物体として球を偏光した光で様々な方向から照射して偏光カメラで観測した.計測対象物体を偏光した光で様々な方向から照射して偏光カメラで観測した.計測対象物体と同じ偏光状態を持つ点を参照物体から探索することで対象物体の法線を推定した.
[1] 小野晶久, 宮崎大輔, 馬場雅志, 青木広宙, 古川亮, 青山正人, 日浦慎作, "鏡面反射の偏光に基づく事例ベース表面法線推定," 画像の認識・理解シンポジウム (MIRU), article no. SS3-20, 2 pages, 2013.7

3D LoG Sharpening

3次元形状の鮮鋭化処理を行う手法を開発した.3次元形状に対して3次元LoG(Laplacian of Gaussian)フィルタを適用することで3次元形状を鮮鋭化した.前処理としてノイズを除去する場合は3次元バイラテラルフィルタを適用した.3次元形状同士のエッジの強さを比較する場合は,3次元エッジフィルタを適用した.
[1] Masanari Yokomizo, Daisuke Miyazaki, Masashi Baba, Ryo Furukawa, Masahito Aoyama, Shinsaku Hiura, Naoki Asada, "Optimization of 3D Shape Sharpening Filter Based on Geometric Statistical Values," Proc. IAPR Workshop on Machine Vision Applications (MVA2013), pp. 260-263, 2013.5
[2] 横溝将成, 宮崎大輔, 馬場雅志, 古川亮, 青山正人, 日浦慎作, 浅田尚紀, "幾何学的統計量に基づく3次元形状鮮鋭化フィルタの最適化," 画像の認識・理解シンポジウム, 2012.08

Metamerism Art 2011-2012

メタメリズムアートの基礎的に枠組みを提唱した.ある光を照射したときに同じ色として知覚される2種類の塗装が,別の光で照射されたときに異なる色として知覚される現象を再現した.油絵の具のマルチスペクトルデータベースの重みを自動的に計算するアルゴリズムを提案し,メタメリズムを実現するための絵の具の配合を自動的に算出した.
[1] Daisuke Miyazaki, Kazuki Nakamura, Masashi Baba, Ryo Furukawa, Masahito Aoyama, Shinsaku Hiura, Naoki Asada, "A First Introduction to Metamerism Art," SIGGRAPH Asia 2012 Posters, pp. 17:1-17:1, 2012.11-12

Virtual Origami Crane

折り鶴のバーチャル3次元モデルを生成する手法を開発した.ユーザが鶴を折る過程を観測することで,どの面が表面に現れるか検出した.ユーザが折り紙に描いた模様をテクスチャとして3次元形状に貼り付けることで実写と同じ模様の折り鶴モデルを表現した.
[1] Daisuke Miyazaki, Saori Kagimoto, Masashi Baba, Naoki Asada, "Creating digital model of origami crane through recognition of origami states from image sequence," SIGGRAPH ASIA 2010 Posters, pp. 19, 2010.12

Shadow Removal
- Hierarchical Graph Cut -

画像内の影領域を除去する手法を開発した.α拡張法よりも高速に計算できる階層グラフカット法を利用して,1枚の画像の影を除去した.ユーザの複数回のインタラクションを通して影を除去したい領域を指定できるようにした.
[1] Daisuke Miyazaki, Yasuyuki Matsushita, Katsushi Ikeuchi, "Interactive removal of shadows from a single image using hierarchical graph cut," IPSJ Transactions on Computer Vision and Applications, vol. 2, pp. 235-252, 2010.

SVD Photometric Stereo

不透明な物体の3次元形状を計測する手法を開発した.特異値分解を利用して光源方向を推定し,照度差ステレオ法で物体表面の法線を推定した.特異値分解の繰り返し計算を行うことで,影や鏡面反射に影響されにくい手法を開発した.
[1] Daisuke Miyazaki, Katsushi Ikeuchi, "Photometric stereo under unknown light sources using robust SVD with missing data," Proc. International Conference on Image Processing, 2010.09

Graph Cut Photometric Stereo

不透明な物体の3次元形状を計測する手法を開発した.照度差ステレオ法にグラフカット法を取り入れ,影や鏡面反射に影響されにくい手法を開発した.
[1] Daisuke Miyazaki, Katsushi Ikeuchi, "Photometric stereo using graph cut and M-estimation for a virtual tumulus in the presence of highlights and shadows," Proc. Workshop on Applications of Computer Vision in Archaeology, 2010.06

Median Photometric Stereo

不透明な物体の3次元形状を計測する手法を開発した.照度差ステレオ法を改良し,影や鏡面反射に影響されにくい手法を開発した.
[1] Daisuke Miyazaki, Kenji Hara, Katsushi Ikeuchi, "Median Photometric Stereo as Applied to the Segonko Tumulus and Museum Objects," International Journal of Computer Vision, Vol. 86, No. 2-3, pp. 229-242, 2010.01

Wavelet Texture Method

物体の写実的な見えを再現する手法を開発した.偏光板を用いて鏡面反射成分と拡散反射成分を分離した.物体の反射を反射モデルで表現した.画像データはウェーブレット変換で圧縮した.
[1] Daisuke Miyazaki, Takushi Shibata, Katsushi Ikeuchi, "Wavelet-Texture Method: Appearance Compression by Polarization, Parametric Reflection Model, and Daubechies Wavelet," International Journal of Computer Vision, Vol. 86, No. 2-3, pp. 171-191, 2010.01
[2] 宮崎 大輔, 柴田 卓司, 池内 克史, "Wavelet-Texture法:Daubechiesウェーブレットとパラメトリック反射モデルと円偏光板によるBTF圧縮," 電子情報通信学会論文誌D-II, Vol.J90-D, No.8, pp.2081-2093, 2007.08

Sky Polarization

空の偏光状態を解析した.空気中の微粒子で反射した太陽光は偏光する.魚眼レンズと偏光板を用いて晴天時と曇天時の偏光状態を計測した.
[1] Daisuke Miyazaki, Mahdi Ammar, Rei Kawakami, Katsushi Ikeuchi, "Estimating Sunlight Polarization Using a Fish-eye Lens," IPSJ Transactions on Computer Vision and Applications, Vol. 1, pp. 288-300, 2009

Polarization

偏光は古くから知られている物理現象であり,これまでに様々な研究がなされてきた.ここでは,コンピュータビジョンの分野でなされている偏光に関する研究を紹介する.
[1] 宮崎大輔, 池内克史, "偏光の基礎理論とその応用," 情報処理学会論文誌 コンピュータビジョンとイメージメディア, Vol. 1, No. 1, pp. 64-72, 2008.6

Inverse Polarization Raytracing

透明な物体の3次元形状を計測する手法を開発した.物体で反射・透過した光の偏光状態を観測し,偏光レイトレーシング法の逆問題を解くことにより,透明物体の3次元形状を推定した.
[1] Daisuke Miyazaki, Katsushi Ikeuchi, "Shape Estimation of Transparent Objects by Using Inverse Polarization Raytracing," IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), Vol.29, No.11, pp.2018-2030, 2007.11

Rodin Digital Archiving Project


ロダンは19世紀最大の彫刻家であり,地獄の門,考える人,カレーの市民,などの作品で知られる.本プロジェクトでは,東京都上野の国立西洋美術館に所蔵されているカレーの市民の三次元幾何モデルを生成した.また,ロダンがカレーの市民を製作する際,同じ型から作られた同じ形の部品をこの作品の異なる部分で使用したとされる美術史学的事実も確かめることに成功した.
[1] Daisuke Miyazaki, Mawo Kamakura, Tomoaki Higo, Yasuhide Okamoto, Rei Kawakami, Takaaki Shiratori, Akifumi Ikari, Shintaro Ono, Yoshihiro Sato, Mina Oya, Masayuki Tanaka, Katsushi Ikeuchi, Masanori Aoyagi, "3D Digital Archive of the Burghers of Calais," Lecture Notes in Computer Science (Proceedings of the 12th International Conference on Virtual Systems and MultiMedia (VSMM2006)), Vol.4270, pp.399-407, Xi'an, China, 2006.10
[2] 鎌倉 真音, 宮崎 大輔, 肥後 智昭, 岡本 泰英, 川上 玲, 白鳥 貴亮, 猪狩 壮文, 小野 晋太郎, 佐藤 啓宏, 大屋 美那, 田中 正之, 池内 克史, 青柳 正規, "ロダン彫刻「カレーの市民」3次元デジタルアーカイブ~3次元デジタルモデルを用いた美術的考察~," 日本バーチャルリアリティ学会第11回大会論文集, pp.209-212, 仙台, 宮城, 2006.09

Realtime Specular Removal

リアルタイムで鏡面反射成分と拡散反射成分を分離する手法を開発した.単視点からシーンを観測し,光源色と物体色の色の違いを利用して,リアルタイムで鏡面反射成分を除去した.
[1] 肥後 智昭, 宮崎 大輔, 池内 克史, "二色性反射モデルに基づくリアルタイム鏡面反射成分除去," 情報処理学会コンピュータビジョンとイメージメディア研究会 (CVIM), pp.211-218, 福岡, 2006.09

PLZT Polarization Camera


光の偏光状態を計測する装置を開発した.PLZTという物質を用いて,コンピュータによる操作で,光の偏光状態を表すストークスパラメータを推定した.
[1] Daisuke Miyazaki, Noriyuki Takashima, Akira Yoshida, Eiki Harashima, Katsushi Ikeuchi, "Polarization-based Shape Estimation of Transparent Objects by Using Raytracing and PLZT Camera," in Proceedings of SPIE (Polarization Science and Remote Sensing II, Part of SPIE’s International Symposium on Optics and Photonics 2005), Vol.5888, pp.1-14, San Diego, CA USA, 2005.08 Invited talk

Polarization-based Reflection Parameters Estimation

物体表面の色や粗さといった反射パラメータを推定する手法を開発した.偏光解析により,簡便に,鏡面反射成分と拡散反射成分を分離した.
[1] Takushi Shibata, Toru Takahashi, Daisuke Miyazaki, Yoichi Sato, Katsushi Ikeuchi, "Creating Photorealistic Virtual Model with Polarization Based Vision System," in Proceedings of SPIE (Polarization Science and Remote Sensing II, Part of SPIE’s International Symposium on Optics and Photonics 2005), Vol.5888, pp.25-35, San Diego, CA USA, 2005.08

Transparent Surface Modeling
- Shape From Two Polarization Images -

透明な物体の3次元形状を計測する手法を開発した。2つの方向から物体表面を反射した光の偏光状態を観測、領域分割・対応点探索を経て、透明物体の表面法線を求めた。
[1] Daisuke Miyazaki, Masataka Kagesawa, Katsushi Ikeuchi, "Transparent Surface Modeling from a Pair of Polarization Images," IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), Vol.26, No.1, pp.73-82, 2004.01
[2] 宮崎大輔, 池内克史, "偏光と放物的曲線の解析による透明物体の表面形状計測," 情報処理学会論文誌 コンピュータビジョンとイメージメディア, Vol.44, No.SIG9, pp.86-93, 2003.07

Polarization-based Inverse Rendering

物体を一つの方向から、偏光板を通して観測し、その解析結果にもとづき、物体の3次元形状を求めた。さらに、鏡面反射画像をもとに、周囲の光源環境を推定し、物体表面の色や粗さといった反射パラメータも推定した。
[1] Daisuke Miyazaki, Robby T. Tan, Kenji Hara, Katsushi Ikeuchi, "Polarization-based Inverse Rendering from a Single View," in Proceedings of International Conference on Computer Vision (ICCV2003), pp.982-987, Nice, France, 2003.10

Transparent Surface Modeling
- Shape From Thermal Radiation Polarization -

透明な物体の3次元形状を計測する手法を開発した。可視光における反射光の偏光状態を観測する事により物体表面法線の候補を求めた。可視光における観測に加え、赤外光における熱放射光の偏光状態も観測する事により、物体表面法線を一意に定める事に成功した。
[1] Daisuke Miyazaki, Megumi Saito, Yoichi Sato, Katsushi Ikeuchi, "Determining surface orientations of transparent objects based on polarization degrees in visible and infrared wavelengths," Journal of Optical Society of America A (JOSA A), Vol. 19, No. 4, pp.687-694, 2002.04
[2] 斉藤 めぐみ, 佐藤 洋一, 池内 克史, "赤外光の偏光解析とその透明物体形状モデリングへの応用," 情報処理学会論文誌 コンピュータビジョンとイメージメディア, Vol. 41, No. SIG10, pp. 12-18, 2000.12

Great Buddha Project


鎌倉の大仏のデジタル的に保存した。3次元レーザーセンサで複数の方向から鎌倉の大仏を計測、それらの複数のレンジデータの位置を合わせ、一つのメッシュモデルに統合した。さらに創建当時の様子を再現するために、金箔のテクスチャを貼り、大仏殿の中に配置したCGを作成した。
[1] Daisuke Miyazaki, Takeshi Ooishi, Taku Nishikawa, Ryusuke Sagawa, Ko Nishino, Takashi Tomomatsu, Yutaka Takase, Katsushi Ikeuchi, "The Great Buddha Project: Modelling Cultural Heritage through Observation," in Proceedings of the Sixth International Conference on Virtual Systems and MultiMedia (VSMM2000), pp.138-145, Gifu, Japan, 2000.10 Best overall paper

All publication list


内輪の勉強会などで発表した資料


ホームページにもどる