2次元画像認識

主として,一般的なRGBカメラを利用して対象物体を撮影し,2次元画像として取得されたシーンを計測,認識することによって,高速・ロバストな画像照合や,パターン識別をおこないます.近年,カメラデバイスは高解像度,高フレームレート化が進んでいるため,3次元センサでは計測困難な小型部品の認識などロボットへの適用や,従来からニーズが多い微細なキズなどの外観検査の分野でも,期待が大きくなっています.

濃度共起確率に基づく超高速テンプレートマッチング(CPTM)

テンプレートマッチングは,画像から目的の物体を検出する汎用的な技術です.本研究では,テンプレート画像に含まれる全画素のなかから,ユニークな画素だけを自動的に選び出すことによって,きわめて少数のデータだけを用いる超高速なマッチングを実現しました.

複数の画素からなる画素パターンの共起発生確率を計算し,確率値が小さいパターンほどユニークであると考えます.この技術により,テンプレート画像中のわずか 0.6% の画素だけを使って従来の約170倍の高速処理が実現し,しかもほぼ 100% の認識率を達成できることが確認されました.

生産ラインにおける部品検査,組立ロボットのほか,対象物や人物の高速な追跡など,幅広い用途に利用できます.

関連発表
1. 橋本,奥田,鷲見,藤原,輿水,濃度共起確率に基づくユニークな画素群を用いた高速画像マッチング,電気学会論文誌D部門, Vol.131, No.4, 2011.

CNN中間層を利用した画素選択型テンプレートマッチング

画素選択型マッチングに関して,CNNの中間層を利用して画素を選択する研究にも取り組んでいます.

検出したい物体をクラス“対象物(テンプレート)”とし,それ以外の物体を全てクラス“非対象物”として学習したCNNを利用します.CNNの中間層で生成される特徴マップでは識別に有効な情報が抽出されていること,また,特徴マップはネットワークに入力された画像との位置の対応関係があることに注目します.テンプレート画像をCNNへ入力したときの特徴マップから,応答値が高い位置を参照することによって,CNNの識別に寄与している情報に基づいた画素選択が可能となります.このようにして選択した画素は識別能力が高く,実験の結果,従来の画素選択型マッチング法よりも高い精度でマッチングできることを確認しました.

識別性能と高速性の両立が必要な生産ラインなどの現場で利用できます.

関連発表
1. 篠原, 橋本, DNN中間層を利用したテンプレートマッチングにおける参照画素の自動決定,精密工学会誌, Vol.84, No.12, 2018.

周辺類似物体との分離性を最大化する画像マッチング

CPTMをルーツとする画素選択型マッチングの発展として,似た形状を持つ外乱物体にも惑わされないテンプレートマッチングにも取り組んでいます.検出したい対象物体(ポジティブサンプル)と,形状が似ている類似物体(ネガティブサンプル)を多数準備しておくことによって,ポジティブサンプルには共通的に含まれるがネガティブサンプルにはほとんど見られない画素を取り出すことができます.

本研究では,テンプレート画像のすべての画素からこの基準を満たすごく少数の画素群を選択する問題を,組み合わせ最適化問題として定式化し,周辺類似物体との分離性を最大化する画素だけを抽出することに成功しました.さまざまな画像による実験の結果,全体の1%程度の少数の画素のみを使用しても,96% ~ 99% の認識成功率を実証しました.

識別性能と高速性の両立が必要な生産ラインでの各種物体検出などの分野で威力を発揮します.

関連発表
1.櫻本泰憲,橋本学,対象物と類似物の識別に有効な画素群を用いたテンプレートマッチング,精密工学会誌,Vol.81, No.7, pp.678-683, 2015/7.

マルチクラス識別機能を有するテンプレートマッチング

テンプレートマッチングの枠組みで複数種類の物体の位置検出とマルチクラス識別を実現する手法を提案しました.

従来のテンプレートマッチング法では,1回の処理で1つの対象物に対する類似度しか算出できず,検出する物体数に比例して処理時間が増加していました.そこで,本研究では1回の処理で複数の対象物に対する類似度を算出し,処理の高速化を図ります.テンプレート画像の一つ一つの画素にはクラス識別の能力があることに着目し,各クラスにカテゴリ分けされた多数の対象物画像を使用して各画素が持つクラス識別能力をクラス尤度ヒストグラムという形で指標化します.このヒストグラムをマッチングで使用することによって,一回の類似度計算で複数クラスの尤度を推測することができ,高速にマルチクラス識別が可能となります.

複数種類の物体を同時に検出・認識することが必要な生産ラインなどの現場で利用できます.

関連発表
1. 櫻本泰憲,橋本学,対象物と類似物の識別に有効な画素群を用いたテンプレートマッチング,精密工学会誌,Vol.81, No.7, pp.678-683, 2015/7.

統計的外乱画素推定に基づく遮蔽に頑健な画像照合

部品同士が重なる場合など対象物が部分的に遮蔽されている場合にも正確に対象物を認識する新技術を開発しました.

過去の統計的な変動傾向に基づいて遮蔽の発生している外乱画素を照合時に推定し,非遮蔽領域のみを用いて対象物を認識することで遮蔽に頑健な画像照合を実現しました.事前分析ではなく,照合時に外乱を推定することにより,遮蔽のような予測不能な突発的外乱に対するロバスト化を実現しました.実験により,約70%までの遮蔽に対して頑健な照合が可能であることを確認しました.

部品同士の重なりによる遮蔽が発生する生産ラインなどに適しています.

関連発表
1.斎藤正孝,橋本学,統計的濃度変動分析を用いた外乱画素推定に基づくロバスト画像照合, ビジョン技術の実利用ワークショップ(ViEW2013),IS2-D8,神奈川県横浜市パシフィコ横浜2013/12/6.

マルチフラッシュカメラを用いた物体の凹凸形状を反映した特徴量マッチング

物体のわずかな起伏などの形状を捉えた情報を用いることによって,これまで困難とされてきた模様のない物体にも適用できる物体検出を実現しました.

本研究では,カメラの周囲に複数のLEDを円環状に配置したマルチフラッシュカメラを用いて,LEDを1つずつ点灯させて得た複数枚の画像を使用します.この画像群は,照明方向ごとに対応する物体の凹凸の陰影を反映しており,その凹凸形状に関する情報を集約した1枚の特徴量画像を生成します.この特徴量画像を照合に用いることによって,模様が少ない物体であっても高信頼に検出することができます.

工場で扱われている中間加工物の認識などに適用できます.

関連発表
1.櫻本泰憲,兼松裕一,大野広揮,秋月秀一,橋本学,渡邊清高,関真規人,Coded Multi Flash Imaging による3次元凹凸構造特徴マッチング,精密工学会誌,Vol.81, No.10, pp.944-950, 2015/10.

類似度分布の連続性に基づく高速サブピクセルマッチング

画素削減型テンプレートマッチングにおいて,対象物の高精度な位置計測技術を開発しました.

本研究では,CPTM画素削減技術をベースとして,サブピクセル推定に有効な参照画素を選択します.サブピクセル推定に有効な画素を類似度分布の連続性に基づいてテンプレート画像中から選択することにより,高精度なマッチングを実現します.さらに,マッチングに使用する参照画素を厳選することにより,高速なサブピクセルマッチングが可能です.実験の結果,0.05 pixel(1/20 pixel)精度でマッチングが可能であることを確認しました.

精密な部品の位置計測が必要な生産ラインなどの現場に適用可能です.

関連発表
1.櫻本泰憲,兼松裕一,大野広揮,秋月秀一,橋本学,渡邊清高,関真規人,Coded Multi Flash Imaging による3次元凹凸構造特徴マッチング,精密工学会誌,Vol.81, No.10, pp.944-950, 2015/10.

濃度安定性の確率的評価に基づく照明変動に頑健な物体検出

複数のテンプレート画像を利用できる場合には,画像間の濃度安定性を評価することによって照明変動に対する頑健性を飛躍的に高めることができます.

本研究では,あらかじめ位置合わせされた4~5枚のテンプレート画像群を使用します.これらを2枚ずつ組み合わせて画像間の濃度共起確率分布を2次元ヒストグラムで表現し,これを用いて画素の安定性を判断します.これを従来のCPTM法と組み合わせて更新型テンプレートマッチングに適用することによって,時間的に安定かつ空間的に独自性の高い画素をバランスよく抽出することができます.西日などの強い照明外乱に対しても 97.6% 以上の認識成功率を達成しました.

照明条件が変動しがち,あるいはコントロールが難しい生産ラインなど,実利用の現場で威力を発揮します.

関連発表
1.斎藤正孝,橋本学,濃度共起分析に基づく安定画素テンプレートを用いた照明変動にロバストな高速画像照合,電気学会論文誌C部門,Vol.133,No.5, pp.1010-1016, 2013.

複数の移動パターンに対する同時多点追跡手法

複数の移動パターンの位置を1つの状態パラメータとして定義し,物体間の相対的な位置関係を考慮した同時多点追跡手法を開発しました.

動画像中に映る複数物体を追跡する場合は,物体同士の類似性や物体の密着,セルフオクルージョンの発生によって追跡が不安定になるという問題があります.これらの問題を解決するために,本手法では物体間の相対的な位置関係を考慮した同時多点追跡を,離散的DPトラッキングと解析的DPトラッキングの2段階処理によって実現しました.各フレームで抽出した候補位置をもとに離散的DPトラッキングにより,粗い追跡経路を算出します.解析的DPトラッキングでは,この追跡経路を中心に局所コストを2次関数近似することにより,画像全体を探索空間として高精度な追跡を可能としました.

本手法を「指先パターン追跡」に応用し,ピアノ演奏スキル評価システムの 運指認識を実現しました.この技術はさまざまなユーザーインターフェースに適用できます.

サブトラッカの最適配置に基づくオクルージョンに強い物体追跡

動画像からの物体追跡において,追跡対象が遮蔽物に隠されるオクルージョン問題を解決する新手法を提案しました.

対象物体(メイントラッカ)から複数の小領域(サブトラッカ)を自動設定し,サブトラッカごとのマッチング結果を統合して全体の推定をおこないます.この際,すべてのサブトラッカを同等に扱うのではなく,オクルージョンに対する頑健性が高くなるサブトラッカ群を選択します.本研究では,色ヒストグラムの独自性が周辺に対して高く,また一方向からのオクルージョンに対する影響が小さくなるサブトラッカ群を自動決定します.対象物の約 80% が隠されるような状況下でも,従来手法であるMeanShift法やパーティクルフィルタ法よりも頑健な性能を持つことを実証しました.走行する自動車のトラッキングなどに適しています.

SIFTキーポイントの効率的な削減アルゴリズム

SIFT(Scale-Invariant Feature Transform)マッチングは,画像から検出したキーポイントと呼ばれる特徴点群を使って2枚の画像を照合する技術です.汎用性が高いことから多くの利用実績がありますが,キーポイント数が多い場合には処理に時間がかかるという問題点がありました.

本研究では,従来のSIFTアルゴリズムが使用しているキーポイントを分析し,マッチングのために有用なキーポイントを自動的に選択する手法を提案しました.その結果,従来よりも 10~20%程度キーポイント数を削減でき,さらにマッチング精度も向上することがわかりました.

これまでSIFTマッチングを使っていた分野だけでなく,ロボット視覚や対象物の追跡,人間の追跡,画像検索など幅広い用途に応用できます.