NEDO「次世代人工知能・ロボット中核技術開発」プロジェクトの成果として，世界初の全自動のお茶会ロボットを開発しました．当研究グループで2015年から取り組んできた「機能認識」技術を中心に，さまざまな物体認識技術を組み合わせることにより，茶碗やスプーンなどお茶をたてる動作に必要な対象物を認識するだけでなく，道具のどの部分を把持してどう使うべきかを自動的に判断します．
[video][video]

関連発表
1. T.Terasawa, K.Kozai, M.Hashimoto, Robotic Motion Generation for Realization of the Target Task Using Function and Poses of Objects,  IWAIT2020,  2020.
2.S.Akizuki, M.Hashimoto, A Multi-purpose RGB-D dataset for understanding everyday objects, VISAPP2020, Vol.5, 2020.
3.飯塚，秋月，橋本，物体形状を考慮したdenseCRFによる機能属性認識の高精度化，電気学会論文誌C，Vol.138，No.9，2018.
4.橋本，秋月，飯塚ほか，生活支援を想定したロボットマニピュレーションのための物体認識【優秀講演賞】，SI2018，2018．

多種類の物体の3次元的な位置姿勢を高信頼に認識する手法を開発しました．
本研究の技術ポイントは，一般的に利用されている形状の類似性のみを利用するだけでなく，物体の干渉モデルも利用することです．これにより，複数の物体を同時に認識する際に，それらの配置が物理的に実現可能かどうかを評価することができ，認識の信頼性が向上しました．
移動走行車や産業用ロボットのためのビジョンシステムをはじめ，モデル検索などにも適用可能です．
[video]

関連発表
1. S. Akizuki and M. Hashimoto, Physical Reasoning for 3D Object Recognition using Global Hypothesis Verification, ECCV-WS, 2016.

ある部品に対して人間が教示したロボット動作パターンを，類似形状をもつ別の物体に対して自動的に転移させる手法を提案しました．工場の組立工程では，コネクティングロッドやギアなど，単一カテゴリに属する部品であっても，少しずつ形やサイズが異なることに起因して，人間によるロボット動作教示に労力がかかるという問題がありました．本研究では，異なる部品であっても，同一カテゴリに属するならば「把持領域」や「作用領域」を対応づけることができることに着目し，把持すべき位置や，作用させるべき位置を自動的に転移します．これには，我々が従来から取り組んできた「機能認識」の技術を利用します．本技術は，NEDO共進化プロジェクトとして，ひきつづき研究を続けていく予定です．

関連発表
1. 鈴木，橋本，工業部品の機能的共通性に基づくロボット組立て動作生成手法【優秀講演賞】，IMEC2020，2020．
2.飯塚，秋月，橋本，物体形状を考慮したdenseCRFによる機能属性認識の高精度化，電気学会論文誌C，Vol.138，No.9，2018．

人間のデモンストレーション動作を元にロボットが道具の使用方法を理解するためのデータの表現方法を提案します．

Tactile loggingは，人の手の動きと道具の動きの両方を時系列かつ3次元的に計測し，手と道具，物体と道具の 接触を，あらかじめ用意した道具の3次元形状モデルに記録する枠組みです．図中の3Dモデルにおいて，赤や緑に着色された部分が接触の発生した位置です．この枠組みによって人物動作を解析したところ，ハンマーを使 うときは柄の端を持つ，お盆にものを乗せる際は，真ん中付近に置く，など動作が適用される 位置を詳細に記録することが可能となりました．また，蓄積した接触履歴を解析することによって， その道具がどのような動作に利用されたのかを解析可能であることを示しました．
関連発表
1. S. Akizuki and Y. Aoki, Tactile Logging for Understanding Plausible Tool Use Based on Human Demonstration, BMVC-WS, 2018. (oral) [pdf]

コップに備わる”液体を蓄える”という機能に代表されるような，日用品に備わる機能を認識する手法を提案しました．

”液体を蓄える”という機能はくぼみ形状から作られるように，日用品の機能は物体形状と強く関係すると考えられます．このことに着目し，提案手法では，まず局所的な形状を表す特徴量と機械学習を用いることによって，対象物の機能を認識します．次に，大域的な形状情報を再評価するために設計した確率モデルを，さきほどの認識結果に導入します．このような2段階評価を用いることにより，認識率77.0%で機能を認識できるようになりました．

本技術は，生活支援ロボットのほか，生産システムにおける類似形状部品の認識や，工具認識のためのビジョンシステムに応用可能です．

関連発表
1. 飯塚，秋月，橋本，物体形状を考慮したdenseCRFによる機能属性認識の高精度化，電気学会論文誌C，Vol.138，No.9，2018．
2.M. Iizuka, M.Hashimoto, Detection of Semantic Grasping-Parameter using Part-Affordance Recognition, REM2018, 2018.

複数の物体が存在するシーンにおいても，対象物をプリミティブ物体近似し，ロボットの動作パラメータを決定する手法を開発しました．

本研究では，対象物を構成する面情報に着目し，仮説検証を用いてシーン中に存在する面領域を組み合わせることにより，対象物をプリミティブ形状で近似します．そして，近似結果と把持ルールを用いて，ロボットの動作パラメータ（アプローチ位置，方向，角度，開口幅）を決定します．仮説検証を用いて最適な対象物の領域を認識するため，前処理にセマンティックセグメンテーション（対象物の領域抽出）を必要としない手法を実現しました．

本技術は，物流ロボットや生産システムで使用されるビジョンシステムに応用できます．

関連発表
1. 鳥居，橋本，モデルレス把持パラメータ決定のための3次元プリミティブ近似手法，計測自動制御学会論文誌,  Vol.55，No.1，2019.
2.T.Torii, M.Hashimoto, Model-less Estimation Method for Robot Grasping Parameters Using 3D Shape Primitive Approximation, CASE2018, 2018.

ばら積みされた物体の位置姿勢認識手法を開発しました．本研究では始点を共有する2本の3次元ベクトル（ベクトルペア）をマッチングの単位とし，対象物の中で特徴的なベクトルペアのみを利用します．データ量がきわめて少ないので高速であり，また特徴的なデータのみを使用するので誤認識の危険性が低いことが利点です．

関連発表
1. 秋月，橋本，特徴的3-Dベクトルペアを用いたばら積み部品の高速位置姿勢認識，電気学会論文誌C（レター），Vol.133，No.9，2013．

物理シミュレータを利用して，ばら積み物体認識の信頼性を向上させました．物理シミュレーションによってばら積みシーンを生成し，そこから得られた特徴量群を分析します．特徴空間において識別性能が高い特徴量を選択し，認識に使用します．少数の特徴点の利用のみで認識の信頼性が向上することを確認しました．

関連発表
1. 武井，秋月，橋本，識別性能の予測に基づく選択的特徴量を用いたばら積み部品の認識，精密工学会誌，Vol.81, No.4, 2015.

局所参照座標系LRF（Local Reference Frame） は，キーポイントに設定される局所座標系です．照合対象の点群に密度の違いや欠落が発生していた場合にはLRFが不安定となり，マッチングに失敗するという課題が残されていました．本研究ではこれらの外乱に対して頑健なLRFを提案しました．

関連発表
1. 秋月，橋本，3次元キーポイントマッチングのための点群密度変化および欠落に頑健なLocal Reference Frame，電子情報通信学会論文誌D，Vol.J99-D, No.8, 2016．

局所領域の相対的な点数比が点群の粗さに対する不変量であることに着目し，これを記述したRelative Point Density（RPD）特徴量を新たに提案しました．3Dセンサと対象物間の距離の変化や，センサ自身の計測方式の異なりに起因した，点群の密度の違いにロバストな認識を実現しました．

関連発表
1. S.Akizuki and M.Hashimoto, Relative Point Density (RPD) Feature for Object Recognition Independent of Point Cloud Sparseness, FCV2016.

ばら積み部品認識のための特徴量を提案しました．提案するCCDoN特徴量は２つのスケールで算出した曲率値と法線ベクトル間の差分値から算出したDifference of Normals（DoN）特徴量を組み合わせた3つの形状評価値から構成されます．従来の特徴量よりも高速性，信頼性において優位です．

関連発表
1. 永瀬，秋月，橋本，CCDoN：ばら積み部品の高速・高信頼な6自由度位置姿勢推定のための局所特徴量，精密工学会誌，Vol.80,  No.12, 2014.

3次元物体認識のための特徴点検出および特徴量記述手法を開発しました．本手法は，局所領域に対する計測点群の割合（占有率）に基づく特徴点検出と，マルチスケールの球の最外殻のみを記述領域とした特徴量記述で構成されます．従来法と比較し，認識率は同等でありながら，処理速度は約3倍高速であることを確認しました．

関連発表
1. 武井, 秋月, 橋本, マルチスケールシェル領域の点群占有率に基づく3次元特徴量の提案, 電気学会論文誌C,  Vol.136, No.8, 2016.