特徴点を用いた
ジグソーパズルの自動回答システム

NEDOリアルタイム機能属性認識
2017Dec（中京大学）

日用品のリアルタイム「機能属性」認識技術です．

「コップにジュースをいれて持ってきて」のような人の音声指令を理解して動作する．生活支援ロボットのプロトシステムを作成しました．
【表彰】IMEC2017 優秀講演賞

シーン中で安定的に観測可能であることと，特徴ベクトルの独自性が高いことを条件として選択した3次元特徴点を用いて物体の位置姿勢を認識します．

ばら積み物体の位置姿勢を高信頼かつ高速に推定し，ピッキングするシステムを開発しました．
【表彰】SSII2012 優秀学術賞 他1件

ばら積みシーンの生成学習による高信頼な3次元物体認識です．認識した対象物をオレンジ色で表示しています．
【表彰】DIA2013 研究奨励賞 他1件

照明変動に頑健なテンプレートマッチング

SCPTMのリアルタイムデモを，画像センシングシンポジウム（SSII2013）にて展示しました．
【表彰】第12回CVIM卒論セッション優秀賞 他3件

画素の時間的安定性を考慮したマッチング手法（SCPTM）を大きな照明変動が含まれる画像群に適用しました．

サブトラッカの最適配置に基づく
オクルージョンに強い物体追跡

濃度共起確率に基づくユニーク画素を用いた
超高速テンプレートマッチング（CPTM）

最適選択されたサブトラッカ群を用いた，オクルージョンに強い物体追跡です．青枠がサブトラッカです．

テンプレート画像を分析して，マッチングに使用する画素数を大幅に削減します．従来手法の100〜1000倍程度の高速化が可能です．
【表彰】第14回PRMUアルゴリズムコンテスト優秀賞

ユーザーの感性を反映した
商品設計支援システム
（試作）

物体に対する感性指標を自動で推定する手法を用いて，3次元物体モデルの検索システムおよび形状を修正するシステムを試作した．

一人称視点カメラから取得した動画を分析し，対象物に対するユーザーの注目度を推定します．

組み立て作業における
手動作と視線情報の自動記録システム

モノの組み立て作業において手動作と視線情報を自動記録するシステムです．

運指認識と音列照合の2つの要素技術を組み合わせた誤り検出に基づく演奏支援システムです．

運指とミスタッチを検出できる
ピアノ演奏スキル評価システム
（J. S. Bach, Prelude）

マーカレス運指認識技術と音列照合技術を組み合わせた，スキル評価システムのプロトタイプです．

汎用3-Dハンドモデルを用いるので演奏者によらず認識可能です．
Prelude（J. S. Bach）に適用しました．

距離画像シーケンスの分析に基づく
ピアノ演奏における運指の自動認識
（かっこう）

ボトムアップ型運指認識手法を「かっこう」に適用してみました．◯印は認識成功，×印は失敗を示しています．
実験風景は→こちら

特徴点を用いた
ジグソーパズルの自動回答システム

キーポイントマッチングおよび色認識による
「学部長アシスタント」自動押印ロボット

音声により指示された食品を色認識し，食事支援をおこなうロボットシステムを開発しました．

ユーザが空間内で動かしたペンの立体的な動きを認識し，描かれた形を3Dプリンタで再現するシステムを開発しました．

音声認識と色認識を用いた果実自動収穫システム

次々と画面に高速表示される数字をカメラで撮影し，ディープラーニングによって認識する，フラッシュ暗算解答システムを開発しました．

3Dセンサで取得した人の動き情報をもとに居眠り動作を検知し，自動的に起こすロボットを開発しました．

「ハノイの塔」の攻略

モーションキャプチャを用いた
自動車の遠隔操作

モーションキャプチャを用いて，人間の運転動作情報を取得し，これに基づいて自動車を遠隔操作するシステムを開発しました．

LeapMotionを用いた
じゃんけんロボットの開発

新型Mindstorm（EV3）を用いた自動走行

簡易ロボットアームMR-999の自動制御化

手動で制御するロボットアームをカメラで取得された画像をもとにPCで自動制御できるように改造した．

複数カメラを用いた
ラジコンカーのアラウンド
ビューモニターの制作

人の顔を検出し，常に画面の中心に捉え続け，写真を撮影するカメラを制作しました．

HVG-Cを用いて表情を認識することにより，表情に対応した音楽を流す携帯端末のアプリを作成しました．

ラジコンカーに設置したマーカーを検出し，自動でラジコンカーを制御し，プラトーン走行します．

Leap Motionを利用して指先座標を取得し，その座標を用いたシューティングゲームを開発しました．

Kinectセンサを用いた
ものまね
ヒューマノイドロボット

平面動物体に対する
プロジェクションマッピング

Kinectセンサを用いた
メガローバー制御による障害物回避走行

プロジェクタとターンテーブルを用いた光切断による
全周囲モデラー

LEGO Mindstorms上のカメラ映像をBluetooth経由でPCに転送し，ボールの自動認識と運搬を実現した．

LEGO Mindstormsにカメラを搭載し，矢印（→）の方向を認識するVisualFeedback走行者を試作しました．

LEGO Mindstormsを用いて道路標識を認識し，標識に従って自律走行します．

ロボットアームMELFAに搭載したカメラで設計写真を認識し，積み木をピッキングして構造物を組み立てる．

ペッパーズゴースト錯視の原理を応用して，アクリル板ピラミット内に3次元物体のアニメーションを作成した．

PCで生成したモータ制御データをBluetooth経由でVstone Beauto Roverに転送し，走行制御します．

LEGO Mindstormsを用いた全自動クリケットロボットを開発しました．
逆運動学を解いて，関節角を演算する．

LEGO Mindstormsに搭載したカメラ映像をBluetooth経由でPCに転送し，顔の追跡を実現しました．

ロボットアームMELFAのハンドアイで円柱と円孔を認識し，3点レーザ測距により斜め挿入を実現しました．

ユーザの視線を検出し，連続注視時間による関心度評価グラフを表示します．

高速テンプレートマッチング（CPTM）を用いた同画像のぶれ補正を実現しました．

ODE（Open Dynamic Engine）を用いたロボットアームMELFAの動作シミュレータを作成しました．

Kinectで撮影して人体領域を抽出し，リアルタイムでカメラ映像と合成します．

BoFを用いた自動カロリー計算

ラーメン・カレー・カツ丼の3種の学食メニューを認識し，カロリーを表示する．