組立作業の作業者の視線と手の動きに着目し，作業者が初級者から熟練者へ成長する過程を分析する手法を開発しました．

提案手法は，2次元で表現される視線と手の位置情報を18個の領域に量子化し，18種類のコードで表現します．そして，同時刻における視線と利き手，視線と非利き手のコードのペアの発生頻度を全フレームにわたって求め，共起ヒストグラムを生成します．これを習熟プロセス分析のための特徴量とすることによって，視線と手の連動性を分析することができます．提案特徴量を用いた分析の結果，初級者と中級者の間では，非利き手の動きが異なり，中級者と熟練者の間では，視線の動きが異なることが分かってきました．

本技術は，製造現場における作業者の教育・訓練システムや，熟練作業ロボットに応用できます．

関連発表
1. Yohei Kawase, Manabu Hashimoto, Analysis of Skill Improvement Process Based on Movement of Gaze and Hand in Assembly Task,The 18th International Conference on Computer Analysis of Images and Patterns (CAIP2019),vol 11679. Springer, pp.15-26, DOI:10.1007/978-3-030-29891-3_2, 2019/9/4.

組み立て作業を分析するための記述フォーマットを提案し，それに従った自動記述を実現するセンシングシステムを開発しました．

記述フォーマットには，左右の手による手の移動，物体を移動させる動作，物体同士を結合させる動作が記述されるように設計されています．提案したセンシングシステムは，手と物体の存在位置を確率的に表現したデータを用いることによって，手と物体が相互に干渉する位置を特定し，手の移動を記述できます．さらに，手と物体の相互干渉位置において，センサから物体までの距離の変動を分析することによって，物体を移動させる動作，物体同士を結合させる動作を記述できます．その結果，作業のプロセスおよび左右の手の使用状況を確認できる機能を持たせることができました．

新人作業者と熟練作業者の記述結果を比較することによって，作業改善への応用が期待できます．

関連発表
1.渡邉瞭太，橋本学，組み立て作業分析のための動作手順と手・注視点の移動軌跡の自動記述システム，精密工学会誌，Vol.82，No.5，pp.473-480，2016/5．

サービスの質の評価のために，ユーザの笑顔度合いを読み取る必要があります．この場合，実用性の観点から2つの課題があります．1つめの課題は，大仰な表情と微妙な表情を識別することです．2つめの課題は，未学習者の表情を識別することです．本研究では，学習者に依存しにくい大仰と微妙な喜び表情の識別手法を提案しました．

まず，顔の眉，口などの部位からキーポイントを抽出し，基準顔画像の対応するキーポイントからの移動方向と移動量を算出します．これらをそれぞれ量子化することで移動方向コードとし，特徴量とします．複数人の学習画像から生成した表情ごとの特徴量の頻度分布に基づき，表情ごとに異なり，かつ不特定多数の人に共通する特徴量を選択し，識別に用いることによって，2つの課題を解決しました．

テレビ番組の視聴率調査や人とロボットのコミュニケーションツールなど，不特定多数の人の感情をセンシングする手法として期待されます．

関連発表
1.佐々木康輔，渡邉健斗，橋本学，長田典子，顔キーポイントの移動方向コードに基づく個人差の影響を受けにくい表情認識，電気学会論文誌C, Vol.138, No.5, pp.611-618, 2018/5.

独居高齢者の心のケアや，ストレス社会で暮らす人の心の健康状態をタイムリーにモニタリングするために，顔表情の変化に気づくシステムが求められています．

本研究では，当研究室で開発した，静止画を対象としたGabor特徴を用いた微妙な顔表情認識手法を発展させ，動画像からの顔表情の変化時刻検出手法を提案します．連続顔画像の各フレーム（時刻）を，表情の大きさを基準にして3つのクラス（大仰な喜び，微妙な喜び，無表情）に分類します．これらを時系列の記号列と見なし，記号化された表情のならびから，表情変化が生じた時刻を推定します．実験の結果，適合率87.8%，再現率84.5%を確認しました．

家庭などで一定間隔で記録された顔画像列をもとにした，日々の心の健康状態の変化を把握するシステムとして，例えば専門の臨床心理士による診断の補助的計測に適用できます．

3 次元モデルの形状に対して人が感じる印象を定量的に自動で推定する手法を開発しました．

本研究では，人の 3 次元形状の知覚プロセスに基づき，複数の視点から 3 次元モデルをレンダリングした画像群を入力データとするDeep Neural Networkを用いて，人が感じた印象を推定しています．実験の結果，車，花瓶，椅子というさまざまなカテゴリのデータセットに対して，本手法の推定結果と人が評価した値の高い相関関係を確認しました．

本技術は，直感的な3次元モデルの設計・検索システムへの応用が可能です．

関連発表
1.Koichi Taguchi, Manabu Hashimoto, Kensuke Tobitani, Noriko Nagata, An Estimation Method of Human Impression Factors for Objects from their 3D Shapes Using a Deep Neural Network, Proceedings of the IS&T International Symposium on Electronic Imaging 2018 (Image Processing: Algorithms and Systems XVI), IPAS-194, 2018/1/30.

独居高齢者の増加や介護者の減少により，高齢者の事故が増加傾向にあるため，事故につながる非定常動作を自動的に検出するシステムが求められています．本研究では，非定常動作検出のための定常動作を高信頼に識別する手法を提案し，高齢者の事故が多いトイレ空間に応用しました．

人間が日常生活においておこなう動作の発生順序が，行動ごとにパターン化されていることに着目し，各動作の画像的な特徴だけでなく動作間の遷移のしやすさも考慮して動作を識別します．HMM（隠れマルコフモデル）をベースとし，各HMMから出力される尤度と，動作間の遷移のしやすさを表す確率を用いて動作を識別します．これにより，画像的な特徴が類似した動作であっても，発生順序の違いから可能性が低い遷移を抑制し，高信頼な動作の識別を実現しました．

本技術は，トイレ内の高齢者の非定常動作検出のほか，さまざまな環境下における高齢者の単独事故防止システムへの応用が期待されます．

関連発表
1.Yuka Kitamura， Haruki Aruga， Manabu Hashimoto， Improvement of HMM-based Action Classification by using State Transition Probability，Proceedings of 12th International Conference on Quality Control by Artificial Vision （QCAV）， Vol.9534, 95340S-1-7, 2015/6/4.

近年，ロボット安全分野が注目されており，ロボットと人間が共同作業空間における相互の接触予防が重要な課題となっています．本研究では，複数の簡易型測距センサの組み合わせによって作業空間における人間の存在確率分布を算出する技術を開発しました．

1次元的な測距が可能な赤外センサを室内に配置し（Ambient sensors），その組み合わせ信号と人間の位置座標の対応を学習させます．これをANNを用いて識別することによって，未知の信号列から人間の位置を推定します．このとき，信号列と位置座標の関係をベイズ推定の枠組みで補間することによって，突発的な計測エラーを抑制しました．実験によって認識成功率 83.6%，処理時間 0.18 ミリ秒を確認しました．提案手法はKinect等のエリアセンサ方式より応答性の点で優れており，ロボット安全のようなリアルタイム処理に適しています．

ロボットと人間の共同作業空間の安全確保などに利用できます．

初心者のピアノ演奏スキルの向上においては，正しい音を正しい指使いで弾くことが重要とされており，演奏音列と電子楽譜を用いた音列照合と，打鍵した指を同定する運指認識の２つの技術要素が必要です．

音列照合は，演奏音列データと電子楽譜を柔軟にマッチングさせます． 運指認識は，レンジセンサで撮影した距離動画像を分析し，膨大な学習データと効率的に照合することによって，運指状態を判断します．マーカを一切使わないことが特徴です．本研究では，これらの技術をそれぞれ開発して統合し，ピアノ演奏スキル評価システムを実現しました．

本システムにより，ピアノレッスン品質が向上するとともに，ピアノ演奏を題材としたスキル獲得プロセスの定量分析手段としても利用できます．このほか，熟練作業者による高度ものづくり技術の分析や，医療の観点からの高齢者の手指運動機能の解析など，さまざまな分野への応用も期待されます．