OpenPoseを活用している最近の論文をサーベイしてみた

シェアする

  • このエントリーをはてなブックマークに追加
スポンサーリンク

はじめに

OpenPoseが出て以降、Pose推定をどのように他の技術に応用しているのかが気になったため、Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields を引用している最近の論文を日付順でサーベイしてみた。(2018/09/13 現在)。全部の論文を詳しく説明するのではなく、簡単にその論文の説明をするような形にいます。また、引用している論文を取り上げたので、実際に関連研究として取り上げているだけで、OpenPoseを使っていない論文もあります。

Realtime Multi-Person Pose Estimation

Realtime Multi-Person Pose Estimationとは、CVPR2017でCMUが発表した、RGBの2次元画像のみから複数人のPose情報を検出するアルゴリズムです。画像に映ってる人数に関わらず1回の推論でPose推定を行うので、Realtimeに処理できるほど高速です。また、1回の推論でPoseまで検出できるので、Bounding Boxから検出する以前の方法に比べ精度も著しく向上しています。CMUのオリジナル実装はCaffeをベースにしたOpenPoseというライブラリで公開されています。

(論文より)

引用している論文の紹介

Multi-Person Pose Estimation with LIMB Detection Heatmaps

https://ieeexplore.ieee.org/document/8451055/#full-text-section

アプローチ

図の右側をみてほしい。関節検出ヒートマップと四肢検出ヒートマップを組み合わせているのがわかると思います。モデルは、関節検出ヒートマップと四肢検出ヒートマップを同時に予測し、次に四肢のヒートマップによってわかった関節の関係性に従って、個体ごとに分類する流れになっている。

(論文より)

SHPD: Surveillance Human Pose Dataset and Performance Evaluation for Coarse-Grained Pose Estimation

https://ieeexplore.ieee.org/document/8451116/#full-text-section

高品質の人間の姿勢データセットの欠如は、実用的な監視シナリオでのポーズ関連アプリケーションを大幅に制限していると考えています。

アプローチ

既存の人間ポーズベンチマークと実際の監視用のアプリケーションとの間のギャップを埋め尽くすことを目指して、SHPDを要する、監視人間ポーズ画像データベースを開発する。SHPDは、様々な野外監視シナリオにおいて、世界的な人間の姿勢の10のカテゴリを含み、画像はポーズおよび他の有用な特徴でラベル付けされる。

3D Human Pose Estimation Using Stochastic Optimization in Real Time

https://ieeexplore.ieee.org/abstract/document/8451427/

アプローチ

 この論文では3Dのポーズ推定について取り上げている。生成的最適化法を用いることでRTWアルゴリズムの能力を拡張する姿勢推定アプローチを提示している。

(論文より)

Swim Stroke Analytic: Front Crawl Pulling Pose Classification

https://ieeexplore.ieee.org/abstract/document/8451756/

アプローチ

OpenPoseを使用して泳者の体の部位を検出する。この論文の主な貢献は新しい姿勢推定アルゴリズムではなく、むしろスイムストローク分析における既存の姿勢推定法、すなわちOpenPoseの効果的な応用にあります。

  • 水泳パフォーマンスのフィードバックにコンピュータビジョンを適用する事を提案する。
  • このフレームワークは、スイミングプールの実際の水生環境で水泳の素人のビデオを記録し、ほぼ全ての一般使用者がパフォーマンスアセスメントにアクセスできるようにする。

(論文より)

Full-body High-resolution Anime Generation with Progressive Structure-conditional Generative Adversarial Networks

https://arxiv.org/abs/1809.01890

アプローチ

DeNAさんが出している全身および高解像度のキャラクタ画像を生成することができる PSGAN です。潜在変数から多くのキャラクター(Character 1)が生成できます。次に生成されたキャラクターに対応する潜在値をPSGANで補間することで、新しいキャラクター(Character 2)を生成できる。こうすることで、見た目を変えた全身のキャラクターの画像を生成することが可能となります。指定したアニメキャラクターの表現をPSGANの入力ベクトルとなる潜在空間の潜在変数にマッピングすることで、生成したアニメキャラクターのアニメーションが生成可能となるそう。

(論文より)

Full-body anime generation at 512×512 with Progressive Structure-conditional GANs

Dense Pose Transfer

アプローチ

正面から撮った入力画像とターゲットのポーズ情報から、入力画像のポーズとターゲットのポーズを対応させる。パイプライン全体をend-to-end で訓練することができ、敵対的および知覚的損失の組み合わせを最適化する。

(論文より)


OpenPoseの活用例を調べようと思い、関連研究を調べていましたが、まず論文の内容をこの分野の知識が足りずに理解できないことが多かったのでまず、基本的なところから実装を交えながら勉強しようとすごい思いました。なので、次はそれを記事にしたいと思いました。また、勉強したあとに再チャレンジしたいと思います。

最後まで読んでいただきありがとうございました。よろしければこの記事をシェアしていただけると励みになります。よろしくお願いします。

スポンサーリンク
レクタングル広告(大)
レクタングル広告(大)

シェアする

  • このエントリーをはてなブックマークに追加

フォローする

スポンサーリンク
レクタングル広告(大)