GitHubじゃ!Pythonじゃ!

GitHubからPython関係の優良リポジトリを探したかったのじゃー、でも英語は出来ないから日本語で読むのじゃー、英語社会世知辛いのじゃー

YadiraF

PRNet – 「3次元顔再構成と位置マップ回帰ネットワークによる密集配置」のソースコード

投稿日:

「3次元顔再構成と位置マップ回帰ネットワークによる密集配置」のソースコード https://arxiv.org/abs/1803.07835

位置マップ回帰ネットワークを用いた3次元顔再構成と高密度アライメント

これは、PRNの公式のPython実装です。 トレーニングコードがリリースされます(約2か月後)。

PRNは、高密度アライメントと3次元顔形状をエンドツーエンドで共同して退行させる方法です。 Multi-PIEと300VWの例をYouTubeで見ることができます。

主な機能は次のとおりです。

  • エンドツーエンドこの方法は、3DMMフィッティングを回避して、単一の画像から3D顔面構造と高密度アライメントを直接回帰させることができます。

  • マルチタスク位置マップを回帰することにより、意味的意味とともに3Dジオメトリを得ることができます。 したがって、高密度アライメント、単眼3D顔再構成、姿勢推定などのタスクを簡単に完了できます。

  • リアルタイムよりも速くこの方法は、100fps以上(GTX 1080)で実行して位置マップを回帰させることができます。

  • 拘束されていない状態での顔画像のテスト。 私たちの方法は、ポーズ、イルミネーション、およびオクルージョンに対して堅牢です。

アプリケーション

基礎(論文で評価)

  • フェイスアライメント

視点と不可視点(68点を含む)の高密度アライメント

  • 3D顔再構成

単一の画像から3D頂点と対応する色を取得します。 MeshlabまたはMicrosoft 3D Builderで開くことができるメッシュデータ(.obj)として結果を保存します。 目に見えない領域のテクスチャは自己閉塞のために歪んでいることに注意してください。

もっと見る(追加する)

  • 3D姿勢推定

    68個のキーポイントを使用してカメラの行列を計算するのではなく、より正確なポーズを計算するために、すべての頂点(40K以上)を使用します。

  • テクスチャフュージョン

入門

前提条件

  • Python 2.7(numpy、skimage、scipy)

  • TensorFlow> = 1.4

    オプション:

  • dlib(顔を検出するためのものです。バウンディングボックス情報を提供できる場合はインストールする必要はありません)

  • opencv2(結果を表示するため)

GPUをお勧めします。 実行時間はGPU(GeForce GTX 1080)で〜0.01秒、CPU(Intel(R)Xeon(R)CPU E5-2640 v4 @ 2.40GHz)で約0.2秒です。

使用法

  1. リポジトリのクローン作成
git clone https://github.com/YadiraF/PRNet
cd PRNet
  1. PRN訓練モデルをBaiduDriveまたはGoogleDriveでダウンロードし、 Data/net-data

  2. テストコードを実行します(AFLW2000画像をテストします)。

    python run_basics.py #Can run only with python and tensorflow

  3. 自分のイメージで実行する

    python demo.py -i <inputDir> -o <outputDir> --isDlib True

    詳細は、 python demo.py --helpを実行してください。

連絡先

Yao Fengに連絡するか、質問や提案(私はアプリケーションを追加するために私を押してください)の問題を開いてください。

ありがとう! (● ‘◡’●)

謝辞







-YadiraF
-, , ,

執筆者: