GitHubじゃ!Pythonじゃ!

GitHubからPython関係の優良リポジトリを探したかったのじゃー、でも英語は出来ないから日本語で読むのじゃー、英語社会世知辛いのじゃー

tobegit3hub

tensorflow_template_application – 深い学習のためのTensorFlowテンプレートアプリケーション

投稿日:

深い学習のためのTensorFlowテンプレートアプリケーション

前書き

TensorFlow使った深い学習のための一般的なゴールデンプログラムです。

サポートされている機能は次のとおりです。

使用法

TFRecordsを生成する

データがCSV形式の場合は、このようにTFRecordsを生成します。

cd ./data/cancer/

./generate_csv_tfrecords.py

データがLIBSVM形式の場合は、このようにTFRecordsを生成します。

cd ./data/a8a/

./generate_libsvm_tfrecord.py

大規模なデータセットの場合、Sparkを使用してそれを行うことができます。 データを参照してください。

トレーニングを実行する

デフォルト設定でトレーニングすることができます。

./dense_classifier.py

./sparse_classifier.py

TensorFlowフラグを使用すると、さまざまなモデルやハイパーパラメータを簡単に使用できます。

./dense_classifier.py --batch_size 1024 --epoch_number 1000 --step_to_validate 10 --optmizier adagrad --model dnn --model_network "128 32 8"

アイリスのような他のデータセットを使用する場合は、コードを変更する必要はありません。 パラメータを指定してTFRecordsファイルを指定するだけで実行できます。

./dense_classifier.py --train_file ./data/iris/iris_train.csv.tfrecords --validate_file ./data/iris/iris_test.csv.tfrecords --feature_size 4 --label_size 3  --enable_colored_log

./dense_classifier.py --train_file ./data/iris/iris_train.csv --validate_file ./data/iris/iris_test.csv --feature_size 4 --label_size 3 --input_file_format csv --enable_colored_log

CNNモデルを使用する場合は、このコマンドを試してください。

./dense_classifier.py --train_file ./data/lung/fa7a21165ae152b13def786e6afc3edf.dcm.csv.tfrecords --validate_file ./data/lung/fa7a21165ae152b13def786e6afc3edf.dcm.csv.tfrecords --feature_size 262144 --label_size 2 --batch_size 2 --validate_batch_size 2 --epoch_number -1 --model cnn

ボストンの住宅データセット。

./dense_classifier.py --train_file ./data/boston_housing/train.csv.tfrecords --validate_file ./data/boston_housing/train.csv.tfrecords --feature_size 13 --label_size 1 --scenario regression  --batch_size 1 --validate_batch_size 1

モデルをエクスポートする

トレーニング後、自動的にモデルをエクスポートします。 または、手動でエクスポートすることもできます。

./dense_classifier.py --mode savedmodel

モデルを検証する

モデルを検証するために推論を実行する場合、このように実行できます。

./dense_classifier.py --mode inference

TensorBoardを使用する

プログラムは自動的にTensorFlowイベントファイルを生成します。

tensorboard --logdir ./tensorboard/

次に、ブラウザでhttp://127.0.0.1:6006に移動しhttp://127.0.0.1:6006

サービングと予測

エクスポートされたモデルは、 TensorFlow Servingと互換性があります。 文書に従って、 tensorflow_model_serverを実行することができます。

./tensorflow_model_server --port=9000 --model_name=dense --model_base_path=./model/

我々は、 Pythonの予測クライアントJavaの予測クライアントなど、高密度で疎なモデル用のいくつかのgRPCクライアントを提供してきました。

./predict_client.py --host 127.0.0.1 --port 9000 --model_name dense --model_version 1

mvn compile exec:java -Dexec.mainClass="com.tobe.DensePredictClient" -Dexec.args="127.0.0.1 9000 dense 1"

貢献

このプロジェクトは、密集したデータや疎なデータを持つさまざまなタスクに広く使用されています。

contirbutionsをしたい場合は、 問題プルリクエストを自由に開いてください。







-tobegit3hub
-, , , , , , , , , , , ,

執筆者: