Github: https://github.com/OpenNMT/OpenNMT-py

PyTorchのオープンソース神経機械翻訳 http://opennmt.net/

OpenNMT-py：オープンソース神経機械翻訳

これはオープンソース（MIT）の神経機械翻訳システムであるOpenNMTのPytorchポートです。翻訳、要約、イメージからテキスト、形態学、その他多くの分野で新しいアイデアを試してみることができます。

コードベースは比較的安定していますが、PyTorchはまだ進化しています。現在、安定したコードが必要な場合は、フォークすることをお勧めします。

OpenNMT-pyは共同オープンソースプロジェクトとして実行されます。 Sasha Rush （ケンブリッジ、マサチューセッツ州）、 Ben Peters （Saarbrücken）、 Jianyu Zhan （深圳）が管理しています。元のコードはAdam Lerer （NYC）によって書かれました。私たちは貢献が大好きです。 Contributions Welcomeタグ付き投稿のIssuesページを参照してください。

主要な列車のコマンドは非常に簡単です。最小限は、データファイルと保存ファイルが必要です。これは、エンコーダ/デコーダの両方に500個の隠れユニットがある2層LSTMで構成されるデフォルトモデルを実行します。 -gpuid 1を追加して-gpuid 1を使用することもできます。

ステップ3：翻訳

python translate.py -model demo-model_acc_XX.XX_ppl_XXX.XX_eX.pt -src data/src-test.txt -output pred.txt -replace_unk -verbose

新しいデータを予測するためのモデルを作成しました。ビーム探索を実行することでこれを行います。予測結果をpred.txt出力しpred.txt 。

!!! メモ “デモデータセットが小さいため、予測は非常に恐ろしいものになります。より大きなデータセットを試してみてください！たとえば、翻訳や要約のために何百万ものパラレルセンテンスをダウンロードすることができます。

事前に埋め込まれた埋め込み（例えば、GloVe）

チュートリアル： OpenNMT-pyにGloVeの事前に訓練された埋め込みを使用する方法

事前トレーニングされたモデル

以下の事前モデルは、translate.pyでダウンロードして使用できます。

http://opennmt.net/Models-py/

引用

OpenNMT技術レポート

@inproceedings{opennmt,
  author    = {Guillaume Klein and
               Yoon Kim and
               Yuntian Deng and
               Jean Senellart and
               Alexander M. Rush},
  title     = {OpenNMT: Open-Source Toolkit for Neural Machine Translation},
  booktitle = {Proc. ACL},
  year      = {2017},
  url       = {https://doi.org/10.18653/v1/P17-4012},
  doi       = {10.18653/v1/P17-4012}
}

OpenNMT-py – PyTorchのオープンソース神経機械翻訳

OpenNMT-py：オープンソース神経機械翻訳

目次

要件

特徴

クイックスタート

ステップ1：データを前処理する

ステップ2：モデルをトレーニングする

ステップ3：翻訳

事前に埋め込まれた埋め込み（例えば、GloVe）

事前トレーニングされたモデル

引用