GitHubじゃ!Pythonじゃ!

GitHubからPython関係の優良リポジトリを探したかったのじゃー、でも英語は出来ないから日本語で読むのじゃー、英語社会世知辛いのじゃー

commonsense

conceptnet5 – 生データからConceptNetを構築するためのコード

投稿日:

生データからConceptNetを構築するためのコード。

コンセプトネットは、普通の人々が知っているが普通は無言のまま残す情報のような、常識的な知識へのアクセスをコンピュータに与えることを目指しています。

このPythonパッケージには、独自のカスタムデータを使用してConceptNet 5ナレッジグラフを構築するためのツールセットが含まれており、HTMLインターフェイスとJSON Web APIを提供します。

このパッケージは、単にConceptNet 5にアクセスする必要はありません。 詳細については、 http://conceptnet.ioを参照してください

その他のドキュメントはWikiで入手できます: https : //github.com/commonsense/conceptnet5/wiki

ライセンスと帰属はLICENSE.txtとDATA-CREDITS.mdに表示されます。

ディスカッショングループ

ConceptNetの使用に興味がある場合は、conceptnet-users Googleグループにご参加ください。質問や不定期なお知らせ: http ://groups.google.com/group/conceptnet-users?hl=ja

リアルタイムの議論のために、ConceptNetにもGitterのチャットチャンネルがありますhttps : //gitter.im/commonsense/conceptnet5

システム要求

ConceptNetビルドプロセスのすべてのステップを実行できるようにするには、次のものが必要です。

  • Python 3.4以降
  • NumPyとSciPyをインストールできるPython環境、またはすでにインストールされているPython環境
  • sortuniqなどの標準的なGNUコマンドラインツール
  • データの行列を読み書きするためのlibhdf5
  • PostgreSQL 9.5以降、書き込み可能なconceptnet5データベース
  • CONCEPTNET_DB_USERCONCEPTNET_DB_PASSWORD 、およびオプションでCONCEPTNET_DB_HOSTNAME環境変数を設定して、データベースに接続できるようにする必要があります

これらは、Docker Composeを使用してコンテナ内で自動的に設定できます。 ドッカーの指示を参照してください Web APIをローカルに提供する場合は、Docker Composeを使用することを強くお勧めします。

ConceptNetのインストールと構築

このパッケージをインストールするには、次のコマンドを実行します。

python3 setup.py develop

生データからすべてのデータを構築するには、次のコマンドを実行します。

snakemake -j 8 --resources 'ram=16' all

-j 8はSnakemakeの8つのプロセスを並列に実行すると言いますが、 ram=16は同時に実行されるプロセスに制約を与え、約16 GBのRAMが必要です)。

Webサービスを実行するために必要なデータのみをビルドまたはダウンロードするには:

snakemake -j 8 webdata

ConceptNet Numberbatch単語埋め込みの強力なパフォーマンスを示す評価を再現するには:

snakemake evaluation

何かがうまくいかないときやコードが変更されたときにやり直すには:

snakemake clean







-commonsense

執筆者:

関連記事

関連記事はありませんでした