GitHubじゃ!Pythonじゃ!

GitHubからPython関係の優良リポジトリを探したかったのじゃー、でも英語は出来ないから日本語で読むのじゃー、英語社会世知辛いのじゃー

DormyMo

SpiderKeeper – sci / open source scrapinghub admin ui

投稿日:

sci / open source scrapinghub http://sk.7mdm.com:5000/の admin ui

SpiderKeeper

スパイダーサービスのスケーラブルな管理UI

特徴

  • ダッシュボードからスパイダーを管理します。 自動的に実行するようにスケジュールする
  • ワンクリックで治療プロジェクトを展開
  • スパイダーランニングの統計情報を表示する
  • APIを提供する

現在のサポートスパイダーサービス

スクリーンショット

入門

インストール

pip install spiderkeeper

配置


spiderkeeper [options]

Options:

  -h, --help            show this help message and exit
  --host=HOST           host, default:0.0.0.0
  --port=PORT           port, default:5000
  --username=USERNAME   basic auth username ,default: admin
  --password=PASSWORD   basic auth password ,default: admin
  --type=SERVER_TYPE    access spider server type, default: scrapyd
  --server=SERVERS      servers, default: ['http://localhost:6800']
  --database-url=DATABASE_URL
                        SpiderKeeper metadata database default: sqlite:////home/souche/SpiderKeeper.db
  --no-auth             disable basic auth
  -v, --verbose         log level
  

example:

spiderkeeper --server=http://localhost:6800

使用法

Visit: 

- web ui : http://localhost:5000

1. Create Project

2. Use [scrapyd-client](https://github.com/scrapy/scrapyd-client) to generate egg file 

   scrapyd-deploy --build-egg output.egg

2. upload egg file (make sure you started scrapyd server)

3. Done & Enjoy it

- api swagger: http://localhost:5000/api.html

TODO

  • ジョブダッシュボードサポートフィルタ
  • ユーザ認証
  • スクラップクロール統計の収集と表示
  • ロードバランシングの最適化

バージョン管理

バージョニングにはSemVerを使用します。 利用可能なバージョンについては、 このリポジトリのタグを参照してください。

著者

このプロジェクトに参加した貢献者のリストも参照してください。

ライセンス

このプロジェクトはMITライセンスの下でライセンスされています – 詳細はLICENSE.mdファイルを参照してください

貢献する

寄付を歓迎します!

交流反

QQ群:

1群:389688974(已满)

2群:285668943

捐赠







-DormyMo
-, , , , , ,

執筆者: