GitHubじゃ!Pythonじゃ!

GitHubからPython関係の優良リポジトリを探したかったのじゃー、でも英語は出来ないから日本語で読むのじゃー、英語社会世知辛いのじゃー

s0md3v

Photon – 信じられないほど高速なクローラは、URL、電子メール、ファイル、Webサイトのアカウントなどを抽出

投稿日:

信じられないほど高速なクローラは、URL、電子メール、ファイル、Webサイトのアカウントなどを抽出します。

光子

Photonは、ターゲットからURL、ファイル、Intelおよびエンドポイントを抽出する、高速のWebクローラーです。

主な特徴

データ抽出

Photonはデフォルトでクロール中に次のデータを抽出します。

  • URL(範囲内および範囲外)
  • パラメータを持つURL( example.com/gallery.php?id=2
  • インテル(電子メール、ソーシャルメディアアカウント、アマゾンバケットなど)
  • ファイル(pdf、png、xmlなど)
  • JavaScriptファイルとその中に存在するエンドポイント
  • カスタム正規表現パターンに基づく文字列

抽出された情報は、組織的に保存されます。

Photonでは、 正規表現パターンによるカスタムデータ抽出も可能です。

インテリジェントマルチスレッド

ここに秘密があり、インターネットに浮かぶツールのほとんどは、たとえそれが想定されていても正しくマルチスレッド化されていません。 それらはスレッドにアイテムのリストを提供し、複数のスレッドが同じアイテムにアクセスするか、単にスレッドロックを入れてマルチスレッドのレンダリングを無意味にします。
しかし、光子は異なっているか、私は “天才”と言うべきですか? これを見て自分を決めてください。

忍者モード

忍者モードでは、3つのオンラインサービスを使用して、あなたの代わりにターゲットにリクエストを行います。
したがって、基本的に4つのクライアントが同時に同じサーバーに要求を出しているため、速度の向上、接続のリセットのリスクの最小化、単一のクライアントからの要求の遅延が最小限に抑えられます。
ここでは、線がスレッドを表すQuarkによって生成された比較を示します。

プラグイン

Photonの機能は、プラグインの使用によってさらに拡張できます。
利用可能なプラグイン:

  • dnsdumpster :ターゲットdomanのDNSデータを含むイメージを生成します。

アクティブな開発のプラグイン:

  • Quark :グラフをプロットして、 Quarkを使ってさまざまなWebページ間の関係を調べやすくするプラグイン。
  • dnsdumpster :新しいバージョンのプラグインが開発中で、DNSデータをうまくフォーマットされたHTMLファイルに保存します。

サポート

プロジェクトは大きく発展しており、提出された問題またはプルリクエストは、最低5分および最高9時間以内に承認されます。

互換性と使用法

Photonの詳しい使用法は、 Wikiの Compatibility&DependenciesセクションのUsage and compatibility関連の情報にあります。

寄付とライセンス

あなたは以下の方法で貢献することができます:

  • バグを報告する
  • プラグインを開発する
  • 忍者モードに「API」を追加する
  • より良いものにするための提案をする
  • 問題を修正し、プルリクエストを提出する

PhotonGPL v3.0ライセンスの下でライセンスされています







-s0md3v
-, , , , ,

執筆者:

s0md3v

Photon – 信じられないほど高速なクローラは、URL、電子メール、ファイル、Webサイトのアカウントなどを抽出

投稿日:

(さらに…)







-s0md3v
-, , , , ,

執筆者:

vmware

photon – 最小限のLinuxコンテナホスト

投稿日:

(さらに…)







-vmware

執筆者: