GitHubじゃ!Pythonじゃ!

GitHubからPython関係の優良リポジトリを探したかったのじゃー、でも英語は出来ないから日本語で読むのじゃー、英語社会世知辛いのじゃー

StevenBlack

hosts – adaway.org、mvps.org、malwaredomainlist.com、someonewhocares.orgなどのよく整理されたソ..

投稿日:

adaway.org、mvps.org、malwaredomainlist.com、someonewhocares.orgなどのよく整理されたソースからホストファイルを拡張して統合します。 オプションで、追加のサイトをカテゴリ別にブロックする拡張機能を呼び出すことができます。

ベース拡張機能を備えた統一されたホストファイル

このリポジトリは、いくつかの評判の良いhostsファイルを統合し、複製ファイルを削除して統合されたhostsファイルにマージします。 さまざまな調整済みホストファイルが提供されています。

すべてのホストファイルの種類のリスト

非GitHubミラーは、 Hostsman for Windowsのようないくつかのホストファイルマネージャに使用するリンクで、Githubダウンロードリンクでは動作しません。

ホストファイルレシピ Readme 生のホスト 一意のドメイン 非ギブスミラー
統一されたホスト= (アドウェア+マルウェア) Readme リンク 56,611 リンク
統一されたホスト+ fakenews Readme リンク 57,284 リンク
統一されたホスト+ギャンブル Readme リンク 58,123 リンク
統一されたホスト+ポルノ Readme リンク 66,149 リンク
統一されたホスト+ソーシャル Readme リンク 57,758 リンク
統一されたホスト+ fakenews +ギャンブル Readme リンク 58,796 リンク
統一されたホスト+ fakenews +ポルノ Readme リンク 66,822 リンク
統一されたホスト+ fakenews +ソーシャル Readme リンク 58,431 リンク
統一されたホスト+ギャンブル+ポルノ Readme リンク 67,661 リンク
統一されたホスト+ギャンブル+ソーシャル Readme リンク 59,270 リンク
統一されたホスト+ポルノ+ソーシャル Readme リンク 67,296 リンク
統一されたホスト+ fakenews +ギャンブル+ポルノ Readme リンク 68,334 リンク
統一されたホスト+ fakenews +ギャンブル+ソーシャル Readme リンク 59,943 リンク
統一されたホスト+偽装+ポルノ+ソーシャル Readme リンク 67,969 リンク
統一されたホスト+ギャンブル+ポルノ+ソーシャル Readme リンク 68,808 リンク
統一されたホスト+ fakenews +ギャンブル+ポルノ+ソーシャル Readme リンク 69,481 リンク

期待 :これらの統一されたホストファイルは、OSに関係なく、すべてのデバイスに対応する必要があります。

この亜種で統一されたホストデータのソース

次の場所から更新されたhostsファイルは、常に統合されています。

ホストファイルソース 説明 ホームページ 生のホスト 更新頻度 ライセンス 問題
スティーブン・ブラックのアドホック・リスト 追加のスケッチドメインは私がそれらに出くわす。 リンク 時折 MIT 問題
マルウェアドメインリスト マルウェアドメインリストは、非営利のコミュニティプロジェクトです。 リンク 毎週 ‘誰でも無料で使うことができます’ 問題
add.Dead hostsfile.orgコンテンツに基づいたデッドサイト。 リンク 時折 GPLv3 + 問題
add.Spam hostsfile.orgのコンテンツに基づいたスパムサイト。 リンク 時折 GPLv3 + 問題
ダンポロックsomeonewhocares インターネットを吸わないようにする方法 リンク 頻繁に 帰属の非商業 問題
MVPSホストファイル このサイトの目的は、ユーザーに高品質のカスタムHOSTSファイルを提供することです。 リンク 毎月 CC BY-NC-SA 4.0 問題
yoyo.org 広告サーバーをブロックし、サーバーのホスト名を追跡します。 リンク 頻繁に 問題
Mitchell Krog’s – Badd Boyzホスト 私のNginxとApache Bad BotとSpam Referrer Blockersからの不完全なドメインと不正な参照元 リンク 毎週 「帰属する非営利」 問題
CoinBlocker ブラウザや他のアプリケーションでの暗号化を防ぐのに役立つ単純なリスト リンク 頻繁に GPLv3 問題
タイズビット マイクロソフトはドメインを追跡します。 追加データを提供する要点。 リンク まれに 問題
UncheckyAds Windowsインストーラ広告は、 https://unchecky.com/コンテンツに基づいてサイトをソースします。 リンク 時折 問題
add.2o7Net hostsfile.orgコンテンツに基づいてサイトを追跡する2o7Net リンク 時折 GPLv3 + 問題
KADホスト 詐欺/アドウェア/詐欺のウェブサイト。 リンク 頻繁に GPLv3 問題
AdAway AdAwayは、hostsファイルを使用するAndroid用のオープンソースの広告ブロッカーです。 リンク 時折 CC BY 3.0 問題
add.Risk hostsfile.orgコンテンツに基づくリスクコンテンツサイト。 リンク 時折 GPLv3 + 問題

拡張機能

統一されたhostsファイルは拡張可能です。 拡張機能は、 extensions/フォルダツリーを管理することによって管理します。 fakenewssocialgambling 、およびporn拡張フォルダを参照してください。

独自の統合ホストファイルを生成する

Python 3を使用している場合は、依存関係をインストールしてください:

pip3 install --user -r requirements.txt

Python 2を使用している場合は、依存関係を次のようにインストールしてください。

pip2 install --user -r requirements_python2.txt

必要な依存関係をユーザーレベルでインストールする--userフラグを推奨します。 詳細については、pip ドキュメントを参照してください

単体テストを実行するには、トップレベルのディレクトリで次のコマンドを実行します。

python testUpdateHostsFile.py

updateHostsFile.pyスクリプト(Python 2.7とPython 3互換)は、ローカルdata/サブフォルダのソースに基づいて統合されたhostsファイルを生成します。 スクリプトは、更新されたバージョン(各ソースのフォルダ内のupdate.jsonテキストファイルで定義された場所から)を取得するかどうかを確認するメッセージを表示します。 それ以外の場合は、既に存在するhostsファイルを使用しhosts

使用法

Python 3を使う:

python3 updateHostsFile.py [--auto] [--replace] [--ip nnn.nnn.nnn.nnn] [--extensions ext1 ext2 ext3]

Python 2.7の使用:

python updateHostsFile.py [--auto] [--replace] [--ip nnn.nnn.nnn.nnn] [--extensions ext1 ext2 ext3]

コマンドラインオプション:

--help 、または-h :ヘルプを表示します。

--autoまたは-a :プロンプトを表示せずにスクリプトを実行します。 --autoが呼び出されると、

  • 拡張子を含むホストデータソースが更新されます。
  • デフォルトでは拡張子は含まれていません。 --extensionsまたは-eフラグを使用して、 --extensionsを含めます。
  • --replaceフラグを指定しない限り、アクティブホストファイルは置き換えられません

--backup 、または-b :既存のホストファイルを上書きしてバックアップします。

--extensions <ext1> <ext2> <ext3>または-e <ext1> <ext2> <ext3>extensionsフォルダの下にあるサブフォルダの名前で、合併に含める追加のカテゴリ固有のホストファイルが含まれます。 例: – --extensions pornまたは-e social porn

--flush-dns-cache 、または-f :DNSキャッシュをフラッシュするためのプロンプトをスキップします。
--replaceもアクティブな場合にのみアクティブです。

--ip nnn.nnn.nnn.nnnまたは-i nnn.nnn.nnn.nnn :ターゲットとして使用するIPアドレス。 デフォルトは0.0.0.0です。

--keepdomaincomments 、または-kfalse (デフォルト)またはtrue 、ドメインと同じ行に表示されるコメントを保持します。 一部のルータベースの実装では、ホストとインラインでコメントを処理できないため、デフォルトはfalseです。

--noupdate 、または-n :ホストのデータソースから更新を取得しないようにします。

--output <subfolder>または-o <subfolder> :生成されたソースファイルをサブフォルダに配置します。 サブフォルダが存在しない場合、作成されます。

--replace 、または-r :アクティブなホストを置き換えるトリガー

--skipstatichostsまたは-sfalse (デフォルト)またはtrue127.0.0.1 localhostような行を含む標準セクションを一番上に省略します。 これは、ローカルネットワーク上の近接DNSサービスを設定する場合に便利です。

--compressまたは-cfalse (デフォルト)またはtrue 、必要でない行(空行とコメント)を無視し、各行に複数のドメインを入れるhostsファイルを圧縮します。 hostsファイルの行数を減らすと、Windowsのパフォーマンスが向上します(DNSクライアントサービスが有効)。

--minimise 、または-mfalse (デフォルト)またはtrue 、– --minimiseように、各ドメインを別々の行に置きます。 これは、 hostsファイルに依存するURLブロッカーの多くの実装が、1行に複数のホストを許可する標準に準拠していないために必要です。

どのソースを統一するかをどのように制御するのですか?

1つ以上の追加ソースをそれぞれdata/ folderのサブフォルダに追加し、そのupdate.jsonファイルにurlキーを指定します。

extensions/フォルダのサブフォルダに由来する1つ以上のオプションの拡張機能を追加します。 update.jsonのurlは、この拡張機能が更新を検出した場所を制御します。

オプションの blacklistファイルを作成します。 このファイルの内容( hostsファイル形式の追加ドメインのリストを含む)は、更新プロセス中に統一されたhostsファイルに追加されます。 サンプルのblacklistが含まれており、希望どおりに修正することができます。

  • 注: blacklistはgitによって追跡されないので、あなたがgit pullときにoriginリポジトリをoriginに戻しても、変更は無効になりません。

独自のカスタムドメインマッピングを含めるにはどうすればよいですか?

カスタムホストレコードがある場合は、ファイルをmyhosts配置します。 このファイルの内容は、更新処理中に統合ホストファイルの先頭に追加されます。

myhostsファイルはgitによって追跡されないので、将来このリポジトリをoriginからgit pullと、変更は無効になりません。

ドメインが含まれないようにするにはどうすればよいですか?

whitelistファイルにリストするドメインは、最終ホストファイルから除外されます。

whitelistは部分一致を使用します。 したがって、 google-analytics.comをホワイトリストにgoogle-analytics.com 、そのドメインとそのすべてのサブドメインは最終ホストファイルにマージされません。

whitelistはgitによって追跡されないので、将来このリポジトリをoriginからgit pullと、変更は無効になりません。

ホストレコードにどのように貢献できますか?

あなたがここに含めるべきであると感じるスケッチのあるドメインを発見した場合、それらを寄稿するいくつかの方法があります。

オプション1:Googleのホストソースに連絡する

新しいドメインを取得する最善の方法は、 ここにホームページが掲載されているデータプロバイダのいずれかに問題を提出することです。 これは、新しいドメインを提出すると、これらのソースを管理している専用の人々によって管理され、更新されるためです。

オプション2:ドメインをSteven Blackの個人データファイルに追加する

フォークはこのリポジトリをホストし、 https://github.com/StevenBlack/hosts/blob/master/data/StevenBlack/hostsへのリンクを追加します

次に、プルリクエストを送信します。

警告 :これは、進行中のキュレーションが私たちに下がり、あなたがやったことが私たちにとってより多くの仕事を生み出すため、オプション1よりも望ましくありません。

オプション3:Githubのレポとして独自のホストリストを作成する

独自のスケッチドメインのコレクションを管理できる場合は、独自のホストリストを管理してください。 新しい問題としてレモの存在を伝えてください。新しいバージョンを作成するたびに、新しいレコをソースのコレクションに含めることができます。

ホストファイルとは何ですか?

hostsファイル(ファイル拡張子なし)は、ホスト名をIPアドレスにマップするために、すべてのオペレーティングシステムで使用されるプレーンテキストファイルです。

ほとんどのオペレーティングシステムでは、 hostsファイルはDNS優先しDNS したがって、 hostsファイルによってドメイン名が解決された場合でも、その要求はあなたのコンピュータを離れません。

スマートhostsファイルを持つことは、マルウェア、アドウェア、およびその他の刺激物をブロックするための手段となります。

たとえば、いくつかのdoubleclick.netサーバへのリクエストを無効にするには、これらの行をhostsファイルに追加します。

# block doubleClick's servers
0.0.0.0 ad.ae.doubleclick.net
0.0.0.0 ad.ar.doubleclick.net
0.0.0.0 ad.at.doubleclick.net
0.0.0.0 ad.au.doubleclick.net
0.0.0.0 ad.be.doubleclick.net
# etc...

127.0.0.1ではなく0.0.0.0を使用することをおすすめします

従来、ほとんどのホストファイルでは、 ループバックアドレス 127.0.0.1使用してローカルマシンとのIP接続を確立していました。

無効な、不明な、または該当しないターゲットを指定するために使用されるルーティング不可能なメタアドレスとして定義されている0.0.0.0を使用することをお0.0.0.0します。

0.0.0.0を使用すると経験的に速くなります。これは、タイムアウトの解決を待つことがないためです。 また、ローカルPC上で実行されている可能性のあるWebサーバーにも干渉しません。

0.0.0.0代わりに0だけを使用するのはなぜですか?

私たちはそれを試みました。 0を使用する0は普遍的に機能しません。

hostsファイルの場所

現在のhostsファイルを変更するには、次の場所でファイルを探し、テキストエディタで変更します。

Mac OS X、iOS、Android、Linux/etc/hostsフォルダ。

Windows%SystemRoot%\system32\drivers\etc\hostsフォルダ。

Windows上のhostsファイルの更新

LinuxとMac OS Xでは、単にPythonスクリプトを実行することができますが、Windowsでは、Windowsの機能の一部を実装する際に互換性の問題があるため、より多くの作業が必要です。 次のようにバッチファイルを実行することをお勧めします。

updateHostsWindows.bat

このファイルは、リポジトリディレクトリの管理者権限を持つコマンドプロンプトで実行する必要があります。 hostsファイルを更新するだけでなく、既存のhostsファイルを置き換えてDNSキャッシュをリロードすることもできます。 これが機能するには、インターネットに接続する必要があります。

リポジトリのディレクトリで管理者としてコマンドプロンプトを開くには、次の手順を実行します。

Windows XP :スタート – >実行 – > cmd

Windows Vista、7 :スタートボタン – >タイプcmd – >コマンドプロンプトを右クリック – > “管理者として実行”

Windows 8 :スタート – >スワイプ – >すべてのアプリケーション – > Windowsシステム – >コマンドプロンプトを右クリック – > “管理者として実行”

Windows 10 :スタートボタン – >タイプcmd – >コマンドプロンプトを右クリック – > “管理者として実行”

サードパーティの推奨ソリューションについては、第三者のホストマネージャを参照することもできます。

ホストファイルのリロード

お使いのオペレーティングシステムはDNSルックアップをキャッシュします。 リブートするか、次のコマンドを実行して、新しいホストファイルがあると手動でDNSキャッシュをフラッシュすることができます。

Google Chromeブラウザでは、 chrome://net-internals/#dnsページでDNSキャッシュを手動でクリーンアップして、ホストファイルの変更を確認する必要があります。 参照: https : //superuser.com/questions/723703

Windows

管理者権限を持つコマンドプロンプトを開き、次のコマンドを実行します。

ipconfig /flushdns
hphosts (ここには含まれていません)をマージして巨大なhostsファイルを使用する場合は、Windowsシステムのhostsファイルを置き換える前にDnscacheサービスを無効にして停止する必要があります。 あなたは警告されています。

DNSキャッシュをフラッシュする前に、管理者権限を持つコマンドプロンプトを開き、次のコマンドを実行します。

sc config "Dnscache" start= disabled
sc stop "Dnscache"

Linux

ターミナルを開き、root権限で実行してください:

Debian / Ubuntu sudo /etc/rc.d/init.d/nscd restart

システムとLinuxsudo systemctl restart network.service

Fedora Linuxsudo systemctl restart NetworkManager.service

Network Managerを使用したArch Linux / Manjarosudo systemctl restart NetworkManager.service

Wicdでarch Linux / Manjarosudo systemctl restart wicd.service

その他このウィキペディアの記事を参照してください

Mac OS X

ターミナルを開き、以下を実行してください:

sudo dscacheutil -flushcache;sudo killall -HUP mDNSResponder

リリース管理

このリポジトリはRelease-It!を使用しています。 Github reposとnpmパッケージ用の優れたCLIリリースツールで、 リリースの作成を自動化します これがpackage.json.release-it.jsonファイルがバンドルされている理由です。

この統一されたhostsファイルの目標

このレポの目標は次のとおりです。

  1. ホストの高品質なリストを自動的に結合し、

  2. 容易な拡張を提供し、

  3. 結果として得られる結合されたリストの重複排除、

  4. 得られたファイルを適度な大きさに保つ。

高品質のソースは、ここでは積極的に管理されているソースとして定義されています。 ホストのソースは、メンテナの追加と削除の両方で頻繁に更新されるべきです。 hostsファイルが大きければ大きいほど、キュレーションのレベルは高くなるはずです。

たとえば、 hosts-file.netの(巨大な)hostsファイルは、非常に大きく(780,000+ entries)、現在対応する高レベルのcurationアクティビティを表示していないため、ここに含まれません。

この統一されたホストファイルは、さまざまなオペレーティングシステムでデスクトップデバイスとモバイルデバイスの両方にサービスを提供することが期待されています。

サードパーティのホストマネージャ

  • Unified Hosts AutoUpdate (Windows用):Unified Hosts AutUpdateパッケージは、この統一されたホストプロジェクトだけでなく、コミュニティメンバーによる積極的な開発のために専用に設計されています。 初心者が自分のローカルホストファイルにブラックリストをインストールしてアンインストールし、自動的に最新の状態に保つことができるように洗練されています。また、共有ネットワークの場所に簡単に配置でき、グループポリシーを介して組織全体で コミュニティメンバーが積極的に開発しているため、バグレポート、機能リクエスト、その他のフィードバックは大歓迎です。

興味深いアプリケーション







-StevenBlack
-, , , , , , , , , , , ,

執筆者: