GitHubじゃ!Pythonじゃ!

GitHubからPython関係の優良リポジトリを探したかったのじゃー、でも英語は出来ないから日本語で読むのじゃー、英語社会世知辛いのじゃー

soimort

you-get – ⏬ ウェブをスクラップするダムダウンローダ

投稿日:

ウェブをスクラップするダムダウンローダ https://you-get.org/

あなたは得る

You-Getは、他の便利な方法がない場合に備えて、Webからメディアコンテンツ(ビデオ、オーディオ、画像)をダウンロードするための小さなコマンドラインユーティリティです。

あなたの使い方は次のとおりです: YouTubeからビデオをダウンロードするには:

$ you-get 'https://www.youtube.com/watch?v=jNQXAC9IVRw'
site:                YouTube
title:               Me at the zoo
stream:
    - itag:          43
      container:     webm
      quality:       medium
      size:          0.5 MiB (564215 bytes)
    # download-with: you-get --itag=43 [URL]

Downloading Me at the zoo.webm ...
 100% (  0.5/  0.5MB) ├██████████████████████████████████┤[1/1]    6 MB/s

Saving Me at the zoo.en.srt ... Done.

そして、あなたがそれを使いたい理由がここにあります:

  • あなたはインターネット上で何かを楽しんで、あなた自身の喜びのためにそれらをダウンロードしたいだけです。
  • お使いのコンピュータからお気に入りのビデオをオンラインで視聴しますが、保存することは禁止されています。 自分のコンピュータを制御できないと感じます。 (そして、それはオープンなWebがどのように働くのかということではありません。)
  • クローズドソースの技術や独自のJavaScriptコードを取り除き、コンピュータ上でFlashが動作していることを禁止したいとします。
  • あなたはハッカーの文化とフリーソフトウェアの支持者です。

you-getことがyou-getできること:

  • YouTube、Youku、Niconicoなどの人気のあるウェブサイトからビデオ/オーディオをダウンロードしてください。 サポートされているサイトの完全なリストを参照してください)
  • メディアプレーヤーでオンラインビデオをストリーミングします。 ウェブブラウザはなく、広告はこれ以上ありません。
  • ウェブページを掻き集めることによって(興味のある)イメージをダウンロードしてください。
  • 任意の非HTMLコンテンツ(バイナリファイル)をダウンロードしてください。

興味がある? 今すぐインストールし 、例で始めましょう

あなたはPythonのプログラマーですか? その後、ソースをチェックアウトしそれをフォークします!

インストール

前提条件

Windowsであらかじめビルドされたパッケージまたはチョコレートを使用している場合を除き、次の依存関係が必要です。別途インストールする必要があります。

オプション1:pip経由でインストールする

you-getの公式リリースはPyPI上に配布されており、 pipパッケージマネージャを介してPyPIミラーから簡単にインストールできます。 pip Python 3バージョンを使用する必要があることに注意してください。

$ pip3 install you-get

オプション2: Antigen経由でインストールする

.zshrc次の行を追加します。

antigen bundle soimort/you-get

オプション3:既製パッケージを使用する(Windowsのみ)

exe (スタンドアロン)または7z (すべての依存関係を含む)をhttps://github.com/soimort/you-get/releases/latestからダウンロードしてください

オプション4:GitHubからダウンロードする

安定版 (PyPIの最新リリースと同一)またはyou-get moreの複数の修正版(不安定な機能)をダウンロードすることができます。 解凍し、あなたのPATHにあなたのyou-getスクリプトを含むディレクトリを置きます。

あるいは、

$ [sudo] python3 setup.py install

または

$ python3 setup.py install --user

you-getをインストールyou-get永続的な道にyou-get

オプション5:Gitクローン

これはPythonで頻繁にコーディングしなくても、すべての開発者にとって推奨される方法です。

$ git clone git://github.com/soimort/you-get.git

次に、クローンディレクトリをPATHに置くか、./ ./setup.py installを実行してインストールしyou-get 。永続的なパスになります。

オプション6: Chocolateyを使用する(Windowsのみ)

> choco install you-get

オプション7:自家製(Macのみ)

簡単にインストールyou-get

$ brew install you-get

シェルの完成

Bash、Fish、Zshの補完定義はcontrib/completionます。 それらを利用する方法については、シェルのマニュアルを参照してください。

アップグレード

あなたがインストールするオプションを選択したことに基づいて、次の方法でアップグレードできます:

$ pip3 install --upgrade you-get

最新のリリースをダウンロードするには:

$ you-get https://github.com/soimort/you-get/archive/master.zip

またはchocolateyパッケージマネージャを使用してください:

> choco upgrade you-get

PIPを台無しにすることなく、最新のdevelopブランチを手に入れるには、

$ pip3 install --upgrade git+https://github.com/soimort/you-get@develop

入門

ビデオをダウンロードする

関心のあるビデオを取得したら、利用可能なすべての品質とフォーマットを表示するには、– --info / -iオプションを使用します。

$ you-get -i 'https://www.youtube.com/watch?v=jNQXAC9IVRw'
site:                YouTube
title:               Me at the zoo
streams:             # Available quality and codecs
    [ DEFAULT ] _________________________________
    - itag:          43
      container:     webm
      quality:       medium
      size:          0.5 MiB (564215 bytes)
    # download-with: you-get --itag=43 [URL]

    - itag:          18
      container:     mp4
      quality:       medium
    # download-with: you-get --itag=18 [URL]

    - itag:          5
      container:     flv
      quality:       small
    # download-with: you-get --itag=5 [URL]

    - itag:          36
      container:     3gp
      quality:       small
    # download-with: you-get --itag=36 [URL]

    - itag:          17
      container:     3gp
      quality:       small
    # download-with: you-get --itag=17 [URL]

DEFAULTとマークされた書式がデフォルトで表示されます。 それはあなたに涼しい場合、それをダウンロードしてください:

$ you-get 'https://www.youtube.com/watch?v=jNQXAC9IVRw'
site:                YouTube
title:               Me at the zoo
stream:
    - itag:          43
      container:     webm
      quality:       medium
      size:          0.5 MiB (564215 bytes)
    # download-with: you-get --itag=43 [URL]

Downloading zoo.webm ...
100.0% (  0.5/0.5  MB) ├████████████████████████████████████████┤[1/1]    7 MB/s

Saving Me at the zoo.en.srt ...Done.

(YouTubeの動画に字幕がある場合、SubRip字幕形式で動画ファイルとともにダウンロードされます)。

あるいは、あなたが別のフォーマット(mp4)を好むならば、あなたがあなたyou-getショーをyou-getオプションyou-get使用してください:

$ you-get --itag=18 'https://www.youtube.com/watch?v=jNQXAC9IVRw'

注意:

  • 現時点では、サポートされているほとんどのサイトでフォーマットの選択が一般的には実装されていません。 その場合、ダウンロードするデフォルトの形式は最高の品質です。
  • ffmpegは、複数のパート(Youkuなどの一部のサイトなど)でストリーミングされたビデオや1080p以上の高解像度のYouTubeビデオをダウンロードして参加するために必要な依存関係です。
  • ビデオパーツをダウンロードした後にビデオパーツを参加させたくない場合は、 – --no-merge / -nオプションを使用してください。

その他のものをダウンロードする

あなたが望む正確なリソースのURLをすでに持っているなら、あなたはそれを直接ダウンロードすることができます:

$ you-get https://stallman.org/rms.jpg
Site:       stallman.org
Title:      rms
Type:       JPEG Image (image/jpeg)
Size:       0.06 MiB (66482 Bytes)

Downloading rms.jpg ...
100.0% (  0.1/0.1  MB) ├████████████████████████████████████████┤[1/1]  127 kB/s

それ以外の場合、 you-getはウェブページを掻き集めて、あなたに興味深いものがあるかどうかを調べます:

$ you-get http://kopasas.tumblr.com/post/69361932517
Site:       Tumblr.com
Title:      kopasas
Type:       Unknown type (None)
Size:       0.51 MiB (536583 Bytes)

Site:       Tumblr.com
Title:      tumblr_mxhg13jx4n1sftq6do1_1280
Type:       Portable Network Graphics (image/png)
Size:       0.51 MiB (536583 Bytes)

Downloading tumblr_mxhg13jx4n1sftq6do1_1280.png ...
100.0% (  0.5/0.5  MB) ├████████████████████████████████████████┤[1/1]   22 MB/s

注意:

  • この機能は実験的なものであり、完璧ではありません。 TumblrやBloggerのような人気のあるウェブサイトから大型の画像を取り出すのに最適ですが、インターネット上のどのサイトにも適用できる普遍的なパターンはありません。

Googleビデオで検索してダウンロードする

文字通り何かをyou-get渡すことができyou-get 有効なURLでない場合は、Google検索を行い、関連性の高い動画をダウンロードします。 (あなたが見たいものではないかもしれませんが、依然として可能性が高いです。)

$ you-get "Richard Stallman eats"

ダウンロードを一時停止して再開する

Ctrl + C キーを押すとダウンロードが中断されます。

一時的な.downloadファイルは出力ディレクトリに保存されます。 次に実行you-getときに同じ引数を指定すると、最後のセッションからダウンロードの進行が再開されます。 ファイルが完全にダウンロードされた場合(一時的な.download拡張がなくなった場合)、ダウンロードはスキップされます。

再ダウンロードを強制するには、 – --force / -fオプションを使用します。 警告:これを行うと、既存のファイルまたは一時ファイルが同じ名前で上書きされます)。

ダウンロードしたファイルのパスと名前を設定する

--output-dir / -oオプションを使用してパスを設定し、– --output-filename / -Oを使用してダウンロードしたファイルの名前を設定します。

$ you-get -o ~/Videos -O zoo.webm 'https://www.youtube.com/watch?v=jNQXAC9IVRw'

ヒント:

  • これらのオプションは、現在のシェル/オペレーティングシステム/ファイルシステムで正常に動作しない特殊文字を含むデフォルトのビデオタイトルに問題が発生した場合に役立ちます。
  • これらのオプションは、ファイルを一括してダウンロードし、指定された名前の指定されたフォルダに置くスクリプトを作成する場合にも役立ちます。

プロキシ設定

--http-proxy / -xオプションを使用して、使用するHTTPプロキシを指定することができます:

$ you-get -x 127.0.0.1:8087 'https://www.youtube.com/watch?v=jNQXAC9IVRw'

ただし、システムプロキシの設定(つまり、環境変数http_proxy )はデフォルトで適用されます。 プロキシを無効にするには、– --no-proxyオプションを使用します。

ヒント:

  • プロキシをたくさん使う必要がある場合(あなたのネットワークが特定のサイトをブロックしている場合)、あなたはproxychainsを使ってyou-getし、 alias you-get="proxychains -q you-get" (Bash)に設定alias you-get="proxychains -q you-get"
  • 一部のWebサイト(Youkuなど)では、中国本土でのみ利用可能なビデオにアクセスする必要がある場合は、特定のプロキシを使用してサイトからビデオ情報を抽出するオプションがあります:– --extractor-proxy / -y

ビデオを見る

--player / -pオプションを使用して、ダウンロードする代わりに、選択したメディアプレーヤー( mplayervlcなど)にビデオを供給します。

$ you-get -p vlc 'https://www.youtube.com/watch?v=jNQXAC9IVRw'

また、広告やコメントのセクションを除いて、ブラウザで動画を見たい場合は:

$ you-get -p chromium 'https://www.youtube.com/watch?v=jNQXAC9IVRw'

ヒント:

  • 一緒に再生することはできませんが、 -pオプションを使用して別のダウンロードマネージャを起動することは可能you-get -p uget-gtk 'https://www.youtube.com/watch?v=jNQXAC9IVRw' (例: you-get -p uget-gtk 'https://www.youtube.com/watch?v=jNQXAC9IVRw' )。よく

クッキーを読み込む

すべての動画が誰にでも公開されているわけではありません。 何かにアクセスするためにアカウントにログインする必要がある場合(非公開のビデオなど)、ブラウザーのCookieを--cookies / -cオプションでyou-getするyou-getは避けられません。

注意:

  • 現時点では、Mozilla cookies.sqliteとNetscape cookies.txt 2種類のブラウザクッキーをサポートしています。

抽出されたデータの再利用

ページから抽出されたダウンロード可能なリソースURLのリストを取得するには、 – --url / -uを使用します。 抽出されたデータの要約をJSON形式で取得するには、 --jsonを使用します。

警告:

  • 当分の間、この機能は安定しておらず、JSONスキーマには今後大きな変更が生じる可能性があります。

サポートされるサイト

サイト URL ビデオ? イメージ? オーディオ?
YouTube https://www.youtube.com/
Twitter https://twitter.com/
VK http://vk.com/
ぶどうの木 https://vine.co/
ヴィエモ https://vimeo.com/
ヴィドー http://vidto.me/
ビデオメガ http://videomega.tv/
ヴェオ http://www.veoh.com/
タンブラー https://www.tumblr.com/
TED http://www.ted.com/
SoundCloud https://soundcloud.com/
ショールーム https://www.showroom-live.com/
Pinterest https://www.pinterest.com/
MusicPlayOn http://en.musicplayon.com/
MTV81 http://www.mtv81.com/
Mixcloud https://www.mixcloud.com/
Metacafe http://www.metacafe.com/
マジスト http://www.magisto.com/
カーンアカデミー https://www.khanacademy.org/
インターネットアーカイブ https://archive.org/
インスタグラム https://instagram.com/
InfoQ http://www.infoq.com/presentations/
Imgur http://imgur.com/
ヘビーミュージックアーカイブ http://www.heavy-music.ru/
Google+ https://plus.google.com/
フリーサウンズ http://www.freesound.org/
Flickr https://www.flickr.com/
FC2動画 http://video.fc2.com/
フェイスブック https://www.facebook.com/
eHow http://www.ehow.com/
Dailymotion http://www.dailymotion.com/
カップル http://coub.com/
CBS http://www.cbs.com/
バンドキャンプ http://bandcamp.com/
AliveThai http://alive.in.th/
interest.me http://ch.interest.me/tvn
755
ナナゴーゴ
http://7gogo.jp/
ニコニコ
ニコニコ動画
http://www.nicovideo.jp/
163
网易视频网易云音乐
http://v.163.com/
http://music.163.com/
56网 http://www.56.com/
AcFun http://www.acfun.tv/
百二
百分率
http://tieba.baidu.com/
爆米花网 http://www.baomihua.com/
ビルビリ
哔哩哔哔
http://www.bilibili.com/
ディリジリ http://www.dilidili.com/
http://www.douban.com/
斗魚 http://www.douyutv.com/
パンダ
熊猫
http://www.panda.tv/
鳳凰视频 http://v.ifeng.com/
风行网 http://www.fun.tv/
iQIYI
爱奇艺
http://www.iqiyi.com/
激動网 http://www.joy.cn/
酷6网 http://www.ku6.com/
酷狗音乐 http://www.kugou.com/
酷い音乐 http://www.kuwo.cn/
乐视网 http://www.le.com/
荔枝FM http://www.lizhi.fm/
秒拍 http://www.miaopai.com/
MioMio弹幕网 http://www.miomio.tv/
痞客邦 https://www.pixnet.net/
PPTV聚力 http://www.pptv.com/
齐鲁网 http://v.iqilu.com/
QQ
腾讯视频
http://v.qq.com/
企鹅直播 http://live.qq.com/
シーナ
新浪视频微博秒拍视频
http://video.sina.com.cn/
http://video.weibo.com/
捜狐
捜狐视频
http://tv.sohu.com/
Tudou
土豆
http://www.tudou.com/
虾米 http://www.xiami.com/
陽光卫视 http://www.isuntv.com/
音悦太 http://www.yinyuetai.com/
ようく
优好
http://www.youku.com/
戰旗テレビ http://www.zhanqi.tv/lives
央視网 http://www.cntv.cn/
http://huaban.com/
ネイバー
ネイバー
http://tvcast.naver.com/
テレビ http://www.mgtv.com/
火猫テレビ http://www.huomao.com/
全員直前 http://www.quanmin.tv/
阳光宽频网 http://www.365yg.com/
西瓜视频 https://www.ixigua.com/
快手 https://www.kuaishou.com/
抖音 https://www.douyin.com/

リストにない他のすべてのサイトでは、ユニバーサル・エクストラクターが興味のあるリソースを見つけてダウンロードします。

既知のバグ

何かが壊れていて、 you-getが望むものをyou-getことができない場合、パニックに陥らないでください。 (はい、これはいつも起こります!)

https://github.com/soimort/you-get/wiki/Known-Bugsに既に既知の問題がないか確認してください そうでない場合は、 壊れた抽出器を報告する方法のガイドラインに従ってください。

参加する

Gitterチャンネル#soimort / you-get (GitterのためにIRCクライアント設定する方法はこちら)にアクセスできます あなたについての簡単な質問がある場合は、そこに尋ねてください。

問題を報告したり貢献したい場合は、まずガイドラインを必ずお読みください。

法的問題

このソフトウェアは、 MITライセンスに基づいて配布されています

特に、

本ソフトウェアは、商品性、特定の目的への適合性および非侵害性の保証を含むが、明示的または黙示的ないかなる保証もなく、現状のまま提供されます。 作者または著作権者は、いかなる場合も、本ソフトウェアまたはその使用に関連して、またはその使用に関連して、またはこれらに関連して発生した契約、不具合またはその他の行為にかかわらず、いかなる請求、損害またはその他の責任も負わないものとします。ソフトウェア。

人間の言葉に翻訳された:

あなたのソフトウェアの使用が著作権侵害の根拠となった場合、または他の違法な目的のためにソフトウェアを使用する場合、著者はあなたの責任を負うことはできません。

ここでコードを出荷するだけで、どのように使用するのかはあなた自身の裁量に委ねられます。

著者

@soimortによって作られた、誰が順番に ☕️ 🍺 そして 🍜

ここにすべての貢献者リストがあります。







-soimort

執筆者: