GitHubじゃ!Pythonじゃ!

GitHubからPython関係の優良リポジトリを探したかったのじゃー、でも英語は出来ないから日本語で読むのじゃー、英語社会世知辛いのじゃー

apache

incubator-airflow – Apache Airflow(インキュベーション)

投稿日:

Apache Airflow(インキュベーション)

気流

注:1.8.0(またはそれ以前)から1.8.1(またはそれ以降)への移行では、新しいバージョンをインストールする前にAirflowをアンインストールする必要があります。 バージョン1.8.1から、パッケージ名はairflowからapache-airflowに変更されました。

気流は、ワークフローをプログラムで作成、スケジュール、および監視するためのプラットフォームです。

ワークフローがコードとして定義されると、ワークフローはよりメンテナンス可能、バージョン管理可能、テスト可能、および共同作業になります。

エアフローを使用して、タスクの指示非循環グラフ(DAG)としてワークフローを作成します。 気流スケジューラは、指定された依存関係を守りながら、ワーカーの配列に対してタスクを実行します。 豊富なコマンドラインユーティリティは、DAGの複雑な手術を簡単に実行します。 豊富なユーザーインターフェイスにより、運用中のパイプラインの視覚化、進捗状況の監視、および必要に応じた問題のトラブルシューティングが容易になります。

入門

気流のインストールクイックスタートの取得、または完全なチュートリアルについては、Airflow Platformのマニュアル(最新の安定版)を参照してください

GitHubマスターのドキュメント(最新開発ブランチ): ReadTheDocsドキュメンテーション

詳細については、 Airflow Wikiを参照してください。

地平線を超えて

気流データストリーミングソリューションではありません タスクはデータを一方から他方に移動させません(ただし、タスクはメタデータを交換できます)。 気流はSpark StreamingStormの空間ではなく、 OozieAzkabanに匹敵します。

ワークフローは、ほとんど静的または緩やかに変化すると予想されます。 ワークフロー内のタスクの構造は、データベース構造よりもわずかに動的であると考えることができます。 気流のワークフローは、実行時と同様に見えることが予想されます。これにより、作業単位と連続性を明確にすることができます。

原則

  • 動的 :エアフローパイプラインはコード(Python)として構成され、動的パイプライン生成を可能にします。 これにより、パイプラインを動的にインスタンス化するコードを記述することができます。
  • 拡張性 :独自の演算子、エグゼキュータを簡単に定義し、ライブラリを拡張することで、環境に合った抽象レベルに適合させることができます。
  • エレガント :気流のパイプラインは希薄で明示的です。 スクリプトのパラメータ設定は、強力なJinjaテンプレートエンジンを使用してAirflowのコアに組み込まれています。
  • スケーラブル :Airflowはモジュール式のアーキテクチャを持ち、メッセージキューを使用して任意の数のワーカーを調整します。 気流は無限大に調整可能です。

ユーザーインターフェース

  • DAG :ご使用の環境内のすべてのDAGの概要。

  • ツリービュー :時間の経過に亘るDAGのツリー表現。

  • グラフビュー :特定の実行に対するDAGの依存関係とその現在の状態の可視化。

  • タスク期間 :時間の経過とともに異なるタスクに費やされた合計時間。

  • ガントビュー :DAGの長さとオーバーラップ。

  • コードビュー :DAGのソースコードを簡単に表示する方法。

気流を使うのは誰ですか?

気流コミュニティが成長するにつれて、誰がプラットフォームを使用しているかを把握したいと思っています。 可能であれば、あなたの会社名と@githubhandleでPRを送ってください。

コミッター:

  • コミッタを参照してください

現在公式にエアフローを使用しています:

  1. Airbnb [ @mistercrunch@artwr ]
  2. アガリ [ @ r39132 ]
  3. アラン [ @チャールズ・ゴー ]
  4. allegro.pl [ @kretes ]
  5. AltX [ @pedromduarte ]
  6. Apigee [ @btallman ]
  7. ARGO Labs [ カリフォルニアデータ協調 ]
  8. 天文学者 [ @schnie@andscoop@tedmiston@benjamingregory ]
  9. Auth0 [ @sicarul ]
  10. 離れて [ @トゥルンスキー ]
  11. バランスヒーロー [ @swalloow ]
  12. Azri Solutions [ @userimack ]
  13. BandwidthX [ @dineshdsharma ]
  14. ベルホップス
  15. BlaBlaCar [ @puckel@wmorin ]
  16. ブロック [ @ dpaola2 ]
  17. BlueApron [ @jasonjho@matthewdavidhauser ]
  18. Bluecore [ @JLDLaughlin ]
  19. ブルー ・イエダー [ @ blue-yonder ]
  20. Boda Telecom Suite – CE [ @erssebaggala@bodastage ]
  21. Bodastage Solutions [ @erssebaggala@bodastage ]
  22. ARGO Labsが提供するカリフォルニアのデータ共同作業
  23. カーボナイト [ @ajbosco ]
  24. Celect [ @superdosh@chadcelect ]
  25. Change.org [ @ change@vijaykramesh ]
  26. チェッカー [ @トンボ ]
  27. フィラデルフィアの小児病院ゲノム診断部門 [@ genomics-geek]
  28. サンディエゴ市 [ @MrMaksimize@ andrell81@ arnaudvedy ]
  29. 天才 @シェフール
  30. クローバーヘルス [ @gwax@vansivallab ]
  31. Chartboost [ @cgelman@dclubb ]
  32. ContaAzul [ @ bern4rdelli@renanleme@ sabino ]
  33. コッタップ [ @maraca@richardchew ]
  34. CreditCards.com [ @ vmAggies@ jay-wallaby ]
  35. クレジットカルマ [ @ preete-dixit-ck@ harish-gaggar-ck@ greg-finley-ck ]
  36. クレジットカード [ @dcassiano ]
  37. DataFox [ @ sudowork ]
  38. データ返信 [ @kaxil ]
  39. デジタルファーストメディア [ @duffn@mschmo@seanmuth ]
  40. DocuTAP [ @jshvrsn@lhvphan@cloneluke ]
  41. Dotmodus [ @ dannylee12 ]
  42. 運転手 [ @AntoineAugusti ]
  43. 簡単なタクシー [ @ caique-lima@WesleyBatista@ diraol ]
  44. eRevalue [ @hamedhsn ]
  45. evo.company [ @orhideous ]
  46. フレッシュブック [ @DinoCow ]
  47. Fundera [ @andyxhadji ]
  48. GameWisp [ @tjbiii@theryanwalls ]
  49. Gentner Lab [ @neuromusic ]
  50. Glassdoor [ @syvineckruyk ]
  51. グローバルファッショングループ [ @GFG ]
  52. GovTech GDS [ @chrissng@datagovsg ]
  53. グランドラウンド [ @ richddr@ timz1290@ wenever 、& @ runongirlrunon ]
  54. 集団 [ @jesusfcr ]
  55. Gusto [ @frankhsu ]
  56. ハンドシェイク [ @mhickman ]
  57. ハンディ [ @marcintustin / @ mtustin-handy ]
  58. HBCデジタル [ @ tmccartan@dmateusp ]
  59. Healthjump [ @miscbits ]
  60. HBO [ @yiwang ]
  61. HelloFresh [ @tammymendt@davidsbatista@iuriinedostup ]
  62. ホリメトリクス [ @ thibault-ketterer ]
  63. Hootsuite
  64. Hostnfly [ @CyrilLeMat@pierrechopin@alexisrosuel ]
  65. ホテルクイックリー [ @ジンジソイド ]
  66. IFTTT [ @apurvajoshi ]
  67. iHeartRadio [ @yiwang ]
  68. imgix [ @dclubb ]
  69. ING
  70. インターコム [ @fox@paulvic ]
  71. ジャンプ
  72. JobTeaser [ @ stefani75@ nil-sama ]
  73. Karmic [ @hyw ]
  74. Kiwi.com [ @underyx ]
  75. Kogan.com [ @geeknam ]
  76. レーマン財団 [ @fernandosjp ]
  77. LendUp [ @lendup ]
  78. LetsBonus [ @jesusfcr@OpringaoDoTurno ]
  79. リリゴ [ @tromika ]
  80. LingoChamp [ @haitaoyao ]
  81. Lucid [ @jbrownlucid@kkourtchikov ]
  82. Lumos Labs [ @rfroetscher@zzztimbo ]
  83. Lyft [ @SaurabhBajaj ]
  84. マドロン [ @mbreining@scotthb ]
  85. マルコビアン [ @ al-xv@ skogsbaeck@ waltherg ]
  86. メルカドニ [ @demorenoc ]
  87. Mercari [ @ yu-iskw ]
  88. MiNODES [ @ dice89@diazcelsa ]
  89. MFGラボ
  90. 乗算 [ @nrhvyc ]
  91. ミュータキシ [ @マイタキシ ]
  92. Nerdwallet
  93. 新しいRelic [ @marcweil ]
  94. Newzoo [ @ newzoo-nexus ]
  95. Nextdoor [ @ SivaPandeti@zshapiro@ jthomas123 ]
  96. オファーアップ
  97. OneFineStay [ @slangwald ]
  98. オープンナレッジインターナショナル @vitorbaptista
  99. [ @ mhousley@ mct0006 ]
  100. Pandora Media [ @Acehaidrey@wolfier ]
  101. ペイミル [ @paymill@matthiashuschle ]
  102. PayPal [ @ r39132@jhsenjaliya ]
  103. Pernod-Ricard [ @ romain-nio ]
  104. Playbuzz [ @clintonboys@dbn ]
  105. チェック柄 [ @ plaid@AustinBGibbons@jeeyoungk ]
  106. PMC [ @ andrewm4894 ]
  107. 郵便配達員 [ @目元 ]
  108. プロントツール [ @zkan@mesodiar ]
  109. Qubole [ @msumit ]
  110. クイズレット [ @quizlet ]
  111. クオラ
  112. Robinhood [ @ vineet-rh ]
  113. スケーラウ [ @kdeldycke ]
  114. センス360 [ @kamilmroczek ]
  115. ショップキック [ @ショップキック ]
  116. サイドカー [ @getsidecar ]
  117. 類似ウェブ [ @類似ウェブ ]
  118. SmartNews [ @タカス ]
  119. ソーシャルコップ [ @ vinayak-mehta@ sharky93 ]
  120. Spotify [ @znichols ]
  121. スタックスペース
  122. ストライプ [ @jbalogh ]
  123. Tails.com [ @alanmcruickshank ]
  124. 思考マシン [ @marksteve ]
  125. サムタック [ @natekupp ]
  126. Tictail
  127. タイル [ @ranjanmanish ]
  128. T2システム [ @主張パンツ ]
  129. Ubisoft [ @Walkoss ]
  130. ユナイテッド航空 [ @ilopezfr ]
  131. 見苦しい [ @ dhuang ]
  132. Vente-Exclusive.com [ @alexvanboxel ]
  133. Vevo [ @csetiawan@jerrygillespie ]
  134. Vnomics [ @lpalum ]
  135. WePay [ @criccomini@mtagle ]
  136. WeTransfer [ @jochem ]
  137. ホイッスルラボ [ @ ananya77041 ]
  138. WiseBanyan
  139. Wooga
  140. Xero [ @ yan9yu ]
  141. Xoom [ @gepser@omarvides ]
  142. Yahoo!
  143. ザピア [ @drknexus@statwonk ]
  144. Zendesk
  145. Zenly [ @cerisier@jbdalido ]
  146. ジーメルゲン
  147. 99 [ @fbenevides@gustavoamigo@mmmaia ]

リンク







-apache

執筆者: