123
Luigi

Luigi

Namen Luigi je obravnavati vse vodovodne instalacije, ki so običajno povezane z dolgotrajnimi šaržnimi postopki.Želite povezovati številne naloge, jih avtomatizirati in prišlo bo do napak.Te naloge so lahko karkoli, vendar so običajno dolge stvari, kot so Hadoop opravila, odlaganje podatkov v / iz baz podatkov, delovanje algoritmov strojnega učenja ali česar koli drugega.Obstajajo tudi drugi programski paketi, ki se osredotočajo na vidike obdelave podatkov na nižji ravni, kot so panj, prašiči ali kaskadna obdelava.Luigi ni okvir, ki bi jih nadomestil.Namesto tega vam pomaga sestaviti številne naloge skupaj, pri čemer je vsaka naloga lahko poizvedba v panju, Hadoop opravilo na Javi, iskalno opravilo v Scali ali Python odrezan Python, odmetavanje tabele iz baze podatkov ali kar koli drugega.Zasnovati je dolgotrajne cevovode, ki vključujejo tisoče opravil in so potrebni dnevi ali tedni.Luigi skrbi za veliko upravljanja delovnega toka, tako da se lahko osredotočite na naloge same in na njihove odvisnosti .... Izdelate lahko poljubno katero koli nalogo, ki jo želite, vendar Luigi ponuja tudi orodje z več skupnimi predlogi opravil, ki jihuporaba.Vključuje podporo za izvajanje Python mapreduce opravil v Hadoop-u, pa tudi delovnih mest Hive in Pig.Priloženi so tudi abstrakcije datotečnega sistema za HDFS in lokalne datoteke, ki zagotavljajo, da so vse operacije datotečnega sistema atomske.To je pomembno, ker pomeni, da se cevovod podatkov ne bo zrušil v stanju, ki vsebuje delne podatke.

Kategorije

Alternativa Luigiu za vse platforme s katero koli licenco

Zenaton

Zenaton

Gradnik delovnih tokov za razvijalce.Gradite procese, ki temeljijo na dogodkih, v dneh namesto mesecih.
StackStorm

StackStorm

StackStorm je močna odprtokodna platforma za avtomatizacijo, ki povezuje vse vaše aplikacije, storitve in delovne tokove.Je razširljiv, prilagodljiv in zgrajen z ljubeznijo do DevOps in ChatOps.
ProActive Workflows & Scheduling

ProActive Workflows & Scheduling

ProActive Workflows & Scheduling vam omogoča enostavno izvajanje vseh opravil podjetja in poslovnih aplikacij, spremljanje aktivnosti in hiter dostop do rezultatov delovnih mest.
Apache Airflow

Apache Airflow

Zračni tok je platforma za programiranje avtorja, načrtovanje in spremljanje podatkovnih cevovodov.