Namen Luigi je obravnavati vse vodovodne instalacije, ki so običajno povezane z dolgotrajnimi šaržnimi postopki.Želite povezovati številne naloge, jih avtomatizirati in prišlo bo do napak.Te naloge so lahko karkoli, vendar so običajno dolge stvari, kot so Hadoop opravila, odlaganje podatkov v / iz baz podatkov, delovanje algoritmov strojnega učenja ali česar koli drugega.Obstajajo tudi drugi programski paketi, ki se osredotočajo na vidike obdelave podatkov na nižji ravni, kot so panj, prašiči ali kaskadna obdelava.Luigi ni okvir, ki bi jih nadomestil.Namesto tega vam pomaga sestaviti številne naloge skupaj, pri čemer je vsaka naloga lahko poizvedba v panju, Hadoop opravilo na Javi, iskalno opravilo v Scali ali Python odrezan Python, odmetavanje tabele iz baze podatkov ali kar koli drugega.Zasnovati je dolgotrajne cevovode, ki vključujejo tisoče opravil in so potrebni dnevi ali tedni.Luigi skrbi za veliko upravljanja delovnega toka, tako da se lahko osredotočite na naloge same in na njihove odvisnosti .... Izdelate lahko poljubno katero koli nalogo, ki jo želite, vendar Luigi ponuja tudi orodje z več skupnimi predlogi opravil, ki jihuporaba.Vključuje podporo za izvajanje Python mapreduce opravil v Hadoop-u, pa tudi delovnih mest Hive in Pig.Priloženi so tudi abstrakcije datotečnega sistema za HDFS in lokalne datoteke, ki zagotavljajo, da so vse operacije datotečnega sistema atomske.To je pomembno, ker pomeni, da se cevovod podatkov ne bo zrušil v stanju, ki vsebuje delne podatke.