Airbnb dává k dispozici výkonný open source dotazovací nástroj pro velké soubory dat

Společnost Airbnb se zabývá především pronájmem nemovitostí k bydlení, ale zabrousila i do oblasti skladů. Konkrétně datových skladů. Jako open source uvolnila svůj nástroj, který umožňuje jejím netechnickým zaměstnancům pracovat s daty jako datoví vědci. Doufá, že poslouží i ostatním k efektivnějšímu dolování dat.

Airbnb dává k dispozici výkonný open source dotazovací nástroj pro velké soubory dat


Aplikace Airpal, kterou vyvinula společnost Airbnb, ve spojení s opensourcovým dotazovacím  jádrem PrestoDB, které vyvinul Facebook, dokáže nabídnout levnou alternativu datového skladu nebo přívětivější rozhraní pro přístup k velkým souborům dat uloženým v klastru Hadoop.

Zatímco PrestoDB nabízí pouze příkazovou řádku pro datové vědce, Airpal z něj dělá pohodlný nástroj pro každého. Airbnb jej používá přibližně rok a za tuto dobu s ním pracovala přibližně třetina zaměstnanců při analýze interních dat, tedy podstatně více, než se původně očekávalo.

Software Airpal nabízí intuitivní grafické uživatelské rozhraní, které ve společnosti Airbnb uživatelům umožňuje pomocí dotazů zadávaných prostřednictvím webového prohlížeče analyzovat zhruba polovinu petabytu provozních dat uložených v datovém skladu Apache Hive se souborovým systémem Hadoop. Výsledky mají podobu souboru ve formátu CSV, takže je lze snadno vložit do tabulkového kalkulátoru nebo interní aplikace.

Vzhledem k tomu, že samotný dotazovací jazyk SQL bývá pro ne-IT pracovníky oříškem a překážkou využití dostupných dat, Airpal podniková data „demokratizuje“ – zpřístupňuje je všem, nejen školeným specialistům.

Před přechodem na kombinaci Airpal/PrestoDB používala společnost Airbnb webovou službu Redshift od Amazonu. Ta však vyžaduje soubor ETL nástrojů pro přípravu dat, má omezený počet dotazů, které mohou běžet zároveň, a v neposlední řadě vrací tak nesrozumitelná chybová hlášení, že je těžké podle nich řešit případné problémy.


Úvodní foto: © everythingpossible - Fotolia.com




Komentáře