Věda o datech v cloudu pomocí aplikace ScraperWiki

reklama

Pokud máte mentální kotlety, náladu pro programování a vyprávění příběhů a oko pro design, můžete udělat horší než se dostat do vědy o údajích. Je to nová velká věc v technologii; vysoce trendy a vysoce placené, přičemž vědci v oblasti dat vyhledávají některé z největších společností na světě.

ScraperWiki je společnost, která se dlouhodobě přidružuje k oboru datových věd. V posledních několika letech toto spuštění založené na Liverpoolu nabídlo platformu pro kodéry pro psaní nástrojů, které získávají data, čistí je a analyzují je v cloudu.

S nedávným obnovením a stále rostoucí poptávkou po vědcích v oblasti dat se vyplatí dobře podívat na ScraperWiki.

Úplné odhalení: Minulé léto jsem byl stážistou na ScraperWiki.

Co dělá ScraperWiki?

ScraperWiki se prodává jako místo, kde lze získávat, čistit a analyzovat data, a poskytuje každý z těchto počtů. Ve své nejjednodušší podobě umožňuje - uživateli - místo, kde můžete psát kód, který načítá data ze zdroje, nástroje pro převod do formátu, který lze snadno analyzovat, a úložiště, které si uchováte pro pozdější vizualizaci - s kterým můžete také pracovat pomocí ScraperWiki.

Dodává se také s řadou předdefinovaných nástrojů, které automatizují opakující se úkoly, včetně získávání dat z PDF, které je notoricky obtížné dekódovat. To je navíc k Hledání na Twitteru 5 skvělých triků na Twitteru, abyste mohli sledovat, co o vás lidé říkajíPokud vlastníte web nebo se jen snažíte vydělávat peníze online jako nezávislý pracovník, je vždy dobré vědět, co o vás lidé říkají přes internet. Lidé mohou citovat ... Přečtěte si více a škrábání nástroje. K jejich použití nepotřebujete žádné zkušenosti s vývojem softwaru.

Náklady

Jak již bylo zmíněno, ScraperWiki zahrnuje model cen freemium a nabízí službu, která má více úrovní. Ti, kteří teprve začínají s vědou o údajích nebo s omezenými potřebami, mohou využít bezplatnou službu. To vám poskytne tři datové sady - kde ukládáte data a kód.

Ti, kteří plánují psát více škrabek nebo chtějí dělat hory analýzy dat, mohou vydělat nějaké peníze na prémiový účet. Ty začínají na 9 $ měsíčně a nabízejí 10 datových sad. Pokud to stále nestačí, můžete vždy upgradovat na nejvyšší úroveň, která přichází se 100 datovými sadami a stojí 29 $ měsíčně.

Kódování

Programátoři jsou často velmi konkrétní, pokud jde o to, jak kódují. Někteří preferují skriptovací jazyky před kompilovanými jazyky. Někteří preferují pared-back zkušenost textového editoru před integrovaným vývojovým prostředím (IDE). ScraperWiki to uznává a dává uživateli obrovský výběr, pokud jde o způsob psaní kódu.

Pokud jste tak nakloněni, můžete svůj kód napsat do prohlížeče. Jak byste očekávali od jakékoli profesionální třídy, webový Top 3 prohlížeče založené IDE je kód v oblaku Přečtěte si více vývojový nástroj, přichází s funkcemi, které by jakýkoli programátor považoval za zásadní, jako je zvýraznění syntaxe.

Existuje celá řada jazyků. Tyto zahrnují Krajta 5 nejlepších webových stránek, kde se můžete naučit programování v PythonuChcete se naučit programování Pythonu? Zde jsou nejlepší způsoby, jak se naučit Python online, z nichž mnohé jsou zcela zdarma. Přečtěte si více , populární skriptovací jazyk používaný uživateli Google a NASA; Rubín 3 interaktivní, zábavné a bezplatné způsoby, jak začít učit programovací jazyk RubyRuby je výrazný skriptovací jazyk na vysoké úrovni. Používá se na webu hlavně jako součást rámce pro vývoj webových aplikací Ruby on Rails, ale také jako samostatný. Pokud vás zajímá, co Ruby (ne ... Přečtěte si více , která ovládá řadu populárních webů, jako je například Living Social; a populární jazyk statistické analýzy, R.

Kromě toho můžete také psát kód z příkazového řádku pomocí SSH, Git a libovolného textového editoru, který vás baví. Ano, čtete to správně. SSH Co je SSH a jak se liší od FTP [vysvětlení technologie] Přečtěte si více . Každé pole, které používáte, má svůj vlastní Linuxový účet a můžete se k němu připojit stejně jako VPS nebo jakýkoli jiný shell účet. Existuje celá řada textových editorů, včetně Vim Prvních 7 důvodů, proč dát editoru Vim šanciCelá léta jsem zkoušel jeden textový editor za druhým. Jmenuješ to, zkusil jsem to. Každý z těchto editorů jsem používal více než dva měsíce jako svůj primární každodenní editor. Nějak jsem ... Přečtěte si více které lze rozšířit o pluginy a úpravou konfigurace. Ti, kdo Vim zastraší, mohou použít Nano, což je lehký textový editor příkazového řádku.

Nainstalované knihovny by měly stačit k tomu, aby nástroje pro psaní mohly načítat data a zpracovávat je. Pokud potřebujete něco trochu temnějšího, můžete z příkazového řádku vždy vytvořit virtuální název. Jak vidíte, vývojářům je poskytována obrovská flexibilita.

Vizualizace dat

Takže máte svá data. Normalizovali jste to. Vyčistili jste to. Analyzovali jste to. Nyní je čas udělat nějakou vizualizaci a ukázat světu, co jste se naučili.

ScraperWiki umožňuje vývojářům zobrazovat svá data pomocí webových stránek vytvořených ze známých trifektů HTML, CSS a JavaScript. Kromě toho jsou komponenty Bootstrap podporovány již po vybalení.

K dispozici je řada předem připravených vizualizací, včetně těch, které vykreslují vaše data na mapu a nalézají trendy ve vašich zjištěních. Abyste je mohli použít, musíte zajistit, aby vaše data byla uložena jako soubor SQLite s názvem „scraperwiki.sqlite“. Pak jednoduše přidáte vizualizaci, která vás zajímá. Jednoduché, že?

Závěr

ScraperWiki nabízí hodně vývojářům, kteří chtějí provést nějakou analýzu dat, aniž by jim bránilo jejich vývojové prostředí, a zároveň mají flexibilitu, aby uspokojili i ty nejnáročnější uživatele. Ale co si myslíš? Dejte mi vědět v komentářích níže.
Fotografický kredit: Rocket Science (Dan Brown)