Gør data videnskab i skyen med ScraperWiki

Reklame

Hvis du har mentale chops, en flair til programmering og historiefortælling og øje for design, kan du gøre det værre end at komme ind i datavidenskab. Det er den nye store ting inden for teknologi; meget trendy og højt betalt, hvor dataforskere søges af nogle af de største virksomheder i verden.

ScraperWiki er et firma, der længe har været forbundet med datavidenskabsfeltet. I de sidste par år har denne Liverpool-baserede opstart tilbudt en platform for kodere til at skrive værktøjer, der får data, rense dem og analysere dem i skyen.

Med en nylig opdatering og den stadigt stigende efterspørgsel efter datavidenskabsmænd i virksomheden er det værd at tage et godt kig på ScraperWiki.

Fuld offentliggørelse: Jeg var praktikant hos ScraperWiki sidste sommer.

Hvad gør ScraperWiki?

ScraperWiki markedsfører sig selv som et sted at hente, rense og analysere data, og det leverer på hver af disse tællinger. I sin enkleste form giver det dig - brugeren - et sted, hvor du kan skrive kode, der henter data fra en kilde, værktøjer til at konvertere det til et format, der er let at analysere og opbevare for at bevare det til senere visualisering - som du også kan håndtere med ScraperWiki.

Det leveres også med et antal forudbyggede værktøjer, der automatiserer gentagne opgaver, herunder at hente data fra PDF-filer, som er notorisk vanskelige at afkode. Dette er ud over Twitter-søgning 5 Cool Twitter-søgningstricks til at overvåge, hvad folk siger om digHvis du ejer et websted eller bare prøver at tjene penge online som freelancer, er det altid godt at vide, hvad folk siger om dig via Internettet. Folk citerer muligvis ... Læs mere og skrabningsværktøjer. Du har ikke brug for nogen softwareudviklingsoplevelse for at bruge disse.

Koste

Som tidligere nævnt omfatter ScraperWiki freemium-prismodellen og tilbyder en service, der har flere niveauer. De, der lige er kommet i gang med datavidenskab eller med begrænsede behov, kan benytte sig af den gratis service. Dette giver dig tre datasæt - hvor du gemmer dine data og kode.

De, der planlægger at skrive flere skrabere eller ønsker at lave bjerge med dataanalyse, kan uddele nogle kontanter til en premiumkonto. Disse starter ved $ 9 per måned og tilbyder 10 datasæt. Hvis det stadig ikke er nok, kan du altid opgradere til deres højeste niveau, som leveres med 100 datasæt og koster $ 29 pr. Måned.

Coding

Programmerere er ofte ganske specielle når det kommer til hvordan de koder. Nogle foretrækker scripting-sprog frem for kompilerede sprog. Nogle foretrækker den pared-back oplevelse af en tekstredigerer frem for den i et integreret udviklingsmiljø (IDE). ScraperWiki genkender det og giver brugeren en enorm mængde valg, når det kommer til hvordan du skriver din kode.

Hvis du er så tilbøjelig, kan du skrive din kode i browseren. Som du kunne forvente af enhver professionel karakter, webbaseret De 3 øverste browser-baserede IDE'er, der skal kode i skyen Læs mere udviklingsværktøj, dette kommer med funktioner, som enhver programmør anser for at være væsentlig, såsom syntaksbelysning.

Der er et antal sprog, der tilbydes. Disse inkluderer Python De 5 bedste websteder til at lære Python-programmeringVil du lære Python-programmering? Her er de bedste måder at lære Python online, hvoraf mange er helt gratis. Læs mere , et populært scriptingsprog, der bruges af folk som Google og NASA; Rubin 3 interaktive, sjove, gratis måder at begynde at lære Ruby-programmeringssprog påRuby er et udtryksfuldt scripting-sprog på meget højt niveau. Det bruges hovedsageligt på Internettet som en del af webudviklingsrammen Ruby on Rails, men også som enkeltstående. Hvis du er nysgerrig efter hvad Ruby (ikke ... Læs mere , der driver en række populære websteder såsom Living Social; og det populære statistiske analysesprog, R.

Derudover kan du også skrive kode fra kommandolinjen ved hjælp af SSH, Git og hvilken tekstredigeringsprogram du nyder at bruge. Ja, du læser det rigtigt. SSH Hvad SSH er & hvordan det er forskelligt fra FTP [Teknologi forklaret] Læs mere . Hver boks, du bruger, er sin egen Linux-konto, og du er i stand til at oprette forbindelse til den, som du ville have en VPS eller en hvilken som helst anden shell-konto. Der er et antal teksteditorer tilgængelige, inklusive Vim De 7 vigtigste grunde til at give Vim-teksteditoren en chanceI årevis har jeg prøvet den ene teksteditor efter den anden. Navn det, jeg prøvede det. Jeg brugte hver eneste af disse redaktører i over to måneder som min primære daglige redaktør. På en eller anden måde ... Læs mere som kan udvides med plugins og ved at redigere konfigurationen. De, der er skræmt af Vim, kan bruge Nano, som er en let kommandolinjeteksteditor.

Bibliotekerne skal være tilstrækkelige til at skriveværktøjer kan hente data og behandle dem. Hvis du har brug for noget, der er lidt mere uklar, kan du altid oprette en virtualenv fra kommandolinjen. Som du kan se, er der en enorm mængde fleksibilitet, som udviklere yder.

Datavisualisering

Så du har dine data. Du har normaliseret det. Du har renset det. Du har analyseret det. Nu er det tid til at gøre noget visualisering og vise verden, hvad du har lært.

ScraperWiki giver udviklere mulighed for at vise deres data ved hjælp af websider, der er konstrueret ud fra den velkendte trifekta af HTML, CSS og JavaScript. Derudover understøttes Bootstrap-komponenter ud af boksen.

Der er en række foruddannede visualiseringer tilgængelige, herunder dem, der plotter dine data på et kort og finder tendenser inden for dine fund. For at bruge disse skal du sikre dig, at dine data gemmes som SQLite-fil med filnavnet 'scraperwiki.sqlite'. Derefter tilføjer du blot den visualisering, du er interesseret i. Enkelt, ikke?

Konklusion

ScraperWiki tilbyder meget til udviklere, der ønsker at foretage en vis dataanalyse, uden at deres udviklingsmiljø kommer i vejen, samtidig med at de har fleksibilitet til at behage selv de mest krævende af brugere. Men hvad synes du? Fortæl mig det i kommentarerne herunder.
Fotokredit: Rocket Science (Dan Brown)