Apache Hadoop: differenze tra le versioni

Versione delle 01:42, 9 apr 2019

Versione delle 01:48, 9 apr 2019

Riga 37:

Quando nacque Hadoop, l'unico modo di realizzare applicativi di elaborazione dati era MapReduce, che richiede di scrivere molto codice Java anche per le attività più semplici. Col passare degli anni, vennero inventate librerie come [https://www.cascading.org/ Cascading] e [http://crunch.apache.org/ Apache Crunch] per rendere più agevole la realizzazione di questi programmi. A questi si è affiancato [[Pig (programma)|Pig]], uno strumento che permetteva di usare un linguaggio ispirato ad SQL.

Un cambiamento consistente è avvenuto con l'introduzione di [[Apache Spark]] che usa in modo aggressivo la memoria RAM dei nodi del cluster per eseguire le elaborazioni con una velocità nettamente superiore a quella di MapReduce. Col tempo, Apache Spark si è evoluto, aggiungendo il supporto ad un linguaggio simile ad SQL e la possibilità di eseguire elaborazioni streaming sia di tipo microbatch che a bassa latenza.

'''Elaborazione dati in modalità Streaming'''

Riga 47:

* [https://apache.github.io/incubator-heron/ Apache Heron]

* [https://samza.apache.org/ Apache Samza]

* Apache Spark Streaming

* [https://gearpump.github.io/gearpump/ Gearpump]