Apache Hadoop

Apache Hadoop è un framework che supporta applicazioni distribuite sotto una licenza libera. Permette alle applicazioni di lavorare con migliaia di nodi e petabyte di dati. Hadoop è stato ispirato dalla MapReduce di Google e dal Google File System. Hadoop è un progetto Apache di alto livello costruito e usato da una comunità di globale di contributori, che usano il linguaggio di programmazione Java. Yahoo! è il più grande contribuente a questo progetto, e usa fortemente Hadoop nei suo affari. Hadoop è usato anche da: AOL, Ebay, Facebook, IBM, Imageshack, Joost, Linkedin, The New York Times e Twitter. Hadoop è stato creato da Doug Cutting, che lo ha nominato il suo elefante di pezza. In origine fu sviluppato per supportare la distribuzione per il progetto del motore di ricerca Nutch.

Architettura

Hadoop consiste dell'Hadoop Common, che fornisce accesso al file system supportato da Hadoop. L'Hadoop Common package contiene i file jar e gli script necessari e di cui si ha bisogno per avviare Hadoop. Il package fornisce inoltre il codice sorgente, la documentazione e una sezione contributi che include i progetti della comunità Hadoop.

File System

L'Hadoop Distributed File System (in sigla HDFS) è un file system distribuito, portabile e scalabile scritto in Java per il framework hadoop. Ogni nodo in Hadoop tipicamente possiede un singolo datanodo, e un cluster di datanodi forma un cluster HDFS.

Hadoop supporta anche:

Amazon S3 file system;
CloudStore file system;
FTP file system;
HTTP e HTTPS file system in sola lettura.

Hadoop può lavorare direttamente con qualsiasi file system distribuito che possa essere montato da un sistema operativo sottostante semplicemente usando un file:// URL.

Voci correlate

Collegamenti esterni

(EN) Sito di Hadoop