Object storage: differenze tra le versioni

Versione delle 22:49, 10 set 2024

Versione attuale delle 10:04, 14 ago 2025

(2 versioni intermedie di 2 utenti non mostrate)

Riga 1:

L{{'}}'''object storage''' (conosciuto anche come '''archiviazione basata su oggetti'''<ref>{{Cita pubblicazione|autore=Mesnier|nome=M.|autore2=Ganger|autore3=Riedel|nome2=G.R.|nome3=E.|data=August 2003|titolo=Storage area networking - Object-based storage|rivista=[[IEEE Communications Magazine]]|volume=41|numero=8|pp=84–9084-90|doi=10.1109/mcom.2003.1222722}}</ref>) è una tipologia di [[Memoria (elettronica)|memorizzazione]] che gestisce i dati come oggetti, al contrario di altre architetture di storage come i [[file system]] che gestiscono i dati come una gerarchia di file, e l'archiviazione a blocchi all'interno di settori e tracce.<ref>{{Cita web|url=http://www.druva.com/blog/object-storage-versus-block-storage-understanding-technology-differences/|dataaccessoaccesso=19 January 2015}}</ref> Ogni oggetto in genere include i dati stessi, una quantità variabile di [[Metadato|metadati]], e un [[Universally unique identifier|identificatore univoco globale]]. Lo storage a oggetti può essere implementato a più livelli, tra cui il livello di dispositivo (dispositivo di archiviazione a oggetti), il livello di sistema e il livello di interfaccia. In ogni caso con l'object storage si ha la possibilità di abilitare funzionalità non indirizzate da altre architetture di storage, come interfacce direttamente programmabili dall'applicazione, uno spazio dei nomi che può estendersi su più istanze di hardware fisico e funzioni di gestione dei dati come [[Replicazione (informatica)|replica dei dati]] e distribuzione degli stessi a livello di granularità.

Lo storage di oggetti è utilizzato per vari scopi tra cui la memorizzazione di oggetti come video e foto su [[Facebook]], canzoni su [[Spotify]] o file nei servizi di collaborazione online, come [[Dropbox]].<ref>{{Cita web|url=http://www.gartner.com/technology/reprints.do?id=1-1R78PJ9&ct=140226&st=sb|autore=Chandrasekaran, Arun|sito= Gartner Research }}</ref> Una delle limitazioni dello storage di oggetti è che non è destinato a dati transazionali, poiché il sistema non è stato progettato per sostituire l'accesso e la condivisione di file [[Network Attached Storage|NAS]], non supporta i meccanismi di blocco e condivisione necessari per mantenere una singola versione aggiornata di un file.<ref name="objectstorage">{{Cita web|url=https://qumulo.com/blog/block-storage-vs-object-storage-vs-file-storage/|citazione="Object storage can work well for unstructured data in which data is written once and read once (or many times). Static online content, data backups, image archives, videos, pictures, and music files can be stored as objects."|dataaccessoaccesso=8 February 2022}}</ref>

== Storia ==

=== Origini ===

Nel 1995, una ricerca condotta da Garth Gibson sui NAS promoveva per la prima volta il concetto di dividere le operazioni meno comuni, come le manipolazioni dello [[Namespace|spazio dei nomi]], dalle operazioni comuni come la lettura e la scrittura, per ottimizzare le prestazioni e la scalabilità di entrambe.<ref name="NASD">{{Cita web|url=http://www.pdl.cmu.edu/ftp/NASD/Sigmetrics97.pdf|autore=Garth A. Gibson|dataaccessoaccesso=27 October 2013}}</ref> Nello stesso anno, è stata istituita una società belga, la ''FilePool,'' per costruire le basi per le funzioni di archiviazione. Lo stoccaggio di oggetti è stato proposto nel laboratorio della [[Università Carnegie Mellon|Carnegie Mellon University]] di Gibson come progetto di ricerca nel 1996. Un altro concetto chiave è stato l'astrazione della scrittura e della lettura dei dati in container più flessibili defintii "oggetti". Il controllo di accesso ''fine-grained'' attraverso l'architettura di archiviazione oggetti è stato descritto ulteriormente da uno dei membri del team NASD, Howard Gobioff, che successivamente fu uno degli inventori del [[Google File System]].<ref>{{Cita web|url=http://repository.cmu.edu/cgi/viewcontent.cgi?article=1147&context=pdl|autore=Gobioff, Howard|dataaccessoaccesso=7 November 2013}}</ref><ref>{{Cita web|url=http://research.google.com/archive/gfs-sosp2003.pdf|autore=Sanjay Ghemawat|dataaccessoaccesso=7 November 2013}}</ref> Altri lavori correlati includono il progetto del [[file system]] [[Coda (file system)|Coda]] al [[Università Carnegie Mellon|Carnegie Mellon]], iniziato nel 1987, che ha generato il [[file system]] Lustre.<ref name="Lustre">{{Cita web|url=http://ols.fedoraproject.org/OLS/Reprints-2002/braam-reprint.pdf|dataaccessoaccesso=17 September 2013|titolo=Copia archiviata|dataarchivio=1 dicembre 2017|urlarchivio=https://web.archive.org/web/20171201182053/https://ols.fedoraproject.org/OLS/Reprints-2002/braam-reprint.pdf|urlmorto=sì}}</ref> C'è anche il progetto OceanStore presso l'UC Berkeley, iniziato nel 1999, e il progetto Logistic Networking presso l'[[Università del Tennessee|Università del Tennessee Knoxville]], iniziato in 1998.<ref>{{Cita web|url=http://oceanstore.cs.berkeley.edu/|dataaccessoaccesso=18 September 2013}}</ref><ref>{{Cita libro|nome=John|cognome=Kubiatowicz|nome2=Chris|cognome2=Wells|nome3=Ben|cognome3=Zhao|titolo=Proceedings of the ninth international conference on Architectural support for programming languages and operating systems|data=2000|pp=190–201190-201|ISBN=1581133170|DOI=10.1145/378993.379239}}</ref><ref>{{Cita pubblicazione|autore=Plank|nome=James|autore2=Beck|autore3=Elwasif|nome2=Micah|nome3=Wael|data=October 1999|titolo=The Internet Backplane Protocol: Storage in the Network|rivista=Netstore 1999|accesso=27 January 2021|url=http://web.eecs.utk.edu/~jplank/plank/papers/NS99-IBP.pdf}}</ref> Nel 1999, Gibson fondò Panasas per diffondere i concetti sviluppati dal team NASD.

=== Sviluppo ===

Riga 16:

=== Astrazione dello storage ===

Uno dei principi di progettazione dello storage di oggetti è quello di astrarre alcuni livelli inferiori, quelli lontani dagli amministratori e dalle applicazioni. IIdatiI dati vengono così esposti e gestiti come oggetti invece di blocchi o file. Gli oggetti contengono proprietà descrittive aggiuntive che possono essere utilizzate per una migliore gestione e ne permette anche l'indicizzazione. Gli amministratori così non devono eseguire funzioni di archiviazione di livello inferiore come la costruzione e la gestione di [[Logical Unit Number|volumi logici]] per utilizzare la capacità del disco o impostare i livelli [[RAID]] per affrontare problemi ai dischi.

L'object storage consente anche l'indirizzamento e l'identificazione di singoli oggetti da più di un semplice nome del file e dal percorso: viene aggiunti infatti un identificatore univoco all'interno di un bucket, o nell'intero sistema, per supportare spazi dei nomi molto più grandi ed eliminare le collisioni dei nomi.

Riga 61:

=== Storage di oggetti "captive" ===

Alcune grandi aziende di servizi digitali hanno sviluppato il proprio software quando i prodotti di archiviazione di oggetti non erano ancora disponibili in commercio o quando i casi d'uso erano molto specifici. Facebook ha inventato il proprio software di archiviazione di oggetti, denominato in codice Haystack, per soddisfare in modo efficiente le proprie esigenze di gestione delle foto su larga scala.<ref name="haystack">{{Cita web|url=https://engineering.fb.com/2009/04/30/core-data/needle-in-a-haystack-efficient-storage-of-billions-of-photos/|dataaccessoaccesso=5 October 2021}}</ref>

=== Dispositivi di archiviazione basati su oggetti ===

== Adozione sul mercato ==

Uno dei primi prodotti di archiviazione di oggetti, [[Lustre]], è utilizzato nel 70% dei primi 100 supercomputer e circa il 50% dei [[TOP500|Top 500]].<ref>{{Cita web|url=http://storageconference.org/2012/Presentations/M04.Dilger.pdf|dataaccessoaccesso=27 October 2013}}</ref> A partire dal 16 giugno 2013, questo include 7 dei primi 10, tra cui il quarto sistema più veloce - il cineme Tianhe-2 - e il settimo più veloce, il supercomputer Titan all'[[Oak Ridge National Laboratory]].<ref>{{Cita web|url=http://www.multivu.com/mnr/60497-datadirect-networks-titan-supercomputer-storage-system-ornl|dataaccessoaccesso=27 October 2013|titolo=Copia archiviata|dataarchivio=29 ottobre 2013|urlarchivio=https://web.archive.org/web/20131029194043/http://www.multivu.com/mnr/60497-datadirect-networks-titan-supercomputer-storage-system-ornl|urlmorto=sì}}</ref>

I sistemi di archiviazione di oggetti hanno avuto un buon impiego nei primi anni 2000 come piattaforma di archivio, in particolare a seguito delle leggi di conformità come [[Sarbanes-Oxley Act|Sarbanes-Oxley]]. Dopo cinque anni di attività sul mercato, il prodotto Centera di EMC ha ottenuto oltre 3.500 clienti e 150 [[Byte|petabytes]] di spedizione fino al 2007.<ref>{{Cita web|url=http://www.emc.com/about/news/press/us/2007/04182007-5028.htm|dataaccessoaccesso=3 November 2013}}</ref> Per HCP di Hitachi molti clienti richiedono sistemi di archiviazione su scala di petabyte.<ref>{{Cita web|url=http://www.techvalidate.com/portals/hitachi-content-platform-customers-with-more-than-1pb-of-data-stored|dataaccessoaccesso=19 September 2013}}</ref> I nuovi sistemi di archiviazione di oggetti hanno anche ottenuto un certo successo, in particolare nelle applicazioni personalizzate molto grandi come il sito di aste di eBay, dove EMC Atmos è utilizzato per gestire oltre 500 milioni di oggetti al giorno.<ref>{{Cita news|url=http://www.infostor.com/backup-and_recovery/cloud-storage/emc-world-continues-focus-on-big-data-cloud-and-flash-.html|giornale=Infostor|titolo=Copia archiviata|accesso=21 ottobre 2023|dataarchivio=7 dicembre 2021|urlarchivio=https://web.archive.org/web/20211207192045/https://www.infostor.com/backup-and_recovery/cloud-storage/emc-world-continues-focus-on-big-data-cloud-and-flash-.html|urlmorto=sì}}</ref> A partire dal 3 marzo 2014, EMC afferma di aver venduto oltre 1,5 [[exabyte]] di spazio di archiviazione Atmos.<ref>{{Cita web|url=http://www.rethinkstorage.com/in-it-for-the-long-run-emcs-object-storage-leadership#.UyEzj9yllFI|dataaccessoaccesso=15 March 2014}}</ref> Il 1º luglio 2014, il [[Los Alamos National Laboratory|Los Alamos National Lab]] ha scelto lo Scality RING come base per un ambiente di archiviazione di 500 petabyte, che sarebbe stato tra i più grandi mai realizzati.<ref>{{Cita news|url=https://www.theregister.co.uk/2014/07/01/scalitys_ring_goes_faster/}}</ref>

I sistemi di archiviazione di oggetti "captive" come ''Haystack'' di Facebook sono cresciuti in modo impressionante. Nell'aprile 2009, gestiva 60 miliardi di foto e 1,5 petabyte di spazio di archiviazione, aggiungendo 220 milioni di foto e 25 terabyte a settimana.<ref name="haystack"/> Facebook ha recentemente dichiarato che aggiungeva 350 milioni di foto al giorno e che conservava 240 miliardi di foto,<ref>{{Cita news|url=http://www.datacenterknowledge.com/archives/2013/01/18/facebook-builds-new-data-centers-for-cold-storage/|giornale=Datacenterknowledge.com}}</ref> il tutto quindi si aggirerebbe sui 357 petabyte.<ref>{{Cita web|url=http://techexpectations.org/2014/05/17/how-much-data-does-x-store/|dataaccessoaccesso=23 May 2014|titolo=Copia archiviata|dataarchivio=22 maggio 2014|urlarchivio=https://web.archive.org/web/20140522002448/http://techexpectations.org/2014/05/17/how-much-data-does-x-store/|urlmorto=sì}}</ref>

Lo storage cloud è diventato diffuso in quanto molte nuove applicazioni web e mobile lo scelgono come metodologia comune per memorizzare dati binari.<ref>{{Cita web|url=http://blog.oxygencloud.com/2012/01/11/object-storage-already-dominates/|dataaccessoaccesso=27 October 2013|titolo=Copia archiviata|dataarchivio=29 settembre 2013|urlarchivio=https://web.archive.org/web/20130929210049/http://blog.oxygencloud.com/2012/01/11/object-storage-already-dominates/|urlmorto=sì}}</ref> Come back-end di storage per molte applicazioni popolari come Smugmug e [[Dropbox]], [[Amazon S3]] è cresciuto su larga scala, avendo oltre 2 trilioni di oggetti memorizzati nell'aprile 2013.<ref>{{Cita news|url=http://gigaom.com/2013/04/18/amazon-s3-goes-exponential-now-stores-2-trillion-objects/|titolo=Copia archiviata|accesso=21 ottobre 2023|dataarchivio=19 gennaio 2022|urlarchivio=https://web.archive.org/web/20220119084452/https://gigaom.com/2013/04/18/amazon-s3-goes-exponential-now-stores-2-trillion-objects/|urlmorto=sì}}</ref> Due mesi dopo, [[Microsoft]] affermò di aver memorizzato ancora più oggetti in [[Microsoft Azure|Azure]], a 8,5 trilioni.<ref>{{Cita news|url=https://thenextweb.com/microsoft/2013/06/27/microsoft-our-cloud-powers-hundreds-of-millions/}}</ref> Nell'aprile 2014, [[Microsoft Azure|Azure]] ha rivendicato oltre 20 trilioni di oggetti memorizzati.<ref>{{Cita news|url=http://www.tomsitpro.com/articles/microsoft-azure-paas-iaas-cloud-computing,1-1841.html|titolo=Copia archiviata|accesso=21 ottobre 2023|dataarchivio=6 maggio 2014|urlarchivio=https://web.archive.org/web/20140506205143/http://www.tomsitpro.com/articles/microsoft-azure-paas-iaas-cloud-computing,1-1841.html|urlmorto=sì}}</ref> Windows Azure Storage gestisce Blobs (file utente), Tabelle (archiviazione strutturata) e Code (consegna di messaggi) e li conta tutti come oggetti.<ref>{{Cita conferenza|url=http://sigops.org/sosp/sosp11/current/2011-Cascais/printable/11-calder.pdf|isbn=978-1-4503-0977-6}}</ref>

== Analisi del mercato ==

[[International Data Group|IDC]] ha iniziato a valutare annualmente il mercato dello stoccaggio basato su oggetti utilizzando la sua metodologia MarketScape. IDC descrive il MarketScape come: "...una valutazione quantitativa e qualitativa delle caratteristiche che valutano il successo attuale e futuro di un venditore in tale mercato o segmento di mercato e forniscono una misura della sua ascendenza per diventare un leader o mantenere una leadership. Le valutazioni di IDC MarketScape sono particolarmente utili nei mercati emergenti che sono spesso frammentati, hanno diversi attori e non hanno leader chiari".<ref>{{Cita web|url=https://www.idc.com/getdoc.jsp?containerId=US45354219|sito=idc.com|dataaccessoaccesso=16 Feb 2020|titolo=Copia archiviata|dataarchivio=19 novembre 2021|urlarchivio=https://web.archive.org/web/20211119143051/https://www.idc.com/getdoc.jsp?containerId=US45354219|urlmorto=sì}}</ref>

Nel 2019, IDC ha classificato [[EMC Corporation|Dell EMC]], [[Hitachi Data System]], [[IBM]], [[NetApp]] e Scality come leader.

Riga 83:

==== OSD versione 1 ====

Nella prima versione dello standard OSD,<ref>{{Cita web|url=http://www.techstreet.com/cgi-bin/detail?product_id=1204555|dataaccessoaccesso=8 November 2013}}</ref> gli oggetti sono specificati con un ID partizione a 64 bit e un ID oggetto a 64 bit. Le partizioni vengono create ed eliminate all'interno di un OSD e gli oggetti vengono creati ed eliminati all'interno delle partizioni. Non ci sono dimensioni fisse associate a partizioni o oggetti, possono crescere in base alle limitazioni di dimensioni fisiche del dispositivo o ai vincoli di quota logica su una partizione.

Un insieme estensibile di attributi descrive gli oggetti. Alcuni attributi vengono implementati direttamente dall'OSD, come il numero di byte in un oggetto e il [[timestamp]] di modifica di un oggetto. C'è inoltre una speciale politica di etichettatura che fa parte del meccanismo di sicurezza. Altri attributi non sono stati interpretati dall'OSD. Questi sono impostati su oggetti dai sistemi di archiviazione di livello superiore che utilizzano l'OSD per lo storage persistente. Ad esempio, gli attributi potrebbero essere utilizzati per classificare oggetti o per individuare le relazioni tra diversi oggetti memorizzati su diversi OSD.

Riga 92:

==== OSD versione 2 ====

Una seconda generazione del set di comandi SCSI, "Object-Based Storage Devices - 2" (OSD-2), ha aggiunto il supporto per le snapshot, le raccolte di oggetti ed è stata miglioratala gestione degli errori.<ref>{{Cita web|url=http://www.techstreet.com/products/1801667|dataaccessoaccesso=8 November 2013}}</ref>

Un'[[Snapshot|istantanea]] è una copia puntuale di tutti gli oggetti di una partizione in una nuova partizione. L'OSD può implementare una copia efficiente nello spazio utilizzando tecniche di [[copy-on-write]] in modo che le due partizioni condividano oggetti che non sono cambiati tra diversi istanti, oppure potrebbe copiare fisicamente i dati nella nuova partizione. Lo standard definisce i cloni, che sono scrivibili, e gli [[Snapshot|istantanei]], che sono solo leggibili.

Riga 105:

Con un archivio chiave-valore, i dati vengono identificati da una chiave anziché da un LBN. Una chiave potrebbe essere "gatto" o "olivo" o "42". Può essere una sequenza arbitraria di byte di lunghezza variabile. I dati (chiamati "valori" in questo contesto) non devono essere di dimensioni fisse e possono essere anche una sequenza arbitraria di byte di lunghezza variabile. Si memorizzano i dati presentando la chiave e i dati (valore) si possono recuperare in seguito presentando la sola chiave. Questo concetto è impiegato nei linguaggi di programmazione. [[Python]] li chiama dizionari, [[Perl]] li chiama hash, [[Java (linguaggio di programmazione)|Java]] e [[C++]] li chiamano mappe, ecc. Molti archivi dati implementano anche archivi di tipo chiave-valore come [[Memcached]], [[Redis]] e [[CouchDB]].

Gli object-store sono simili ai sistemi di archiviazione chiave-valore per due aspetti: in primo luogo, l'identificatore di oggetto o [[Uniform Resource Locator|URL]] (l'equivalente della chiave) può essere una stringa arbitraria,<ref>{{Cita web|url=https://docs.openstack.org/developer/swift/api/object_api_v1_overview.html|sito=OpenStack Documentation|dataaccessoaccesso=9 June 2017}}</ref> in secondo luogo, i dati possono essere di dimensioni arbitrarie.

Ci sono tuttavia alcune differenze tra object-storage e chiave-valore: i primi consentono anche di associare un insieme limitato di attributi (metadati) a ciascun dato. La combinazione di una chiave e di un valore e relativi di attributi definisce un oggetto. In secondo luogo, l'archiviazioni di oggetti sono ottimizzati per grandi quantità di dati (centinaia di [[megabyte]]s o persino [[gigabytes]]), mentre per chiave-valore il valore dovrebbe essere relativamente piccolo ([[kilobytes]]). Infine, l'object-storagee offre di solito garanzie di coerenza più deboli mentre chiave-valore offrono una forte coerenza.