Benchmark (informatica): differenze tra le versioni

Versione delle 20:35, 15 feb 2021

Versione attuale delle 02:51, 13 mar 2025

(18 versioni intermedie di 12 utenti non mostrate)

Riga 16:

Un problema che affligge i test di benchmark condotti dai produttori è che i programmi di test potrebbero essere scelti o costruiti in modo da privilegiare le caratteristiche dei propri prodotti.

Nel 2014 Intel chiude una class action decennale, ripagando alcuni degli utenti che fra novembre 2000 e giugno 2002 comprarono un [[Pentium 4]] di prima generazione (Willamette) invece che un AMD Athlon, in quanto i test benchmark restituivano valori migliori per il Pentium 4, in quanto i test si basavano su operazioni in cui i Pentium andavano meglio, evitando quelle in cui gli Athlon avrebbero primeggiato. Alla fine il punteggio era calcolato correttamente, ma non era necessariamente veritiero.<ref>AMD aveva ragione: i benchmark favorirono i Pentium 4: http://www.tomshw.it/cont/news/amd-aveva-ragione-i-benchmark-favorirono-i-pentium-4/60336/1.html {{Webarchive|url=https://web.archive.org/web/20141228042705/http://www.tomshw.it/cont/news/amd-aveva-ragione-i-benchmark-favorirono-i-pentium-4/60336/1.html |data=28 dicembre 2014 }}</ref>

== Principi di benchmarking ==

Ci sono sette caratteristiche fondamentali per i benchmark<ref>{{citeCita conferenceconferenza|first1nome1=Wei|last1cognome1=Dai|first2nome2=Daniel|last2cognome2=Berleant|titletitolo=Benchmarking Contemporary Deep Learning Hardware and Frameworks: a Survey of Qualitative Metrics|datedata=Decemberdicembre 12–14, 2019|___locationcittà=Los Angeles, CA, USA|book-titleconferenza=2019 IEEE First International Conference on Cognitive Machine Intelligence (CogMI)|publishereditore=IEEE|doi=10.1109/CogMI48466.2019.00029|pagespp=148–155148-155|url=https://dberleant.github.io/papers/BenchmarkingContemporaryDeepLearningHardwareAndFrameworks.pdf}}</ref>. Queste proprietà chiave sono:

# Rilevanza: i benchmark dovrebbero misurare caratteristiche relativamente vitali.

Riga 30:

== Tipi di benchmark ==

# Programma reale

#* software di elaborazione testi

Line 37 ⟶ 36:

# Component Benchmark / Microbenchmark

#* La routine principale consiste in una parte di codice relativamente piccola e specifica.

#* misurare le prestazioni dei componenti di base di un computer<ref>{{citeCita journalpubblicazione|url=http://www.da.isy.liu.se/pubs/ehliar/ehliar-ssocc2004.pdf|titletitolo=Benchmarking network processors|first1nome1=Andreas|last1cognome1=Ehliar|first2nome2=Dake|last2cognome2=Liu}}</ref>

#* può essere utilizzato per il rilevamento automatico dei parametri hardware del computer come il numero di registri, la dimensione della cache, la latenza della memoria, ecc.

# Kernel

Line 43 ⟶ 42:

#* normalmente astratto dal programma reale

#* kernel popolare: Livermore loop

#* benchmark linpack (contiene una subroutine di [[algebra lineare]] di base scritta in linguaggio [[Fortran|FORTRAN]])

#* i risultati sono rappresentati in Mflop / s.

# Benchmark sintetico

Line 61 ⟶ 60:

== Benchmark comuni ==

=== Standard di settore (verificato e verificabile) ===

* Business Applications Performance Corporation (BAPCo)

* Embedded Microprocessor Benchmark Consortium (EEMBC)

* [[Linked data|Linked Data]] Benchmark Council (LDBC)

** Semantic Publishing Benchmark (SPB) : un benchmark LDBC ispirato all'industria dei media / editoria per testare le prestazioni dei motori RDF<ref>{{citeCita web|url=http://ldbcouncil.org/benchmarks/spb|titletitolo=LDBC Semantic Publishing Benchmark|authorautore=LDBC|workopera=LDBC SPB|publishereditore=[[LDBC]]|access-dateaccesso=2 luglio 2018-07-02}}</ref>

** Social Network Benchmark (SNB) : un benchmark LDBC per testare le prestazioni dei motori RDF costituito da tre benchmark distinti (Interactive Workload, Business Intelligence Workload, Graph Analytics Workload) su un set di dati comune<ref>{{citeCita web|url=http://ldbcouncil.org/benchmarks/snb|titletitolo=LDBC Social Network Benchmark|authorautore=LDBC|workopera=LDBC SNB|publishereditore=[[LDBC]]|access-dateaccesso=2 luglio 2018-07-02}}</ref>

* Standard Performance Evaluation Corporation (SPEC), in particolare SPECint e SPECfp

* [[Transaction processing|Transaction Processing]] Performance Council (TPC): benchmark DBMS

** TPC-A : misura le prestazioni in ambienti di database ad alta intensità di aggiornamento tipici delle applicazioni di elaborazione delle transazioni in linea (OLTP)<ref>{{citeCita web|url=http://www.tpc.org/tpca/default.asp|titletitolo=TPC-A|authorautore=Transaction Processing Performance Council|publishereditore=[[Transaction Processing Performance Council]]|access-dateaccesso=2 luglio 2018-07-02|dataarchivio=2 luglio 2018|urlarchivio=https://web.archive.org/web/20180702204829/http://www.tpc.org/tpca/default.asp|urlmorto=sì}}</ref>

** TPC-C : un benchmark di elaborazione delle transazioni in linea (OLTP)<ref>{{citeCita web|url=http://www.tpc.org/tpcc/default.asp|titletitolo=TPC-C|authorautore=Transaction Processing Performance Council|publishereditore=[[Transaction Processing Performance Council]]|access-dateaccesso=2 luglio 2018-07-02|dataarchivio=5 dicembre 2008|urlarchivio=https://web.archive.org/web/20081205084657/http://www.tpc.org/tpcc/default.asp|urlmorto=sì}}</ref>

** TPC-H : un benchmark di supporto decisionale<ref>{{citeCita web|url=http://www.tpc.org/tpch/default.asp|titletitolo=TPC-H|authorautore=Transaction Processing Performance Council|publishereditore=[[Transaction Processing Performance Council]]|access-dateaccesso=2 luglio 2018-07-02|dataarchivio=18 dicembre 2008|urlarchivio=https://web.archive.org/web/20081218052607/http://www.tpc.org/tpch/default.asp|urlmorto=sì}}</ref>

=== Benchmark open source ===

Line 82 ⟶ 80:

* Collective Knowledge (Conoscenza collettiva) : framework personalizzabile e multipiattaforma per il crowdsourcing di benchmark e ottimizzazione dei carichi di lavoro degli utenti (come il deep learning) su hardware fornito da volontari

* Coremark : benchmark di elaborazione integrata

* Data Storage Benchmark - una continuazione RDF del LDBC Social Network Benchmark, dal progetto Hobbit<ref>{{citeCita web|url=https://github.com/hobbit-project/DataStorageBenchmark|titletitolo=Data Storage Benchmark|datedata=28 luglio 2017-07-28|access-dateaccesso=2 luglio 2018-07-02}}</ref>

* DEISA Benchmark Suite - benchmark di applicazioni scientifiche HPC

* Dhrystone : prestazioni aritmetiche di interi, spesso riportate in DMIPS (Dhrystone milioni di istruzioni al secondo)

* DiskSpd : strumento da riga di comando per il benchmarking dello storage che genera una varietà di richieste su file , partizioni o dispositivi di archiviazione del computer

* Embench™: benchmark portatili e open source, per il benchmarking di sistemi profondamente integrati; presuppongono la presenza di nessun sistema operativo, supporto minimo per le librerie C e, in particolare, nessun flusso di output. Embench è un progetto della Free and Open Source Silicon Foundation .

* Faceted Browsing Benchmark (Benchmark di navigazione sfaccettata): sistemi di benchmark che supportano la navigazione attraverso i dati collegati tramite transizioni iterative eseguite da un utente intelligente, dal progetto Hobbit <ref>{{citeCita web|url=https://github.com/hobbit-project/faceted-benchmark|titletitolo=Faceted Browsing Benchmark|datedata=27 luglio 2017-07-27|access-dateaccesso=2 luglio 2018-07-02}}</ref>

* Fhourstones : un benchmark intero

* HINT : progettato per misurare le prestazioni complessive della CPU e della memoria

Line 118 ⟶ 116:

* Windows System Assessment Tool, incluso con [[Windows Vista]] e versioni successive, che fornisce un indice ai consumatori per valutare facilmente i propri sistemi

* Worldbench (fuori produzione)

*InfinityBench<ref>{{Cita web|url=https://www.infinitysoftwarehouse.com/Product/InfinityBench.aspx|titolo=InfinityBench|accesso=2021-10-17}}</ref>

== Note ==

<references />

== CollegamentiAltri esterniprogetti ==

{{interprogetto|preposizione=sul|wikt=benchmark}}

== Collegamenti esterni ==

* {{Collegamenti esterni}}

* {{FOLDOC||benchmark}}

* {{cita web|http://www.hwmaster.com/forum/come-costruire-un-banchetto-da-benchmark-t10225.html|Come costruire un tavolo da benchmark}}

{{Portale|informatica}}