Premio Loebner

Il Premio Loebner è una competizione annuale di intelligenza artificiale che si tiene presso l'Università di Reading. Viene assegnato al chat bot che ottiene il punteggio più alto in un contesto ispirato al test di Turing, nel quale una giuria cerca di distinguere le risposte fornite dal programma da quelle di un essere umano.

La prima edizione si è svolta nel 1991, organizzata da Hugh Loebner in collaborazione con il Cambridge Center for Behavioral Studies. Negli anni successivi, la competizione si è svolta con il supporto di diverse istituzioni, tra cui la Flinders University, il Dartmouth College, il Science Museum e l'Università di Reading. Nel 2019 le regole sono state modificate: i giudici sono stati sostituiti dal pubblico e si è deciso di non includere più confronti diretti tra esseri umani e bot.

Il premio è stato oggetto di critiche, tra cui quella dell'informatico Marvin Minsky, che ha definito la competizione "una bravata pubblicitaria".

Premi

Nel 1991, i vincitori ottennero un premio di 2.000 $. Successivamente, l'importo salì a 3.000$ nel 2005, scese a 2.250$ nel 2006, e tornò a 3.000$ nel 2008. Oltre al premio annuale, sono stati istituiti due premi straordinari una tantum: il primo, del valore di 25.000$, sarà assegnato al primo programma in grado di ingannare il pubblico, rendendo impossibile distinguere un chat bot da un essere umano in una conversazione basata esclusivamente su testo;il secondo, di 100.000$, sarà conferito a un sistema capace non solo di soddisfare i requisiti del premio precedente, ma anche di sostenere conversazioni tramite input audiovisivo (audio e video). Nel caso in cui uno di questi due premi venisse assegnato, la competizione sarà considerata conclusa

Regole di competizione e restrizioni

Nelle prime edizioni della competizione, i criteri per valutare la conversazione erano limitati. A partire dal 2007, è stato introdotto uno schema di base per strutturare le conversazioni, con l’obiettivo di valutare più accuratamente il livello dei bot. I giudici tengono in considerazione la durata e l’argomento della discussione. Lo schema comprende tre categorie:conoscenza generale (es. "Che cos'è un martello?"), paragoni (es. "Cosa è più veloce, un treno o un aereo?"), domande mnemoniche, che richiedono al bot di fare riferimento a parti precedenti della stessa conversazione. Il lessico e i verbi devono essere selezionati da un dizionario per ragazzi di età pari o inferiore ai 12 anni.

Nel 2008, lo sponsor introdusse una fase preliminare alla competizione ufficiale, permettendo l’iscrizione dei partecipanti tramite web. I giudici dispongono di 5 minuti per formulare le domande e di altri 5 minuti per condurre conversazioni simultanee con i vari programmi.

Edizioni

2006

Nel 2006, la competizione fu organizzata da Tim Child, CEO della Televirtual, e dalla ricercatrice Huma Shah. Il 30 agosto dello stesso anno vennero annunciati i quattro finalisti:

Rollo Carpenter;
Richard Churchill e Marie-Claire Jenkins;
Noah Duncan;
Robert Medeksza.

La finale si svolge il 17 settembre nel teatro di VR, Torrington Place dell'Università di Londra. Tra i giudici, sono presenti: il professore di Cibernetica dell'Università di Reading, Kevin Warwick; un professore d'intelligenza artificiale, John Barnden; una specialista in ricerca della metafora all'Università di Birmingham, l’avvocato Victoria Butler-Cole e il giornalista Graham Duncan-Rowe. La seconda parte dell'evento viene descritta in un articolo del Technology Review. Il vincitore è 'Joan', programmato su Jabberwacky, un sistema creato da Rollo Carpenter.

2007

La finale del 2007 si svolge il 21 ottobre a New York. I giudici sono: il professore d'informatica Russ Abbott, il professore di filosofia Hartry Field, il professore di Psicologia Clayton Curtis e l'organizzatore di conferenze Scott Hutchins.

Nessun bot supera il test di Turing, ma i giudici classificano ugualmente i 3 finalisti:

1º posto: Robert Medeksza da Zabaware, creatore di Ultra Hal Assistant;
2º posto: Noah Duncan, privato, creatore di Cletus;
3º posto: Rollo Carpenter da Icogno, creatore di Jabberwacky.

Il vincitore riceve 2.250$ e la medaglia annuale. Gli altri classificati ricevono vincendo 250$ ciascuno.

2008

La competizione del 2008 viene organizzata dal Professore Kevin Warwick e da Huma Shah, il 12 ottobre presso l'Università di Reading. Tra giugno e luglio 2008, 6 concorrenti vengono selezionati da tredici giudici durante la fase preliminare. Infine, i 5 bot finalisti sono:

Peter Cole e Benji Adams, con Brother Jerome;
Fred Roberts da Artificial Solutions, con Elbot;
Vladimir Veselov, Eugene Demchenko e Sergey Ulasen, con Eugene Goostman;
Rollo Carpenter, con Jabberwacky;
Robert Medeksza, con Ultra Hal.

Durante la finale, ogni giurato ha cinque minuti per condurre simultaneamente conversazioni su uno stesso schermo con due entità ignote. Elbot vince la medaglia di bronzo, per l'avvicinamento alla psicologia umana come entità conversazionale ed artificiale. Infatti, riesce a farsi scambiare da tre dei dodici giudici (nella conversazione simultanea umano-macchina) per un essere umano. Eugene Goostman e Ultra Hal ingannano tutti i giurati.

2009

L'assegnazione del Premio Loebner 2009 si svolge il 6 settembre 2009 al Centre di Brighton, in congiunzione con la conferenza INTERSPEECH 2009.

I finalisti sono David Levy, Rollo Carpenter, e Mohan Embar.

2010

La gara del 2010 avviene il 23 ottobre presso la California State University.

Vincitori

Anno	Vincitore	Nome del programma
1991	Joseph Weintraub^[1]	PC Therapist
1992	Joseph Weintraub	PC Therapist
1993	Joseph Weintraub	PC Therapist
1994	Thomas Whalen	TIPS
1995	Joseph Weintraub	PC Therapist
1996	Jason Hutchens	HeX
1997	David Levy	Converse
1998	Robby Garner	Albert One
1999	Robby Garner	Albert One
2000	Richard Wallace	Artificial Linguistic Internet Computer Entity (A.L.I.C.E.)
2001	Richard Wallace	Artificial Linguistic Internet Computer Entity (A.L.I.C.E.)
2002	Kevin Copple	Ella
2003	Juergen Pirner	Jabberwock
2004	Richard Wallace	Artificial Linguistic Internet Computer Entity (A.L.I.C.E.)
2005	Rollo Carpenter	George
2006	Rollo Carpenter	Joan
2007	Robert Medeksza	Ultra Hal
2008	Fred Roberts	Elbot
2009	David Levy	Do-Much-More
2010	Bruce Wilcox	Suzette