Premio Loebner

Il Premio Loebner è una competizione annuale di intelligenza artificiale che si tiene presso l'Università di Reading. Viene assegnato al chat bot che ottiene il punteggio più alto in un contesto ispirato al test di Turing, nel quale una giuria cerca di distinguere le risposte fornite dal programma da quelle di un essere umano.

La prima edizione si è svolta nel 1991, organizzata da Hugh Loebner in collaborazione con il Cambridge Center for Behavioral Studies. Negli anni successivi, la competizione si è svolta con il supporto di diverse istituzioni, tra cui la Flinders University, il Dartmouth College, il Science Museum e l'Università di Reading. Nel 2019 le regole sono state modificate: i giudici sono stati sostituiti dal pubblico e si è deciso di non includere più confronti diretti tra esseri umani e bot.

Il premio è stato oggetto di critiche, tra cui quella dell'informatico Marvin Minsky, che ha definito la competizione "una bravata pubblicitaria".

Premi

Nel 1991, i vincitori ottennero un premio di 2.000 $. Successivamente, l'importo salì a 3.000$ nel 2005, scese a 2.250$ nel 2006, e tornò a 3.000$ nel 2008. Oltre al premio annuale, sono stati istituiti due premi straordinari una tantum: il primo, del valore di 25.000$, sarà assegnato al primo programma in grado di ingannare il pubblico, rendendo impossibile distinguere un chat bot da un essere umano in una conversazione basata esclusivamente su testo;il secondo, di 100.000$, sarà conferito a un sistema capace non solo di soddisfare i requisiti del premio precedente, ma anche di sostenere conversazioni tramite input audiovisivo (audio e video). Nel caso in cui uno di questi due premi venisse assegnato, la competizione sarà considerata conclusa

Regole di competizione e restrizioni

Nelle prime edizioni della competizione, i criteri per valutare la conversazione erano limitati. A partire dal 2007, è stato introdotto uno schema di base per strutturare le conversazioni, con l’obiettivo di valutare più accuratamente il livello dei bot. I giudici tengono in considerazione la durata e l’argomento della discussione. Lo schema comprende tre categorie:conoscenza generale (es. "Che cos'è un martello?"), paragoni (es. "Cosa è più veloce, un treno o un aereo?"), domande mnemoniche, che richiedono al bot di fare riferimento a parti precedenti della stessa conversazione. Il lessico e i verbi devono essere selezionati da un dizionario per ragazzi di età pari o inferiore ai 12 anni.

Nel 2008, lo sponsor introdusse una fase preliminare alla competizione ufficiale, permettendo l’iscrizione dei partecipanti tramite web. I giudici dispongono di 5 minuti per formulare le domande e di altri 5 minuti per condurre conversazioni simultanee con i vari programmi.

Edizioni

2006

Nel 2006, la competizione fu organizzata da Tim Child, CEO della Televirtual, e dalla ricercatrice Huma Shah. Il 30 agosto dello stesso anno vennero annunciati i quattro finalisti:

Rollo Carpenter;
Richard Churchill e Marie-Claire Jenkins;
Noah Duncan;
Robert Medeksza.

La finale si svolse il 17 settembre 2006 nel teatro VR di Torrington Place, presso l'Università di Londra. Tra i giudici figuravano: Kevin Warwick, professore di Cibernetica all'Università di Reading; John Barnden, professore di intelligenza artificiale; una specialista nella ricerca della metafora dell'Università di Birmingham; l’avvocato Victoria Butler-Cole; e il giornalista Graham Duncan-Rowe.La seconda parte dell'evento è stata descritta in un articolo del Technology Review. Il vincitore dell’edizione fu Joan, un programma basato su Jabberwacky, sistema sviluppato da Rollo Carpenter.

2007

La finale del 2007 si svolge il 21 ottobre a New York. I giudici sono: il professore d'informatica Russ Abbott, il professore di filosofia Hartry Field, il professore di Psicologia Clayton Curtis e l'organizzatore di conferenze Scott Hutchins.

Nessun bot supera il test di Turing, ma i giudici classificano ugualmente i 3 finalisti:

1°Robert Medeksza da Zabaware, creatore di Ultra Hal Assistant;
2°Noah Duncan, privato, creatore di Cletus;
3°Rollo Carpenter da Icogno, creatore di Jabberwacky.

Il vincitore riceve 2.250$ e la medaglia annuale. Gli altri classificati ricevono vincendo 250$ ciascuno.

2008

La competizione del 2008 è stata organizzata dal professor Kevin Warwick e da Huma Shah, il 12 ottobre presso l'Università di Reading. Tra giugno e luglio dello stesso anno. Durante la finale, ogni giudice ha avuto cinque minuti per condurre, su uno stesso schermo, due conversazioni simultanee con due entità anonime (una umana e una artificiale). La classifica finale del Premio Loebner 2008 è stata la seguente:

1° Eliza, creata da Roland Sebestyen
2° Jabberwock, creata da Juergen Pirner
3° Eugene Goostman, creato da Eugene Demchenko e Vladimir Veselov
4° Ultra Hal, creato da Michael Mauldin
5° Zoltan, creato da Bruce Wilcox

2009

L'assegnazione del Premio Loebner 2009 si svolge il 6 settembre 2009 al Centre di Brighton, in congiunzione con la conferenza INTERSPEECH 2009.

I finalisti sono David Levy, Rollo Carpenter, e Mohan Embar.

2010

La gara del 2010 avviene il 23 ottobre presso la California State University.

Vincitori

Anno	Vincitore	Nome del programma
1991	Joseph Weintraub^[1]	PC Therapist
1992	Joseph Weintraub	PC Therapist
1993	Joseph Weintraub	PC Therapist
1994	Thomas Whalen	TIPS
1995	Joseph Weintraub	PC Therapist
1996	Jason Hutchens	HeX
1997	David Levy	Converse
1998	Robby Garner	Albert One
1999	Robby Garner	Albert One
2000	Richard Wallace	Artificial Linguistic Internet Computer Entity (A.L.I.C.E.)
2001	Richard Wallace	Artificial Linguistic Internet Computer Entity (A.L.I.C.E.)
2002	Kevin Copple	Ella
2003	Juergen Pirner	Jabberwock
2004	Richard Wallace	Artificial Linguistic Internet Computer Entity (A.L.I.C.E.)
2005	Rollo Carpenter	George
2006	Rollo Carpenter	Joan
2007	Robert Medeksza	Ultra Hal
2008	Fred Roberts	Elbot
2009	David Levy	Do-Much-More
2010	Bruce Wilcox	Suzette