Premio Loebner

Il premio Loebner è una competizione annuale di intelligenza artificiale che premia il bot il cui comportamento è più simile al pensiero umano. La competizione è basata sull'esecuzione del test di Turing. Un giudice pone delle domande ad un programma e ad un essere umano. Dalle risposte date il giudice deve riconoscere qual è quella del programma. Nel 2008 molti giudici, inclusi esperti e non esperti, adulti e bambini, oratori inglesi e stranieri parteciparono all'evento ospitati dall'Università di Reading nel Berkshire.

La disputa cominciò nel 1990 da Hugh Loebner in congiunzione col Cambridge Center for Behavioral Studies, Massachusetts, Stati Uniti.

Negli anni successivi la competizione si è svolta con la collaborazione di Flinders University, Dartmouth College, Science Museum a Londra e più recentemente nell'Università di Reading. Nel 2004 e 2005, avvenne nell'appartamento di Loebner in New York City. Nel campo dell'intelligenza artificiale, il Premio Loebner è piuttosto controverso; il critico più prominente, Marvin Minsky l'ha infatti definito “una bravata pubblicitaria” che non aiuta il campo scientifico. Comunque, il tempo limite di 5 minuti e l'uso di giudici interrogatori non istruiti ha assegnato delle vittorie che possono essere dovute a frode piuttosto che all'intelligenza plausibile, come si può vedere dai verbali di manifestazioni precedenti.

Premi

All'inizio il premio assegnato al programma più simile al pensiero umano era di 2.000$. Nel 2005 fu 3000$ e nel 2006 2,250$. Nel 2008 raggiunse I 3,000$. Ci sono solamente due premi che non sono mai stati assegnati: il primo, di 25.000$, è l'offerta per il primo programma che I giudici non riescono a distinguere da un essere umano e che riesce a convincerli che al posto suo c'è un vero e proprio uomo, mentre il secondo, di un valore di 100.000$, è il premio per il primo programma che i giudici non riescono a distinguere da un essere umano in un Test di Turing e che include la comprensione di testo, video e audio in input. Appena questo dovesse avvenire, la competizione annuale finirà.

Regole di competizione e restrizioni

Le regole sono variate negli anni e nelle prime competizioni la conversazione tramite test di Turing era molto limitata ma dal 1995 vennero eliminati tutti i limiti. Con la partecipazione nel 2007 di Robert Medeksza, Noah Duncan e Rollo Carpenter, venne statibilito uno schema di base per la composizione delle domande al fine di valutare al meglio il livello della tecnologia. Queste semplici domande puntavano sulla durata, e sull'argomento della discussione. Conoscenza generale ("Cosa è un martello?"); paragoni ("Cosa è più veloce, un treno o un aereo?"); e domande che utilizzano la memoria per l'analisi di parti precedenti della stessa conversazione. Tutti i nomi, aggettivi e verbi saranno presi da un dizionario appropriato per bambini o adolescenti sotto i 12 anni. Gli ospiti quindi non avevano bisogno di una preparazione per rispondere alle domande.

Per la prima volta nel 2008 il finanziatore decise di aggiungere una fase preliminare all'apertura della disputa creando una lista di domande giudicate da molti interrogatori invitati. Le regole disponibili non affermano come sono istruiti o selezionati gli interrogatori. Coloro che giudicano i programmi infatti hanno tempo limitato: 5 minuti per raccogliere le domande; e 5 minuti per condurre conversazioni simultanee.

Dispute

2006

Nel 2006, la disputa fu organizzata da Tim Child (CEO di Televirtual) e Huma Shah. Il 30 agosto furono annunciati i 4 finalisti:

Rollo Carpenter
Richard Churchill and Marie-Claire Jenkins
Noah Duncan
Robert Medeksza

La disputa avvenne il 17 settembre nel teatro di VR, Torrington Place dell'Università di Londra.

I giudici furono alcuni professori di Cibernetica dell'Università di Reading: Kevin Warwick, un professore d'intelligenza artificiale, John Barnden (specialista in ricerca della metafora all'Università di Birmingham), un avvocato, Victoria Butler-Cole ed un giornalista, Graham Duncan-Rowe. La seconda parte dell'evento è descritto in un articolo in Technology Review. Il vincitore fu 'Joan', programmato su Jabberwacky, sistema creato da Rollo Carpenter.

2007

La competizione del 2007 si ebbe il 21 ottobre nella città di New York. I giudici erano:il professore di informatica Russ Abbott, il professore di Filosofia Hartry Field, il professore di Psicologia Clayton Curtis e l'inglese conferenziere Scott Hutchins.

Nessuno superò il Test di Turing, ma i giudici classificarono ugualmente i tre contestatori come segue:

1: Robert Medeksza da Zabaware, creatore di Ultra Hal Assistant
2: Noah Duncan, un privato, creatore di Cletus
3: Rollo Carpenter da Icogno, creatore di Jabberwacky.

Il vincitore ricevette 2.250$ e la medaglia annuale. Gli altri classificati vinsero 250$ ognuno.

2008

La competizione del 2008 fu organizzata dal Professore Kevin Warwick,e fu coordinata da Huma Shah e fu tenuta il 12 ottobre presso l'Università di Reading, Regno Unito. Nel giugno e luglio 2008, sei finalisti furono selezionati da tredici giudici dopo aver esaminato più di cento interrogatori durante la fase preliminare. Cinque dei finalisti vennero invitati alla competizione finale.

Brother Jerome, Peter Cole and Benji Adams
Elbot, Fred Roberts / Artificial Solutions
Eugene Goostman, Vladimir Veselov, Eugene Demchenko and Sergey Ulasen
Jabberwacky, Rollo Carpenter
Ultra Hal, Robert Medeksza

Nella finale, ad ognuno dei giudici venivano dati cinque minuti per condurre simultaneamente conversazioni su uno stesso schermo con due entità ignote.

Elbot di “Solutions Artificials” vinse nel 2008 il premio di bronzo, per l'avvicinamento alla psicologia umana come entità conversazionale ed artificiale riuscendo a far credere a tre dei dodici giudici che l'interrogarono (nella conversazione simultanea umano-macchina) che era un umano.

Questo si avvicinò fino al 30% che avesse superato il test di Turing. Eugenio Goostman e Ultra Hal convinsero ogni giudice che era una creatura umana.

Will Pavia, un giornalista per The Times ha scritto la sua esperienza; il giudice finale, fu ingannato da Elbot ed Eugenio. Kevin Warwick e Huma Shah hanno riportato la discussione simultanea. I vari malintesi del Premio di Loebner del 2008 si chiusero lì.

2009

La Competizione del Premio Loebner del 2009 si tenne il 6 settembre 2009 al Centre di Brighton, Regno Unito, in congiunzione con la conferenza dell'Interspeech del 2009. L'ammontare del premio era di 3.000$.

I concorrenti erano David Levy, Rollo Carpenter,, e Mohan Embar che finirono in quest'ordine. I risultati completi della disputa, e collegamenti a trascrizioni sono disponibili in Loebner Prize 2009.

2010

La competizione del 2010 avvenne il 23 ottobre presso la California State University, Los Angeles.

Vincitori

Anno	Vincitore	Nome del programma
1991	Joseph Weintraub^[1]	PC Therapist
1992	Joseph Weintraub	PC Therapist
1993	Joseph Weintraub	PC Therapist
1994	Thomas Whalen	TIPS
1995	Joseph Weintraub	PC Therapist
1996	Jason Hutchens	HeX
1997	David Levy	Converse
1998	Robby Garner	Albert One
1999	Robby Garner	Albert One
2000	Richard Wallace	Artificial Linguistic Internet Computer Entity (A.L.I.C.E.)
2001	Richard Wallace	Artificial Linguistic Internet Computer Entity (A.L.I.C.E.)
2002	Kevin Copple	Ella
2003	Juergen Pirner	Jabberwock
2004	Richard Wallace	Artificial Linguistic Internet Computer Entity (A.L.I.C.E.)
2005	Rollo Carpenter	George
2006	Rollo Carpenter	Joan
2007	Robert Medeksza	Ultra Hal
2008	Fred Roberts	Elbot
2009	David Levy	Do-Much-More
2010	Bruce Wilcox	Suzette