Premi Loebner

Plantilla:Infotaula esdevenimentPremi Loebner
Nom en la llengua original(en) Loebner Prize Modifica el valor a Wikidata
Tipusguardó Modifica el valor a Wikidata
EpònimHugh Loebner Modifica el valor a Wikidata
Vigència1991 Modifica el valor a Wikidata - 
EstatEstats Units d'Amèrica Modifica el valor a Wikidata
Lloc webloebner.net… Modifica el valor a Wikidata
Retrat de Hugh Loebner, fundador del premi.

El Premi Loebner era un concurs anual d'intel·ligència artificial que premiava els programes informàtics que els jutges consideraven com els més humans. El premi va deixar de donar-se l'any 2020.[1] El format de la competició era simplement passar un Test de Turing. A cada ronda, un jutge humà manté simultàniament converses textuals amb un programa informàtic i un ésser humà mitjançant un ordinador. A partir de les respostes, el jutge ha de decidir quina és quina.

El concurs va ser llançat el 1990 per Hugh Loebner juntament amb el Cambridge Center for Behavioral Studies, Massachusetts, Estats Units. Des de 2014 [2] l'organitza l'AISB a Bletchley Park.[3] També s'ha associat amb la Universitat de Flinders, el Dartmouth College, el Museu de la Ciència de Londres, la Universitat de Reading i la Universitat d'Ulster, Magee Campus, Derry, Ciutat de la Cultura del Regne Unit. El 2004 i el 2005, es va celebrar a l'apartament de Loebner a la ciutat de Nova York. Dins l'àmbit de la intel·ligència artificial, el premi Loebner és una mica controvertit; el crític més destacat, Marvin Minsky, ho va qualificar de truc publicitari que no ajuda el camp.[4]

El 2019 el format del concurs va canviar. Es va suprimir el jurat i els "chatbots" van ser jutjats pel públic, sense necessitat d'haver-hi competidors humans.[5]

Premis

Els premis són:

  • Medalla de bronze, i una quantitat que inicialment va ser de 2.000 dòlars per al programa més semblant a un ésser humà d'entre tots els presentats d'aquell any. El 2005, el premi va augmentar a 3.000. A l'edició de 2011 van ser 5.000. El 2016 el primer premi va ascendir ser de 4.000, el segon de1.500, el tercer de 1.000 i el quart de 500.
  • Medalla de plata, i 25.000$ per al primer programa que els jutges no puguin distingir d'un ésser humà veritable en un Test de Turing només amb text, i que pugui convèncer els jutges que l'altra entitat (l'humà). Aquest premi s'atorgarà una sola vegada i encara no ha estat concedit.
  • Medalla d'or i 100.000$ per al primer programa que els jutges no puguin distingir d'un ésser humà veritable en un Test de Turing, que inclogui desxifrar i comprendre el text, amb proves visuals i auditives. Aquest premi també s'atorgarà una sola vegada i encara no ha estat concedit.

El premi Loebner es dissoldrà una cop el premi de 100.000 dòlars, amb la medalla d'or, sigui adjudicat.

Regles i restriccions de la competició

Les regles han variat al llarg dels anys, les primeres competicions presentaven Tests de Turing de conversa limitada,[6] però des de 1995 van deixar d'estar-ho.

Per a les tres entrades de 2007, Robert Medeksza, Noah Duncan i Rollo Carpenter, algunes "qüestions de detecció" bàsiques van ser utilitzades pel patrocinador per avaluar l'estat de la tecnologia. Aquests incloïen preguntes senzilles sobre el temps, quina ronda del concurs és, etc.; coneixement general ("Què és un martell?"); comparacions ("Què és més ràpid, un tren o un avió?"); i preguntes que demostressin memòria dins de la mateixa conversa. "Tots els substantius, adjectius i verbs provenen d'un diccionari adequat per a nens o adolescents menors de 12 anys." Les entrades no necessitaven respondre "intel·ligentment" a les preguntes que s'havien d'acceptar.

Per primera vegada el 2008, el patrocinador va permetre la introducció d'una fase preliminar al concurs, permetent d'aquesta manera entrades prèviament desautoritzades jutjades per diferents interrogadors convidats. Les normes actuals no estableixen com se seleccionen o instrueixen els interrogadors. Els interrogadors (que jutgen els sistemes) tenen un temps limitat: 5 minuts per entitat en la competició de 2003, 20 més per parelles en les competicions 2004-2007, 5 minuts per dur a terme converses simultànies amb un humà i el programa els anys 2008-2009, i finalment va augmentar a 25 minuts de conversa simultània des de 2010.

Crítiques

El premi ha estat menyspreat durant molt de temps pels experts en la matèria,[7] per diverses raons.

És considerat per molts com un truc publicitari.[8][9] Marvin Minsky va oferir com a broma un "premi" a qualsevol que pogués aturar la competició. Loebner va respondre dient que el que havia aconseguit Minsky era fer encara més promoció a la competició.[10]

Les regles de la competició permeten que els jutges (poc qualificats) facin judicis ràpids. Les interaccions entre els jutges i els competidors van ser originalment molt breus, per exemple 2,5 minuts d'interrogatori, que només permetien unes poques preguntes.[8] Les preguntes estaven limitades inicialment a "converses capritxoses",[7] un estil de preguntes per al qual els chatbots estaven més preparats.[11]

Els participants al concurs no tenen com a objectiu la comprensió o la intel·ligència, sinó que recorren a trucs bàsics d'estil ELIZA,[8][12] les candidatures serioses no són recompensades, ja que acaben guanyant els que només busquen l'engany.[13]

Els informes de la competició sovint confonen el Test de Turing amb la intel·ligència,[14] un exemple típic és la introducció de Brian Christian al seu article "Mind vs. Machine" a The Atlantic, el març de 2011,[15] afirmant que "en la carrera per construir ordinadors que puguin pensar com els humans, el camp de proves és la prova de Turing".

Edicions

2006

El 2006, el concurs va ser organitzat per Tim Child (CEO de Televirtual) i Huma Shah.[16][17] El 30 d'agost es van donar a conèixer els quatre finalistes:

  • Rollo Carpenter
  • Richard Churchill and Marie-Claire Jenkins
  • Noah Duncan
  • Robert Medeksza

El concurs es va celebrar el 17 de setembre al teatre VR del campus de Torrington Place de la University College de Londres. Entre els jutges hi havia el professor de cibernètica de la Universitat de Reading, Kevin Warwick, un professor d'intel·ligència artificial, John Barnden (especialista en investigació de metàfores a la Universitat de Birmingham), un advocat, Victoria Butler-Cole i un periodista, Graham Duncan-Rowe. L'experiència d'aquest últim es pot trobar en un article a Technology Review .[18][19] El guanyador va ser 'Joan', basat en Jabberwacky, tots dos creats per Rollo Carpenter.

2007

La competició de 2007 es va celebrar el 21 d'octubre a la ciutat de Nova York. Els jutges van ser: el professor d'informàtica Russ Abbott, el professor de filosofia Hartry Field, el professor ajudant de psicologia Clayton Curtis i el professor d'anglès Scott Hutchins.[20]

Cap bot va passar el Test de Turing, però els jutges van classificar els tres concursants de la següent manera:

  • 1r: Robert Medeksza, creador d'Ultra Hal
  • 2n: Noah Duncan, una entrada privada, creador de Cletus
  • 3r: Rollo Carpenter d'Icogno, creador de Jabberwacky

El guanyador va rebre 2.250 dòlars i la medalla anual. Els subcampions van rebre 250 dòlars cadascun.

2008

El concurs de 2008 va ser organitzat pel professor Kevin Warwick, coordinat per Huma Shah i celebrat el 12 d'octubre a la Universitat de Reading, Regne Unit.[21] Després de les proves realitzades per més d'un centenar de jutges durant la fase preliminar, els mesos de juny i juliol de 2008, es van seleccionar sis finalistes d'entre tretze participants originals de la entitat conversacional artificial (ACE). Cinc dels convidats van competir a la final:

  • Brother Jerome, Peter Cole and Benji Adams
  • Elbot, Fred Roberts / Artificial Solutions
  • Eugene Goostman, Vladimir Veselov, Eugene Demchenko and Sergey Ulasen
  • Jabberwacky, Rollo Carpenter
  • Ultra Hal, Robert Medeksza

A la final, cadascun dels jutges va tenir cinc minuts per mantenir converses simultànies en pantalla dividida amb dues entitats ocultes. Elbot,[22] de Artificial Solutions,[23] va guanyar el premi de bronze del Premi Loebner 2008, a l'entitat conversacional artificial més humana, en enganyar a tres dels dotze jutges que el van interrogar (en les comparacions humanes en paral·lel) fent-les creure que era humà. Això s'acosta molt al 30% requerit tradicionalment per considerar que un programa realment ha superat el Test de Turing. Eugene Goostman [24] i Ultra Hal [25] tots dos van enganyar un jutge cadascun.

2009

El Concurs del 2009 es va celebrar el 6 de setembre al Brighton Center, juntament amb la conferència Interspeech del 2009. L'import del premi guanyador va ser de 3.000 dòlars.

Els participants van ser David Levy, Rollo Carpenter i Mohan Embar, que van acabar en aquest ordre.

L'escriptor Brian Christian va participar al concurs com a confederat humà i va descriure les seves experiències al concurs al seu llibre The Most Human Human .

2010

El concurs del 2010 es va celebrar el 23 d'octubre a la Universitat Estatal de Califòrnia. La competició de 2010 va ser la 20a edició del concurs. El guanyador va ser Bruce Wilcox amb Suzette.

2011

El concurs del 2011 es va celebrar el 19 d'octubre a la Universitat d'Exeter, Devon, Regne Unit. L'import del premi va ser de 4.000 dòlars.

Els quatre finalistes i els seus chatterbots van ser Bruce Wilcox (Rosette), Adeena Mignogna (Zoe), Mohan Embar (Chip Vivant) i Ron Lee (Tutor), que van acabar en aquest ordre.

Aquell any es va afegir un jurat de jutges juniors, Georgia-Mae Lindfield, William Dunne, Sam Keat i Kirill Jerdev. Els resultats del concurs júnior van ser notablement diferents del concurs principal, amb els chatterbots Tutor i Zoe empatats al primer lloc i Chip Vivant i Rosette en tercer i quart lloc, respectivament.

2012

El concurs del 2012 es va celebrar el 15 de maig al Bletchley Park de Buckinghamshire, en honor a les celebracions del centenari d'Alan Turing. L'import del premi va ser de 5.000 dòlars. L'organitzador local va ser David Levy, que havia guanyat el premi Loebner el 1997 i el 2009.

Els quatre finalistes i els seus chatterbots van ser Mohan Embar (Chip Vivant), Bruce Wilcox (Angela), Daniel Burke (Adam), M. Allan (Linguo), que van acabar en aquest ordre.

Aquell any, un equip del departament d'informàtica de la Universitat d'Exeter (Ed Keedwell, Max Dupenois i Kent McClymont) va realitzar la primera transmissió en directe de les converses.[26]

2013

El concurs del 2013 es va celebrar per primera vegada a Irlanda, el 14 de setembre, a la Universitat d'Ulster, Magee College, Derry, Irlanda del Nord.

Els quatre finalistes i els seus chatbots van ser Steve Worswick (Mitsuku), Dr. Ron C. Lee (Tutor), Bruce Wilcox (Rose) i Brian Rigsby (Izar), que van acabar en aquest ordre.

Els jutges van ser el professor Roger Schank (Arts Socràtiques), el professor Noel Sharkey (Universitat de Sheffield), el professor Minhua (Eunice) Ma (Universitat de Huddersfield, després Universitat de Glasgow) i el professor Mike McTear (Universitat d'Ulster).

Per a la competició del premi Junior Loebner de 2013, els chatbots Mitsuku i Tutor van empatar al primer lloc amb Rose i Izar al tercer i quart lloc respectivament.

2014

El concurs del 2014 es va celebrar a Bletchley Park, Anglaterra, el dissabte 15 de novembre de 2014. L'esdeveniment va ser filmat en directe per Sky News. El jutge convidat va ser el presentador i locutor de televisió James May.

Després de 2 hores de jutjar, 'Rose' de Bruce Wilcox va ser declarat guanyador. Bruce va rebre un xec de 4.000 dòlars i una medalla de bronze. Els resultats van ser els següents:

  • 1r classificat: Rose (Medalla de bronze i 4.000 dòlars)
  • 2n classificat: Izar (1.500 dòlars)
  • 3r classificat: Uberbot (1.000 dòlars)
  • 4t classificat: Mitsuku(500 dòlars)

Els jutges van ser el doctor Ian Hocking, escriptor i professor de psicologia al Christ Church College; la doctora Ghita Kouadri-Mostefaoui, professora d'informàtica i tecnologia de la Universitat de Bedfordshire; el Sr. James May, presentador i locutor de televisió; i el doctor Paul Sant, degà de la Universitat de Bedfordshire.

2015

El concurs del 2015 va ser novament guanyat per 'Rose' de Bruce Wilcox.[27]

Els jutges van ser Jacob Aaron, reporter de ciències físiques del New Scientist; Rory Cellan-Jones, corresponsal de tecnologia de la BBC; Brett Marty, director de cinema i fotògraf; Ariadne Tampion, escriptora.

2016

El Premi Loebner de 2016 es va celebrar a Bletchley Park el 17 de setembre de 2016. Després de 2 hores de jutjar, es van anunciar els resultats finals següents:

  • 1r classificat: Mitsuku[28]
  • 2n classificat: Tutor
  • 3r classificat: Rose

Guanyadors

Llista oficial de guanyadors.[29]

Any Guanyador Programa
1991 Joseph Weintraub "Whimsical Conversation"[30] (PC Therapist)
1992 Joseph Weintraub PC Therapist
1993 Joseph Weintraub PC Therapist
1994 Thomas Whalen TIPS
1995 Joseph Weintraub PC Therapist
1996 Jason Hutchens HeX
1997 David Levy Converse
1998 Robby Garner Albert One
1999 Robby Garner Albert One
2000 Richard Wallace Artificial Linguistic Internet Computer Entity (A.L.I.C.E.)
2001 Richard Wallace Artificial Linguistic Internet Computer Entity (A.L.I.C.E.)
2002 Kevin Copple Ella
2003 Juergen Pirner Jabberwock
2004 Richard Wallace Artificial Linguistic Internet Computer Entity (A.L.I.C.E.)
2005 Rollo Carpenter George (Jabberwacky)
2006 Rollo Carpenter Joan (Jabberwacky)
2007 Robert Medeksza Ultra Hal
2008 Fred Roberts Elbot
2009 David Levy Do-Much-More
2010 Bruce Wilcox Suzette
2011 Bruce Wilcox Rosette[31]
2012 Mohan Embar Chip Vivant[32]
2013 Steve Worswick Mitsuku
2014 Bruce Wilcox Rose
2015 Bruce Wilcox Rose
2016 Steve Worswick Mitsuku
2017 Steve Worswick Mitsuku
2018 Steve Worswick Mitsuku
2019 Steve Worswick Mitsuku

Vegeu també

Referències

 

  1. ↑ «Robot Bores: AI-powered awkward first date». , 01-11-2020 [Consulta: 22 setembre 2021].
  2. ↑ [1] Arxivat 2021-12-21 a Wayback Machine., The Loebner Prize, a Turing Test competition at Bletchley Park - The Exeter Blog, Retrieved 8 December 2014
  3. ↑ Loebner Prize Arxivat 2019-02-20 a Wayback Machine., AISB Website, Retrieved 23 January 2018
  4. ↑ Artificial stupidity, Salon.com, 16 February 2003
  5. ↑ «The hobbyists competing to make AI human». BBC News, 14-09-2019 [Consulta: 23 juliol 2020].
  6. ↑ «"Machines Who Think", on season 4, episode 3». Scientific American Frontiers. Chedd-Angier Production Company, 1993-1994. Arxivat de l'original el 2006.
  7. ↑ 7,0 7,1 Powers, David. «The Total Turing Test and the Loebner Prize». [Consulta: 29 maig 2016].
  8. ↑ 8,0 8,1 8,2 Floridi, Luciano; Taddeo, Mariarosaria; Turilli, Matteo Minds and Machines, 19, 19, 2009, pàg. 145–150. DOI: 10.1007/s11023-008-9130-6.
  9. ↑ Sundman, John. «Artificial stupidity». Salon. Arxivat de l'original el 2012-07-20. [Consulta: 29 maig 2016].
  10. ↑ Minsky, Marvin. «Annual Minsky Loebner Prize Revocation Prize 1995 Announcement». Arxivat de l'original el 3 de juny 2016. [Consulta: 29 maig 2016].
  11. ↑ Fisher, Richard New Scientist, 16-05-2012 [Consulta: 29 maig 2016].
  12. ↑ Serck, ZLinda. «Could a computer think?». BBC. [Consulta: 29 maig 2016].
  13. ↑ Stephens, Kenneth R. «What Has the Loebner Contest Told Us About Conversant Systems?». www.behavior.org. Operant WebSites, Inc.. [Consulta: 29 maig 2016].
  14. ↑ Floridi, Luciano. «Humans have nothing to fear from intelligent machines». Financial Times, 25-01-2016. [Consulta: 29 maig 2016].
  15. ↑ «Mind vs. Machine». The Atlantic [Consulta: 29 maig 2016].
  16. ↑ Loebner Prize 2006 Information
  17. ↑ Lobner 2006
  18. ↑ How To Be Human, Technology Review, 20 September 2006
  19. ↑ Loebner Prize , loebner.net
  20. ↑ 17th Annual Loebner Prize for Artificial Intelligence, loebner.net
  21. ↑ 18th Annual Loebner Prize for Artificial Intelligence 12 October 2008 University of Reading, Reading, UK
  22. ↑ Elbot
  23. ↑ Artificial Solutions
  24. ↑ «Eugene Goostman». Arxivat de l'original el 2017-06-17. [Consulta: 21 octubre 2008].
  25. ↑ Ultra Hal
  26. ↑ «2012 Loebner Prize Webcast». Arxivat de l'original el 18 maig 2012. [Consulta: 15 maig 2012].
  27. ↑ «Chatbot Rose wins 2015's Loebner artificial intelligence prize». BBC. [Consulta: 29 maig 2016].
  28. ↑ «Mitsuku Chatbot».
  29. ↑ Loebner Prize winners Arxivat 2019-08-30 a Wayback Machine., AISB - The Society for the Study of Artificial Intelligence and Simulation of Behaviour
  30. ↑ «"Machines Who Think", on season 2, episode 5». Scientific American Frontiers. Chedd-Angier Production Company, 1991-1992. Arxivat de l'original el 2006.
  31. ↑ «Read About the Loebner Award Winning Rosette - A Chatbot By Bruce Wilcox». Arxivat de l'original el 15 maig 2013. [Consulta: 29 octubre 2011].
  32. ↑ «Chip Vivant - by Mohan Embar». Arxivat de l'original el 2015-02-15. [Consulta: 21 desembre 2021].