Word embedding: differenze tra le versioni

Versione delle 19:43, 7 mar 2017

Versione attuale delle 02:34, 16 mar 2025

(20 versioni intermedie di 9 utenti non mostrate)

Riga 1:

{{C|Verificare se esistano equivalenti italiani, attestati in letteratura, di termini come "Word embedding", "Thought vector" e "t-distributed stochastic neighbor embedding".|informatica|settembre 2018}}

{{s|informatica}}

Il '''word embedding''' (tradotto letteralmente ''[[immersione (matematica)|immersione]] di parole'') anche conosciuto come rappresentazione distribuita delle parole<ref>[http://delivery.acm.org/10.1145/1860000/1858721/p384-turian.pdf?ip=217.77.82.234&id=1858721&acc=OPEN&key=4D4702B0C3E38B35%2E4D4702B0C3E38B35%2E4D4702B0C3E38B35%2E6D218144511F3437&CFID=737338914&CFTOKEN=22047528&__acm__=1489149625_322ca081b3a225a45600ec89749f2a72 Turian, Joseph, Lev Ratinov, and Yoshua Bengio. "Word representations: a simple and general method for semi-supervised learning." Proceedings of the 48th annual meeting of the association for computational linguistics. Association for Computational Linguistics, 2010.]</ref> permette di memorizzare le informazioni sia semantiche che sintattiche delle parole partendo da un [[corpus]] non annotato<ref>{{Cita web |url=http://www.aclweb.org/anthology/N13-1#page=784 |titolo=Mikolov, Tomas, Wen-tau Yih, and Geoffrey Zweig. "Linguistic Regularities in Continuous Space Word Representations." Hlt-naacl. Vol. 13. 2013. |accesso=10 marzo 2017 |urlarchivio=https://web.archive.org/web/20161130114210/http://www.aclweb.org/anthology/N13-1#page=784 |dataarchivio=30 novembre 2016 |urlmorto=sì }}</ref> e costruendo uno [[spazio vettoriale]] in cui i vettori delle parole sono più vicini se le parole occorrono negli stessi contesti linguistici, cioè se sono riconosciute come semanticamente più simili (secondo l'ipotesi della [[semantica distribuzionale]]).

{{C|Traduzione che eccede nell'uso di termini in inglese|informatica|marzo 2017}}

Il '''word embedding''' (tradotto letteralmente ''[[immersione (matematica)|immersione]] di parole'') è un termine complessivo che indica, nell'[[elaborazione del linguaggio naturale]], un insieme di tecniche di modellazione in cui parole o frasi di un vocabolario vengono mappate in [[Vettore (matematica)|vettori]] di [[numero reale|numeri reali]]. Concettualmente consiste in un'operazione matematica di [[immersione (matematica)|immersione]] in conseguenza della quale uno spazio costituito da una dimensione per parola viene trasformato in uno [[spazio vettoriale]] continuo di dimensione molto inferiore. Queste tecniche trovano applicazione nello studio della [[Semantica|vicinanza semantica]] del discorso.

<!--

I metodi per generare questa mappatura comprendono le [[rete neurale|reti neurali]],<ref>{{cita web |url=http://arxiv.org/abs/1310.4546 |cognome1=Mikolov |nome1=Tomas |titolo=Distributed Representations of Words and Phrases and their Compositionality |cognome2=Sutskever |nome2=Ilya |cognome3=Chen |nome3=Kai |cognome4=Corrado |nome4=Greg |cognome5=Dean |nome5=Jeffrey |sito=arxiv.org/archive/cs.CL| anno=2013|lingua=en}}</ref> la riduzione dimensionale sulla [[matrice di co-occorrenza]] della parola,<ref>{{Cite journal|arxiv=1312.5542 |cognome1=Lebret |nome1=Rémi |titolo=Word Emdeddings through Hellinger PCA |journal=Conference of the European Chapter of the Association for Computational Linguistics (EACL) |volume=2014 |cognome2=Collobert |nome2=Ronan |year=2013}}</ref><ref>{{Cite conference |url=http://papers.nips.cc/paper/5477-neural-word-embedding-as-implicit-matrix-factorization.pdf |titolo=Neural Word Embedding as Implicit Matrix Factorization |cognome=Levy |nome=Omer |conference=NIPS |year=2014 |cognome2=Goldberg |nome2=Yoav}}</ref><ref>{{Cite conference |url=http://ijcai.org/papers15/Papers/IJCAI15-513.pdf |titolo=Word Embedding Revisited: A New Representation Learning and Explicit Matrix Factorization Perspective |cognome=Li |nome=Yitan |conference=Int'l J. Conf. on Artificial Intelligence (IJCAI) |year=2015 |cognome2=Xu |nome2=Linli}}</ref> probabilistic models,<ref>{{Cite journal|cognome=Globerson|nome=Amir|date=2007|titolo=Euclidean Embedding of Co-occurrence Data|url=http://static.googleusercontent.com/media/research.google.com/en//pubs/archive/34951.pdf|journal=Journal of Machine learning research|doi=|pmid=|access-date=}}</ref> and explicit representation in terms of the context in which words appear.<ref>{{cita conference |cognome1=Levy |nome1=Omer |cognome2=Goldberg |nome2=Yoav |titolo=Linguistic Regularities in Sparse and Explicit Word Representations |conference=CoNLL |pages=171–180 |year=2014 |url=https://levyomer.files.wordpress.com/2014/04/linguistic-regularities-in-sparse-and-explicit-word-representations-conll-2014.pdf}}</ref>-->

==Definizione==

I ''thought vector'' (letteralmente ''vettori di pensiero'') sono un'estensione delle ''word embedding'' per intere frasi o anche documenti. Alcuni ricercatori sperano che questi possano aumentare la qualità della [[traduzione automatica]].<ref>{{cita web|titolo=Skip-thought vectors|url=http://arxiv.org/abs/1506.06726|cognome1=Kiros|nome1=Ryan|cognome2=Zhu|nome2=Yukun|cognome3=Salakhutdinov|nome3=Ruslan|cognome4=Zemel|nome4=Richard S.|cognome5=Torralba|nome5=Antonio|cognome6=Urtasun|nome6=Raquel|cognome7=Fidler|nome7=Sanja|sito=arxiv.org/archive/cs.CL|anno=2015|lingua=en}}</ref> <ref>{{cita web|titolo=Thoughtvectors|url=http://deeplearning4j.org/thoughtvectors|lingua=en}}</ref>

IlIn '''worduna embedding'''definizione (tradottopiù letteralmenterigorosa ''[[immersioneil (matematica)|immersione]]word di parole'')embedding è un termine complessivo che indica, nell'[[elaborazione del linguaggio naturale]], un insieme di tecniche di modellazione in cui parole o frasi di un vocabolario vengono mappate in [[Vettore (matematica)|vettori]] di [[numero reale|numeri reali]]. Concettualmente consiste in un'operazione matematica di [[immersione (matematica)|immersione]] in conseguenza della quale uno spazio costituito da una dimensione per parola viene trasformato in uno [[spazio vettoriale]] continuo di dimensione molto inferiore. Queste tecniche trovano applicazione nello studio della [[Semantica|vicinanza semantica]] del discorso, in particolare nel mondo della [[semantica distribuzionale]].

== Software Metodi==

I metodi per generare questa mappatura comprendono le [[rete neurale artificiale|reti neurali]],<ref>{{cita web |url=httphttps://arxiv.org/abs/1310.4546 |cognome1=Mikolov |nome1=Tomas |titolo=Distributed Representations of Words and Phrases and their Compositionality |cognome2=Sutskever |nome2=Ilya |cognome3=Chen |nome3=Kai |cognome4=Corrado |nome4=Greg |cognome5=Dean |nome5=Jeffrey |sito=arxiv.org/archive/cs.CL| anno=2013|lingua=en}}</ref> la riduzione dimensionale sulla [[matrice di co-occorrenza]] della parola,<ref>{{CiteCita journalpubblicazione|arxiv=1312.5542 |cognome1=Lebret |nome1=Rémi |titolo=Word Emdeddings through Hellinger PCA |journalrivista=Conference of the European Chapter of the Association for Computational Linguistics (EACL) |volume=2014 |cognome2=Collobert |nome2=Ronan |yearanno=2013}}</ref><ref>{{Cite conferenceCita conferenza|url=http://papers.nips.cc/paper/5477-neural-word-embedding-as-implicit-matrix-factorization.pdf |titolo=Neural Word Embedding as Implicit Matrix Factorization |cognome=Levy |nome=Omer |conferenceconferenza=NIPS |yearanno=2014 |cognome2=Goldberg |nome2=Yoav}}</ref><ref>{{Cite conferenceCita conferenza|url=http://ijcai.org/papers15/Papers/IJCAI15-513.pdf |titolo=Word Embedding Revisited: A New Representation Learning and Explicit Matrix Factorization Perspective |cognome=Li |nome=Yitan |conferenceconferenza=Int'l J. Conf. on Artificial Intelligence (IJCAI) |yearanno=2015 |cognome2=Xu |nome2=Linli}}</ref> probabilisticmodelli modelsprobabilistici,<ref>{{CiteCita journalpubblicazione|cognome=Globerson|nome=Amir|datedata=2007|titolo=Euclidean Embedding of Co-occurrence Data|url=httphttps://static.googleusercontent.com/media/research.google.com/en//pubs/archive/34951.pdf|journalrivista=Journal of Machine learning research|doi=|pmid=|access-date=}}</ref> ande explicitrappresentazione representationesplicita in termsbase ofal the contextcontesto in whichcui wordsla parola appearappare.<ref>{{cita conferenceconferenza |cognome1=Levy |nome1=Omer |cognome2=Goldberg |nome2=Yoav |titolo=Linguistic Regularities in Sparse and Explicit Word Representations |conferenceconferenza=CoNLL |pagespp=171–180171-180 |yearanno=2014 |url=https://levyomer.files.wordpress.com/2014/04/linguistic-regularities-in-sparse-and-explicit-word-representations-conll-2014.pdf}}</ref>-->.

I software per l'apprendimento e l'uso del word embedding sono: [[Word2vec]] sviluppato da [[Tomas Mikolov]]; [[GloVe (machine learning)|GloVe]], sviluppato dalla Stanford University<ref>{{cita web|url=http://nlp.stanford.edu/projects/glove/|titolo=GloVe|lingua=en}}</ref>; [[Gensim]]<ref>{{cita web|url=http://radimrehurek.com/gensim/|titolo=Gensim}}</ref> e [[Deeplearning4j]]. [[Principal Component Analysis]] (PCA) e [[T-Distributed Stochastic Neighbour Embedding]] (t-SNE) sono entrambi usati per diminuire la dimensione dello spazio dei vettori di parole e visualizzare le word embedding e i [[Clustering|cluster]].<ref>{{Cita pubblicazione|cognome=Ghassemi|nome=Mohammad|cognome2=Mark|nome2=Roger|cognome3=Nemati|nome3=Shamim|anno=2015|titolo=A Visualization of Evolving Clinical Sentiment Using Vector Representations of Clinical Notes|url=http://www.cinc.org/archives/2015/pdf/0629.pdf|rivista=Computing in Cardiology|doi=|pmid=|accesso=|lingua=en}}</ref>

Molte delle nuove tecniche di word embedding sono realizzati con l'architettura delle reti neurali invece che con le più tradizionali tecniche ad [[N-gramma|n-grammi]] e di [[apprendimento supervisionato]].

I ''thought vector'' (letteralmente ''vettori di pensiero'') sono un'estensione delle ''word embedding'' per intere frasi o anche documenti. Alcuni ricercatori sperano che questi possano aumentare la qualità della [[traduzione automatica]].<ref>{{cita web|titolo=Skip-thought vectors|url=httphttps://arxiv.org/abs/1506.06726|cognome1=Kiros|nome1=Ryan|cognome2=Zhu|nome2=Yukun|cognome3=Salakhutdinov|nome3=Ruslan|cognome4=Zemel|nome4=Richard S.|cognome5=Torralba|nome5=Antonio|cognome6=Urtasun|nome6=Raquel|cognome7=Fidler|nome7=Sanja|sito=arxiv.org/archive/cs.CL|anno=2015|lingua=en}}</ref> <ref>{{cita web|titolo=Thoughtvectors|url=http://deeplearning4j.org/thoughtvectors|lingua=en|accesso=6 marzo 2017|urlarchivio=https://web.archive.org/web/20170211043631/https://deeplearning4j.org/thoughtvectors#|dataarchivio=11 febbraio 2017|urlmorto=sì}}</ref>

== Applicazioni ==

Gli algoritmi più popolari proposti per l'apprendimento del word embedding sono [[Word2vec]], sviluppato da [[Tomas Mikolov]]<ref>{{Cita pubblicazione |nome=Thomas |cognome=Mikolov |anno=2013 |titolo=Efficient estimation of word representations in vector space |rivista=Proceedings of NIPS |lingua=en |accesso=4 settembre 2018 |url=http://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf}}</ref>, e [[GloVe (machine learning)|GloVe]], sviluppato dalla Stanford University<ref>{{cita web|url=http://nlp.stanford.edu/projects/glove/|titolo=GloVe|lingua=en}}</ref>. Sono anche disponibili alcuni software e [[Libreria (software)|librerie software]], come [[Gensim]]<ref>{{Cita web |url=http://radimrehurek.com/gensim/ |titolo=Gensim |lingua=en |accesso=6 marzo 2017 |urlarchivio=https://web.archive.org/web/20170103021308/http://radimrehurek.com/gensim/ |dataarchivio=3 gennaio 2017 |urlmorto=sì }}</ref> e [[Deeplearning4j]]<ref>{{Cita web |url=https://deeplearning4j.org/ |titolo=Deeplearning4j |sito=deeplearning4j.org |lingua=en |accesso=4 settembre 2018 |dataarchivio=18 novembre 2017 |urlarchivio=https://web.archive.org/web/20171118075130/https://deeplearning4j.org/ |urlmorto=sì }}</ref>, che offrono un'implementazione di questi algoritmi e ne permettono l'uso in altre applicazioni. Altri algoritmi, come l'[[Analisi delle componenti principali]] (PCA) e [[t-distributed stochastic neighbor embedding]] (t-SNE), sono usati per diminuire la dimensione dello spazio dei vettori di parole e per permetterne la visualizzazione in uno spazio bidimensionale o tridimensionale<ref>{{Cita pubblicazione|cognome=Ghassemi|nome=Mohammad|cognome2=Mark|nome2=Roger|cognome3=Nemati|nome3=Shamim|anno=2015|titolo=A Visualization of Evolving Clinical Sentiment Using Vector Representations of Clinical Notes|url=http://www.cinc.org/archives/2015/pdf/0629.pdf|rivista=Computing in Cardiology|lingua=en}}</ref>.

==Note==

Riga 16 ⟶ 20:

* [[Espressioni multilessicali]]

* [[Elaborazione del linguaggio naturale]]

* [[Word2vec]]

* [[Semantica distribuzionale]]

* [[Linguistica computazionale]]

{{apprendimento automatico}}

{{sportale|informatica}}

[[Categoria:Elaborazione del linguaggio naturale]]