Word embedding: differenze tra le versioni

Versione delle 15:50, 10 mar 2017

Versione delle 14:35, 12 mar 2017

Riga 7:

==Metodi==

I metodi per generare questa mappatura comprendono le [[rete neurale|reti neurali]],<ref>{{cita web |url=http://arxiv.org/abs/1310.4546 |cognome1=Mikolov |nome1=Tomas |titolo=Distributed Representations of Words and Phrases and their Compositionality |cognome2=Sutskever |nome2=Ilya |cognome3=Chen |nome3=Kai |cognome4=Corrado |nome4=Greg |cognome5=Dean |nome5=Jeffrey |sito=arxiv.org/archive/cs.CL| anno=2013|lingua=en}}</ref> la riduzione dimensionale sulla [[matrice di co-occorrenza]] della parola,<ref>{{CiteCita journalpubblicazione|arxiv=1312.5542 |cognome1=Lebret |nome1=Rémi |titolo=Word Emdeddings through Hellinger PCA |journalrivista=Conference of the European Chapter of the Association for Computational Linguistics (EACL) |volume=2014 |cognome2=Collobert |nome2=Ronan |yearanno=2013}}</ref><ref>{{Cite conferenceCita conferenza|url=http://papers.nips.cc/paper/5477-neural-word-embedding-as-implicit-matrix-factorization.pdf |titolo=Neural Word Embedding as Implicit Matrix Factorization |cognome=Levy |nome=Omer |conferenceconferenza=NIPS |yearanno=2014 |cognome2=Goldberg |nome2=Yoav}}</ref><ref>{{Cite conferenceCita conferenza|url=http://ijcai.org/papers15/Papers/IJCAI15-513.pdf |titolo=Word Embedding Revisited: A New Representation Learning and Explicit Matrix Factorization Perspective |cognome=Li |nome=Yitan |conferenceconferenza=Int'l J. Conf. on Artificial Intelligence (IJCAI) |yearanno=2015 |cognome2=Xu |nome2=Linli}}</ref> modelli probabilistici,<ref>{{CiteCita journalpubblicazione|cognome=Globerson|nome=Amir|datedata=2007|titolo=Euclidean Embedding of Co-occurrence Data|url=http://static.googleusercontent.com/media/research.google.com/en//pubs/archive/34951.pdf|journalrivista=Journal of Machine learning research|doi=|pmid=|access-date=}}</ref> e rappresentazione esplicita in base al contesto in cui la parola appare.<ref>{{cita conference |cognome1=Levy |nome1=Omer |cognome2=Goldberg |nome2=Yoav |titolo=Linguistic Regularities in Sparse and Explicit Word Representations |conference=CoNLL |pages=171–180 |year=2014 |url=https://levyomer.files.wordpress.com/2014/04/linguistic-regularities-in-sparse-and-explicit-word-representations-conll-2014.pdf}}</ref>.

Molte delle nuove tecniche di word embedding sono realizzati con l'architettura delle reti neurali invece che con le più tradizionali tecniche ad [[N-gramma|n-grammi]] e di [[apprendimento supervisionato]].

Riga 13:

== Applicazioni ==

I software per l'apprendimento e l'uso del word embedding sono: [[Word2vec]] sviluppato da [[Tomas Mikolov]]<ref>[https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf MIKOLOV, Tomas, et al. Efficient estimation of word representations in vector space. ''arXiv preprint arXiv:1301.3781'', 2013].</ref>; [[GloVe (machine learning)|GloVe]], sviluppato dalla Stanford University<ref>{{cita web|url=http://nlp.stanford.edu/projects/glove/|titolo=GloVe|lingua=en}}</ref>; [[Gensim]]<ref>{{cita web|url=http://radimrehurek.com/gensim/|titolo=Gensim}}</ref> e [[Deeplearning4j]]. [[Principal Component Analysis]] (PCA) e [[T-Distributed Stochastic Neighbour Embedding]] (t-SNE) sono entrambi usati per diminuire la dimensione dello spazio dei vettori di parole e visualizzare le word embedding e i [[Clustering|cluster]].<ref>{{Cita pubblicazione|cognome=Ghassemi|nome=Mohammad|cognome2=Mark|nome2=Roger|cognome3=Nemati|nome3=Shamim|anno=2015|titolo=A Visualization of Evolving Clinical Sentiment Using Vector Representations of Clinical Notes|url=http://www.cinc.org/archives/2015/pdf/0629.pdf|rivista=Computing in Cardiology|doi=|pmid=|accesso=|lingua=en}}</ref>

==Note==