Semantica distribuzionale

La semantica distribuzionale comprende una serie di teorie e metodi di linguistica computazionale per lo studio della distribuzione semantica delle parole nel linguaggio naturale. Questi modelli derivano da una prospettiva empiristica assumendo che una distribuzione statistica dei termini sia preponderante nel delinearne il comportamento semantico ^[1].

Principi di base

Questa teoria propone il paradigma per cui le parole sono distribuite in uno spazio nel quale sono, tra loro, ad una distanza proporzionale alla loro grado di similarità. Quest'ultima segue l'ipotesi fondamentale della semantica distribuzionale secondo la quale due parole sono tanto più simili semanticamente, quanto più tendono a comparire nello stesso contesto linguistico.
La frase emblematica di questa teoria fu detta da J. R. Firth (1957:11):

You shall know a word by the company it keeps | Conoscerai una parola dalla compagnia che frequenta

A livello cognitivo (di lessico mentale, quindi) questo punto di vista corrisponde a quello per cui non sono memorizzati tutti i significati a mo di enciclopedia, ma sono organizzati in base alle informazioni contestuali in cui la parola compare ^[2].

Applicazioni

L'arrivo di grandi corpora ha permesso a questa teoria di emergere nello studio computazionale della semantica e trovare così applicazioni concrete in modelli computazionali per la costruzione di spazi vettoriali di rappresentazione delle parole.

I modelli più noti per questi studi sono:

• Latent semantic analysis (LSA)^[3]
• Hyperspace analogue to language ^[4]
• Random indexing^[5]

Tra gli algoritmi più recenti per la creazione di word embedding troviamo:

• word2vec basato sul modello di rete neurale Skip-gram (una tecnica dove gli n-grammi memorizzano ancora un modello del linguaggio, ma permettono di saltare token)^[6] che utilizza un metodo predittivo^[7].
• golve che usa metodi count-based (modello basato sul conteggio, letteralmente)^[8].

Molti ricercatori hanno discusso su quale fosse il metodo migliore da utilizzare ed alcuni sono arrivati alla conclusione che un modello che utilizza metodi predittivi sia migliore ^[9] , altri invece sostengono che le due classi di metodi non siano drasticamente differenti a un livello fondamentale nel quale entrambi sondano le statistiche di co-occorrenze di un corpus, ma l'efficienza con cui i metodi count-based catturano le statistiche globali può essere vantaggioso^[8].
I modelli distribuzionali hanno trovato moltissime applicazioni nella linguistica computazionale, tra cui la Text simplification (semplificazione del testo) ^[10] , che ha lo scopo di rendere il testo più facile da comprendere per i lettori umani o automatici, l'identificazione delle metafore ^[11] , priming semantico ^[12] , il ragionamento analitico^[13].

Note

1. ^ Lenci, Alessandro. "Distributional semantics in linguistic and cognitive research." Italian journal of linguistics 20.1 (2008): 1-31.
2. ^ CHARLES, W. (2000). Contextual correlates of meaning. Applied Psycholinguistics, 21(4), 505-524, p. 507
3. ^ Landauer, Thomas K., and Susan T. Dumais. "A solution to Plato's problem: The latent semantic analysis theory of acquisition, induction, and representation of knowledge." Psychological review 104.2 (1997): 211.
4. ^ Lund, Kevin, and Curt Burgess. "Producing high-dimensional semantic spaces from lexical co-occurrence." Behavior Research Methods, Instruments, & Computers 28.2 (1996): 203-208.
5. ^ Karlgren, Jussi, and Magnus Sahlgren. "26 From Words to Understanding." (2001).
6. ^ Guthrie, David, et al. "A closer look at skip-gram modelling." Proceedings of the 5th international Conference on Language Resources and Evaluation (LREC-2006). 2006.
7. ^ MIKOLOV, Tomas, et al. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.
8. Pennington, Jeffrey, Richard Socher, and Christopher D. Manning. "Glove: Global Vectors for Word Representation." EMNLP. Vol. 14. 2014.
9. ^ Baroni, Marco, Georgiana Dinu, and Germán Kruszewski. "Don't count, predict! A systematic comparison of context-counting vs. context-predicting semantic vectors." ACL (1). 2014.
10. ^ Siddharthan, Advaith. "Syntactic simplification and text cohesion." Research on Language and Computation 4.1 (2006): 77-109.
11. ^ Gershman, Yulia Tsvetkov Elena Mukomel Anatole. "Cross-Lingual Metaphor Detection Using Common Semantic Features." Meta4NLP 2013 (2013): 45.
12. ^ Jones, Michael N., Walter Kintsch, and Douglas JK Mewhort. "High-dimensional semantic space accounts of priming." Journal of memory and language 55.4 (2006): 534-552.
13. ^ Michael Ramscar e Daniel Yarlett, Semantic grounding in models of analogy: an environmental approach, in Cognitive Science, vol. 27, n. 1, 1º gennaio 2003, pp. 41–71, DOI:10.1016/S0364-0213(02)00113-1. URL consultato il 10 marzo 2017.