Fine-tuning (deep learning): differenze tra le versioni

Versione delle 17:03, 20 mar 2025

Versione delle 20:31, 22 mar 2025

Riga 1:

Il '''fine-tuning''', in [[Apprendimento profondo|deep learning]], è una pratica di transfer learning utilizzata per adattare un [[Modello linguistico di grandi dimensioni|modello pre-addestrato]] (spesso tramite apprendimento autosupervisionato) a un compito specifico. Questo avviene mediante un ulteriore addestramento su un insieme di dati più piccolo e mirato. Nel contesto dell'[[Elaborazione del linguaggio naturale|NLP]], il fine-tuning è ampiamente utilizzato per specializzare modelli linguistici pre-addestrati, come [[BERT]] o [[Generative pre-trained transformer|GPT]], su compiti specifici quali la classificazione del testo, la [[traduzione automatica]] o la generazione controllata di testi.<ref name="Howard, J. 2018">Howard, J., & Ruder, S. (2018). Universal Language Model Fine-tuning for Text Classification. ACL.</ref>

== Esempi di applicazione ==

Riga 5:

== Tecniche di fine-tuning ==

Il fine-tuning può essere applicato in diversi modi, a seconda delle risorse disponibili e del compito specifico. Nel ''full fine-tuning'', tutti i parametri del modello vengono aggiornati, mentre nel ''partial fine-tuning'' solo alcuni strati vengono addestrati, lasciando gli altri congelati.<ref> name="Howard, J., & Ruder, S. (2018). Universal Language Model Fine-tuning for Text Classification. ACL.<"/ref> Tecniche più recenti, come LoRA (''Low-Rank Adaptation''), permettono di aggiornare solo una piccola parte dei parametri del modello, riducendo notevolmente il costo computazionale.<ref>Hu et al., 2022. LoRA: Low-Rank Adaptation of Large Language Models.</ref> Altre tecniche, come il ''prefix-tuning'' e il ''prompt-tuning'', modificano solo piccole parti dell'input o del modello, rendendo il fine-tuning più efficiente.<ref>{{Cita pubblicazione

| autore = Li, X., & Liang, P.

| anno = 2021