Come funzionano davvero i Large Language Models: numeri, non coscienza

Negli ultimi anni l’intelligenza artificiale è stata circondata da metafore suggestive: “mente estesa”, “coscienza delle macchine”, “pensiero algoritmico”. Espressioni affascinanti, ma spesso fuorvianti. Per comprendere davvero cosa fanno i Large Language Models (LLM) non serve ricorrere alla filosofia dei termosifoni: bastano pochi concetti chiave, spiegati senza orpelli. 

Quello che c’è dietro è matematica, statistica e informatica. Tutto qui!

Embedding: le parole diventano numeri

Un LLM non lavora con i significati come li intendiamo noi. Ogni parola o pezzo di parola viene trasformato in un vettore, cioè una lista di numeri. Se due parole compaiono spesso nello stesso contesto – “gatto” e “cane” – i loro vettori risultano vicini nello spazio numerico. Se non hanno nulla in comune – “gatto” e “trattore” – restano lontani. È una mappa di correlazioni, non un dizionario di concetti. Non c’è comprensione semantica, solo distanze statistiche.

Tokenizzazione: il linguaggio a pezzi

Per leggere un testo, il modello lo spezza in unità più piccole chiamate token. Talvolta coincidono con intere parole, altre volte con frammenti: “incredibile” può diventare “in”, “credi”, “bile”. Il modello non gestisce frasi complete né concetti astratti: solo sequenze di token da ricomporre. Parlare di “pensiero” in questo processo è una forzatura: è pura manipolazione di simboli.

Positional Encoding: l’ordine conta

Se tutto fosse ridotto a token isolati, il modello non distinguerebbe tra “il cane morde l’uomo” e “l’uomo morde il cane”. Per questo a ogni token viene aggiunto un codice che indica la sua posizione. Non è grammatica, né sintassi: sono coordinate matematiche che permettono di non perdere l’ordine delle parole. Un trucco, non una regola del linguaggio.

Fine-tuning e RLHF: l’educazione artificiale

Dopo la fase di addestramento iniziale, i modelli vengono rifiniti con dati mirati o con correzioni umane. È il cosiddetto Reinforcement Learning with Human Feedback (RLHF): persone in carne e ossa giudicano le risposte, premiando quelle più utili e scartando le altre. Il risultato è che il modello appare più chiaro, educato e “umano” nelle interazioni. Ma dietro non c’è personalità: solo un sistema di ricompense e punizioni statistiche.

Context window: memoria a breve termine

Un LLM non ricorda all’infinito. Ha una finestra di contesto che stabilisce quanti token può elaborare alla volta. I modelli più avanzati possono gestire testi lunghissimi, persino centinaia di pagine. Ma resta una memoria a breve termine: oltre la finestra, tutto si cancella. Non c’è archivio permanente, non c’è autobiografia della macchina.

Prompt engineering: l’arte di fare domande

Per ottenere buone risposte, servono buone istruzioni. Un prompt confuso genera risposte confuse, uno chiaro orienta il modello verso soluzioni più precise. Non perché l’AI “capisca”, ma perché il calcolo delle probabilità viene guidato in modo più efficace. Nessuna magia: solo input ben strutturati. (LINK)

Decoding: la scelta delle parole

Una volta calcolate le probabilità delle parole successive, il modello deve scegliere. Ci sono varie strategie:

• Greedy decoding: prende sempre la parola più probabile. Risultato: testi corretti, ma monotoni.

• Sampling: pesca a caso seguendo le probabilità. Più varietà, ma anche più errori.

• Beam search: valuta più frasi in parallelo e seleziona la migliore. Più lento, ma spesso più equilibrato.

In ogni caso, non c’è ispirazione creativa: sono solo algoritmi di scelta.

Temperature e top-k: le manopole dello stile

Due parametri regolano la “personalità” apparente del modello. La temperature modula la creatività: valori bassi producono frasi prevedibili e ordinate; valori alti generano risposte più fantasiose, a volte incoerenti. Il top-k restringe il campo alle k parole più probabili, eliminando quelle troppo improbabili. Con queste impostazioni si decide se il modello parlerà in modo più controllato o più inventivo. Sempre restando nei confini delle probabilità calcolate.

Oltre le illusioni

Alla fine, un LLM non è una coscienza né un pensatore nascosto dentro la macchina. È un gigantesco calcolatore statistico che trasforma parole in numeri, token in sequenze, probabilità in testo. La sua forza deriva dall’enorme quantità di dati e dalla potenza computazionale che lo alimenta. Non magia, non mente: matematica applicata su scala inedita.

E forse, proprio qui sta il vero fascino: una tecnologia che non pensa, ma ci costringe a ripensare cosa intendiamo per pensiero.