27.7.26 ·

Cosa sono i token, spiegato semplice

Cosa sono i token nell'intelligenza artificiale

Un numero, non una parola

Ti sei mai chiesto cosa succede davvero, nei secondi tra quando scrivi una domanda a ChatGPT o Gemini e quando arriva la risposta? La macchina non "legge" la tua frase come la leggi tu. La trasforma subito in numeri.

Il carico spezzato in colli più piccoli

Prima di elaborare il tuo testo, il sistema lo spezza in pezzetti più piccoli, chiamati token. Un po' come quando in magazzino spezzi un carico troppo grande in colli più piccoli, più facili da maneggiare e da spostare uno alla volta. Una parola comune, come "casa", di solito è un token solo. Una parola rara viene spezzata in due o tre pezzi diversi.

Perché a volte l'IA inciampa

Questo dettaglio spiega perché, a volte, l'IA sembra avere difficoltà con parole poco comuni o inventate: semplicemente, non le ha viste spesso, spezzate in quel modo, durante l'addestramento. Non è magia. È un meccanismo preciso, che si può capire, anche partendo dalla licenza media, come me.

Questo è un assaggio del capitolo 6 del mio nuovo libro, "IA dal lavoro vero. Non è magia, è un attrezzo", in uscita ad agosto.

Se ti interessa cosa c'è fisicamente dietro tutto questo, ne parlo in Anche l'IA ha il suo magazzino.

Newsletter gratuita · ogni lunedì
La mia settimana con l'IA, raccontata senza filtri.

Errori, numeri veri, strumenti che funzionano e quelli che no. Roba che non finisce sul blog.

Iscriviti a Dopo il magazzino »
Sebastiano Guglielmi
Sebastiano Guglielmi

Lavoro in magazzino. Il resto del tempo scrivo di intelligenza artificiale per chi lavora con le mani.