Enllaç. «beu» mira sobretot «gat» (93%).
Prova una frase
A «el gat beu» hi ha marge: la temperatura tanca o obre llet i aigua. A «si plou portarem el» gairebé no. Canvia-la per «si fa sol portarem el»: el mot «el» és el mateix, el que mira no.
Només aquestes frases, i unes quantes variants, estan entrenades. Una frase a l’atzar no la sap: si el mot no és al vocabulari, el tracta com a desconegut i la predicció no val.
El mot següent
S’hi decanta · 68%
El mot més probable és llet, 68%.
Top-k
Cada mot fabrica una consulta, una clau i un valor. La consulta es compara amb les claus dels mots ja escrits. On hi ha coincidència, es copia una barreja dels valors. Els mots que encara no s’han escrit queden fora.
softmax( Q Kᵀ / √dₖ ) V
«beu» mira sobretot «gat» (93%).
Qui mira
Mapa. Fila: qui mira. Columna: a qui. El triangle buit de dalt són els mots que encara no s’han escrit.
| el | gat | beu | |
|---|---|---|---|
beu · gat
- q · k
- 13,29
- puntuació
- 4,70
- es divideix per √dₖ = 2,83
- pes després del softmax
- 93%
Consulta
Clau
Valor
Cinc conceptes per llegir-ho
- Token
- Un tros de text. En Trama, un mot. Els models grans els parteixen més fi.
- Vector
- Una llista de nombres que representa el mot. Mots que s’assemblen en acaben a prop.
- Atenció causal
- Cada mot mira els anteriors i a si mateix, mai els que encara no s’han escrit.
- Temperatura
- No canvia el model. Només obre o tanca la distribució del mot següent.
- Top-k
- Quants candidats deixem vius. Amb 1 només en queda un. Amb 4 o 8 es talla la cua i el que queda es reparteix de nou. «Tots» no en deixa cap fora.