Gli LLM elaborano il testo in token: unità di sub-parole (~4 caratteri inglesi, ~2.5 caratteri per il cinese, ~3.5 per l'italiano). Il costo API è calcolato in token, e ogni modello ha un context window (lunghezza massima).
Questo strumento stima i token con euristica raffinata (lingua-aware) e mostra il rapporto sul context window di GPT-4o, Claude Sonnet, Gemini, Llama e altri.
🔒
100% client-side. Il testo non viene mai inviato a OpenAI, Anthropic o Google.
⚠ Stima: la tokenizzazione esatta richiede il tokenizer specifico di ciascun modello (tiktoken per GPT, ecc.). Questo strumento usa un'euristica con ~5-10% di scarto rispetto al conteggio reale. Per scopi pratici (capire ordini di grandezza, costi, fit nel context window) è più che sufficiente.
Token stimati
0
euristica lingua-aware
Confronto sui modelli LLM
Come funziona la stima
Ogni modello ha il proprio tokenizer (GPT usa BPE con vocabolario cl100k_base o o200k_base, Claude usa un BPE diverso, ecc.). Le librerie ufficiali (tiktoken, anthropic-tokenizer) sono pesanti (~MB) e specifiche per modello.
Per una stima rapida, lo strumento usa rapporti caratteri/token empirici per lingua:
• Inglese: ~4.0 char/token
• Italiano/Spagnolo/Francese: ~3.5 char/token
• Tedesco: ~3.2 char/token (parole composte)
• Cinese/Giapponese/Coreano: ~1.5 char/token
Sintassi speciali (codice, JSON, markdown) hanno densità diverse e vengono corrette empiricamente.
Domande frequenti
Quanto è precisa la stima?
Tipicamente entro il 5-10% del conteggio esatto. Sufficiente per: stimare costi prima di una chiamata, capire se un testo entra nel context window, confrontare modelli.
Perché gli LLM contano i token e non i caratteri?
I tokenizer comprimono sequenze frequenti in singoli token. "the" è 1 token, "tokenization" è ~3 token. È il modo in cui il modello "vede" il testo internamente.
Cosa significa "context window"?
Il numero massimo di token che il modello può processare in una singola richiesta (input + output). Esempio: GPT-4o ha 128k, Claude 3.5 Sonnet 200k, Gemini 1.5 Pro 2M.
I prezzi sono aggiornati?
Riflettono i prezzi pubblici a maggio 2026. Cambiano spesso: per costi precisi, controlla sempre il listino ufficiale di OpenAI/Anthropic/Google.
