Calculator tokenuri AI

Cât costă utilizarea API-urilor IA? Calculatorul nostru de cost pentru token-uri înmulțește numărul de token-uri de intrare și de ieșire cu prețul per token al modelului.

GPT-4o costă 2,50 $ / 10 $ per milion de token-uri (intrare/ieșire), în timp ce Claude Sonnet 4 costă 3 $ / 15 $.

Introdu lungimea textului și vezi instantaneu costurile exacte. (Dacă ai ajuns aici căutând un calculator ore sau vrei să afli cum se calculeaza orele, vizitează secțiunea noastră de instrumente utile).

Câte token-uri are textul meu? Textul în limba engleză are în medie 1,33 token-uri per cuvânt. Un prompt de 1.000 de cuvinte înseamnă aproximativ 1.333 de token-uri.

Codul și textul în alte limbi pot consuma mai mulți tokeni. Calculatorul nostru convertește automat cuvintele în token-uri și afișează costul pentru orice model de IA. (Pentru alte tipuri de conversii sau calcule matematice, poți folosi și un calculator fractii).

Care model de IA oferă cel mai bun raport calitate-preț? Compară GPT-4o, GPT-4o Mini, Claude Opus, Claude Sonnet, Claude Haiku și Gemini în paralel.

Calculatorul nostru de prețuri LLM îți arată costul per apel și estimările lunare, astfel încât să poți alege modelul potrivit pentru bugetul și cerințele tale de calitate. (Pe site-ul nostru găsești și alte utilitare, precum un calculator zodie sau un instrument pentru a afla un numar de zile intre doua date).

Un token este unitatea atomică de text pe care un model de limbaj de mari dimensiuni o citește și o generează, fiind de obicei un fragment de sub-cuvânt și nu un cuvânt întreg.

LLM-urile moderne folosesc Byte Pair Encoding (BPE) la nivel de octet, o metodă de compresie introdusă de Sennrich et al. și perfecționată în tokenizatori precum tiktoken de la OpenAI și biblioteca de tokenizatori Hugging Face. În timpul BPE, secvențele frecvente de caractere fuzionează în token-uri unice, astfel încât cuvintele comune devin un singur token, în timp ce termenii rari sau tehnici se împart în mai mulți.

Deoarece textul este codificat în Unicode (vezi standardul UTF-8 al Consorțiului Unicode, RFC 3629), un singur emoji sau un caracter CJK poate consuma mai mulți tokeni. Înțelegerea acestei asocieri explică de ce numărul de token-uri coincide rareori cu numărul de cuvinte și de ce estimările de cost sunt aproximative.

Tokenizarea IA convertește textul brut în ID-uri întregi folosind un vocabular fix învățat în timpul antrenării modelului.

Mai întâi, textul este normalizat și codificat ca octeți UTF-8 conform RFC 3629 — și deoarece majoritatea vocabularelor BPE sunt sensibile la majuscule/minuscule, standardizarea textului cu un convertor de text în prealabil poate schimba subtil fuziunile care se aplică; apoi, un algoritm Byte Pair Encoding sau SentencePiece fuzionează în mod lacom perechile de octeți în cele mai lungi intrări potrivite din vocabular. Fiecare token rezultat este mapat la un ID pe care modelul îl încorporează într-un vector.

OpenAI documentează acest lucru în biblioteca sa tiktoken, iar Gemini de la Google și Claude de la Anthropic folosesc propriile scheme comparabile de sub-cuvinte. Deoarece vocabularele diferă, același text poate genera numere diferite de token-uri de la un furnizor la altul.

De aceea, instrumentul nostru de estimare folosește raportul intens citat de ~1,33 token-uri per cuvânt în engleză ca o aproximare rapidă, în loc de un tokenizator exact specific fiecărui model.

Costul API-ului IA se calculează prin înmulțirea numărului de token-uri de intrare și de ieșire cu tariful per milion de token-uri publicat de fiecare furnizor, apoi prin adunarea acestora.

Furnizorii precum OpenAI și Anthropic listează prețuri separate pentru intrare și ieșire în documentația lor oficială de tarife, iar token-urile de ieșire costă de obicei de câteva ori mai mult decât cele de intrare, deoarece generarea este mai solicitantă din punct de vedere computațional.

Formula este: cost = (token-uri de intrare x tarif intrare / 1.000.000) + (token-uri de ieșire x tarif ieșire / 1.000.000). Prompturile de sistem, exemplele de tip few-shot și contextul recuperat sunt toate contorizate ca intrare facturabilă la fiecare apel.

Deoarece prețurile se schimbă, confirmă întotdeauna tarifele actuale pe pagina oficială de prețuri a furnizorului înainte de a finaliza un buget de producție.

Pentru a număra cu precizie token-urile, trece textul exact prin tokenizatorul propriu al modelului, în loc să te bazezi pe un raport bazat pe numărul de cuvinte. Pentru modelele OpenAI, biblioteca open-source tiktoken returnează numere precise; Anthropic și Google oferă endpoint-uri de numărare a token-urilor și SDK-uri în documentația lor oficială pentru dezvoltatori.

O estimare bazată pe cuvinte (cuvinte x 1,33) este suficientă pentru bugetare, dar poate devia cu 10-20% în cazul codului, JSON-ului, URL-urilor sau textelor în alte limbi decât engleza, care se fragmentează în mulți tokeni mici.

Reține că întregul payload al cererii este tokenizat, inclusiv instrucțiunile de sistem, delimitatorii de roluri și definițiile de funcții sau instrumente. Pentru o măsurare reproductibilă, tokenizează cererea asamblată exact așa cum o trimite clientul tău API.

Numărul de token-uri diferă între GPT, Claude și Gemini deoarece fiecare model a fost antrenat cu un vocabular de tokenizator și reguli de fuziune diferite, astfel încât aceeași propoziție se împarte în unități de sub-cuvinte diferite.

Modelele mai noi de la OpenAI folosesc vocabulare mai mari decât cele vechi, ceea ce reduce numărul de token-uri pentru textul obișnuit în limba engleză, în timp ce scrierile non-latine pot fi tokenizate mai puțin eficient pe unele modele. Anthropic și Google își publică propriul comportament de tokenizare în documentația pentru dezvoltatori.

Această variație înseamnă că un prompt de 1.000 de token-uri pe un model ar putea fi de 1.050 sau 950 pe altul, modificând atât costul, cât și utilizarea ferestrei de context. Realizează întotdeauna teste de benchmark cu tokenizatorul real al fiecărui furnizor atunci când precizia este importantă.

Poți reduce utilizarea token-urilor LLM prin scurtarea intrării, limitarea ieșirii și reutilizarea calculelor:

• Scurtează prompturile de sistem și exemplele de tip few-shot, deoarece acestea sunt refacturate la fiecare cerere
• Setează o limită max-output-tokens pentru a opri generările necontrolate
• Direcționează sarcinile simple către modele mai ieftine

Stocarea în cache a prompturilor (prompt caching), oferită în API-urile oficiale OpenAI și Anthropic, îți permite să eviți refacturarea contextului repetat la preț întreg, iar endpoint-urile de tip batch oferă adesea reduceri pentru joburile asincrone. Generarea asistată de recuperare (RAG) ajută prin trimiterea doar a fragmentelor relevante în loc de documente întregi.

Deoarece token-urile de ieșire sunt cea mai scumpă componentă, răspunsurile concise și structurate (de exemplu, solicitarea unui format JSON) aduc de obicei cele mai mari economii fără a afecta calitatea.

Fiecare model impune o fereastră de context, adică numărul maxim combinat de token-uri de intrare și ieșire pe care le poate procesa într-o singură cerere, iar depășirea acesteia cauzează trunchieri sau erori.

Dincolo de capacitate, tratează prompturile ca pe o suprafață de securitate: OWASP Top 10 pentru aplicații LLM listează prompt injection (injectarea de prompturi) ca fiind riscul principal, unde textul nesigur introduce pe ascuns instrucțiuni în contextul tău, umflând utilizarea token-urilor sau deturnând comportamentul modelului.

Nu introduce niciodată secrete, chei API sau date personale în prompturi, deoarece furnizorii pot înregistra cererile, iar contextele lungi extind suprafața de atac. Cadrul de management al riscurilor IA de la NIST recomandă limitarea intrărilor și validarea ieșirilor.

De asemenea, numărarea token-urilor înainte de trimitere te ajută să detectezi din timp payload-urile anormal de mari și potențial dăunătoare.

Cea mai frecventă greșeală este estimarea costurilor doar pe baza numărului de cuvinte, ignorând faptul că fragmentele de cod, formatul JSON, semnele de punctuație și textele în alte limbi decât engleza generează mult mai mulți tokeni decât proza simplă.\n\nAlții uită că prompturile de sistem, istoricul conversației și definițiile instrumentelor sunt taxate ca input la fiecare apel, ceea ce înseamnă că discuțiile lungi acumulează costuri rapid.\n\nMulți utilizatori aplică, de asemenea, același preț pentru input și output, deși tokenii de output costă de câteva ori mai mult, și omit faptul că tarifele de pe paginile oficiale OpenAI, Anthropic și Google se pot modifica în timp.\n\nÎn cele din urmă, presupunerea că numărul de tokeni ai unui furnizor se aplică identic la altul poate duce la surprize neplăcute de buget. Verifică întotdeauna folosind tokenizer-ul real și tarifele actuale publicate.