Kalkulačka AI tokenů

Kolik stojí používání API umělé inteligence? Naše kalkulačka nákladů na tokeny vynásobí počet vašich vstupních a výstupních tokenů cenou za token u daného modelu.

GPT-4o stojí $2,50 / $10 za milion tokenů (vstup/výstup), zatímco Claude Sonnet 4 stojí $3 / $15.

Zadejte délku svého textu a okamžitě uvidíte přesné náklady.

Kolik tokenů má můj text? Anglický text má v průměru 1,33 tokenu na slovo. Prompt o délce 1 000 slov znamená zhruba 1 333 tokenů.

Kód a neanglický text mohou spotřebovat více tokenů. Naše kalkulačka automaticky převede slova na tokeny a ukáže cenu pro libovolný model AI.

Který model AI nabízí nejlepší poměr cena/výkon? Porovnejte modely GPT-4o, GPT-4o Mini, Claude Opus, Claude Sonnet, Claude Haiku a Gemini vedle sebe.

Naše kalkulačka cen LLM zobrazuje náklady na jedno volání a měsíční odhady, abyste si mohli vybrat správný model pro svůj rozpočet a nároky na kvalitu.

Token je základní jednotka textu, kterou velký jazykový model čte a generuje – obvykle jde o část slova (subword) než o celé slovo.

Moderní LLM používají bajtové kódování Byte Pair Encoding (BPE), což je metoda komprese představená autory Sennrich a kol. a vylepšená v tokenizerech, jako je tiktoken od OpenAI nebo knihovna tokenizers od Hugging Face. Během BPE se časté sekvence znaků slučují do jediných tokenů, takže běžná slova tvoří jeden token, zatímco vzácné nebo technické výrazy se rozdělí na více částí.

Jelikož je text kódován v Unicode (viz standard UTF-8 konsorcia Unicode Consortium, RFC 3629), jediný emoji nebo znak CJK může spotřebovat více tokenů. Pochopení tohoto mapování vysvětluje, proč se počty tokenů málokdy rovnají počtům slov a proč jsou odhady nákladů přibližné.

AI tokenizace převádí surový text na celočíselná ID pomocí pevné slovní zásoby naučené během tréninku modelu.

Nejprve je text normalizován a zakódován jako bajty UTF-8 podle RFC 3629 – a protože většina slovníků BPE rozlišuje velká a malá písmena, předběžné standardizování textu pomocí převaděče velikosti písmen může nenápadně ovlivnit, která slučování se uplatní; následně algoritmus Byte Pair Encoding nebo SentencePiece hamižně slučuje dvojice bajtů do nejdelších odpovídajících položek ve slovníku. Každý výsledný token se mapuje na ID, které model převede na vektor.

Společnost OpenAI to dokumentuje ve své knihovně tiktoken a modely Gemini od Google a Claude od Anthropic používají vlastní srovnatelné subword schémata. Jelikož se slovníky liší, identický text může u různých poskytovatelů vygenerovat odlišný počet tokenů.

To je důvod, proč náš odhadce používá široce citovaný poměr cca 1,33 tokenu na anglické slovo jako rychlou aproximaci namísto přesného tokenizeru pro každý konkrétní model.

Náklady na AI API se vypočítají tak, že se počet vašich vstupních a výstupních tokenů vynásobí zveřejněnou sazbou za milion tokenů od každého poskytovatele a obě hodnoty se sečtou.

Poskytovatelé jako OpenAI a Anthropic uvádějí ve své oficiální dokumentaci ceny pro vstup a výstup zvlášť, přičemž výstupní tokeny obvykle stojí několikanásobně více než vstupní, protože generování je výpočetně náročnější.

Vzorec je: náklady = (vstupní tokeny × vstupní sazba / 1 000 000) + (výstupní tokeny × výstupní sazba / 1 000 000). Systémové prompty, příklady typu few-shot a načtený kontext se počítají jako zpoplatněný vstup při každém volání.

Protože se ceny mění, před finalizací produkčního rozpočtu si aktuální sazby vždy ověřte na oficiální stránce s ceníkem poskytovatele.

Chcete-li spočítat tokeny přesně, prožeňte svůj přesný text vlastním tokenizerem daného modelu namísto spoléhání se na poměr počtu slov. U modelů OpenAI vrací open-source knihovna tiktoken přesné hodnoty; Anthropic a Google poskytují koncové body pro počítání tokenů a sady SDK ve své oficiální vývojářské dokumentaci.

Odhad založený na slovech (slova × 1,33) je v pořádku pro sestavování rozpočtu, ale u kódu, JSONu, URL adres nebo neanglických písem se může lišit o 10 až 20 procent, protože se rozpadají na mnoho malých tokenů.

Pamatujte, že tokenizován je celý požadavek včetně systémových pokynů, oddělovačů rolí a definic funkcí či nástrojů. Pro opakovatelné měření tokenizujte sestavený požadavek přesně tak, jak jej odesílá váš klient API.

Počty tokenů se liší napříč modely GPT, Claude a Gemini, protože každý model byl trénován s odlišnou slovní zásobou tokenizeru a pravidly slučování, takže stejná věta se rozpadá na jiné poduvodní jednotky.

Novější modely OpenAI používají větší slovní zásoby než ty starší, což snižuje počet tokenů pro běžný anglický text, zatímco nelatinské písemné systémy se u některých modelů mohou tokenizovat méně efektivně. Anthropic a Google zveřejňují chování své tokenizace ve svých vývojářských dokumentech.

Tato odchylka znamená, že prompt, který má u jednoho modelu 1 000 tokenů, může mít u jiného 1 050 nebo 950 tokenů, čímž se mění jak cena, tak využití kontextového okna. Když záleží na přesnosti, vždy proveďte benchmark s reálným tokenizerem každého poskytovatele.

Spotřebu tokenů u LLM můžete snížit ořezáním vstupu, omezením výstupu a opětovným využitím výpočtů:

• Zkraťte systémové prompty a příklady typu few-shot, protože jsou účtovány při každém požadavku.
• Nastavte limit max-output-tokens, abyste zastavili neřízené generování.
• Směřujte jednoduché úkoly k levnějším modelům.

Mezipaměť promptů (prompt caching), kterou nabízející oficiální API OpenAI a Anthropic, vám umožňuje vyhnout se opětovnému zpoplatnění opakovaného kontextu v plné výši a dávkové koncové body často poskytují slevy na asynchronní úlohy. Generování obohacené o vyhledávání (RAG) pomáhá tím, že odesílá pouze relevantní části namísto celých dokumentů.

Jelikož jsou výstupní tokeny tou nejdražší složkou, stručné a strukturované odpovědi (například požadavek na formát JSON) obvykle přinášejí největší úspory bez snížení kvality.

Každý model vynucuje kontextové okno, což je maximální kombinovaný počet vstupních a výstupních tokenů, které dokáže zpracovat v jednom požadavku – jeho překročení způsobuje oříznutí nebo chyby.

Kromě kapacity přistupujte k promptům jako k bezpečnostní ploše: žebříček OWASP Top 10 pro aplikace s LLM uvádí injekci promptu (prompt injection) jako hlavní riziko, kdy nedůvěryhodný text propašuje do vašeho kontextu pokyny, zvýší spotřebu tokenů nebo zneužije chování modelu.

Do promptů nikdy neumisťujte tajné údaje, klíče API ani osobní údaje, protože poskytovatelé mohou požadavky logovat a dlouhé kontexty rozšiřují prostor pro útok. Rámec řízení rizik AI od NIST doporučuje ohraničit vstupy a ověřovat výstupy.

Spočítání tokenů před odesláním vám také pomáhá včas odhalit abnormálně velké a potenciálně škodlivé datové payloady.

Nejčastější chybou je odhad nákladů pouze podle počtu slov a ignorování toho, že kód, JSON, interpunkce a neanglický text se tokenizují mnohem hustěji než běžný text.

Někteří také zapomínají, že systémové prompty, historie chatu a definice nástrojů se účtují jako vstup při každém jednom volání, takže vícekolové konverzace rychle navyšují cenu.

Mnoho uživatelů také počítá se stejnou cenou pro vstup i výstup, přestože výstupní tokeny stojí několikanásobně více, a přehlížejí, že ceny na oficiálních stránkách OpenAI, Anthropic a Google se časem mění.

V neposlední řadě, předpoklad, že počet tokenů jednoho poskytovatele platí i pro jiného, vede k překvapením v rozpočtu. Vždy si to ověřte pomocí skutečného tokenizéru a aktuálních zveřejněných sazeb.