Kalkulator tokenów AI

Ile kosztuje korzystanie z API sztucznej inteligencji? Nasz kalkulator kosztów tokenów mnoży liczbę tokenów wejściowych i wyjściowych przez cennik modelu za jeden token.

GPT-4o kosztuje 2,50 / 10 USD za milion tokenów (wejściowe/wyjściowe), podczas gdy Claude Sonnet 4 kosztuje 3 / 15 USD.

Wprowadź długość swojego tekstu i natychmiast poznaj dokładne koszty.

Ile tokenów zawiera mój tekst? Tekst w języku angielskim ma średnio 1,33 tokena na słowo. Prompt o długości 1000 słów to około 1333 tokeny.

Kod i tekst w innych językach mogą zużywać więcej tokenów. Nasz kalkulator automatycznie konwertuje słowa na tokeny i pokazuje koszt dla dowolnego modelu AI.

Który model AI zapewnia najlepszy stosunek jakości do ceny? Porównaj bezpośrednio GPT-4o, GPT-4o Mini, Claude Opus, Claude Sonnet, Claude Haiku i Gemini.

Nasz kalkulator cen LLM pokazuje koszt zapytania oraz szacunki miesięczne, abyś mógł wybrać odpowiedni model dla swojego budżetu i wymagań dotyczących jakości.

Token to atomowa jednostka tekstu, którą duży model językowy odczytuje i generuje — zazwyczaj jest to fragment podwyrazowy, a nie całe słowo.

Nowoczesne modele LLM wykorzystują kodowanie na poziomie bajtów Byte Pair Encoding (BPE), czyli metodę kompresji wprowadzoną przez Sennricha i in. oraz udoskonaloną w tokenizatorach takich jak tiktoken od OpenAI i biblioteka tokenizers od Hugging Face. Podczas BPE częste sekwencje znaków łączą się w pojedyncze tokeny, dzięki czemu popularne słowa stają się jednym tokenem, podczas gdy rzadkie lub techniczne określenia dzielą się na kilka.

Ponieważ tekst jest zakodowany w standardzie Unicode (zobacz standard UTF-8 konsorcjum Unicode, RFC 3629), pojedyncze emoji lub znak CJK może zużywać wiele tokenów. Zrozumienie tego odwzorowania wyjaśnia, dlaczego liczba tokenów rzadko równa się liczbie słów i dlaczego szacunki kosztów są przybliżone.

Tokenizacja w AI konwertuje surowy tekst na identyfikatory całkowitoliczbowe przy użyciu stałego słownika wyuczonego podczas treningu modelu.

Najpierw tekst jest normalizowany i kodowany jako bajty UTF-8 zgodnie z RFC 3629 — a ponieważ większość słowników BPE uwzględnia wielkość liter, wcześniejsze ujednolicenie tekstu za pomocą konwertera wielkości liter może nieznacznie wpłynąć na to, które połączenia zostaną zastosowane. Następnie algorytm Byte Pair Encoding lub SentencePiece zachłannie łączy pary bajtów w najdłuższe pasujące wpisy słownikowe. Każdy wynikowy token mapuje się na identyfikator, który model osadza w wektorze.

OpenAI dokumentuje to w swojej bibliotece tiktoken, a modele Gemini od Google i Claude od Anthropic korzystają z własnych, porównywalnych schematów podwyrazowych. Ponieważ słowniki się różnią, identyczny tekst może generować różne liczby tokenów u różnych dostawców.

Dlatego nasz estimator stosuje szeroko cytowany współczynnik ok. 1,33 tokena na angielskie słowo jako szybkie przybliżenie, a nie jako dokładny tokenizator specyficzny dla danego modelu.

Koszt API AI oblicza się, mnożąc liczbę tokenów wejściowych i wyjściowych przez opublikowaną przez każdego dostawcę stawkę za milion tokenów, a następnie sumując je.

Dostawcy tacy jak OpenAI i Anthropic podają oddzielne ceny wejściowe i wyjściowe w swojej oficjalnej dokumentacji cenowej, przy czym tokeny wyjściowe kosztują zazwyczaj kilkukrotnie więcej niż wejściowe, ponieważ generowanie jest bardziej wymagające obliczeniowo.

Wzór to: koszt = (tokeny wejściowe x stawka wejściowa / 1 000 000) + (tokeny wyjściowe x stawka wyjściowa / 1 000 000). Prompty systemowe, przykłady few-shot oraz pobrany kontekst są liczone jako rozliczne wejście przy każdym wywołaniu.

Ponieważ ceny ulegają zmianom, przed sfinalizowaniem budżetu produkcyjnego zawsze potwierdzaj aktualne stawki na oficjalnej stronie cenowej dostawcy.

Aby dokładnie policzyć tokeny, uruchom swój dokładny tekst przez dedykowany tokenizator modelu, zamiast polegać na współczynniku liczby słów. W przypadku modeli OpenAI otwartoźródłowa biblioteka tiktoken zwraca precyzyjne wyniki; Anthropic i Google udostępniają punkty końcowe do zliczania tokenów oraz pakiety SDK w swojej oficjalnej dokumentacji dla programistów.

Szacunek oparty na słowach (słowa x 1,33) sprawdza się przy budżetowaniu, ale może odbiegać o 10-20 procent w przypadku kodu, JSON-a, adresów URL lub skryptów innych niż łacińskie, które rozpadają się na wiele małych tokenów.

Pamiętaj, że tokenizowany jest pełny ładunek żądania (payload), w tym instrukcje systemowe, ograniczniki ról oraz definicje funkcji lub narzędzi. W celu uzyskania powtarzalnych pomiarów, tokenizuj złożone żądanie dokładnie tak, jak przesyła je Twój klient API.

Liczba tokenów różni się między GPT, Claude i Gemini, ponieważ każdy model został przeszkolony przy użyciu innego słownika tokenizatora i odmiennych reguł łączenia, przez co to samo zdanie dzieli się na inne jednostki podwyrazowe.

Nowsze modele OpenAI korzystają z większych słowników niż starsze, co zmniejsza liczbę tokenów w przypadku powszechnego tekstu angielskiego, podczas gdy skrypty nielacińskie mogą tokenizować się mniej wydajnie w niektórych modelach. Anthropic i Google publikują własne zasady tokenizacji w swojej dokumentacji dla programistów.

Ta różnica oznacza, że prompt liczący 1000 tokenów w jednym modelu może mieć 1050 lub 950 tokenów w innym, zmieniając zarówno koszt, jak i wykorzystanie okna kontekstowego. Jeśli precyzja ma znaczenie, zawsze przeprowadzaj testy porównawcze z użyciem rzeczywistego tokenizatora danego dostawcy.

Możesz zmniejszyć zużycie tokenów przez LLM, przycinając dane wejściowe, ograniczając dane wyjściowe i ponowne wykorzystując obliczenia:

• Skracaj prompty systemowe i przykłady few-shot, ponieważ są one ponownie fakturowane przy każdym żądaniu
• Ustawiaj limit maksymalnej liczby tokenów wyjściowych, aby zatrzymać niekontrolowane generowanie
• Kieruj proste zadania do tańszych modeli

Buforowanie promptów (prompt caching), oferowane w oficjalnych API OpenAI i Anthropic, pozwala unikać ponownego opłacania powtarzającego się kontekstu w pełnej cenie, a punkty końcowe dla zadań wsadowych (batch endpoints) często oferują zniżki na zadania asynchroniczne. Generowanie rozszerzone pobieraniem (RAG) pomaga, przesyłając tylko istotne fragmenty zamiast całych dokumentów.

Ponieważ tokeny wyjściowe są najbardziej kosztownym elementem, zwięzłe, ustrukturyzowane odpowiedzi (na przykład prośba o format JSON) zazwyczaj przynoszą największe oszczędności bez pogarszania jakości.

Każdy model egzekwuje okno kontekstowe (context window), czyli maksymalną łączną liczbę tokenów wejściowych i wyjściowych, jaką może przetworzyć w jednym żądaniu, a jej przekroczenie powoduje ucięcie tekstu lub błędy.

Poza samą pojemnością traktuj prompty jako powierzchnię ataku: zestawienie OWASP Top 10 dla aplikacji LLM wymienia wstrzykiwanie promptu (prompt injection) jako główne zagrożenie, w ramach którego niezaufany tekst przemyca instrukcje do kontekstu, zwiększając zużycie tokenów lub przejmując kontrolę nad zachowaniem systemu.

Nigdy nie umieszczaj w promptach poufnych danych, kluczy API ani danych osobowych, ponieważ dostawcy mogą logować żądania, a długie konteksty poszerzają powierzchnię ataku. Ramka zarządzania ryzykiem AI NIST (NIST's AI Risk Management Framework) zaleca ograniczanie danych wejściowych i walidację danych wyjściowych.

Zliczanie tokenów przed wysłaniem pomaga również wcześnie wykryć nienaturalnie duże, potencjalnie złośliwe ładunki danych.

Najczęstszym błędem jest szacowanie kosztów wyłącznie na podstawie liczby słów i ignorowanie faktu, że kod, JSON, interpunkcja oraz tekst w innych językach niż angielski tokenizują się znacznie gęściej niż zwykła proza.

Inni zapominają, że monity systemowe, historia czatu oraz definicje narzędzi są naliczane jako wejście przy każdym osobnym wywołaniu, przez co konwersacje wieloetapowe szybko generują duże koszty.

Wielu użytkowników stosuje też tę samą cenę dla danych wejściowych i wyjściowych, mimo że tokeny wyjściowe kosztują kilka razy więcej, i przeocza fakt, że cenniki na oficjalnych stronach OpenAI, Anthropic i Google z czasem się zmieniają.

W końcu założenie, że liczba tokenów u jednego dostawcy pasuje do drugiego, prowadzi do niespodzianek w budżecie. Zawsze sprawdzaj to za pomocą prawdziwego tokenizatora i aktualnych, opublikowanych stawek.