Kalkulator Token AI

Berapakah kos untuk menggunakan API AI? Kalkulator kos token kami mendarabkan bilangan token masukan dan keluaran anda dengan harga per-token model tersebut.

GPT-4o berharga $2.50/$10 setiap juta token (masukan/keluaran), manakala Claude Sonnet 4 berharga $3/$15.

Masukkan panjang teks anda dan lihat kos tepat serta-merta.

Berapakah bilangan token untuk teks saya? Teks bahasa Inggeris berpurata 1.33 token setiap perkataan. Gesaan 1,000 perkataan adalah kira-kira 1,333 token.

Kod dan teks bukan bahasa Inggeris mungkin menggunakan lebih banyak token. Kalkulator kami menukar perkataan kepada token secara automatik dan menunjukkan kos untuk sebarang model AI.

Model AI manakah yang memberikan nilai terbaik? Bandingkan GPT-4o, GPT-4o Mini, Claude Opus, Claude Sonnet, Claude Haiku, dan Gemini secara berdampingan.

Kalkulator harga LLM kami menunjukkan kos setiap panggilan dan anggaran bulanan supaya anda boleh memilih model yang tepat untuk bajet dan keperluan kualiti anda.

Token ialah unit asas teks yang dibaca dan dijana oleh model bahasa besar, biasanya serpihan sub-kata berbanding keseluruhan perkataan.

LLM moden menggunakan Byte Pair Encoding (BPE) peringkat bait, kaedah pemampatan yang diperkenalkan oleh Sennrich et al. dan diperhalusi dalam pemecah token seperti tiktoken OpenAI dan pustaka pemecah token Hugging Face. Semasa BPE, urutan aksara yang kerap bergabung menjadi satu token tunggal, jadi perkataan biasa menjadi satu token manakala istilah jarang atau teknikal berpecah kepada beberapa bahagian.

Oleh kerana teks dikodkan Unicode (lihat standard UTF-8 Konsortium Unicode, RFC 3629), emoji tunggal atau aksara CJK boleh menggunakan berbilang token. Memahami pemetaan ini menjelaskan sebab bilangan token jarang sama dengan bilangan perkataan dan sebab anggaran kos adalah anggaran.

Pengtokenan AI menukar teks mentah kepada ID integer menggunakan perbendaharaan kata tetap yang dipelajari semasa latihan model.

Pertama, teks dinormalisasikan dan dikodkan sebagai bait UTF-8 mengikut RFC 3629 — dan kerana kebanyakan perbendaharaan kata BPE adalah sensitif huruf besar-kecil, menyeragamkan teks dengan penukar huruf besar-kecil terlebih dahulu boleh mengubah secara halus gabungan mana yang terpakai; kemudian algoritma Byte Pair Encoding atau SentencePiece menggabungkan pasangan bait secara tamak ke dalam entri perbendaharaan kata yang sepadan paling panjang. Setiap token terhasil dipetakan kepada ID yang disematkan oleh model ke dalam vektor.

OpenAI mendokumentasikannya dalam pustaka tiktoken miliknya, dan Gemini Google serta Claude Anthropic menggunakan skema sub-kata setanding mereka sendiri. Oleh kerana perbendaharaan kata berbeza, teks yang seiras boleh menghasilkan bilangan token yang berbeza merentas pembekal.

Inilah sebabnya anggaran kami menggunakan nisbah ~1.33-token-setiap-perkataan-bahasa-inggeris yang banyak dipetik sebagai penghampiran pantas dan bukannya pemecah token per-model yang tepat.

Kos API AI dikira dengan mendarabkan bilangan token masukan dan keluaran anda dengan kadar setiap juta token yang diterbitkan oleh setiap pembekal, kemudian menjumlahkannya.

Pembekal seperti OpenAI dan Anthropic menyenaraikan harga masukan dan keluaran secara berasingan dalam dokumentasi harga rasmi mereka, dan token keluaran biasanya berharga beberapa kali ganda lebih mahal daripada token masukan kerana penjanaan adalah lebih berat dari segi pengiraan.

Rumusannya ialah: kos = (token masukan x kadar masukan / 1,000,000) + (token keluaran x kadar keluaran / 1,000,000). Gesaan sistem, contoh few-shot, dan konteks yang diambil semuanya dikira sebagai masukan bil pada setiap panggilan.

Oleh kerana harga berubah, sentiasa sahkan kadar semasa pada halaman harga rasmi pembekal sebelum memuktamadkan bajet pengeluaran.

Untuk mengira token dengan tepat, jalankan teks tepat anda melalui pemecah token model itu sendiri berbanding bergantung pada nisbah kiraan perkataan. Untuk model OpenAI, pustaka sumber terbuka tiktoken mengembalikan kiraan yang tepat; Anthropic dan Google menyediakan titik akhir pengiraan token dan SDK dalam dokumentasi pembangun rasmi mereka.

Anggaran berasaskan perkataan (perkataan x 1.33) adalah memadai untuk belanjawan tetapi boleh hanyut sebanyak 10-20 peratus untuk kod, JSON, URL, atau skrip bukan bahasa Inggeris, yang berpecah kepada banyak token kecil.

Ingat bahawa muatan permintaan penuh diketokkan, termasuk arahan sistem, pengehad peranan, dan takrifan fungsi atau alat. Untuk pengukuran yang boleh diulang, tompokkan permintaan yang dihimpunkan tepat seperti yang dihantar oleh klien API anda.

Bilangan token berbeza merentas GPT, Claude, dan Gemini kerana setiap model dilatih dengan perbendaharaan kata pemecah token dan peraturan gabungan yang berbeza, jadi ayat yang sama berpecah kepada unit sub-kata yang berbeza.

Model baharu OpenAI menggunakan perbendaharaan kata yang lebih besar daripada model lama, yang mengurangkan bilangan token untuk teks biasa bahasa Inggeris, manakala skrip bukan Latin mungkin diketokkan dengan kurang cekap pada sesetengah model. Anthropic dan Google menerbitkan tingkah laku pengtokenan mereka sendiri dalam dokumen pembangun mereka.

Variasi ini bermakna gesaan yang bernilai 1,000 token pada satu model mungkin menjadi 1,050 atau 950 pada model yang lain, mengubah kedua-dua kos dan penggunaan tingkap konteks. Sentiasa lakukan penanda aras dengan pemecah token sebenar setiap pembekal apabila ketepatan penting.

Anda boleh mengurangkan penggunaan token LLM dengan memotong masukan, mengehadkan keluaran, dan menggunakan semula pengiraan:

• Pendekkan gesaan sistem dan contoh few-shot, memandangkan ia dibil semula pada setiap permintaan
• tetapkan had token-keluaran-maksima untuk menghentikan penjanaan yang tidak terkawal
• halakan tugasan mudah kepada model yang lebih murah

Penyasaran gesaan, yang ditawarkan dalam API rasmi OpenAI dan Anthropic, membolehkan anda mengelakkan pengebilan semula konteks berulang pada harga penuh, dan titik akhir kelompok selalunya memberikan diskaun untuk kerja tak segerak. Penjanaan ditambah pengambilan membantu dengan menghantar hanya cebukan yang relevan berbanding keseluruhan dokumen.

Oleh kerana token keluaran ialah komponen yang paling mahal, respons yang ringkas dan berstruktur (contohnya, meminta JSON) biasanya memberikan penjimatan terbesar tanpa menjejaskan kualiti.

Tingkap konteks dikuatkuasakan pada setiap model, iaitu maksimum gabungan token masukan campur keluaran yang boleh diproses dalam satu permintaan, dan meleikannya menyebabkan pemotongan atau ralat.

Selain kapasiti, anggap gesaan sebagai permukaan keselamatan: 10 Teratas OWASP untuk Aplikasi LLM menyenaraikan suntikan gesaan sebagai risiko utama, di mana teks yang tidak dipercayai menyeludup arahan ke dalam konteks anda dan mengembungkan penggunaan token atau membajak tingkah laku.

Jangan sekali-kali meletakkan maklumat sulit, kunci API, atau data peribadi dalam gesaan, memandangkan pembekal mungkin melog permintaan dan konteks yang panjang melebarkan permukaan serangan. Rangka Kerja Pengurusan Risiko AI NIST mengesyorkan mengehadkan masukan dan mengesahkan keluaran.

Pengiraan token sebelum menghantar juga membantu anda mengesan muatan yang terlalu besar dan berpotensi berniat jahat lebih awal.

Kesilapan yang paling biasa adalah menganggar kos berdasarkan jumlah perkataan sahaja dan mengabaikan hakikat bahawa kod, JSON, tanda baca, dan teks bukan bahasa Inggeris menghasilkan token yang jauh lebih padat berbanding prosa biasa.

Ada juga yang terlupa bahawa gesaan sistem (system prompts), sejarah sembang, dan definisi alat dibilkan sebagai input pada setiap panggilan, menyebabkan perbualan berbilang pusingan meningkat dengan cepat.

Ramai pengguna juga menganggap harga input dan output adalah sama walaupun token output berharga beberapa kali ganda lebih mahal, dan mereka terlepas pandang bahawa harga pada halaman rasmi OpenAI, Anthropic, dan Google berubah dari semasa ke semasa.

Akhir sekali, menganggap jumlah token daripada satu penyedia boleh dipindahkan ke penyedia lain akan membawa kepada kejutan bajet. Sentiasa sahkan dengan tokenizer sebenar dan kadar semasa yang diterbitkan.