Pertanyaan Tagihan

Mengapa saya melihat beberapa catatan tagihan padahal hanya mengirim satu pesan?

Satu operasi di alat agen dapat memicu beberapa panggilan model sungguhan di balik layar.

Misalnya:

• Alat tersebut mungkin lebih dulu meminta model untuk memahami tugas.
• Alat tersebut mungkin memanggil permintaan model lain untuk membaca file atau merencanakan pengeditan.
• Alat tersebut mungkin memanggil model lagi setelah eksekusi alat.
• Beberapa klien juga mencoba ulang atau memecah pekerjaan panjang menjadi beberapa permintaan.

Mengapa model lain muncul pada tagihan?

Beberapa klien, agen, atau kebijakan perutean dapat memanggil model yang lebih kecil untuk pekerjaan pendukung, seperti klasifikasi, perencanaan, perangkuman, atau verifikasi singkat.

Ini tidak berarti pilihan model utama Anda gagal. Artinya sebagian alur kerja menggunakan model lain untuk panggilan pendukung.

Apa itu pembacaan cache dan penulisan cache? Mengapa harganya berbeda?

Banyak penyedia LLM menggunakan prompt caching.

• Penulisan cache: penyedia menyimpan konteks yang dapat dipakai ulang, seperti system prompt yang panjang, file proyek, atau konteks percakapan sebelumnya.
• Pembacaan cache: penyedia memakai ulang konteks yang sudah ter-cache.

Penulisan cache biasanya lebih mahal daripada pembacaan cache, karena penyedia perlu memproses dan menyimpan konteks tersebut. Pembacaan cache biasanya lebih murah.

Mengapa beberapa catatan menunjukkan 0 untuk pembacaan cache dan penulisan cache?

Penyebab umum:

1. Cache tidak diaktifkan pada panggilan API Anda sendiri. Periksa format permintaan yang didukung model pilihan Anda di panduan integrasi API.
2. Kontennya terlalu pendek sehingga tidak mencapai panjang minimum yang dapat di-cache oleh model.
3. Permintaan pendukung sekali pakai dari klien agen. Saat Claude Code atau aplikasi Claude (Cowork / Code) mencari di web, klien mengirim permintaan terpisah yang berisi hasil pencarian tersebut, dan klien tidak mengaktifkan cache untuk permintaan ini. Permintaan singkat seperti membuat judul percakapan juga tidak menggunakan cache.

Jika semua penyebab di atas sudah dikesampingkan dan giliran percakapan biasa memiliki token input yang besar tetapi pembacaan cache dan penulisan cache sama-sama 0, silakan hubungi dukungan.

Apa itu pengembalian biaya untuk anomali penulisan cache?

TeamoRouter secara otomatis mendeteksi kondisi ini dan mengembalikan sebagian biaya penulisan cache untuk permintaan tersebut. Anda tidak perlu mengajukan permohonan.

Klien dan model yang memenuhi syarat

Untuk integrasi API buatan sendiri atau klien lain, hilangnya cache umumnya disebabkan oleh isi permintaan dan tidak termasuk dalam cakupan pengembalian biaya ini.

Syarat pemicu (semuanya harus terpenuhi)

1. Permintaan berada dalam percakapan yang sama, tidak lebih dari 5 menit setelah permintaan sebelumnya berhasil.
2. Konteks permintaan lebih panjang daripada sebelumnya, artinya Anda melanjutkan percakapan yang sudah ada.
3. Permintaan sama sekali tidak menggunakan cache: pembacaan cache bernilai 0 dan penulisan cache setidaknya 1.024 token.

Jumlah pengembalian biaya

• Hingga 80% dari biaya penulisan cache permintaan tersebut setelah diskon akun akan dikembalikan. Jumlah yang berlaku adalah jumlah yang benar-benar dikembalikan untuk permintaan tersebut.

Di mana melihatnya

Pengembalian biaya langsung mengurangi biaya yang ditagihkan. Pada rincian tagihan, baris tambahan muncul di atas permintaan untuk memberi tahu bahwa anomali penulisan cache terdeteksi dan pengembalian biaya telah diberikan; jumlah pengembalian ditampilkan di sebelah kanan.

Mengapa beberapa permintaan memiliki sedikit token input tetapi biayanya tetap lebih tinggi?

Kemungkinan penyebabnya antara lain:

• Permintaan memicu penulisan cache.
• Model yang digunakan memiliki harga satuan lebih tinggi.
• Klien melakukan beberapa panggilan tersembunyi di sekitar aksi yang terlihat.
• Token output atau token reasoning lebih banyak dari yang diperkirakan.

Periksa ID model, token input, token output, token pembacaan cache, dan token penulisan cache secara bersamaan sebelum menilai biayanya.

Mengapa perkiraan biaya dan pemotongan saldo yang sebenarnya berbeda?

Perkiraan biaya dihitung dari rincian pemakaian model. Pemotongan saldo yang sebenarnya bisa berbeda karena pembulatan, diskon, aturan tagihan cache, aturan penyelesaian tingkat akun, atau penyesuaian dari sisi penyedia.

Jika selisihnya tampak tidak wajar, simpan ID permintaan dan hubungi dukungan.

Mengapa Fast mode menggunakan lebih banyak saldo?

Pada Fast mode, harga resmi model adalah 2× harga mode standar, sementara diskon akun Anda yang ada tetap tidak berubah.

Misalnya, jika output standar berharga $25 / 1M tokens pada harga resmi dan diskon akun Anda 10%, output Fast berharga $50 / 1M tokens pada harga resmi dan tetap mendapat diskon 10% yang sama. Petunjuk Fast pada tagihan berarti permintaan tersebut diproses dengan Fast mode aktif.

Untuk mematikannya, nonaktifkan Fast mode di Codex atau di klien pemanggil sebelum mengirim permintaan berikutnya.

Mengapa saldo saya tampak terpakai makin cepat seiring waktu? Bagaimana cara mengurangi pemakaian?

Alat agen sering mengirim konteks yang lebih besar seiring bertambahnya ukuran proyek. Percakapan yang panjang, lebih banyak file, dan panggilan alat yang berulang semuanya menambah pemakaian token.

Untuk mengurangi biaya:

• Mulai percakapan baru ketika konteks lama tidak lagi diperlukan.
• Hindari meminta agen membaca seluruh proyek kecuali perlu.
• Pilih model yang lebih kecil untuk tugas sederhana.
• Gunakan streaming agar latensi terasa lebih baik, tetapi ingat bahwa streaming itu sendiri tidak mengurangi pemakaian token.
• Perhatikan catatan penulisan cache. Penulisan ulang cache yang sering dapat menambah biaya.

Kapan saya harus menghubungi dukungan?

Hubungi dukungan jika:

• Anda melihat permintaan yang tidak Anda buat.
• ID model jelas bukan yang Anda konfigurasi.
• Pemotongan saldo yang sebenarnya jauh dari rincian pemakaian.
• Permintaan gagal tetapi tetap tampak ditagih.
• Anda memerlukan bantuan untuk memahami catatan cache atau token.

Harap sertakan waktu permintaan, ID model, ID permintaan jika ada, dan tangkapan layar catatan tagihan.