Context Window Adalah: Pengertian, Token, dan Dampaknya untuk Agent AI

Context window adalah apa?

Context window, atau jendela konteks, adalah batas jumlah teks yang dapat dipertimbangkan model bahasa dalam satu kali kerja. Dokumentasi Anthropic mendefinisikannya sebagai semua teks yang dapat dirujuk model saat menghasilkan respons, termasuk respons itu sendiri. IBM menjelaskan hal yang sama dengan kata lain: context window adalah jumlah teks, dalam token, yang dapat dipertimbangkan atau "diingat" oleh model sekaligus, dan dapat dianggap setara dengan memori kerjanya.

Memori kerja ini berbeda dari pengetahuan yang didapat model saat dilatih. Data latih membentuk kemampuan bahasa model. Context window berisi bahan yang sedang dikerjakan: instruksi Anda, percakapan yang sedang berjalan, dan dokumen yang Anda berikan. Jika Anda belum familier dengan cara kerja model bahasa, penjelasan dasarnya ada di artikel LLM adalah.

Context window diukur dengan token

Ukuran context window tidak dihitung dalam kata atau halaman, melainkan dalam token. Menurut Pusat Bantuan OpenAI, token dapat merepresentasikan karakter, bagian kata, kata utuh, atau tanda baca, dan teks yang sama dapat menghasilkan jumlah token berbeda tergantung model, pengodean, dan bahasanya.

Untuk teks bahasa Inggris, OpenAI memberi patokan kasar 1 token kira-kira 4 karakter, atau 100 token kira-kira 75 kata. Google menyebut angka yang mirip untuk model Gemini: satu token setara sekitar 4 karakter, dan 100 token setara 60 sampai 80 kata bahasa Inggris. Patokan ini berlaku untuk bahasa Inggris. Untuk teks berbahasa Indonesia, jumlahnya perlu dihitung langsung dengan alat penghitung token dari penyedia model yang Anda pakai.

Token juga menjadi satuan tagihan. Google mencatat bahwa biaya pemanggilan Gemini API ditentukan sebagian oleh jumlah token input dan output. Artinya, ukuran bahan yang Anda masukkan ke context window ikut menentukan biaya pemakaian. Cara membaca harga layanan AI dibahas di Biaya AI Agent untuk Bisnis.

Apa saja yang mengisi context window?

Context window tidak hanya berisi pertanyaan yang Anda ketik. Dokumentasi Anthropic merinci bahwa semua isi permintaan dihitung, yaitu:

• Instruksi sistem: aturan dasar yang menentukan peran dan batas kerja model.
• Riwayat percakapan: setiap pesan sebelumnya, dari pengguna maupun dari model.
• Dokumen dan gambar: berkas yang dilampirkan atau diambil dari sumber data.
• Definisi alat: penjelasan tentang alat yang boleh dipakai model, misalnya alat untuk membaca spreadsheet.
• Hasil alat: data yang dikembalikan setelah alat dipanggil.
• Jawaban model: teks yang sedang ditulis model, termasuk proses berpikir internal pada model yang memakainya.

Pada percakapan berjalan, isi ini terus bertambah. Anthropic menjelaskan bahwa setiap pesan pengguna dan respons asisten terakumulasi di dalam context window, dan jawaban pada satu giliran menjadi bagian dari input pada giliran berikutnya.

Istilah yang berkaitan dengan context window

Istilah	Arti
Token input	Token yang dikirim ke model dalam satu permintaan, termasuk instruksi, riwayat, dan dokumen.
Token output	Token yang dihasilkan model sebagai jawaban.
Batas output	Jumlah maksimal token yang boleh ditulis model dalam satu jawaban. Batas ini bagian dari context window, bukan tambahan di luarnya.
Token penalaran	Token yang dipakai model penalaran secara internal sebelum menjawab. OpenAI menyebut token ini tidak tampil sebagai teks jawaban tetapi dihitung dan ditagih sebagai token output.
Data latih	Kumpulan teks yang dipakai untuk melatih model. Tidak termasuk context window.

Seberapa besar context window model saat ini?

Ukurannya berbeda untuk setiap model dan berubah seiring rilis baru. Sebagai contoh, dokumentasi Anthropic per Oktober 2026 menyebut sejumlah model Claude terbaru memiliki context window 1 juta token dengan output hingga 128 ribu token per permintaan, sementara model Claude lain memiliki 200 ribu token. Google menyediakan cara untuk membaca batas token input dan output setiap model Gemini lewat API.

Sebagai perbandingan sejarah, makalah Stanford dan rekan berjudul Lost in the Middle mencatat bahwa model Transformer dahulu dilatih dengan context window antara 512 sampai 2.048 token karena kebutuhan memori dan komputasinya. Angka resmi untuk model yang Anda pakai sebaiknya dicek di dokumentasi penyedianya, bukan dari daftar pihak ketiga.

Apa yang terjadi jika context window penuh?

Menurut IBM, ketika prompt, percakapan, atau dokumen melebihi context window, isinya harus dipotong atau diringkas agar model dapat melanjutkan. Cara penanganannya tergantung aplikasi:

• Permintaan ditolak. Pada API Claude, jika input saja sudah melebihi context window, API mengembalikan galat "prompt is too long".
• Pesan lama digeser keluar. Anthropic mencatat bahwa antarmuka chat seperti claude.ai dapat mengelola context window secara bergulir, pesan yang masuk lebih dulu keluar lebih dulu.
• Percakapan diringkas. Teknik yang disebut compaction meringkas bagian awal percakapan supaya pekerjaan bisa berlanjut. Pusat Bantuan Claude menjelaskan bahwa ketika percakapan mendekati batas, Claude merangkum pesan sebelumnya untuk melanjutkan percakapan bagi pengguna yang mengaktifkan eksekusi kode.

Dampak praktisnya: instruksi yang Anda tulis di awal percakapan panjang bisa terpotong atau hanya tersisa dalam bentuk ringkasan. Jika model tiba-tiba mengabaikan aturan yang sudah disepakati, salah satu penyebab yang perlu diperiksa adalah panjang percakapan.

Context window lebih besar belum tentu lebih baik

Ruang yang lebih besar memungkinkan model membaca dokumen lebih panjang, tetapi tidak menjamin hasilnya lebih tepat. Dokumentasi Anthropic menyebut bahwa seiring jumlah token bertambah, akurasi dan recall menurun, fenomena yang dikenal sebagai context rot. Karena itu, memilih isi konteks sama pentingnya dengan besarnya ruang yang tersedia.

Makalah Lost in the Middle (Liu dan rekan, 2023) menguji hal ini dengan menaruh satu dokumen berisi jawaban di antara dokumen lain yang tidak relevan. Temuannya:

• Kinerja model tertinggi ketika informasi penting berada di awal atau akhir input, dan turun ketika informasi itu berada di tengah konteks yang panjang.
• Pada GPT-3.5-Turbo, ketika dokumen jawaban ditaruh di tengah 20 atau 30 dokumen, kinerjanya bisa lebih rendah daripada saat model menjawab tanpa dokumen sama sekali (56,1%).
• Menambah dokumen dari 20 menjadi 50 hanya menaikkan kinerja sekitar 1,5% untuk GPT-3.5-Turbo dan sekitar 1% untuk Claude-1.3, sementara input menjadi jauh lebih panjang.
• Versi model dengan context window yang diperpanjang tidak otomatis lebih baik dalam memakai isinya dibanding versi standarnya, selama input muat di keduanya.

Model yang diuji dalam makalah tersebut sudah tergolong lama, jadi angkanya tidak bisa langsung diterapkan pada model sekarang. Pelajarannya tetap relevan: menambah bahan tidak sama dengan menambah ketepatan. Biaya juga ikut naik, karena menurut IBM kebutuhan komputasi bertambah secara kuadratik terhadap panjang urutan: jika token input berlipat dua, daya proses yang dibutuhkan menjadi empat kali.

Context window, memori, dan RAG: apa bedanya?

Konsep	Isi	Bertahan berapa lama
Data latih	Teks umum yang dipakai saat model dilatih	Tetap, sampai model dilatih ulang
Context window	Instruksi, percakapan, dokumen, dan hasil alat untuk pekerjaan saat ini	Selama satu permintaan atau satu percakapan
Memori eksternal	Catatan yang disimpan di luar model, lalu dimuat lagi saat dibutuhkan	Selama catatan itu disimpan
RAG	Cara mengambil potongan dokumen yang relevan lalu memasukkannya ke context window	Diambil ulang setiap kali dibutuhkan

DataHub menjelaskan bahwa context window bukan memori jangka panjang: model tidak menyimpan informasi antarsesi kecuali ada sistem eksternal yang menyediakannya. Anthropic menyebut teknik ini structured note-taking, yaitu agent menulis catatan yang disimpan di luar context window, lalu catatan itu dimuat kembali di waktu berikutnya. Penjelasan lengkap RAG ada di artikel RAG adalah.

Mengapa context window penting untuk agent AI

Agent AI tidak berhenti setelah satu jawaban. Ia membaca data, memanggil alat, menerima hasilnya, lalu memutuskan langkah berikutnya, seperti dijelaskan di Cara Kerja AI Agent. Setiap putaran menambah isi context window. Anthropic menulis bahwa agent yang berjalan dalam loop menghasilkan semakin banyak data yang mungkin relevan, dan informasi itu harus terus disaring. Pekerjaan memilih isi konteks ini disebut context engineering, kelanjutan dari prompt engineering.

Prinsip yang ditawarkan Anthropic adalah mencari kumpulan token terkecil dengan sinyal tinggi yang memaksimalkan peluang tercapainya hasil yang diinginkan. Tiga teknik yang dibahas dalam tulisan yang sama:

1. Compaction: meringkas percakapan yang mendekati batas, lalu memulai context window baru dengan ringkasan itu.
2. Catatan terstruktur: agent menyimpan progres di luar context window, misalnya dalam berkas catatan atau daftar tugas.
3. Sub-agent: pekerjaan detail diserahkan ke agent lain dengan context window bersih, yang hanya mengembalikan ringkasan hasilnya.

Hal yang sama berlaku untuk koneksi ke aplikasi lain. Setiap alat yang dipasang, termasuk alat dari server MCP, membawa definisi yang ikut mengisi context window. Anthropic mencatat bahwa kumpulan alat yang terlalu gemuk atau fungsinya tumpang tindih termasuk penyebab kegagalan agent yang mereka temui. Pasang alat yang memang dibutuhkan pekerjaan itu.

Contoh ilustrasi: agent pengingat tagihan

Bayangkan agent yang setiap Senin mengingatkan pelanggan yang tagihannya jatuh tempo. Cara yang boros adalah memasukkan seluruh spreadsheet tagihan sejak awal tahun ke context window, lalu meminta model mencari sendiri baris yang relevan. Cara yang lebih terarah adalah membaca hanya baris yang jatuh tempo minggu itu, lalu menyerahkan baris tersebut beserta aturan penagihan ke model. Bahannya lebih sedikit, posisi informasi pentingnya jelas, dan hasilnya lebih mudah diperiksa. Contoh ini adalah ilustrasi, bukan hasil pengukuran.

Prinsip ini sejalan dengan cara Bikinin menyusun agent. Di panduan agent AI untuk bisnis, kata yang Anda sebut dalam penjelasan pekerjaan menentukan sumber data yang dihubungkan, dan yang tidak disebut tidak dibaca.

Cara menjaga context window tetap efektif

Daftar berikut bisa Anda pakai saat menulis instruksi untuk chatbot maupun agent:

• Tulis instruksi yang jelas dan ringkas. Anthropic menyarankan instruksi sistem memakai bahasa sederhana dan langsung, berisi kumpulan informasi minimal yang menjelaskan perilaku yang diharapkan secara utuh. Minimal tidak berarti pendek; yang dibuang adalah bagian yang tidak dibutuhkan. Struktur instruksi yang baik dibahas di Cara Membuat Prompt AI untuk Bisnis.
• Masukkan data yang relevan saja. Satu pekerjaan cukup membaca data untuk pekerjaan itu. Inilah alasan memulai dari satu pekerjaan berulang untuk satu agent.
• Taruh informasi penting di awal atau akhir. Temuan Lost in the Middle menunjukkan bagian tengah konteks panjang lebih rawan terlewat.
• Mulai percakapan baru untuk tugas baru. Riwayat dari tugas lama ikut terbawa dan memakan ruang.
• Minta model menyebut sumbernya. Jika jawaban harus berdasarkan dokumen, minta model menunjukkan bagian yang dipakai. Ini membantu mendeteksi halusinasi AI.
• Uji dengan data yang panjang. Agent yang lancar dengan tiga baris contoh belum tentu tepat dengan tiga ratus baris. Daftar periksanya ada di Uji Agent AI Sebelum Tim Memakainya.

Mulai dari satu pekerjaan dengan data secukupnya

Context window adalah ruang kerja model yang terbatas. Agent yang dapat diandalkan tidak membaca semuanya, tetapi membaca bahan yang tepat untuk satu pekerjaan. Di Bikinin, Anda menjelaskan pekerjaan dengan bahasa biasa, menghubungkan Google Sheets dan aplikasi yang sudah dipakai, menguji langkahnya dengan contoh, lalu menjalankannya di WhatsApp atau Telegram sementara setiap langkah bisa diperiksa.

Anda bisa mulai dari template siap pakai, melihat paket di halaman harga, atau menghubungi tim Bikinin untuk membahas pekerjaan yang ingin dijadikan agent.