RAG Adalah: Pengertian, Cara Kerja, dan Contohnya

RAG (retrieval augmented generation) adalah cara kerja AI yang mengambil informasi relevan dari sumber data tertentu, misalnya dokumen kebijakan, katalog produk, atau basis data perusahaan, lalu memakainya sebagai bahan sebelum model AI menyusun jawaban. Dengan RAG, model bahasa besar (LLM) dapat menjawab berdasarkan pengetahuan bisnis Anda tanpa harus dilatih ulang. RAG membantu jawaban lebih relevan dan bisa ditelusuri ke sumbernya, tetapi tidak menghapus kemungkinan AI keliru.

Apa itu RAG?

AWS mendefinisikan RAG sebagai proses mengoptimalkan output model bahasa besar agar mereferensikan basis pengetahuan otoritatif di luar data pelatihannya sebelum menghasilkan respons. IBM menyebutnya arsitektur yang menghubungkan model AI dengan basis pengetahuan eksternal, seperti data internal organisasi, jurnal ilmiah, dan kumpulan data khusus.

Namanya menggambarkan tiga langkah di dalamnya:

• Retrieval (pengambilan). Sistem mencari potongan informasi yang relevan dengan pertanyaan pengguna.
• Augmented (diperkaya). Potongan informasi itu ditambahkan ke prompt sebagai konteks.
• Generation (pembuatan). Model bahasa menyusun jawaban dengan memakai konteks tersebut.

Istilah ini diperkenalkan dalam makalah Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks oleh Patrick Lewis dan 11 penulis lain, yang diunggah ke arXiv pada 22 Mei 2020 dan diterima di konferensi NeurIPS 2020. IBM mencatat makalah tersebut berasal dari Meta AI. Dalam makalah itu, model RAG menggabungkan model bahasa yang sudah dilatih dengan indeks vektor dari Wikipedia sebagai sumber pengetahuan.

IBM memberi perumpamaan yang mudah dibayangkan: model AI generatif seperti juru masak rumahan yang paham dasar memasak, dan RAG seperti memberinya buku resep masakan tertentu. Pengetahuan dasarnya tetap dipakai, sedangkan detailnya diambil dari buku yang Anda sediakan.

Mengapa model AI membutuhkan RAG?

Model bahasa besar menyusun jawaban dari pola dalam data pelatihannya. Pendekatan ini punya beberapa keterbatasan untuk keperluan bisnis:

• Pengetahuannya berhenti di satu titik waktu. AWS menjelaskan bahwa data pelatihan LLM bersifat statis dan punya tanggal batas, sehingga informasi setelahnya tidak dikenal model.
• Model tidak mengenal data internal Anda. Daftar harga terbaru, kebijakan retur, atau prosedur gudang tidak ada di data pelatihan publik.
• Model bisa mengarang jawaban. IBM menyebut halusinasi atau konfabulasi terjadi ketika model menyajikan informasi yang salah atau dibuat-buat seolah-olah fakta.

RAG menjawab ketiga hal itu dengan mengarahkan model ke sumber yang Anda tentukan. Menurut IBM, cara ini membantu organisasi menghindari biaya pelatihan ulang saat menyesuaikan model untuk kebutuhan tertentu. IBM juga menegaskan batasnya: RAG dapat mengurangi risiko halusinasi, tetapi tidak dapat membuat model bebas dari kesalahan.

Cara kerja RAG

IBM menguraikan alur RAG dalam lima tahap: pengguna mengirim prompt, model pengambilan mencari data relevan di basis pengetahuan, informasi yang ditemukan dikirim ke lapisan integrasi, sistem menyusun prompt yang diperkaya, lalu LLM menghasilkan jawaban. Dalam praktiknya, alur ini terbagi menjadi persiapan data dan proses saat ada pertanyaan.

1. Menyiapkan basis pengetahuan

Dokumen sumber, misalnya PDF, panduan, halaman web, atau catatan basis data, dipotong menjadi bagian yang lebih kecil. IBM menjelaskan ukuran potongan ini perlu diatur: potongan yang terlalu besar menjadi terlalu umum, sedangkan potongan yang terlalu kecil kehilangan keterkaitan makna. Setiap potongan lalu diubah menjadi representasi angka yang disebut embedding (penyematan) dan disimpan di basis data vektor.

2. Mencari informasi yang relevan

Saat pertanyaan masuk, pertanyaan itu juga diubah menjadi embedding, lalu dicocokkan dengan isi basis data vektor. Cara ini disebut pencarian semantik, yaitu pencarian berdasarkan kemiripan makna, bukan kecocokan kata persis. AWS mencontohkan chatbot SDM: ketika karyawan bertanya berapa sisa cuti tahunannya, sistem mengambil dokumen kebijakan cuti beserta catatan cuti karyawan tersebut.

Sebagian sistem menggabungkan pencarian makna dengan pencarian kata kunci. Anthropic menjelaskan kombinasi embedding dengan BM25, teknik pencocokan kata persis, untuk menemukan potongan yang mengandung istilah persis, seperti kode galat "TS-999" dalam contoh mereka, yang bisa terlewat bila hanya memakai pencarian makna.

3. Memperkaya prompt

Potongan dengan relevansi tertinggi digabungkan dengan pertanyaan asli menjadi satu prompt baru. Prompt ini juga memuat instruksi agar model memakai informasi tersebut saat menjawab.

4. Menyusun jawaban

Model bahasa menyusun jawaban dari prompt yang sudah diperkaya. Menurut IBM, sistem RAG dapat menyertakan kutipan sumber dalam jawabannya, sehingga orang bisa membuka dokumen asal untuk memeriksa kebenarannya.

Sumber pengetahuan perlu dijaga tetap terbaru. AWS menyarankan dokumen dan embedding-nya diperbarui, baik otomatis secara real-time maupun lewat pemrosesan berkala. Bila daftar harga berubah tetapi dokumennya tidak diperbarui, RAG akan mengambil harga lama dengan percaya diri.

Komponen sistem RAG

IBM membagi arsitektur RAG ke dalam empat komponen utama, ditambah dua komponen pendukung:

Komponen	Fungsi	Padanan di bisnis kecil
Basis pengetahuan	Tempat menyimpan data eksternal yang boleh dipakai sistem	Katalog produk, daftar harga, kebijakan retur, FAQ
Retriever (model pengambilan)	Mencari data yang relevan dengan pertanyaan	Staf yang membuka map dokumen yang tepat
Lapisan integrasi	Mengoordinasikan alur dan menyusun prompt yang diperkaya	Aturan kerja tentang dokumen mana yang dipakai untuk pertanyaan apa
Generator	Model bahasa yang menyusun jawaban	Staf yang merangkai jawaban untuk pelanggan
Ranker (pendukung)	Mengurutkan data yang ditemukan berdasarkan relevansi	Memilih dokumen yang lebih cocok di antara beberapa temuan
Output handler (pendukung)	Merapikan format jawaban untuk pengguna	Menyesuaikan gaya bahasa pesan

Kolom ketiga adalah perumpamaan untuk membantu memahami peran tiap komponen, bukan pemetaan teknis.

Contoh penerapan RAG dalam bisnis

IBM mencatat beberapa penerapan RAG di organisasi:

• Layanan pelanggan. Chatbot dihubungkan ke data internal agar menjawab berdasarkan informasi terbaru tentang produk, layanan, dan kebijakan perusahaan.
• Asisten karyawan. Karyawan bertanya tentang prosedur internal, proses orientasi karyawan baru, atau pertanyaan SDM, lalu mendapat jawaban dari dokumen perusahaan.
• Riset dan laporan. Sistem membaca dokumen internal dan sumber daring untuk menyusun laporan, misalnya laporan khusus untuk klien.
• Pembuatan konten. Jawaban dengan kutipan sumber memudahkan pemeriksaan fakta sebelum konten dipakai.
• Rekomendasi produk. Platform e-commerce memadukan perilaku pengguna sebelumnya dengan penawaran yang tersedia.

Sebagai gambaran umum di usaha kecil, bayangkan toko bahan bangunan yang menerima pertanyaan berulang soal ketersediaan ukuran, masa garansi, dan syarat retur. Dengan RAG, AI mencari jawabannya di katalog dan dokumen kebijakan toko, lalu menyusun balasan yang merujuk ke dokumen tersebut. Pertanyaan yang jawabannya tidak ada di dokumen, misalnya permintaan potongan harga khusus, diteruskan ke staf. Persiapan untuk kasus layanan pelanggan dibahas lebih rinci di AI Agent Customer Service WhatsApp.

RAG, fine-tuning, atau cukup prompt panjang?

Ada tiga cara memberi model AI pengetahuan tentang bisnis Anda. Pilihannya bergantung pada jumlah data dan seberapa cepat data itu berubah.

Cara	Yang terjadi	Cocok untuk
Prompt panjang	Seluruh dokumen dimasukkan langsung ke prompt	Basis pengetahuan kecil
RAG	Hanya potongan yang relevan diambil dan ditambahkan ke prompt	Dokumen banyak, berubah berkala, atau perlu kutipan sumber
Fine-tuning	Model dilatih ulang dengan data khusus sehingga parameternya berubah	Istilah, gaya, atau format jawaban khas suatu bidang

Untuk prompt panjang, Anthropic menulis bahwa basis pengetahuan yang lebih kecil dari 200.000 token (sekitar 500 halaman materi) dapat dimasukkan seluruhnya ke prompt tanpa RAG. Batas tersebut berlaku untuk model Anthropic yang dibahas dalam tulisan itu. Bila data Anda masih sedikit, cara ini bisa dicoba lebih dulu sebelum membangun sistem RAG.

Untuk fine-tuning, IBM menjelaskan prosesnya melatih ulang model dengan kumpulan data yang lebih kecil dan terfokus, dan prosesnya membutuhkan daya komputasi besar. IBM juga mencatat RAG dan fine-tuning dapat dipakai bersama: fine-tuning membantu model mengenali bidang dan format yang diinginkan, sedangkan RAG menyediakan informasi yang relevan dan terbaru.

Agentic RAG: saat agent ikut mencari

RAG standar bekerja reaktif: satu pertanyaan, satu kali pencarian di satu basis pengetahuan, lalu satu jawaban. IBM menjelaskan agentic RAG sebagai sistem RAG yang ditambah AI agent. Agent dapat memilih sumber data mana yang dicari, memecah pertanyaan rumit menjadi beberapa pencarian, memakai alat lain, dan memeriksa hasilnya.

IBM menyebut beberapa jenis agent di dalamnya, antara lain routing agent yang menentukan sumber data dan alat yang dipakai, serta query planning agent yang memecah pertanyaan menjadi langkah-langkah. Ada pula konsekuensinya. Menurut IBM, agentic RAG membutuhkan lebih banyak token sehingga biayanya lebih tinggi, dapat menambah waktu tunggu, dan agent bisa gagal menyelesaikan tugas. IBM menilai pendekatan ini lebih sesuai untuk kebutuhan yang melibatkan banyak sumber data.

Perbedaan AI agent dan agentic AI dibahas di Agentic AI Adalah, sedangkan komponen di dalam agent dijelaskan di Cara Kerja AI Agent.

Batas dan risiko RAG

Jawaban tetap bisa keliru

RAG bergantung pada dua hal: dokumen yang benar dan pencarian yang tepat. Bila potongan yang diambil salah atau tidak lengkap, jawabannya ikut salah. Anthropic menjelaskan bahwa pemotongan dokumen dapat menghilangkan konteks. Contohnya, sebuah potongan berisi kalimat bahwa pendapatan perusahaan naik 3% dari kuartal sebelumnya, tetapi tidak menyebut perusahaan mana dan periode kapan. Dalam eksperimennya, Anthropic melaporkan teknik contextual retrieval, yaitu menambahkan konteks singkat ke setiap potongan sebelum disimpan, mengurangi kegagalan pengambilan sebesar 49%, dan 67% bila digabung dengan reranking.

Data sensitif bisa ikut terambil

Daftar risiko keamanan aplikasi LLM dari OWASP memasukkan kelemahan vektor dan embedding sebagai LLM08:2025. Risiko yang disebut meliputi akses tanpa izin bila kontrol akses tidak tepat, kebocoran informasi antarpengguna di basis data vektor bersama, dan data yang sengaja disisipi instruksi tersembunyi. OWASP mencontohkan CV berisi teks putih di atas latar putih yang memerintahkan sistem merekomendasikan kandidat tersebut. IBM juga mengingatkan bahwa bila basis data vektor dibobol, penyerang dapat membalikkan embedding untuk mengakses data asli, terutama bila basis data tidak dienkripsi.

Langkah pencegahan yang disarankan OWASP antara lain kontrol akses yang rinci, pemisahan data antarkelompok pengguna, hanya menerima data dari sumber tepercaya, dan menyimpan log aktivitas pengambilan. Untuk bisnis kecil, prinsip praktisnya sederhana: hubungkan hanya dokumen yang memang boleh dibaca oleh orang yang bertanya.

Sumber yang usang menghasilkan jawaban usang

RAG tidak tahu dokumen mana yang sudah tidak berlaku kecuali Anda menandainya. Dua versi daftar harga di satu folder dapat membuat AI mengutip harga yang salah.

Menyiapkan pengetahuan bisnis sebelum dipakai AI

Sebelum memikirkan basis data vektor atau model tertentu, rapikan dulu bahan yang akan dibaca AI:

1. Pilih satu jenis pertanyaan. Misalnya pertanyaan tentang ketersediaan produk dan syarat retur. Panduan memilih pekerjaan pertama ada di Satu Pekerjaan Berulang, Satu Agent AI.
2. Kumpulkan sumber resmi. Daftar harga, katalog, kebijakan retur, dan jawaban yang sudah disetujui pemilik.
3. Simpan satu versi yang berlaku. Arsipkan versi lama di tempat terpisah dan cantumkan tanggal pembaruan di setiap dokumen.
4. Tunjuk penanggung jawab tiap dokumen. Orang ini memperbarui isinya ketika harga atau kebijakan berubah.
5. Atur siapa boleh membaca apa. Data pelanggan dan data keuangan tidak perlu ikut terhubung bila pekerjaannya hanya menjawab pertanyaan produk. Prinsip menghubungkan data dibahas di Sambungkan Data yang Sudah Perusahaan Pakai ke Agent AI.
6. Uji dengan pertanyaan nyata. Sertakan pertanyaan yang jawabannya tidak ada di dokumen, lalu periksa apakah AI mengaku tidak tahu atau malah mengarang. Daftar periksanya ada di Uji Agent AI Sebelum Tim Memakainya.
7. Tentukan kapan orang mengambil alih. Keluhan, permintaan potongan harga, dan pertanyaan di luar dokumen diteruskan ke staf. Polanya dijelaskan di Human-in-the-Loop AI Agent.

Menjawab dari pengetahuan bisnis dengan Bikinin

Di Bikinin.ai.id, salah satu pekerjaan yang dapat dijalankan agent adalah membalas pelanggan dari pengetahuan bisnis Anda melalui WhatsApp dan Telegram. Menurut panduan agent AI untuk bisnis, agent hanya membaca sumber data yang disebut dalam penjelasan pekerjaan, Anda dapat melihat sumber mana yang tersambung, dan agent berhenti di langkah yang meragukan untuk bertanya, bukan menebak. Agent diuji dengan contoh lebih dulu, dan selama uji tidak ada pesan yang benar-benar terkirim.

Paket Starter dan Pro di halaman harga sama-sama mencakup koneksi aplikasi serta eval dan jejak proses, sehingga hasil tiap langkah bisa Anda periksa. Bila Anda punya satu jenis pertanyaan pelanggan yang jawabannya sudah ada di dokumen, ceritakan pekerjaannya. Tim Bikinin membaca penjelasan Anda, membalas lewat email, dan bila cocok, uji disusun bersama sebelum Anda memutuskan berlangganan.