Tujuan
Apa yang diuji
Eksperimen ini menguji bagaimana dokumen internal dapat diubah menjadi knowledge base yang bisa dicari dan digunakan oleh AI. Fokusnya ada pada proses ingestion dokumen, chunking, pencarian konteks, dan kualitas jawaban yang dihasilkan dari sumber data yang tersedia.
Metodologi
Langkah eksperimen
- Mengambil dokumen PDF atau teks sebagai sumber knowledge base.
- Memecah isi dokumen menjadi chunk yang lebih kecil agar lebih mudah dicari oleh sistem retrieval.
- Membuat embedding dari setiap chunk dokumen untuk mendukung pencarian berbasis kemiripan konteks.
- Menyimpan hasil embedding ke vector search agar query pengguna dapat menemukan konteks yang relevan.
- Menguji beberapa pertanyaan untuk melihat apakah jawaban AI tetap sesuai dengan isi dokumen.
Output
Hasil yang ingin dipahami
- Mengetahui seberapa baik dokumen PDF dapat dipecah menjadi konteks yang mudah dicari dan tetap mempertahankan makna aslinya.
- Menguji relevansi jawaban AI berdasarkan hasil retrieval dari dokumen internal, bukan hanya dari pengetahuan umum model.
- Menentukan pola chunking, embedding, dan query yang paling cocok untuk kebutuhan knowledge base.
- Memahami batasan RAG, seperti jawaban yang kurang lengkap ketika dokumen tidak memiliki konteks yang cukup atau struktur dokumen kurang rapi.