Tujuan
Apa yang diuji
Eksperimen ini menguji bagaimana backend orchestration dapat mengatur komunikasi antara LLM, database, tools, dan sumber knowledge. Fokusnya adalah menjaga alur request tetap rapi, context tetap konsisten, dan service lebih mudah dikembangkan ketika kebutuhan sistem bertambah.
Metodologi
Langkah eksperimen
- Mendesain alur request dari user ke backend sebelum diteruskan ke LLM atau service pendukung.
- Menguji context passing agar instruksi, riwayat percakapan, dan data tambahan tetap terbawa dengan benar.
- Membuat pola routing untuk menentukan kapan request perlu menuju LLM, knowledge base, database, atau tools lain.
- Menyiapkan fallback sederhana ketika salah satu service gagal merespons atau output tidak sesuai.
- Mengevaluasi struktur response agar hasil dari beberapa service tetap bisa dikembalikan dalam format yang konsisten.
Output
Hasil yang ingin dipahami
- Mengetahui pola komunikasi antar service ketika request AI membutuhkan beberapa sumber data atau proses tambahan.
- Menguji cara menjaga context agar response AI tetap konsisten pada berbagai skenario percakapan.
- Menentukan struktur orchestration yang lebih mudah dikembangkan untuk kebutuhan virtual assistant atau AI workflow.
- Memahami titik rawan dalam integrasi LLM, seperti error handling, context yang hilang, response yang tidak stabil, dan dependency antar service.