Chatbot LLM dengan RAG dan Table analytics generation berbasis function calling tool

Arsitektur sistem

Mengapa menggunakan Function calling tool?

RAG (Retrieval-Augmented Generation) berbasis function calling tool memberikan solusi untuk menjawab pertanyaan dengan efisien.
Bayangkan, jika pengguna bertanya tentang review Spotify, misalnya:

Sistem dapat mengambil data review dari sumber eksternal untuk memberikan jawaban yang relevan. Namun ketika pengguna melanjutkan dengan pertanyaan lebih spesifik, seperti "kartu Maestro itu apa dan dari mana?", Pendekatan RAG biasa tidaklah efektif. Dengan pendekatan function calling RAG, sistem menawarkan pengalaman interaktif efisien dalam segi token input.

Perbandingan LLM -> gpt-4o-mini VS Mistral-Large

Attempt	gpt-4o-mini	Mistral-Large
Cost	$0.150 / 1M input tokens & $0.600 / 1M output tokens	$2 /1M input tokens & $6 /1M output tokens
function call	very good, adaptive	Bad, always calling for function
Accuracy	overall good, depends on retrieved data	overall good, depends on retrieved data

Pada task ini, saya menggunakan gpt-4o-mini karena kemampuannya beradaptasi dengan function calling tool RAG.

Perbandingan Model Embbeding -> text-embedding-3-small VS mistral-embed

Attempt	text-embedding-3-small	mistral-embed
Cost	$0.020 / 1M tokens	$0.1 /1M tokens
Size	1536	1024
Quality	good	good

Pada task ini, saya menggunakan mistral-embed untuk embedding.

Test Case

• Test Case 1
  
  
• Test Case 2
  
  
• Test Case 3
  
  
• Test Case 4
  
  
• Dialog Test Case
  
• Tabel analytics Test
  

TOOLS

tools yang digunakan

• Openai -> untuk LLM
• Mistral embedding -> untuk embedding
• Langchain
• Chroma Database ->Penyimpanan embedding/vektor
• sqlite3 -> menyimpan dataset review untuk table analytics generation