RAG dengan ChromaDB

Retrieval-Augmented Generation (RAG) menggabungkan pencarian vektor semantik dengan model generasi bahasa. Dokumen eksternal diubah menjadi representasi vektor floating-point, disimpan dalam basis data vektor, lalu bagian yang paling relevan disuntikkan ke dalam prompt model sebagai konteks referensi faktual.

Alur Eksekusi Cepat

import os
import chromadb
from chromadb import Documents, EmbeddingFunction, Embeddings
from openai import OpenAI

client = OpenAI(
    base_url="https://api.neosantara.xyz/v1",
    api_key=os.environ["NEOSANTARA_API_KEY"]
)

class NeosantaraEmbeddingFunction(EmbeddingFunction):
    def __call__(self, input: Documents) -> Embeddings:
        response = client.embeddings.create(
            model="nusa-embedding-0001",
            input=input
        )
        return [d.embedding for d in response.data]

# Inisialisasi vector store ChromaDB lokal
chroma_client = chromadb.Client()
collection = chroma_client.create_collection(
    name="manual_mobil",
    embedding_function=NeosantaraEmbeddingFunction()
)

# Tambahkan dokumen referensi
collection.add(
    documents=[
        "Suhu AC mobil diatur menggunakan kenop tengah. Putar searah jarum jam untuk menaikkan suhu.",
        "Transmisi otomatis: Posisi P untuk parkir, R untuk mundur, N untuk netral, D untuk melaju.",
        "Layar sentuh 12 inci mengontrol navigasi, media hiburan, dan diagnostik kendaraan."
    ],
    ids=["doc1", "doc2", "doc3"]
)

# Ambil dokumen relevan dan generate jawaban
query = "Bagaimana cara mengubah suhu mobil?"
results = collection.query(query_texts=[query], n_results=1)
relevant_context = results["documents"][0][0]

response = client.chat.completions.create(
    model="deepseek-v4.1-flash",
    messages=[
        {"role": "system", "content": f"Jawab pertanyaan berdasarkan konteks berikut:\n\n{relevant_context}"},
        {"role": "user", "content": query}
    ]
)

print(response.choices[0].message.content)

Embeddings Capability

Spesifikasi parameter endpoint /v1/embeddings dan format output vektor.

Katalog Model Embedding

Daftar model embedding yang tersedia seperti nusa-embedding-0001 dan nv-embed-v1.

Implementasi Step-by-Step

Instalasi Dependensi

Instal pustaka Python yang diperlukan untuk OpenAI SDK dan ChromaDB:

pip install -U openai chromadb numpy pandas

export NEOSANTARA_API_KEY="nsk_your_api_key_here"

NEOSANTARA_API_KEY=nsk_your_api_key_here

$env:NEOSANTARA_API_KEY="nsk_your_api_key_here"

Definisikan Embedding Function Kustom

ChromaDB mendukung custom embedding function untuk menghubungkan panggilan embedding ke endpoint /v1/embeddings Neosantara:

import chromadb
from chromadb import Documents, EmbeddingFunction, Embeddings
from openai import OpenAI
import os

client = OpenAI(
    base_url="https://api.neosantara.xyz/v1",
    api_key=os.environ["NEOSANTARA_API_KEY"]
)

EMBEDDING_MODEL = "nusa-embedding-0001"
CHAT_MODEL = "deepseek-v4.1-flash"

class NeosantaraEmbeddingFunction(EmbeddingFunction):
    def __call__(self, input: Documents) -> Embeddings:
        response = client.embeddings.create(
            model=EMBEDDING_MODEL,
            input=input
        )
        return [d.embedding for d in response.data]

Indeks Dokumen ke Koleksi Chroma

Simpan sekumpulan dokumen ke dalam koleksi ChromaDB. Koleksi akan otomatis memanggil fungsi embedding Neosantara untuk menghasilkan vektor 768 dimensi:

def setup_knowledge_base(docs, collection_name="sop_perusahaan"):
    chroma_client = chromadb.Client()
    try:
        chroma_client.delete_collection(name=collection_name)
    except Exception:
        pass

    db = chroma_client.create_collection(
        name=collection_name,
        embedding_function=NeosantaraEmbeddingFunction()
    )

    for i, text in enumerate(docs):
        db.add(
            documents=[text],
            ids=[f"id_{i}"]
        )
    return db

Pencarian Vektor & Grounded Generation

Cari bagian yang paling relevan dengan kueri pengguna menggunakan pencarian kemiripan kosinus, lalu minta model chat menghasilkan jawaban yang didasari konteks tersebut:

def generate_grounded_answer(query: str, db, n_results: int = 2):
    # 1. Retrieval
    results = db.query(query_texts=[query], n_results=n_results)
    matched_docs = results["documents"][0] if results and results["documents"] else []
    
    if not matched_docs:
        return "Informasi relevan tidak ditemukan dalam basis pengetahuan."

    context_text = "\n---\n".join(matched_docs)

    # 2. Augmented Generation
    prompt = (
        "Anda adalah asisten berbasis data referensi. Jawab pertanyaan pengguna "
        "hanya menggunakan informasi dalam bagian referensi di bawah ini. "
        "Jika jawaban tidak termuat dalam referensi, jawab terus terang bahwa "
        "informasi tersebut tidak tersedia.\n\n"
        f"REFERENSI:\n{context_text}\n\n"
        f"PERTANYAAN: {query}\n\n"
        "JAWABAN:"
    )

    response = client.chat.completions.create(
        model=CHAT_MODEL,
        messages=[{"role": "user", "content": prompt}],
        temperature=0.2
    )
    return response.choices[0].message.content

Kode Lengkap & Pengujian

Berikut skrip lengkap yang menguji pertanyaan yang ada di dalam dokumen maupun pertanyaan di luar basis pengetahuan:

rag_chroma_complete.py

import os
import chromadb
from chromadb import Documents, EmbeddingFunction, Embeddings
from openai import OpenAI

client = OpenAI(
    base_url="https://api.neosantara.xyz/v1",
    api_key=os.environ["NEOSANTARA_API_KEY"]
)

EMBEDDING_MODEL = "nusa-embedding-0001"
CHAT_MODEL = "deepseek-v4.1-flash"

class NeosantaraEmbeddingFunction(EmbeddingFunction):
    def __call__(self, input: Documents) -> Embeddings:
        response = client.embeddings.create(
            model=EMBEDDING_MODEL,
            input=input
        )
        return [d.embedding for d in response.data]

documents = [
    (
        "Sistem Kontrol Suhu: Suhu kabin dikontrol melalui kenop konsol tengah. "
        "Putar searah jarum jam untuk menaikkan suhu dan berlawanan arah untuk mendinginkan. "
        "Mode defrost meniupkan udara hangat langsung ke kaca depan untuk menghilangkan kabut."
    ),
    (
        "Layar Sentuh & Navigasi: Layar sentuh 12 inci menyediakan peta real-time, "
        "koneksi Bluetooth ponsel, dan pengaturan profil pengemudi. "
        "Tekan ikon roda gigi di kanan atas untuk membuka pengaturan diagnostik."
    ),
    (
        "Transmisi & Pengereman: Mobil menggunakan transmisi elektrik satu percepatan. "
        "Injak pedal rem penuh sebelum menekan tombol Start/Stop mesin."
    )
]

# Siapkan basis data vektor
chroma_client = chromadb.Client()
collection = chroma_client.create_collection(
    name="car_manual",
    embedding_function=NeosantaraEmbeddingFunction()
)

for idx, doc in enumerate(documents):
    collection.add(documents=[doc], ids=[f"doc_{idx}"])

def ask_rag(question: str):
    print(f"\nPertanyaan: {question}")
    results = collection.query(query_texts=[question], n_results=1)
    passage = results["documents"][0][0]

    response = client.chat.completions.create(
        model=CHAT_MODEL,
        messages=[
            {
                "role": "system",
                "content": "Jawab pertanyaan secara ringkas dan presisi hanya berdasarkan konteks referensi yang diberikan."
            },
            {
                "role": "user",
                "content": f"Konteks Referensi:\n{passage}\n\nPertanyaan: {question}"
            }
        ],
        temperature=0.1
    )
    print(f"Jawaban AI : {response.choices[0].message.content}")

if __name__ == "__main__":
    ask_rag("Bagaimana cara menghilangkan kabut di kaca depan?")
    ask_rag("Berapa ukuran layar sentuh kendaraan?")
    ask_rag("Apakah kendaraan memiliki fitur pembuat kopi?")

Gunakan parameter temperature=0.1 atau temperature=0 pada tahap generasi untuk meminimalkan halusinasi dan memastikan jawaban strictly grounded pada dokumen yang diambil.

Model nusa-embedding-0001 menghasilkan vektor embedding 768 dimensi dengan harga gratis/termasuk dalam kuota Neosantara.

Referensi Terkait

Topik terkait

Embeddings Chat Completions Katalog Model Prompt Caching & Optimasi Biaya

⌘I

Panduan

Operasional & Keamanan

Recursive Language Models (RLM)

Teknik AI Lanjutan

Alur Eksekusi Cepat

Embeddings Capability

Katalog Model Embedding

Implementasi Step-by-Step

Kode Lengkap & Pengujian

Referensi Terkait

​Alur Eksekusi Cepat

Embeddings Capability

Katalog Model Embedding

​Implementasi Step-by-Step

​Kode Lengkap & Pengujian

​Referensi Terkait

Alur Eksekusi Cepat

Implementasi Step-by-Step

Kode Lengkap & Pengujian

Referensi Terkait