LiteLLM

Neosantara didukung secara resmi di dalam ekosistem LiteLLM. Anda dapat memanggil model menggunakan prefix neosantara/<model> untuk routing, failover multi-model otomatis, dan pelacakan biaya terpusat.

Instalasi

pip install -U litellm

Autentikasi

Setel API key Neosantara di environment:

export NEOSANTARA_API_KEY="nsk_..."

Contoh Penggunaan Native

import litellm
import os

response = litellm.completion(
    model="neosantara/gemini-3.8-flash",
    messages=[
        {"role": "user", "content": "Jelaskan cara kerja proxy AI dalam satu kalimat."}
    ]
)

print(response.choices[0].message.content)

import litellm

response = litellm.completion(
    model="neosantara/deepseek-v4.1-flash",
    messages=[{"role": "user", "content": "Tuliskan 3 tips optimasi database."}],
    stream=True
)

for chunk in response:
    content = chunk.choices[0].delta.content or ""
    print(content, end="", flush=True)
print()

Eksekusi Responses API

Neosantara mendukung endpoint OpenResponses (/v1/responses) untuk eksekusi persisten dan pelacakan state. Anda dapat memanggil fungsi litellm.responses:

import litellm
import os

response = litellm.responses(
    model="neosantara/gemini-3.8-flash",
    input="Tuliskan ringkasan keunggulan regional AI gateway dalam 2 poin."
)

print(response.output[0].content[0].text)
print(f"Response ID: {response.id}")

Konfigurasi Proxy LiteLLM (`config.yaml`)

Jika Anda menjalankan LiteLLM Proxy Server untuk organisasi:

config.yaml

model_list:
  - model_name: my-fast-model
    litellm_params:
      model: neosantara/gemini-3.8-flash
      api_key: os.environ/NEOSANTARA_API_KEY

  - model_name: my-reasoning-model
    litellm_params:
      model: neosantara/deepseek-v4.1-flash
      api_key: os.environ/NEOSANTARA_API_KEY

Keunggulan Integrasi LiteLLM

Kapabilitas	Integrasi Standar	Provider Resmi Neosantara
Sintaks Model	`openai/<model>`	`neosantara/<model>`
Routing & Fallback	Konfigurasi manual per endpoint	Failover multi-model otomatis
Pelacakan Biaya & Saldo	Estimasi token statis	Selaras dengan rate Rupiah Neosantara
Dukungan Proxy & Gateway	Perlu mapping adapter tambahan	Terdaftar langsung di server proxy LiteLLM

Topik terkait

Ringkasan Integrasi Any-LLM Katalog Model Chat Completions

⌘I

Framework

Alat & Widget

Instalasi

Autentikasi

Contoh Penggunaan Native

Eksekusi Responses API

Konfigurasi Proxy LiteLLM (`config.yaml`)

Keunggulan Integrasi LiteLLM

​Instalasi

​Autentikasi

​Contoh Penggunaan Native

​Eksekusi Responses API

​Konfigurasi Proxy LiteLLM (config.yaml)

​Keunggulan Integrasi LiteLLM

Instalasi

Autentikasi

Contoh Penggunaan Native

Eksekusi Responses API

Konfigurasi Proxy LiteLLM (`config.yaml`)

Keunggulan Integrasi LiteLLM