Batas Rate & Throughput

Untuk menjaga keandalan infrastruktur dan mencegah lonjakan lalu lintas yang tidak terduga, Neosantara menerapkan sistem pembatasan rate multi-layer berbasis Redis.

Tiga Metrik Batas Rate

Gateway Neosantara memisahkan pembatasan lalu lintas ke dalam tiga metrik independen:

RPM (Requests Per Minute): Batas jumlah panggilan HTTP per menit menggunakan algoritma sliding window.
ITPM (Input Tokens Per Minute): Batas token input per menit menggunakan algoritma token bucket. Dihitung secara pre-flight sebelum permintaan diteruskan ke model upstream.
OTPM (Output Tokens Per Minute): Batas token output per menit. Diselesaikan secara post-flight setelah model selesai menghasilkan respons publik.

Batas Throughput per Tier

Tier Akun	RPM (Permintaan/menit)	ITPM (Input Token/menit)	OTPM (Output Token/menit)
Free	10 RPM	30.000 ITPM	8.000 OTPM
Basic	50 RPM	500.000 ITPM	80.000 OTPM
Standard	1.000 RPM	2.000.000 ITPM	320.000 OTPM
Pro	2.000 RPM	5.000.000 ITPM	800.000 OTPM
Enterprise	4.000 RPM	10.000.000 ITPM	1.600.000 OTPM
Coding Hemat	50 RPM	50.000 ITPM	10.000 OTPM
Coding Reguler	1.000 RPM	450.000 ITPM	90.000 OTPM
Coding Eksklusif	2.000 RPM	1.000.000 ITPM	200.000 OTPM

Batas Kuota MCP Gateway per Tier

Untuk integrasi IDE dan agen menggunakan Model Context Protocol (MCP), Neosantara menerapkan batas panggilan dan token ringkasan terpisah dari kuota gateway AI:

Tier Akun	Batas RPM	Permintaan Harian	Max Summary Tokens
Free	20 RPM	500 req/hari	900 token
Basic	40 RPM	1.500 req/hari	1.200 token
Standard	60 RPM	3.000 req/hari	1.600 token
Pro	120 RPM	8.000 req/hari	2.200 token
Enterprise	240 RPM	20.000 req/hari	3.200 token
Admin	Tanpa batas	Tanpa batas	6.400 token

Setiap akun dapat membuat hingga 5 API key MCP aktif. Pelajari selengkapnya di panduan API Key MCP. Khusus model dengan diskon promosi 100% pada tier Free, berlaku batas 5 RPM. Untuk membuka batas penuh Free tier (10 RPM), lakukan deposit perdana minimal Rp 50.000 melalui menu Top Up di dashboard.

Penanganan Batas Terlampaui (HTTP 429)

Ketika aplikasi Anda melebihi salah satu batas di atas, gateway mengembalikan kode status HTTP 429 Too Many Requests dengan format JSON standar:

{
  "error": {
    "message": "You've reached your Input Tokens Per Minute (ITPM) limit for this tier. Please reduce your input length or wait a moment before retrying.",
    "type": "rate_limit_error",
    "code": "itpm_exceeded",
    "details": {
      "limit": 30000,
      "remaining": 0,
      "retry_after": 12
    }
  }
}

Rekomendasi Penanganan di Sisi Klien

Periksa header HTTP retry-after yang menunjukkan berapa detik klien harus menunggu sebelum mencoba kembali.
Terapkan algoritma exponential backoff dengan jitter pada library klien Anda.
Untuk beban kerja data besar yang tidak membutuhkan respons interaktif, gunakan Batch Processing yang berjalan di luar kuota RPM real-time.

Topik terkait

FAQ & Tanya Jawab Chat Completions Katalog Model

⌘I

Panduan

Operasional & Keamanan

Recursive Language Models (RLM)

Teknik AI Lanjutan

Tiga Metrik Batas Rate

Batas Throughput per Tier

Batas Kuota MCP Gateway per Tier

Penanganan Batas Terlampaui (HTTP 429)

Rekomendasi Penanganan di Sisi Klien

​Tiga Metrik Batas Rate

​Batas Throughput per Tier

​Batas Kuota MCP Gateway per Tier

​Promo Rate Limit (Tier Free)

​Penanganan Batas Terlampaui (HTTP 429)

​Rekomendasi Penanganan di Sisi Klien

Tiga Metrik Batas Rate

Batas Throughput per Tier

Batas Kuota MCP Gateway per Tier

Promo Rate Limit (Tier Free)

Penanganan Batas Terlampaui (HTTP 429)

Rekomendasi Penanganan di Sisi Klien