Skip to main content
Arka का LlmFallbackEngine 25 providers में सभी LLM calls को automatic failover, API key rotation, और per-task या per-skill model overrides के साथ manage करता है।

​
समर्थित providers

Anthropic, OpenAI, Gemini, Groq, xAI, DeepSeek, Moonshot, Z.AI, MiniMax, Venice, Mistral, Cohere, Together, Fireworks, Perplexity, Hugging Face, OpenRouter, Sakana Fugu, Bedrock, Azure, LiteLLM, Ollama, LM Studio, vLLM, और vLLM Cloud.

​
Failover कैसे काम करता है

Orchestrator क्रम में एक candidate list बनाता है:
  1. AI_PREFERRED_PROVIDER + AI_PREFERRED_MODEL (यदि set है)
  2. प्रत्येक provider API से live model lists (जब keys अनुमति देती हैं)
  3. Built-in chain: Gemini 2.5/2.0 Flash → Groq Llama 3.3/3.1 → Ollama cloud/local
429, 401, या timeout पर, Arka अगले model को आज़माता है। API key rotation (API_KEY_ROTATION=1) providers स्विच करने से पहले backup keys को cycle करता है।
जब आप arka provider set groq (या fish में ai-pref groq) के साथ providers बदलते हैं, तो Arka उस provider के default पर वापस आने से पहले नए provider पर वही model रखने का प्रयास करता है। इसे अक्षम करने के लिए, arka provider set groq --no-keep-model या AI_KEEP_MODEL_ON_PROVIDER_SWITCH=0 का उपयोग करें।

​
Web chat model क्रम

Interactive web chat, जैसे Open WebUI frontend, एक अलग fast chain का उपयोग करता है ताकि cloud free tiers के rate limits पर पहुँचने पर भी replies आते रहें:
  1. जब Ollama चल रहा हो, तो एक छोटा local Ollama model। Arka llama3.2:1b, llama3.2:3b, qwen3:8b, और llama3.1:8b में से पहला installed model चुनता है।
  2. जब GEMINI_API_KEY या GOOGLE_API_KEY set हो, तो Gemini Flash models।
  3. जब GROQ_API_KEY set हो, तो Groq llama-3.3-70b-versatile।
Chain या local model को override करें:
इसके बजाय standard failover chain का उपयोग करने के लिए WEB_CHAT_FAST=0 set करें।
“thanks” या “got it” जैसी छोटी स्वीकृतियों पर एक संक्षिप्त welcome मिलता है। Arka पिछला build जारी नहीं रखता।

​
Per-task profiles

Task के अनुसार override करें:

​
Per-skill models

या ~/.config/arka/llm-skill-models.json को edit करें।

​
Benchmark orchestration

यदि आप चाहते हैं कि model selection live benchmark winners का पालन करे, तो पहले एक benchmark suite चलाएँ और फिर orchestration सक्षम करें:
Benchmark profile routed task का पालन करता है। जो request web_answer पर route होती है, वह chat benchmark results का उपयोग करती है। Agent-style requests agent का उपयोग करती हैं।

​
Shared exhaustion cache

Arka एक session cache रखता है। जब तक आप cache को reset नहीं करते, यह सभी skills में exhausted models को skip करता है:
Failover पर stderr notification सक्षम करें: LLM_FALLBACK_NOTIFY=1. Debug attempts: LLM_VERBOSE=1.

​
Local LLM servers

​
Skills संक्षिप्त क्यों रहती हैं

Arka LLM से 70 skill manuals याद रखने के लिए नहीं कहता। Skills local programs हैं। Model केवल सही नाम चुनता है। LLM route पर, Arka पास करता है:
  • एक compact skill catalog (केवल registered names)
  • Curated routing rules (high-signal patterns)
  • आपकी मशीन के लिए ROUTE_ALIASES के माध्यम से Shell aliases
Route task कम temperature और एक dedicated chain का उपयोग करता है ताकि एक fast, cheap model classification को संभाले। Heavy lifting locally skill के अंदर चलता है।

​
Runtime पर निरीक्षण करें

Answers के नीचे Model: provider/name दिखाने के लिए SHOW_MODEL=1 (default) set करें।

​
संबंधित