VLLM_FALLBACK=0 सेट करें।Models & inference
vLLM fallback
एक लोकल vLLM OpenAI-compatible सर्वर को Arka fallback provider के रूप में उपयोग करें।
vLLM शुरू करें, फिर इसे Arka की fallback chain में सक्षम करें:
जब vLLM उपलब्ध हो या स्पष्ट रूप से configured हो तो Arka उसे आज़माता है, फिर लोकल
सर्वर विफल होने पर सामान्य provider chain में आगे बढ़ता है। Opt-in fallback
व्यवहार को अक्षम करने के लिए
वाज़ दिस पेज हेल्पफुल