Models & inference
In-engine speculative decoding
तेज़ लोकल generation के लिए draft मॉडल configure करें।
वाज़ दिस पेज हेल्पफुल
Documentation Index
Fetch the complete documentation index at: /llms.txt
Use this file to discover all available pages before exploring further.
तेज़ लोकल generation के लिए draft मॉडल configure करें।
arka speculative vllm --draft-model qwen3:1.7b
arka speculative vllm --draft-model qwen3:1.7b --num-draft-tokens 6 --apply
वाज़ दिस पेज हेल्पफुल