llama-quantize command को preview करता है। इसे निष्पादित करने के
लिए --run जोड़ें; Arka output directory स्वतः बनाता है। Conversions
चलाने से पहले llama-quantize को expose करने वाला llama.cpp build install करें।Models & inference
Local model quantization
एक सुरक्षित preview-first workflow के साथ छोटे GGUF मॉडल बनाएँ।
वाज़ दिस पेज हेल्पफुल