llama-quantize 命令。添加 --run 即可真正执行;Arka 会自动创建输出目录。请先安装一个暴露了 llama-quantize 的 llama.cpp 构建,再进行转换。Documentation Index
Fetch the complete documentation index at: /llms.txt
Use this file to discover all available pages before exploring further.
通过安全的先预览后执行工作流创建更小的 GGUF 模型。
arka quantize model-f16.gguf --output model-q4.gguf --type Q4_K_M
arka quantize model-f16.gguf --output model-q4.gguf --type Q4_K_M --run
llama-quantize 命令。添加 --run 即可真正执行;Arka 会自动创建输出目录。请先安装一个暴露了 llama-quantize 的 llama.cpp 构建,再进行转换。