> ## Documentation Index
> Fetch the complete documentation index at: https://arka-agent-mintlify-f21cea86.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

# 本地模型量化

> 通过安全的先预览后执行工作流创建更小的 GGUF 模型。

```bash theme={null}
arka quantize model-f16.gguf --output model-q4.gguf --type Q4_K_M
arka quantize model-f16.gguf --output model-q4.gguf --type Q4_K_M --run
```

第一条命令只是预览 `llama-quantize` 命令。添加 `--run` 即可真正执行；Arka 会自动创建输出目录。请先安装一个暴露了 `llama-quantize` 的 llama.cpp 构建，再进行转换。


## Related topics

- [本地模型优化与设置](/cn/guides/local-models.md)
- [集成](/cn/guides/integrations.md)
- [本地 LLM 研究笔记](/cn/guides/local-llm-research.md)
- [硬件感知的模型选择](/cn/guides/select-model.md)
- [查找免费模型](/cn/guides/free-models.md)


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.