Content Explore

llama.cpp: GGUF格式及模型量化参数介绍

Published : 2025-03-29 Categories : Machine Learning Tags : llama.cpp gguf
GGUF格式介绍
GGUF

GPT-Generated Unified Format
)是推理框架
llama.cpp
中使用的一种专为大语言模型设计的二进制文件格式,旨在实现模型的快速加载和保存...