大模型部署 safetensors和gguf文件解释
·
使用vllm 部署大模型要用gguf文件吗，在大模型源码中，model-00001-of-000004.safetensors是什么文件
- modelscope网站gpt-oss-20b镜像文件
- 下载使用的是
git方式
git lfs install
git clone https://www.modelscope.cn/openai-mirror/gpt-oss-20b.git
- 还有其他方式如sdk, modelscope download方式
- 下面是对文件类型的解释 .gguf和.safetensors。.safetensors文件是分片文件在git源码中带着可以直接被vllm使用
码道开发者社区，聚焦华为云码道 CodeArts 代码智能体，沉淀 Agent、Skill、鸿蒙开发实战内容，供开发者查阅资料、交流技术、分享工程实践
更多推荐
8
0- 0
已为社区贡献9条内容
所有评论(0)