阿里云ACS容器服务部署Qwen3-Reranker-8B & Qwen3-Embedding-8B模型
·
使用阿里云ACS容器服务部署Qwen3-Reranker-8B & Qwen3-Embedding-8B模型
准备工作
1、下载模型，modelscope
2、上传至oss
3、创建集群，使用GPU资源
3.1、创建secret 两个部分：镜像源、OSS的密钥
3.2、创建PersistentVolume 提供模型下载
3.3、创建PersistentVolumeClaim：读取模型
3.4、创建任务Job：下载对应模型
3.5、创建Deployment：部署模型
3.6、创建对应的Service；
3.6、修改公网访问，测试。修改loadblancer。
4、Dify添加自定义服务、测试服务链接
5、构建压测环境。
码道开发者社区，聚焦华为云码道 CodeArts 代码智能体，沉淀 Agent、Skill、鸿蒙开发实战内容，供开发者查阅资料、交流技术、分享工程实践
更多推荐
4
0- 0
已为社区贡献2条内容
所有评论(0)