智能问答,需要本地部署聊天大模型,部署完成后,需要对外提供一套接口,相关的开放人员会调用这个接口,然后把用户输入的内容给到大模型,大模型再给出响应,再给到用户进行前端展示
GLM支持中英文的交互
6B意味大概有60亿的参数
参数越大代表模型越智能
这个模型也支持纯CPU,如果是纯CPU,至少要是16核或者32核的,否则推理速度会很慢
所以一般推荐用显存

T4加速会便宜

这样就有了一台带有GPU的云服务器

新建一个远程连接

Logo

码道开发者社区,聚焦华为云码道 CodeArts 代码智能体,沉淀 Agent、Skill、鸿蒙开发实战内容,供开发者查阅资料、交流技术、分享工程实践

更多推荐