ECS大模型服务器的申领(申领一台带有GPU的云服务器)--用于智能客服私有化大模型部署
·


智能问答,需要本地部署聊天大模型,部署完成后,需要对外提供一套接口,相关的开放人员会调用这个接口,然后把用户输入的内容给到大模型,大模型再给出响应,再给到用户进行前端展示
GLM支持中英文的交互
6B意味大概有60亿的参数
参数越大代表模型越智能
这个模型也支持纯CPU,如果是纯CPU,至少要是16核或者32核的,否则推理速度会很慢
所以一般推荐用显存

T4加速会便宜




这样就有了一台带有GPU的云服务器


新建一个远程连接

更多推荐











所有评论(0)