大模型部署基础设施搭建 - Dify
·
文章目录
官方参考文档:https://github.com/langgenius/dify#
一、下载项目(zip包上传或git clone)
二、执行下述命令
cd dify
cd docker
cp .env.example .env
docker compose up -d
优化(可选:建议替换上述最后一个命令)
docker compose -p dify up -d
三、访问管理员初始化页面以设置管理员账户
http://<服务器ip地址>/install
admin@dfzt.com
admin
admin123456
四、使用
4.1 访问地址
http://<服务器ip地址>
4.2 查看日志
docker logs docker-api-1
4.3 停止容器
docker compose down
优化(可选:建议替换上述最后一个命令)
docker compose -p dify down
五、整合Vllm
5.1 安装vllm模型供应商
点击右上角头像,点击设置,点击模型供应商,找到vllm,点击安装
5.2 配置
(1)模型名称
必须和docker-compose.yml文件中的served-model-name保持一致
(2)地址
http://<ip>:8001/v1
更多推荐



所有评论(0)