3步搞定本地大模型服务集成：One-API无缝对接指南

【免费下载链接】one-api OpenAI 接口管理&分发系统，支持 Azure、Anthropic Claude、Google PaLM 2、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元，可用于二次分发管理 key，仅单可执行文件，已打包好 Docker 镜像，一键部署，开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI. 项目地址: https://gitcode.com/GitHub_Trending/on/one-api

你还在为本地大模型服务配置繁琐而烦恼？本文将通过3个简单步骤，帮助你在One-API中快速集成本地大模型服务，实现高效的接口管理与分发。读完本文你将获得：本地模型服务部署要点、One-API适配器配置方法、本地模型调用测试技巧。

准备工作

在开始配置前，请确保你已完成以下准备：

• 已安装本地大模型服务并成功启动，服务地址默认为http://localhost:8000
• 已部署One-API系统，版本不低于v0.4.0
• 具备基本的Docker操作能力

One-API作为接口管理与分发系统，支持多种大模型集成，其核心实现位于relay/adaptor/目录下。对于本地模型服务，系统通过适配器提供支持，相关代码实现可参考relay/adaptor/adaptor.go。

配置步骤

1. 修改适配器配置

One-API的适配器默认配置文件位于relay/adaptor/constants.go，需要修改服务地址以指向本地模型服务：

// 将默认服务地址修改为本地模型服务地址
const DefaultBaseURL = "http://localhost:8000/v1"

2. 添加本地模型通道

登录One-API管理界面，导航至"渠道管理"页面，点击"添加渠道"按钮：

• 渠道类型选择对应适配器
• API密钥填写任意非空字符串（本地模型无需真实密钥）
• 自定义模型名称填写"llm-7b"（可自定义）
• 服务地址填写http://localhost:8000/v1

相关功能实现可参考controller/channel.go中的渠道创建逻辑。

3. 配置模型映射关系

修改模型映射配置文件relay/adaptor/model.go，添加本地模型映射：

// 添加本地模型映射
func init() {
    ModelMap["llm-7b"] = "local/7b"
    // 更多模型映射...
}

测试验证

完成配置后，可通过以下步骤验证集成是否成功：

1. 启动服务

使用Docker Compose启动服务：

docker-compose up -d

2. 调用API测试

使用curl命令测试本地模型服务调用：

curl http://localhost:3000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer sk-xxx" \
  -d '{
    "model": "llm-7b",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

3. 查看日志验证

查看One-API日志确认请求是否成功转发：

docker logs one-api | grep "response"

日志系统实现位于common/logger/logger.go，可通过配置调整日志级别。

常见问题解决

服务连接失败

若出现"connection refused"错误，请检查：

• 本地模型服务是否正常运行：curl http://localhost:8000/health
• Docker容器网络是否互通，可使用--network=host模式运行One-API

模型调用超时

若调用超时，可修改common/redis.go中的默认超时配置：

// 延长超时时间至300秒
const DefaultTimeout = 300 * time.Second

响应格式不兼容

如遇响应格式问题，可参考relay/adaptor/adaptor.go中的响应转换函数，调整格式转换逻辑。

总结与展望

通过本文介绍的3个步骤，你已成功在One-API中集成了本地大模型服务。这种配置方案的优势在于：

• 无需修改One-API核心代码，通过适配器机制实现无缝集成
• 保留One-API的所有功能，如流量控制、权限管理等
• 支持多模型并行部署，可通过controller/group.go实现模型分组管理

未来版本中，One-API计划推出专门的适配器，进一步优化本地模型服务的集成体验。你可以通过docs/API.md了解更多API使用细节，或参与项目贡献来加速新功能的开发。

附录：配置流程图

配置过程中如有疑问，可参考项目官方文档或提交issue获取帮助。系统日志可通过controller/log.go中定义的接口进行查询，方便问题定位与排查。

【免费下载链接】one-api OpenAI 接口管理&分发系统，支持 Azure、Anthropic Claude、Google PaLM 2、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元，可用于二次分发管理 key，仅单可执行文件，已打包好 Docker 镜像，一键部署，开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI. 项目地址: https://gitcode.com/GitHub_Trending/on/one-api