大模型参数速查表

分类参数作用典型值/备注
输出长度max_tokens限制胜场最大长度(单位:token)一般256~2048,根据任务定
输出长度min_tokens限制最小输出长度部分接口支持
随机性 & 多样性temperature控制随机性,越大越随机1.0
随机性 & 多样性top_n仅考虑前 N 个概率最高的候选
随机性 & 多样性top_p概率累积采样,控制多样性
随机性 & 多样性frequency_penalty惩罚重复内容频率-2 ~ 2,常用 0~1
随机性 & 多样性presence_penalty惩罚已出现过的内容,鼓励新内容-2 ~ 2,常用 0~1
输出控制stop停止符,遇到即停止输出
输出控制best_of生成多个候选,取最优资源消耗大
输出控制n返回多个候选常用于对比
输出控制logprobs返回 token 概率调试/可解释性
上下文相关prompt输入内容文本/对话
上下文相关suffix输出必须接在的内容不常用
上下文相关echo是否返回 prompt调试用
聊天/角色控制system定义系统角色
聊天/角色控制user用户角色
聊天/角色控制assistant大模型角色
聊天/角色控制tools/functions调用外部函数或工具
其他logit_bias调整特定token频率

其他

stream流式输出实时场景
其他seed随机数种子结果可复现

token是什么?

  • token:是大模型返回输出的单位,是模型的最小处理单元,通常相当于几个字母或一个汉字。
  • 详解:模型内部用的是子词分词(subword tokenization)字节对编码(BPE,Byte Pair Encoding)
  • 意义:如果设置太小,输出可能被截断;太大则会浪费计算资源。
  • 基本上token换算比:
    • 中文:1 字 ~= 1 token
    • 英文:1 词 ~= 1.3 token
    • 精确计算的话,需要用模型提供的分词器计算。

Logo

码道开发者社区,聚焦华为云码道 CodeArts 代码智能体,沉淀 Agent、Skill、鸿蒙开发实战内容,供开发者查阅资料、交流技术、分享工程实践

更多推荐