登录社区云，与社区用户共同成长
邀请您加入社区
Transformers 的 Beam Search 实现集中在的 GenerationMixin 类中，核心方法是。与 vLLM 不同，Transformers 的 Beam Search 是纯张量操作的实现——所有 beam 的扩散、评分、剪枝都通过 PyTorch 张量运算完成，没有面向对象的序列管理，也没有 HTTP 层的编排开销。和 vLLM 老版本的实现一样，支持 early_stop
