DAPO DynamicFiltering实现与BatchSize解析


文档摘要

DAPO Dynamic Filtering 实现与 Batch Size 解析 相关逻辑已经在代码中得到了很好的实现,我们现在想要探索,能否通过将prompt补齐到更小的batch size,实现更高的并行度。比如补齐到 。这需要我们对补齐后的batch的后续处理做更全面的分析。而且,更多的batch意味着更多的check-> back fill,是否会对性能造成影响,也需要考虑。 1 Filter Groups 配置入口 定义了三项参数:是否启用、过滤指标、以及动态补采上限。


发布者: 作者: 转发
评论区 (0)
U