精讲 1
技术Tencent Hunyuan @TencentHunyuan当日精选73/100
腾讯混元发布UniRL，一个跨模态统一强化学习训练框架，支持文本、图像、视频等多种模态，并附带FlowDPPO和DRPO两种原创算法
正文内容概括腾讯混元发布UniRL，一个跨模态统一强化学习训练框架，支持文本、图像、视频等多种模态。该框架通过单一后训练循环（生成→评分→优势→更新→同步）覆盖不同模型家族，将模型与算法作为独立轴，实现模型×算法的组合覆盖。UniRL内置可插拔的rollout引擎（train-side/SGLang/vLLM-Omni）、FSDP2分片和三种部署模式。同时附带两种原创算法：用于流/扩散模型的FlowDPPO和用于LLM的DRPO。对开发者而言，UniRL提供了一个统一的多模态RL训练基础设施，降低了跨模态RL训练的实现成本。 核心观点： 1. UniRL将模型与算法作为独立轴，实现模型×算法的组合覆盖，而非固定配方菜单。 2. FlowDPPO是针对流/扩散模型的策略优化算法，使用基于精确散度的信任域掩码。 3. DRPO是LLM强化学习算法，采用平滑的优势加权二次正则化器。
核心观点提炼高信息密度，值得细读