�、SFT、RLHF、DPO 等方法，核心开发者预计不超过 10 人。</p><ul><li>优点：功能全面，几乎支持所有模型，生态完善，许多新的微调技术会优先在 TRL 项目中实现。</li><li>缺点：较为底层，许多功能需要编写代码实现，并且依赖 Transformers 项目的模型实现，导致难以对单个模型做特殊优化，例如后面提到的打包多个指令的注意力优化。</li></ul></li><li><p>基于 Transformers 及 TRL 生态扩展的 <strong>L