LaMA-Factory</strong>、<strong>Axolotl</strong>、<strong>Firefly</strong>、<strong>unsloth</strong> 和 <strong>ms-swift</strong> 等工具，它们的特点是在 SFT 微调上进行了自我实现，而 DPO、PPO 则是基于 TRL 项目改造。原因是早期 TRL 库的定位仅限于强化学习，未实现 SFT 微调。</p><ul><li>优点：继承了 TRL 的优点，相较于 TRL 更加上层，提供基于配置文件的微调，使用起来更简单，无需编写代码，并且集成了许多优�