�级导致能力下降。由于成本考虑，模型厂商不可能保留所有模型的历史权重，新版模型可能在特定任务上不如旧版。例如，有人使用 GPT-3.5-turbo 升级版本后效果下降了 10% <a href="https://www.voiceflow.com/blog/how-much-do-chatgpt-versions-affect-real-world-performance" target="_blank" rel="noreferrer">^HowMuchChatGPT</a>。</li></ul></li><li>当上下文较长时，首 token 的速度较慢，且会占用较多的 KV 缓存。</li></ul><h3 id="微调的