PinnedPinnedPrivate
x.com

Factory 开启模型动态路由

模型动态路由:复杂的任务交给更智能的模型,简单的任务交给便宜的模型。那么如何判定这次任务的复杂还是要交给最智能的模型。

这是我们天然会想到的解决办法,但在实际使用过程中,核算到成本,直接使用最智能的模型去处理任务会来的更便宜,因为在任务完成度/返工方面,便宜的模型需要更多的返工,消耗的时间在这里会大大增加。