社区原始演示 · 视频由 X 提供
软件与工作流
模型与工具路由
按请求类型进行 AI 模型路由
一个模型路由演示对传入请求进行分类,再分发到适合该任务的模型。
- 发布时间
- 原始发布
- X / @ephraimduncan
将在新标签页打开作者的原始发布。
社区原始演示 · 视频由 X 提供
模型与工具路由
一个模型路由演示对传入请求进行分类,再分发到适合该任务的模型。
将在新标签页打开作者的原始发布。
以下实现思路是我们根据社区演示整理的参考方案,作者的实际环境与实现请以原始发布为准。
拥有多个模型或工具的应用,可以在启动较高成本流程前,先完成一次范围明确的路由判断。
描述各个路由及其约束,对请求分类,再通过允许列表中的映射进行分发。为不确定或不支持的任务准备回退路径。
以下内容用于说明一种可能的工作流,并非演示实测结果或 API 请求与响应格式。
路由质量取决于目标定义是否清楚。错误路由可能增加成本或降低结果质量,需要基于自己的实际请求进行评估。
在 Playground 中定义上下文与候选选项,再通过 API 指南接入自己的应用。