CMWL
多模型 AI 平台

项目挑战

平台需要同时支持 GPT、Claude、Kimi、DeepSeek、通义千问、文心一言、讯飞星火、智谱 GLM、Coze 等不同供应商。它们的鉴权方式、请求结构、流式协议和异常返回并不一致。

如果业务层直接依赖各家接口，每增加一个模型都会产生大量分支，后续维护、计费和故障切换也会迅速复杂化。

架构设计

• 通过 Driver 抽象统一模型调用入口，把供应商差异隔离在独立实现中。
• 设计 KeyPool 密钥池轮询，在多个 Key 之间分配请求，降低单 Key 限流带来的影响。
• 使用 OkHttp WebSocket 实现流式响应，并针对讯飞等特殊协议提供定制监听器。
• 封装 StorageDriver，统一适配本地、七牛、腾讯 COS 与阿里 OSS。
• 以 MyBatis-Plus-Join 处理 94 张表的复杂关联查询，并控制数据访问层复杂度。

工程交付

• 接入敏感词过滤与定时文本审核，补齐 AIGC 内容合规链路。
• 通过 OSHI 构建 CPU、内存和 JVM 运行监控大盘，帮助定位生产环境问题。
• 将模型、存储和审核能力沉淀为可复用底座，降低后续业务功能的接入成本。