LLM应用架构设计模式：从原型到生产的工程实践

引言：原型到生产的鸿沟

构建一个LLM应用的原型从未如此简单——几行代码就能调用GPT或Claude API，一个下午就能搭出一个能跑的应用。但将原型推向生产环境，这个过程充满了隐秘的复杂性：如何保证输出质量稳定？如何处理模型的不确定性？如何在成本和延迟之间找到平衡？

本文总结了我在多个LLM项目中反复验证的核心架构模式，希望能为正在构建生产级AI应用的开发者提供参考。

一、提示链模式

1.1 单一责任的提示拆分

最简单的LLM应用就是"一个问题→一个回答"。但在实际业务中，一个复杂任务往往需要经过多个处理步骤。提示链（Prompt Chaining）将复杂任务拆分为多个独立的LLM调用，每个调用只负责一个明确的子任务。

例如，一个内容审核系统可能包含：意图识别→敏感词检测→语气分析→综合评分。每个环节由独立的提示和模型调用来完成。

1.2 链式调用的优势

• **可调试性**：每个环节的输入输出清晰可见，问题定位更准确
• **可优化性**：可以针对每个环节单独优化提示、选择模型、调整参数
• **可测试性**：每个环节可以独立进行单元测试
• **可复用性**：通用环节（如翻译、摘要）可以在多个业务线复用

1.3 链式调用的代价

主要是延迟的增加和总token消耗的上升。需要通过缓存中间结果、并行化无依赖的环节、对小任务使用更轻量的模型来控制成本。

二、路由模式

2.1 基于分类的分发

路由模式由分类器和多个专业处理器组成。分类器首先分析请求的特征（主题、复杂度、语言等），然后将请求路由到最合适的处理器。

这种模式的典型应用：

• 客服系统：路由到不同业务线的专业Agent
• 代码助手：根据编程语言路由到不同的代码生成器
• 搜索引擎：根据查询类型路由到不同的搜索策略

2.2 模型成本的路由优化

路由模式还可以用于成本优化。简单问题（如闲聊、简单FAQ）路由到Haiku或GPT-4-mini级别的轻量模型，复杂推理问题路由到Opus或GPT-5级别的重量模型。通过这种分层策略，可以在不显著影响用户体验的前提下将成本降低40%-60%。

三、评估器-优化器模式

3.1 质量闭环

评估器-优化器的核心思想是：让LLM在生成初步结果后，由一个独立的评估环节来检查质量，如果不满足要求则触发优化循环。

3.2 多维度评估

对于生产级的文本生成，评估维度可以包括：

• **事实准确性**：生成内容是否与参考知识一致
• **格式合规性**：是否符合预定义的输出格式
• **语气一致性**：是否与品牌语调相符
• **完整性**：是否覆盖了用户问题中的所有要点

3.3 自动优化策略

当评估未通过时，可以采取不同的优化策略：

• **重新生成**：以不同的随机种子重新生成
• **针对性修正**：将评估反馈连同原始输出一起送给模型修正
• **降级处理**：以更保守和安全的方式生成简化版本

四、联邦搜索模式

四、联邦搜索模式

4.1 多源检索的统一

在生产级RAG系统中，知识往往分布在多个来源：内部文档库、数据库、第三方API、实时数据流。联邦搜索模式将来自不同信息源的检索结果进行统一处理和排名。

4.2 结果融合策略

多源结果融合是联邦搜索最核心的挑战。常见的策略包括：

并列拼接：将不同来源的结果按固定配额拼接，比如每个来源取前3条。简单但可能导致来源偏见。

重新排序（Rerank）：使用独立的排序模型对所有候选进行统一评分，按相关性排序。效果最好但增加延迟和成本。

轮询分配（Round-Robin）：轮流从每个来源取结果。保证来源多样性，适合推荐类场景。

五、护栏模式

5.1 输入护栏

在用户输入到达LLM之前设置检查点：

• 检测和过滤PII（个人身份信息）
• 识别恶意输入（提示注入、越狱尝试）
• 验证输入格式和长度的合法性

5.2 输出护栏

在LLM输出返回用户之前进行校验：

• 敏感信息脱敏
• 输出格式验证
• 毒性检测和过滤
• 与已知事实的一致性检查

5.3 护栏的实现层级

• **代码层**：正则匹配、关键词过滤，延迟最低
• **模型层**：使用轻量分类模型进行语义判断
• **LLM层**：使用LLM本身的判断能力，最强大但最昂贵

六、缓存与成本优化

6.1 语义缓存

与传统的精确匹配缓存不同，语义缓存基于问题的语义相似度来决定是否命中缓存。当新问题与已缓存问题的嵌入向量余弦相似度超过阈值（如0.95）时，直接返回缓存结果。

6.2 提示缓存

充分利用LLM API的提示缓存功能（如Claude的Prompt Caching和GPT的Automatic Caching）。将静态的系统提示和长文档放在消息的前面部分，使其可以被自动缓存——这可以将输入token的费用降低90%。

6.3 流式输出与感知性能

流式输出（Streaming）不仅是体验优化，也是成本优化。用户在看到前几个token时就开始阅读和理解，而无需等待完整响应。对于长文本生成，这意味着感知延迟可以降低50%以上。

七、监控与持续优化

7.1 关键监控指标

生产环境的LLM应用需要关注：

• **质量指标**：用户点赞/踩、编辑率、重问率
• **性能指标**：TTFT（首token时间）、完整响应时间、吞吐量
• **成本指标**：每次对话的平均token消耗、缓存命中率
• **安全指标**：护栏触发次数、异常请求比例

7.2 A/B测试框架

建立LLM提示和模型的A/B测试框架。新版本的提示或模型先在5%的流量上验证，对比核心指标无显著退化后再全量上线。

7.3 人工反馈闭环

定期抽样人工评估LLM输出质量，建立标注数据集。使用标注数据训练自动评估模型，逐步实现质量监控的自动化。

结语

从原型到生产，LLM应用的工程化涉及架构设计、质量保障、成本控制和持续优化多个维度。上述设计模式不是孤立使用的——实际项目中往往是多个模式的组合和变体。

关键是建立一个可演进的架构体系，让系统能够随着模型能力的提升和业务需求的变化而持续进化。在AI技术日新月异的今天，架构的适应能力可能比架构的先进性更加重要。

---

封面图来源：Unsplash 本文为Ai探索笔记原创