M14 · AI应用架构设计

企业AI应用全景架构:模型路由、RAG、Agent编排与治理体系

M14 · 第 14 / 17 模块 · 04 智能体与架构

AI应用架构设计

当企业有十个AI场景时,需要一张架构图。本课程给出企业AI应用分层架构与技术路线决策树,让零散的AI尝试收敛为可治理的系统能力。

技术岗管理者 难度:高阶 标准课时:6课时

先判断:你是否需要学这一模块 SELF CHECK

命中 2 条以上,建议优先安排本模块;勾选可当作业前的需求确认表使用。

学习目标 OBJECTIVES

  • 1掌握企业AI应用五层架构:接入层、应用层、能力层、数据层、治理层
  • 2能用技术路线决策树判定:提示词 / RAG / 微调 / Agent 各自何时使用
  • 3掌握模型路由与成本控制策略(分档调用、缓存、降级)
  • 4掌握评估与观测体系:离线评测集、在线指标、人工反馈闭环
  • 5能输出一份1页纸的企业AI应用架构图与分期建设路线

核心知识点 KEY POINTS

五层架构

接入层(企微/钉钉/飞书/Web/API)、应用层(岗位助手与业务Agent)、能力层(模型路由、RAG引擎、Agent编排、工具市场、Prompt/Skill管理)、数据层(知识库、业务库、向量库、日志)、治理层(权限、合规、成本、评估)。

能力层是分水岭

零散做场景的企业没有能力层,每个场景重复造轮子;有能力层的企业,新场景只需组合已有能力,边际成本递减。这是AI应用能否规模化的关键。

模型路由

按任务难度与成本敏感度自动选择模型档位;配合缓存(相同问题命中缓存)、降级(高负载时切轻量模型)、限流(部门配额)三件套控制成本。

技术路线决策树

通用能力且无需私有知识 → 提示词;需要私有知识 → RAG;需要跨系统执行动作 → Agent;需要固定风格/格式且数据量大 → 微调;实时数据 → 工具调用。多数企业80%场景落在RAG。

评估与观测

离线评测集(准确率基线)+ 在线指标(使用率、任务完成率、转人工率、满意度)+ 人工反馈闭环(点赞点踩回流到评测集)。没有观测就无法持续优化。

分期建设路线

一期单点打透(1-3个场景)→ 二期能力沉淀(知识库+Skill+平台)→ 三期规模复制(多场景+治理体系)。跳过一期直接建平台是常见失败原因。

方法论与操作步骤 METHOD & STEPS

场景盘点能力抽象架构分层路由与成本评估观测分期建设
  1. 第一步:盘点场景,归类能力需求

    把所有AI场景按能力归类(问答、生成、抽取、执行),找出被多个场景共用的能力——这些就是能力层的候选。

  2. 第二步:抽象公共能力

    把共用能力沉淀为:统一知识库与检索服务、统一Skill/Prompt管理、统一工具市场、统一模型网关。

  3. 第三步:设计分层架构

    画出五层架构图,明确每层的组件、边界与接口,标注哪些自建、哪些采购。

  4. 第四步:设计模型路由与成本策略

    定义分档规则、缓存策略、降级策略与部门配额,输出成本模型与告警阈值。

  5. 第五步:建评估与观测体系

    为每个场景建离线评测集,定义在线指标看板,把人工反馈回流进评测集。

  6. 第六步:制定分期路线与治理制度

    输出12个月三期建设路线,配套权限、合规、成本三项治理制度(衔接M04)。

真实落地场景案例 REAL CASES

金融 · 大型银行

从零散试点到AI中台

业务场景

多个部门各自试点AI,模型、知识库、提示词重复建设,成本与合规难以统一管控。

AI应用做法

按五层架构收敛:统一模型网关与知识底座,业务部门在应用层灵活组合;同步建立成本配额与合规审核机制。

新场景接入周期显著缩短,重复建设减少,成本与合规实现统一管控。
工程建筑 · 润锦工程链

业务系统的AI助手嵌入

业务场景

工程链系统已有大量项目与企业数据,但查询需专业人员操作,一线用不起来。

AI应用做法

在系统上叠加AI助手:自然语言项目搜索、企业信息查询、通用问答三类能力,共用同一套RAG与权限体系。

一线人员可直接用自然语言查询项目与企业信息,系统使用门槛大幅降低。

涉及工具与产出物 TOOLS & DELIVERABLES

◈ 涉及工具
  • 百度搭子 / 豆包工作(企业侧接入与试点验证)
  • 模型网关/路由(多模型接入)
  • RAG引擎与向量库
  • Agent编排平台(Dify等)
  • Prompt/Skill管理平台
  • 评测集与观测看板
◈ 结业产出物
  • 企业AI应用架构图(1页)
  • 技术路线决策树与选型说明
  • 模型路由与成本模型
  • 评估指标体系与观测看板设计
  • 12个月三期建设路线图

随堂练习与验收标准 PRACTICE & ACCEPTANCE

◈ 随堂练习 / 课后作业
  • 盘点你企业已有的AI场景,归类能力需求,找出3项被多个场景共用的能力作为能力层候选。
  • 画出五层架构图一页纸,标注每层组件与自建/采购决策。
  • 写一份模型路由与成本策略:分档规则、缓存策略、降级策略、部门配额与告警阈值。
◈ 结业验收标准
  • 提交1页企业AI应用架构图(五层完整)
  • 技术路线决策树覆盖企业现有全部AI场景
  • 提交12个月三期建设路线与成本模型

常见误区 PITFALLS

常见误区

没做场景试点,直接立项建AI中台

正确做法

先单点打透再沉淀能力,架构是长出来的不是画出来的

常见误区

每个场景各建一套知识库与提示词

正确做法

抽象公共能力到能力层,避免重复建设与口径不一

常见误区

只建功能不建观测,上线后无法判断好坏

正确做法

离线评测集 + 在线指标 + 人工反馈闭环,三者缺一不可

常见误区

架构设计只考虑技术,忽略合规与成本治理

正确做法

权限、合规、成本与功能同等重要,需同步设计

建议课时 RECOMMENDED HOURS

适合人群建议课时建议形式
技术岗6课时架构工作坊 + 现场出图
管理者3课时侧重路线与投资决策
业务岗2课时理解架构对场景的支撑
全员不建议全员开设

721 时间分配(合计 6 课时 / 约 270 分钟)

环节占比课时时长内容说明
讲授20%1.2 课时约 54 分钟讲概念、讲方法、拆解案例
实操演练60%3.6 课时约 162 分钟随堂动手,产出真实业务成果
研讨点评20%1.2 课时约 54 分钟方案互评、答疑与改进建议

按 721 法则设计:以实操为主、讲授为辅、研讨收口;1 课时按 45 分钟计,可按企业作息调整。

学习顺序与依赖 DEPENDENCIES

前置模块(建议先学)
相关推荐: M15 FDE 前线部署工程M16 AI Native 组织打造
← 返回 04 智能体与架构 层大纲