AI应用架构设计
当企业有十个AI场景时,需要一张架构图。本课程给出企业AI应用分层架构与技术路线决策树,让零散的AI尝试收敛为可治理的系统能力。
先判断:你是否需要学这一模块 SELF CHECK
命中 2 条以上,建议优先安排本模块;勾选可当作业前的需求确认表使用。
学习目标 OBJECTIVES
- 1掌握企业AI应用五层架构:接入层、应用层、能力层、数据层、治理层
- 2能用技术路线决策树判定:提示词 / RAG / 微调 / Agent 各自何时使用
- 3掌握模型路由与成本控制策略(分档调用、缓存、降级)
- 4掌握评估与观测体系:离线评测集、在线指标、人工反馈闭环
- 5能输出一份1页纸的企业AI应用架构图与分期建设路线
核心知识点 KEY POINTS
五层架构
接入层(企微/钉钉/飞书/Web/API)、应用层(岗位助手与业务Agent)、能力层(模型路由、RAG引擎、Agent编排、工具市场、Prompt/Skill管理)、数据层(知识库、业务库、向量库、日志)、治理层(权限、合规、成本、评估)。
能力层是分水岭
零散做场景的企业没有能力层,每个场景重复造轮子;有能力层的企业,新场景只需组合已有能力,边际成本递减。这是AI应用能否规模化的关键。
模型路由
按任务难度与成本敏感度自动选择模型档位;配合缓存(相同问题命中缓存)、降级(高负载时切轻量模型)、限流(部门配额)三件套控制成本。
技术路线决策树
通用能力且无需私有知识 → 提示词;需要私有知识 → RAG;需要跨系统执行动作 → Agent;需要固定风格/格式且数据量大 → 微调;实时数据 → 工具调用。多数企业80%场景落在RAG。
评估与观测
离线评测集(准确率基线)+ 在线指标(使用率、任务完成率、转人工率、满意度)+ 人工反馈闭环(点赞点踩回流到评测集)。没有观测就无法持续优化。
分期建设路线
一期单点打透(1-3个场景)→ 二期能力沉淀(知识库+Skill+平台)→ 三期规模复制(多场景+治理体系)。跳过一期直接建平台是常见失败原因。
方法论与操作步骤 METHOD & STEPS
第一步:盘点场景,归类能力需求
把所有AI场景按能力归类(问答、生成、抽取、执行),找出被多个场景共用的能力——这些就是能力层的候选。
第二步:抽象公共能力
把共用能力沉淀为:统一知识库与检索服务、统一Skill/Prompt管理、统一工具市场、统一模型网关。
第三步:设计分层架构
画出五层架构图,明确每层的组件、边界与接口,标注哪些自建、哪些采购。
第四步:设计模型路由与成本策略
定义分档规则、缓存策略、降级策略与部门配额,输出成本模型与告警阈值。
第五步:建评估与观测体系
为每个场景建离线评测集,定义在线指标看板,把人工反馈回流进评测集。
第六步:制定分期路线与治理制度
输出12个月三期建设路线,配套权限、合规、成本三项治理制度(衔接M04)。
真实落地场景案例 REAL CASES
从零散试点到AI中台
业务场景
多个部门各自试点AI,模型、知识库、提示词重复建设,成本与合规难以统一管控。
AI应用做法
按五层架构收敛:统一模型网关与知识底座,业务部门在应用层灵活组合;同步建立成本配额与合规审核机制。
业务系统的AI助手嵌入
业务场景
工程链系统已有大量项目与企业数据,但查询需专业人员操作,一线用不起来。
AI应用做法
在系统上叠加AI助手:自然语言项目搜索、企业信息查询、通用问答三类能力,共用同一套RAG与权限体系。
涉及工具与产出物 TOOLS & DELIVERABLES
- 百度搭子 / 豆包工作(企业侧接入与试点验证)
- 模型网关/路由(多模型接入)
- RAG引擎与向量库
- Agent编排平台(Dify等)
- Prompt/Skill管理平台
- 评测集与观测看板
- 企业AI应用架构图(1页)
- 技术路线决策树与选型说明
- 模型路由与成本模型
- 评估指标体系与观测看板设计
- 12个月三期建设路线图
随堂练习与验收标准 PRACTICE & ACCEPTANCE
- 盘点你企业已有的AI场景,归类能力需求,找出3项被多个场景共用的能力作为能力层候选。
- 画出五层架构图一页纸,标注每层组件与自建/采购决策。
- 写一份模型路由与成本策略:分档规则、缓存策略、降级策略、部门配额与告警阈值。
- 提交1页企业AI应用架构图(五层完整)
- 技术路线决策树覆盖企业现有全部AI场景
- 提交12个月三期建设路线与成本模型
常见误区 PITFALLS
没做场景试点,直接立项建AI中台
先单点打透再沉淀能力,架构是长出来的不是画出来的
每个场景各建一套知识库与提示词
抽象公共能力到能力层,避免重复建设与口径不一
只建功能不建观测,上线后无法判断好坏
离线评测集 + 在线指标 + 人工反馈闭环,三者缺一不可
架构设计只考虑技术,忽略合规与成本治理
权限、合规、成本与功能同等重要,需同步设计
建议课时 RECOMMENDED HOURS
| 适合人群 | 建议课时 | 建议形式 |
|---|---|---|
| 技术岗 | 6课时 | 架构工作坊 + 现场出图 |
| 管理者 | 3课时 | 侧重路线与投资决策 |
| 业务岗 | 2课时 | 理解架构对场景的支撑 |
| 全员 | — | 不建议全员开设 |
721 时间分配(合计 6 课时 / 约 270 分钟)
| 环节 | 占比 | 课时 | 时长 | 内容说明 |
|---|---|---|---|---|
| 讲授 | 20% | 1.2 课时 | 约 54 分钟 | 讲概念、讲方法、拆解案例 |
| 实操演练 | 60% | 3.6 课时 | 约 162 分钟 | 随堂动手,产出真实业务成果 |
| 研讨点评 | 20% | 1.2 课时 | 约 54 分钟 | 方案互评、答疑与改进建议 |
按 721 法则设计:以实操为主、讲授为辅、研讨收口;1 课时按 45 分钟计,可按企业作息调整。