深入学习如何构建生产就绪的LLM应用：涵盖LangChain、RAG、代理到多模态AI、部署及实际系统集成。

您将会学到

• 理解大型语言模型的工作原理，包括标记、上下文窗口和推理过程
• 设计有效的提示和提示策略，以获得可靠且可控的 LLM 表现
• 利用 LangChain 核心组件构建模块化 LLM 流水线
• 采用嵌入技术和向量数据库来构建检索增强生成（RAG）系统
• 使用 LangGraph 设计具备代理功能和状态管理的流程
• 使用 LangSmith 调试、追踪和评估 LLM 应用程序
• 开发融合文本、图像、音频及工具的多模态 LLM 应用
• 以可扩展性、可靠性和成本控制为目标，构建生产就绪的 LLM 系统
• 将安全、安全和治理的最佳实践应用于 LLM 应用程序
• 测试、基准测试和优化 LLM 管道的质量、延迟及成本
• 设计并交付一个完整的端到端 LLM 系统作为终期项目

课程要求

为世界留下自己印记的热情与决心！

课程描述

欢迎参加 Uplatz 的《LLM 工程：构建生产就绪的 AI 系统》课程。

大型语言模型（LLMs）是 ChatGPT 这类工具背后的 AI 系统——这些模型通过在大量文本上进行训练，能够理解指令、生成内容、对上下文进行推理，并调用工具完成任务。然而，要构建真实、可靠、生产级的 LLM 应用程序，远不止“简单提示”那么简单。

那就是现代 LLM 工程框架发挥作用的地方：

• 提示工程与提示设计：设计系统指令和用户提示，确保模型行为一致、安全且可预测。
• RAG（检索增强生成）：一种技术，允许 LLM 利用您自己的文档和数据（如 PDF、知识库、产品文档、政策等），通过在运行时检索相关上下文，显著减少幻觉，确保答案有据可依。
• LangChain 是一个强大的框架，它使用模块化组件（如提示、链、工具、代理、内存、检索器、输出解析器和集成）来构建 LLM 应用程序。
• LangGraph 是一个框架，用于构建具有状态的多步骤、多智能体工作流，并以图的形式呈现——非常适合多智能体系统、条件路由、重试、循环、长时间运行的工作流以及强大的编排功能。
• LangSmith 是一个集可观察性和评估功能于一体的平台，能够帮助您追踪 LLM 调用，调试提示或链的失败，评估质量，执行评估，并在迭代开发至生产阶段时监控性能。

通过这门课程，你将全面掌握 LLM 工程的端到端技能，涵盖基础、提示、RAG、代理、可观察性、安全、测试、优化以及生产部署等各个方面。

本课程将带你构建什么

这是一门注重实践、以工程为核心的课程，你将逐步构建现代大型语言模型系统的核心组件，包括：

• 结构化、可靠且可扩展的提示系统
• RAG 管道将 LLMs 与真实文档及私有知识连接起来
• 使用 LangGraph 实现业务流程自动化，涵盖路由、重试机制和状态管理
• 可观察、可测试的 LLM 应用程序，结合 LangSmith 跟踪与评估
• 多模态应用（包含文本、视觉、音频以及工具使用模式）
• 用于性能优化、成本控制和可靠性的生产模式
• 一个完整构建的 LLM 系统

这门课程有哪些独特之处

网络上关于 LLM 的大多数内容仅限于基本的提示或少数小型演示。本课程旨在引导你从“会调用 LLM”进阶到“能工程化生产级的 LLM 系统。”

你将学到：

• 如何设计 LLM 应用程序，使其像真实的软件系统一样
• 如何评估质量（不只是“看起来好”）
• 如何实施护栏、安全措施和治理机制
• 如何优化延迟与成本
• 如何让应用程序在发展过程中持续保持可维护性

你将学到什么内容

完成本课程后，你将能够掌握：

• 理解 LLMs 的工作原理（包括 token、上下文窗口、推理过程及其局限性）
• 真实 LLM 产品中实际应用的 Master 提示模式
• 使用 LangChain 构建模块化流程（提示、链、工具、代理）
• 实现高质量 RAG 系统（包括分段、嵌入生成、信息检索、结果重排序等关键概念）
• 使用 LangGraph 构建有状态和智能代理式的工作流（涉及图、节点、状态管理和路由）
• 通过 LangSmith 追踪、调试、评估和监控应用程序，以提升质量与性能
• 应用多模态模式（文本、图像、音频或工具工作流）
• 构建生产系统：扩展性、成本优化、缓存、可靠性模式
• 应用安全、安全和治理实践（防止提示注入、防止数据泄露、设置护栏）
• 测试、基准测试和优化 LLM 管道的质量、延迟及成本
• 完成一个可以展示在你的作品集中的端到端综合项目

这门课程适合哪些人群

• 期望构建真正由 LLM 驱动的应用程序的 Python 开发者
• 为产品开发 AI 功能的软件工程师
• 转向大型语言模型应用工程的人工智能或机器学习工程师
• 希望将 LLM 应用投入生产的数据科学家（而不仅仅是做实验）
• 致力于打造具有自主性工具的创业者与产品构建者
• 负责 LLM 部署与监控的 MLOps 平台工程师

LLM 工程：构建生产级 AI 系统 – 完整课程大纲

模块一：基础与环境配置

• LLM 工程入门
• LLM 生态系统概览
• Python 环境、包管理和工具配置
• 开发环境设置

模块二：LLM 基础与提示工程掌握

• 大型语言模型的工作原理
• 令牌、上下文窗口和推理
• 提示工程方法
• 系统、用户及工具提示
• 提示优化与最佳实践

模块三：LangChain 核心要点

第一部分：LangChain 基础知识

• LangChain 架构与核心概念
• LLM 封装和提示模板
• 链接和执行流程

第二部分：高级链和组件

• 顺序链与路由链
• 内存类型及使用模式
• 输出解析与结构化响应

第三部分：实际应用中的 LangChain 模式

• 工具调用与代理基础
• 错误处理与安全防护措施
• 构建模块化的 LangChain 流水线

模块四：检索增强生成（RAG）高级技能掌握

第一部分：RAG 基础

• 为什么 RAG 至关重要
• 嵌入式和向量数据库
• 分块和索引方法

第二部分：高级检索增强生成系统

• 混合搜索与重新排序
• 元数据过滤与上下文管理
• 构建端到端检索增强生成（RAG）管道

模块五：LangGraph – 代理式和状态化工作流程

第一部分：LangGraph 基础知识

• LangGraph 的优势
• 基于图的智能体设计
• 节点、边和状态

第二部分：多智能体工作流程

• 条件流程与分支
• 状态化对话
• 工具导向的图设计

第三部分：高级智能体编排

• 错误处理和循环
• 长任务运行的代理
• 可扩展智能体架构

模块六：LangSmith – 可观测性、调试与评估

第一部分：LangSmith 介绍

• 调用 LLM 的跟踪
• 理解执行图结构

第二部分：调试和监控

• 提示与链调试
• 延迟与成本分析

第三部分：评估与反馈机制

• 数据集评估
• 人工闭环反馈

第四部分：性能与质量评估

• 准确性、相关性和幻觉监测
• 回归异常检测

第五部分：生产准备

• 持续评估流程
• 企业使用最佳实践

模块七：多模态和高级 LLM 技术

第一部分：多模态大语言模型基础

• 文本、图像、音频及视频模型
• 多模态提示基础知识

第二部分：视觉与语言系统

• 图像识别与推理
• OCR 与视觉问答

第三部分：音频和语音集成

• 语音识别与语音合成
• 对话式音频系统

第四部分：使用工具的多模态智能体

• 视觉和工具
• 多模态功能调用

第五部分：高级提示和上下文策略

• 跨模态情境管理
• 多模态系统的内存管理

第六部分：多模态检索增强生成

• 图像与文档检索
• PDF 和知识库流程

第七部分：优化技巧

• 减少延迟
• 成本优化

第八部分：实际应用中的多模态架构

• 企业应用场景
• 设计模式

模块八：生产级 LLM 工程实践

第一部分：生产级架构

• LLM 系统设计
• 基于 API 和服务导向的架构

第二部分：部署策略

• 模型部署方案
• 云端部署和自托管 LLMs

第三部分：扩展性与可靠性

• 负载管理
• 速率限制与回退策略

第四部分：成本控制

• 令牌优化
• 缓存策略

第五部分：日志与监控

• 指标与警报
• 事故处理

第六部分：LLM 系统的持续集成与持续部署

• 提示版本控制
• 自动化测试流程

模块九：LLM 安全、安全性与治理

• 提示注入攻击
• 数据泄露风险
• 虚假信息、偏见及对齐问题
• 审计追踪、合规性及治理
• 企业安全防护措施与访问权限管理

模块十：测试、基准测试和优化

• LLM 测试方法
• 基准测试模型与管道
• 提示与系统优化
• 持续改进闭环

模块十一：综合项目——端到端大型语言模型系统

• 综合规划与架构设计
• 系统整体实现
• 部署、评估及最终审核

课程面向人群（总结）

• 期望构建由大型语言模型驱动的实际应用程序的软件工程师和后端开发人员
• 希望超越模型训练，进入 LLM 应用工程领域的机器学习和人工智能工程师
• 希望部署基于 LLM 系统（例如 RAG 管道和代理）的数据科学家
• 希望使用 LangChain、LangGraph 和现代大型语言模型框架的 Python 开发人员
• 致力于打造 AI 驱动产品与智能代理系统的初创公司创始人及产品构建者
• 参与部署、监控和扩展 LLM 应用程序的 MLOps / 平台工程师
• 正在转向 AI 工程岗位，拥有实际操作能力和生产级技能的专业人士