打造强大的AI助手 | 实时监控AI表现 | 自定义评估工具 | 精通Galileo AI | 工程师必备

你将学到的核心技能

• 设计专业的LLM可观测性方案，明确数据记录规范、跟踪构建逻辑与故障诊断方法
• 搭建高质量评估数据集，覆盖真实输入、预期行为、元数据，适配边缘场景与回归测试
• 开展可复用的Galileo AI实验，在统一测试集上对比模型、提示词与代理版本效果
• 开发自定义评估指标，全面衡量生成质量、真实性、安全性与工具执行精度
• 运用LLM自动评分体系，结合评分规则、约束条件与抽样核查，降低评估偏差
• 通过跟踪日志定位代理故障，精准排查检索、规划、工具调用与响应生成问题
• 在Galileo平台配置生产环境监控，搭建数据看板、异常信号与回归故障预警
• 依据评估结果优化修复优先级，验证优化效果，长期保障AI系统质量与安全稳定性
• 为单步LLM应用与多步骤代理匹配最优可观测性、评估方案，清晰掌握技术权衡要点
• 完成Galileo平台LLM应用与代理埋点，全面采集跟踪数据、跨度、提示词与元数据

课程学习要求

• 掌握基础Python编程技能
• 了解基础AI代理构建知识
• 支持Jupyter Notebook协同开发
• 无需具备可观测性相关经验

课程核心描述

本课程以实战为核心，专为开发者、AI工程师、创业者及技术团队打造，聚焦真实LLM大语言模型系统与AI代理开发场景。同时适配所有对LLM可观测性、AI评估感兴趣，计划将相关技术应用于未来代理项目的学习者，仅需具备基础AI代理构建认知即可学习。

这是一套完整的AI可观测性与评估实战指南，课程不局限于理论讲解，全程基于Galileo AI监控平台实操教学。学员可免费获取课程全部配套资源、GitHub源码与Jupyter笔记本文件。

为什么LLM可观测性和评估至关重要？

大语言模型（LLMs）能力强大但行为不可预测，极易出现内容幻觉、静默故障，且在不同提示词、版本迭代中表现差异显著。AI代理/LLM系统的开发与生产部署存在巨大技术鸿沟：若LLM生成违规内容、代理内置工具静默失效、模型质量持续下降，传统方案无法有效应对。

传统监控与开发模式完全不适用于LLM场景：分类准确率看板无法适配开放式文本生成，通用API日志链路无法捕获推理步骤、工具调用与故障根源。多数团队只能依赖人工抽查、经验判断与反复调试提示词，短期可行但无法规模化落地。

我们需要一套系统化方案，实现LLM与代理系统的测量、监控、评估与持续优化，这正是可观测性与结构化评估的核心价值。

课程核心价值

本课程助力你更自信地构建、部署AI代理与LLM系统，掌握全套实用工具与技术，打造具备结构化自定义评估、实验能力的高健壮性AI代理，通过可观测性与日志实现全流程监控。

课程从基础理论切入，解析AI代理/LLM系统开发与监控的核心难点，再通过Galileo AI平台实操，手把手教你搭建评估体系、为应用添加可观测能力。

什么是Galileo AI？

Galileo是专为LLM与代理系统评估、监控打造的专业平台，核心功能包含两大模块：

• 可观测性：记录LLM交互数据、跟踪跨度与元数据，可视化代理执行流程，监控安全合规信号
• 评估体系：设计对比实验、创建评估数据集、自定义评估指标，支持LLM自动评分、版本控制与结果对比

简单来说，Galileo为你提供结构化的AI系统行为分析能力，大幅降低AI系统开发与优化成本。本课程将深度教学Galileo AI的使用方法，实现AI应用的全流程监控与评估。

完整课程概览

1. 课程引言

讲解LLM评估与可观测性的核心价值，分析无结构化监控的生成式AI部署风险，明确学习目标与课程学习路线。

2. 理论基础：LLM/代理可观测性

讲解传统监控理念，分析其在生成式系统中的局限性，梳理LLM可观测性核心组成模块。

3. 理论基础：LLM/代理评估

深入解析评估理论，明确生产级AI评估的必要性，掌握主流评估方法与团队落地常见痛点。

4. 理论对比：LLM vs 传统机器学习

对比生成式AI与经典机器学习在可观测性、评估上的差异，突出独特风险、成本与迭代逻辑。

5. 理论工具：LLM可观测性与评估方案

盘点主流LLM可观测性、评估工具，解析专用平台的不可替代性。

6. 实战操作：Galileo平台深度解析与环境配置

详解Galileo架构、集成方式、定价策略，完成账户注册、仓库克隆与本地开发环境搭建。

7. 实战操作：Galileo日志记录LLM交互

学习日志记录核心技术，掌握手动/SDK接入方法，模拟LLM应用、核查代理流程、排查故障、配置预警信号。

8. 实战操作：Galileo评估LLM系统性能

从可观测性过渡到评估体系，学习实验设计、数据集管理、指标定义、代理专项评估与LLM自动评分落地。

适合学习的人群

• 人工智能工程师、机器学习工程师
• 开发智能代理应用的软件工程师
• 平台与基础设施技术人员
• 所有开发LLM或代理应用的技术人员
• 将生成式AI部署到生产环境的开发者
• 面临LLM系统评估、调试难题的技术团队
• 开发AI原生应用的开发者
• 负责AI质量管控、需要量化评估AI性能的人员
• 希望系统化、结构化管理AI行为的从业者
• 想要探究AI故障原因与解决方案的技术人员
• 负责AI安全与合规的工程师
• 人工智能产品技术产品经理