利用Apache Kafka和Kafka Streams API处理实时数据流：从入门到精通

课程核心学习内容

• Apache Kafka发展背景与完整架构体系详解
• 借助Kafka生产者API完成数据流创建操作
• 依托Kafka Streams库完成实时流处理应用的设计、开发与全流程测试
• 深度掌握Kafka Streams底层架构、Streams DSL语法、Processor API，以及Kafka精准一次性语义（Exactly Once）处理机制
• 基于JSON Schema定义自动生成Java实体类，实现无Schema Registry环境下JSON消息的序列化、反序列化与业务处理
• 基于AVRO Schema定义自动生成Java实体类，结合Confluent Schema Registry完成AVRO消息的序列化、反序列化与数据处理
• 为Kafka Streams应用编写规范的单元测试与集成测试用例
• 适配微服务架构开发，落地Kafka Streams交互式查询功能

课前学习要求

• 具备Java编程语言基础开发能力
• 熟悉Java 8 Lambda表达式相关语法
• 设备要求：64位Windows、Mac或Linux操作系统，最低4GB运行内存，推荐8GB及以上内存

课程整体介绍

学习本课程无需提前掌握任何Apache Kafka相关知识。课程会细致拆解所有核心、晦涩的Kafka架构理论，循序渐进讲解知识点，保证零基础学员也能轻松跟上教学节奏，透彻理解全部技术原理。

课程开发初衷

《Kafka Streams – 实时流处理》课程旨在帮助学习者吃透流处理底层原理，并熟练运用理论知识完成Kafka Streams项目开发。本课程内容源自作者同名专业技术书籍，该书现已正式出版，电子书与纸质实体书均可在各大主流线上图书平台购买。

课程采用循序渐进、通俗易懂的教学模式讲解复杂技术难点。依托这套教学思路，引导学员结合自身逻辑理解能力，层层拆解、消化课程中所有核心技术概念，降低学习门槛。

适合学习本课程的人群

本课程主要面向三类技术从业者：

1. 计划使用Kafka Streams库开发流处理业务应用的软件工程师；
2. 负责企业数据中心架构规划、搭建数据基础设施的数据架构师与数据工程师；
3. 不直接参与Kafka代码开发，但需要对接Kafka Streams落地项目的技术管理者、架构负责人。

精准适配人群总结：有意向基于Kafka Streams设计、开发流处理应用的软件工程师与架构师；想要系统掌握Apache Kafka全套实操知识、独立开发实时流处理程序的Java开发程序员。

课程使用技术版本说明

课程全程基于Apache Kafka 1.x版本内置的Kafka Streams库开展教学，配套示例代码均在对应发行版本完成兼容性测试。课程采用Confluent社区版Kafka，教学中会实操Schema Registry、Avro序列化器/反序列化器等社区版专属核心功能。

配套开发与测试工具栈

课程配套完整可运行的实战示例代码，实操环节均基于Confluent社区版Kafka开展，深度运用Schema Registry、Avro Serdes等特色组件。整套开发工具明细如下：

• 推荐IDE：IntelliJ IDEA为主力开发工具，同时兼容其他主流Java开发编辑器；
• 构建工具：Apache Maven作为默认项目构建工具，可替换为其他Java构建工具；
• 日志框架：Log4J2，教学行业标准化应用日志落地方案；
• 测试框架：JUnit5（JUnit最新稳定版本），搭建标准化单元测试体系。

课程示例与配套练习

实操案例与课后练习是将理论知识转化实操能力的核心载体。课程内置海量可运行实战示例，同时搭配客观知识测验、针对性编程作业。通过配套练习，能够帮助学员巩固核心概念，锻炼独立解决流处理编程问题的实操能力。