313分钟
Spark从零开始：SparkStreaming
随着数据量的不断增长，传统的数据处理方式已难以满足实时性要求。SparkStreaming以其高效、可靠的数据流处理能力，成为了大数据处理领域的热门技术。然而，如何有效利用SparkStreaming…
随着数据量的不断增长，传统的数据处理方式已难以满足实时性要求。SparkStreaming以其高效、可靠的数据流处理能力，成为了大数据处理领域的热门技术。然而，如何有效利用SparkStreaming进行实时数据流处理，是许多从业者面临的挑战。
为此，三节课特别邀请了经验丰富的赵渝强老师带来本次课程。
本课程将带领学员深入了解SparkStreaming的核心技术和实战应用，通过案例分析和项目实践，帮助学员掌握数据流处理的新技能，提升工作效率和竞争力。
课程概述
第一章 Spark Streaming基础
- 第一节 Spark Streaming简介
- 第二节 Demo-NetworkWordCount
- 第三节 开发自己的NetworkWordCount程序
第二章 如何在Spark SQL使用数据源
- 第一节 StreamingContext对象详解
- 第二节 什么是DStream
- 第三节 DStream中的转换操作
- 第四节 窗口操作
- 第五节 DStream的输入流
- 第六节 DStream的输出操作和foreachRDD的设计模式
- 第七节 使用DataFrame和SQL操作
- 第八节 缓存与持久化机制
- 第九节 使用检查点1
第三章 Spark SQL的性能优化
- 第一节 Flume简介和体系结构
- 第二节 使用Push模式接收Flume数据
- 第三节 使用Pull模式接收Flume数据
- 第四节 Kafka简介与安装配置
- 第五节 基于Receiver接收Kafka的数据
- 第六节 基于直接读取方式接收Kafka的数据
第四章 开发Spark SQL程序
测试
赵渝强
曾任京东大学大数据学院院长
曾任Oracle中国有限公司高级技术顾问