Spark从零开始：SparkStreaming

313分钟

随着数据量的不断增长，传统的数据处理方式已难以满足实时性要求。SparkStreaming以其高效、可靠的数据流处理能力，成为了大数据处理领域的热门技术。然而，如何有效利用SparkStreaming…

顾问咨询

课程分类: 数字技术 | 数据分析

适用人群: 工程师, 专家课程标签: SparkStreaming,实时计算,大数据

随着数据量的不断增长，传统的数据处理方式已难以满足实时性要求。SparkStreaming以其高效、可靠的数据流处理能力，成为了大数据处理领域的热门技术。然而，如何有效利用SparkStreaming进行实时数据流处理，是许多从业者面临的挑战。为此，三节课特别邀请了经验丰富的赵渝强老师带来本次课程。本课程将带领学员深入了解SparkStreaming的核心技术和实战应用，通过案例分析和项目实践，帮助学员掌握数据流处理的新技能，提升工作效率和竞争力。

课程概述第一章 Spark Streaming基础 - 第一节 Spark Streaming简介 - 第二节 Demo-NetworkWordCount - 第三节开发自己的NetworkWordCount程序第二章如何在Spark SQL使用数据源 - 第一节 StreamingContext对象详解 - 第二节什么是DStream - 第三节 DStream中的转换操作 - 第四节窗口操作 - 第五节 DStream的输入流 - 第六节 DStream的输出操作和foreachRDD的设计模式 - 第七节使用DataFrame和SQL操作 - 第八节缓存与持久化机制 - 第九节使用检查点1 第三章 Spark SQL的性能优化 - 第一节 Flume简介和体系结构 - 第二节使用Push模式接收Flume数据 - 第三节使用Pull模式接收Flume数据 - 第四节 Kafka简介与安装配置 - 第五节基于Receiver接收Kafka的数据 - 第六节基于直接读取方式接收Kafka的数据第四章开发Spark SQL程序测试

赵渝强

曾任京东大学大数据学院院长曾任Oracle中国有限公司高级技术顾问

课程详情

Spark从零开始：SparkStreaming

赵渝强