Spark从零开始:SparkCore

Spark从零开始:SparkCore

546分钟

在当今数字化时代,大数据行业蓬勃发展,Spark以其高效的数据处理能力成为行业翘楚。然而,许多从业者面临数据处理效率低下、分析结果不准确等痛点。 为此,三节课特别邀请了经验丰富的赵渝强老师带来本次课程…

在当今数字化时代,大数据行业蓬勃发展,Spark以其高效的数据处理能力成为行业翘楚。然而,许多从业者面临数据处理效率低下、分析结果不准确等痛点。 为此,三节课特别邀请了经验丰富的赵渝强老师带来本次课程,旨在帮助学员快速掌握Spark核心技术,提升数据处理与分析能力。无论你是初学者还是希望深化技能的专业人士,这门课程都是你实现职场飞跃的必备之选。
第一章 什么是Spark? - 第一节 课程概述 - 第二节 准备实验环境 - 第三节 什么是Spark - 第四节 为什么学习Spark - 第五节 Spark的特点 第二章 Spark的体系结构与安装配置 - 第一节 Spark的体系结构 - 第二节 安装和配置Spark的伪分布环境 - 第三节 配置spark的免密码登录 - 第四节 安装和配置Spark的全分布环境 - 第五节 基于文件方式实现Spark的HA - 第六节 基于ZooKeeper方式实现Spark的HA 第三章 执行Spark Demo程序 - 第一节 执行SparkExample程序 - 第二节 使用SparkShell - 第三节 开发Scala版本的WordCoun - 第四节 开发Java版本的WordCount 第四章 Spark的运行机制及原理分析 - 第一节 WordCount的执行流程分析 - 第二节 Spark执行任务的流程 第五章 Spark的算子 - 第一节 RDD基础 - 第二节 Transformation算子 - 第三节 Action算子 - 第四节 RDD的缓存机制 - 第五节 RDD的检查点 - 第六节 RDD的依赖关系和Spark任务中的Stage - 第七节 RDD基础练习 第六章 Spark RDD的高级算子 - 第一节 mapPartitionsWithIndex - 第二节 aggregate - 第三节 aggregateByKey - 第四节 coalesce与repartition 第七章 Spark基础编程案例 - 第一节 计算网站的访问量 - 第二节 创建自己的分区规则 - 第三节 操作数据库 课程附件资料 测试
赵渝强
赵渝强

曾任京东大学大数据学院院长 曾任Oracle中国有限公司高级技术顾问