79分钟
大数据前沿技术:基于Flink的流批一体实现
随着大数据时代的发展,海量数据和多种业务的实时处理需求激增, 比如:实时监控报警系统、实时风控系统、实时推荐系统等,传统的批处理方式和早期的流式处理框架因其自身的局限性,难以在延迟性,吞叶量,容错能力…
随着大数据时代的发展,海量数据和多种业务的实时处理需求激增, 比如:实时监控报警系统、实时风控系统、实时推荐系统等,传统的批处理方式和早期的流式处理框架因其自身的局限性,难以在延迟性,吞叶量,容错能力,以及使用便捷性等方面满足业务日益苛刻的要求,阿里云也借此提出了“实时即未来”的口号。 在这种形势下,Flink以其独特的天然流式计算特性和更为先进的架构设计,极大地改善了以前的流式处理框架所存在的问题,并进一步实现了“流处理即未来”。
本课程将带你了解Flink,介绍具体的应用场景以及Flink的任务开发,使你熟知Flink这项大数据前沿技术。
一、课程概述
二、Flink分层架构
三、典型应用场景
四、基于Flink的任务开发
- 1.Flink任务流程架构
- 2.Flink 执行任务演示
- 3.开发FlinkDataSet离线计算任务
- 4.开发FlinkDataStreaming实时计算任务
- 5.开发FlinkSQL程序
五、课程总结
测试
赵渝强
曾任京东大学大数据学院院长
曾任Oracle中国有限公司高级技术顾问