课程综述
第一节
Spark:Spark Streaming 架构与组件介绍
第二节
分布式日志实时处理
第三节
对流式数据进行 Transformation 操作
第四节
持久化分析后的数据
第五节
和 Spark 其他相关库的整合 * Spark SQL * Spark MLlib
第六节
如何对 Spark Streaming 进行测试
开课时间:随时
有效时间:1年内观看有效
上课时间:随时
该课程是 Spark Streaming 入门课,但所涉及的点较为全面,从架构介绍到实际编码示例,同时还涉及到如何对分布式应用进行测试,可以让你掌握对应的编程技能。与热门存储引擎HBase/ElasticSearch的整合,以及和 Spark 相关组件 Spark MLlib/Spark SQL 的集成,则可让你学以致用,更加贴近实际场景。
祝海林,高级数据开发工程师。从事基础框架,搜索研发两年,后续三年一直在数据平台架构,算法领域摸爬滚打。现在专注于集群自动化部署,服务管理,资源自动化调度等方向。
Spark:Spark Streaming 架构与组件介绍
分布式日志实时处理
对流式数据进行 Transformation 操作
持久化分析后的数据
和 Spark 其他相关库的整合 * Spark SQL * Spark MLlib
如何对 Spark Streaming 进行测试
掌握如何开发 Spark Streaming 程序
掌握如何集成常规存储系统如 HBase/ElasticSearch
掌握如何整合 Spark 其他组件
全程采用 Scala 语言,Intellj Idea 编辑器,基于 Spark 1.5.1(更高版本也都适用)。
需要对 Scala/Spark 略微有些基础,如果没有,请先学习 StuQ 相关课程。