Spark大数据处理案例分析与实践培训课程

4.1 Scala语言基础，常用语法以及库函数
4.2 Spark程序设计方法
（1）DSpark程序基本构成,SparkContext， RDD，transformation/action
（2）Spark API介绍
（a）如何创建RDD （scala集合，HDFS文件，HBase文件等）
（b）如何基于RDD进行数据处理，介绍常见的分布式算子
（c）如何保存处理结果 （返回到driver端，写入hdfs等）
（d）广播变量与累加器
4.3 Spark程序设计实例
（1）分布式Pi估算程序
（2）K-means分类算法实现
（3）逻辑回归算法实现

基于Spark的商品推荐系统，包括：项目背景、项目架构、项目实施

8.1 Spark Streaming产生动机
8.2 Spark Streaming程序设计
（1）创建DStream
（2）基于DStream进行流式处理
8.3 Spark Streaming容错与性能优化
（1）Spark Streaming容错机制
（2）如何对spark Streaming进行优化
8.4 Spark Streaming案例分析
基于Spark Streaming的用户标签系统，内 容包括项目背景，项目架构以及实施方法

9.1 Spark SQL定位
9.2 如何使用SparkSQL处理数据
（1）使用SparkSQL处理HDFS上数据
（2）使用SparkSQL处理Hive中的数据
9.3 Spark SQL与 Spark及 Spark Streaming结合