1.spark架构设计
2.算子分析与应用
2.1 准换算子（不触发提交，提交后才启动转换计算）
value型：
输入输出一对一：map flatMap mapPartitions
输入输出多对一：union cartesian
输入输出多对多：groupBy
输出为输入子集：filter distinct subtract sample takeSample
cache型：cache persist
key-value型：
一对一：mapValues
单个RDD聚集：combineByKey reduceByKey partitionBy
两个RDD:cogroup
连接：join leftOutJoin rightOutJoin
2.2 行动算子（触发sparkContext提交作业）
无输出（不到hdfs、本地）：foreach
HDFS：saveAsTextFile saveAsObjectFile
scala集合数据类型:collect collectAsMap reduceByKeyLocally lookup count
top reduce fold aggregate