[大数据]Spark基础之求平均数

1、引入文件

var avgAdd=sc.textFile("hdfs:///user/yanyufei/spark/hello2")

2、输出文件内容

avgAdd.map(item=>{var lineArr=item.split("\t");(lineArr(0),lineArr(1))}).foreach(println)

3、赋1操作

avgAdd.map(item=>{var lineArr=item.split("\t");(lineArr(0),lineArr(1).toInt,1)}).foreach(println)

4、根据key整合

avgAdd.map(item=>{var lineArr=item.split("\t");(lineArr(0),(lineArr(1).toInt,1))}).reduceByKey((a,b)=>(a._1+b._1,a._2+b._2)).foreach(println)

5、求平均数

avgAdd.map(item=>{var lineArr=item.split("\t");(lineArr(0),(lineArr(1).toInt,1))}).reduceByKey((a,b)=>(a._1+b._1,a._2+b._2)).map(item=>(item._1,item._2._1/item._2._2)).foreach(println)

?